GIF‑κλιπ με το χορό της Ρέιτσελ από τα "Φίλοι" μεγάλωσε σε εκατοντάδες γιγαμπάτια, καταστρέφοντας τις εφεδρικές αντιγραφές του Discourse

Σύντομη περίληψη

Το Discourse είναι μια δημοφιλής πλατφόρμα για διαδικτυακές συζητήσεις, με πάνω από 22 000 κοινότητες.

Πρόσφατα, κατά τη δημιουργία αντιγράφου ασφαλείας του ιστότοπου, προέκυψε ένα κρίσιμο πρόβλημα: ένας GIF‑εγώ (1,6 MB) αντιγράφηκε από τους χρήστες 246 173 φορές, υπερβαίνοντας το όριο των σκληρών συνδέσμων στο σύστημα αρχείων ext4 και οδηγώντας σε αύξηση του μεγέθους της εφεδρικής έκδοσης έως 377 GB.

Παρακάτω παρατίθεται λεπτομερής ανάλυση της κατάστασης, των αιτιών και των λύσεων.

1. Τι συνέβη;
Δεδομένα Δομή Πλατφόρμα Discourse Αριθμός κοινοτήτων >22 000 Εγώ‑πρόβλημα GIF «Rachel από Friends», μέγεθος 1,6 MB Αριθμός αντιγράφων 246 173 (σκληροί σύνδεσμοι) Όριο ext4 ~65 000 σκληροί σύνδεσμοι ανά inode Συνολικό μέγεθος εφεδρικής έκδοσης 377 GB
Γιατί συνέβη αυτό;
Το Discourse επιτρέπει την εισαγωγή emojis και GIF‑εγώ σε οποιαδήποτε μηνύματα.

Κατά τη μετακίνηση ενός αρχείου από ένα πλαίσιο σε άλλο (π.χ., από προσωπική συνομιλία σε δημόσια ανάρτηση), το σύστημα δημιουργεί μια νέα αντιγραφή με τυχαίο SHA‑1 hash. Αυτό σημαίνει ότι, ακόμη και αν το περιεχόμενο είναι ίδιο, το Discourse το θεωρεί ως νέο αντικείμενο.

Έτσι, ένα GIF μπορεί να εμφανιστεί σε δεκάδες χιλιάδες μηνύματα και προσωπικές συνομιλίες – κάθε φορά δημιουργείται ξεχωριστό αρχείο. Τελική έκπτωση 246 173 αντιγράφων υπερβαίνει το όριο ext4, και το σύστημα αρχίζει να δημιουργεί νέα αρχεία αντί για σκληρούς συνδέσμους, οδηγώντας στην «απώλεια» 181 000 εφεδρικών αντιγράφων.

2. Πρώτη λύση – συλλογή hash
Το Discourse προσπάθησε αρχικά να επιλύσει το πρόβλημα, ομαδοποιώντας τις μεταφορτώσεις με βάση το SHA‑1:

1. Κατά τη δημιουργία εφεδρικής έκδοσης όλα τα αρχεία συγκεντρώνονταν σε ομάδες του ίδιου hash.

2. Φορτώνεται μόνο η πρώτη αντιγραφή από κάθε ομάδα.

3. Για τις υπόλοιπες δημιουργούνται σκληροί σύνδεσμοι.

Αυτό φάνηκε κομψό – αλλά δεν έλαβε υπόψη το όριο ext4 στον αριθμό συνδέσμων. Μόλις επιτευχθεί το όριο, το σύστημα αυτόματα δημιουργεί νέα αρχεία αντί για συνδέσμους, και το μέγεθος της εφεδρικής έκδοσης αυξάνεται δραματικά.

3. Νέα λύση – «μετάβαση» κατά σφάλμα EMLINK
Το Discourse ανέπτυξε μια πιο ευέλικτη στρατηγική:

1. Δημιουργείται ένας σκληρός σύνδεσμος στο αρχείο, όπως συνήθως.

2. Αν το σύστημα αρχείων επιστρέψει σφάλμα EMLINK (υπερβολικός αριθμός συνδέσμων), η επόμενη αντιγραφή γίνεται «κύριος» αρχείο.

3. Από εκεί και πέρα δημιουργούνται νέοι σύνδεσμοι προς αυτήν τη νέα κύρια έκδοση.

Έτσι, κάθε φορά που υπερβαίνεται το όριο, γίνεται εναλλαγή σε νέο “γονικό” αρχείο, και το σύστημα συνεχίζει να λειτουργεί χωρίς σφάλματα. Αυτή η λύση είναι συμβατή με οποιοδήποτε σύστημα αρχείων και δεν απαιτεί πρόσθετες ρυθμίσεις.

4. Συμπεράσματα
- Ένα δημοφιλές GIF (ο χορός της Rachel από Friends) οδήγησε στην αύξηση του εφεδρικού αντιγράφου σε 377 GB.

- Το όριο ext4 περίπου 65 000 σκληρών συνδέσμων ήταν κρίσιμος παράγοντας.

- Η πρώτη λύση με συλλογή hash δεν έλαβε υπόψη τα περιοριστικά χαρακτηριστικά των αρχείων, οδηγώντας στην απώλεια δεδομένων.

- Η νέα στρατηγική «μετάβασης» κατά σφάλμα EMLINK επιτρέπει σωστή διαχείριση μεγάλου αριθμού αντιγράφων και τη διατήρηση της αποτελεσματικότητας του εφεδρικού συστήματος.

> *«Τώρα ξέρουμε ότι η Jennifer Aniston μπορεί να κάνει δοκιμές στρες στην υποδομή,»* — με ειρωνεία σημείωσε το Discourse στο blog του.