Η Cisco εντόπισε λόγους για τους οποίους ακόμη και οι φαίνεται τέλειοι αναφορές AI για κυβερνοσυμβάντα δεν πρέπει να θεωρούνται αλήθεια

Η Cisco Talos διερευνά την ακρίβεια των μεγάλων γλωσσικών μοντέλων στη δημιουργία κυβερνο‑αναφορών

Η ομάδα Cisco Talos Incident Response διούργησε δοκιμή για να διαπιστώσει πόσο αξιόπιστα τα σύγχρονα LLM (ChatGPT, Claude και Gemini) μπορούν να παράγουν τεχνικές αναφορές σχετικά με κυβερνο‑συμβάντα. Τα αποτελέσματα έδειξαν ότι ακόμη και οι πιο «επαγγελματικά» φαίνεταις έγγραφα περιέχουν πραγματικούς σφάλματα, αντιφάσεις και ασυνέπεια.

Πώς διεξήχθη η έρευνα
* Προετοιμασία – οι ερευνητές παρείχαν σε κάθε μοντέλο ακατέργαστες σημειώσεις για το συμβάν με την απαίτηση να συντάξει μια αναφορά.
* Έξοδος – τα τρία LLM παραδώσαν οπτικά πολυτελή έγγραφα, αλλά κατά λεπτομερή ανάλυση εντοπίστηκαν αδυναμίες και απροσδόκητα συμπεράσματα.

Ο Nate Pors, ανώτερος διευθυντής του τμήματος αντιμετώπισης συμβάντων στο Cisco Talos, περιέγραψε αναλυτικά τα αποτελέσματα στον εταιρικό blog.

Γιατί τα LLM «συμπαίνονται»
Η Cisco εξηγεί τα προβλήματα ως αποτέλεσμα της πιθανότητας των μοντέλων: προβλέπουν τη επόμενη λέξη βάσει στατιστικών βαρών, όχι κατανόησης νοήματος. Σύμφωνα με τον Pors, οι παραμορφώσεις εμφανίζονται σε τέσσερα πεδία:

1. Διαφορετικά τμήματα δεδομένων
Σε κάθε αίτηση το μοντέλο βασίζεται σε διαφορετικές ενότητες εισόδου, καθιστώντας αδύνατη την παραγωγή αναπαράγων και σταθερών αποτελεσμάτων.

2. Μη συμφωνούμενες συμπερασματικές προτάσεις
Τα ίδια δεδομένα μπορεί να οδηγήσουν σε διαφορές συστάσεων: μια αναφορά θα προτείνει υποχρεωτική αλλαγή κωδικών σε όλη την οργάνωση, ενώ άλλη μόνο στοχευμένες αλλαγές. Το μοντέλο συχνά παραμένει στη πρώτη δημιουργημένη σύσταση, ακόμη και αν δεν είναι κατάλληλη.

3. Μη τυπική δομή
Επειδή τα LLM σχηματίζουν κείμενο token προς token, τα τελικά έγγραφα μπορεί να έχουν διαφορετική δομή και μορφοποίηση, κάτι κρίσιμο σε περιβάλλον όπου απαιτούνται πρότυπα για τον έλεγχο ποιότητας.

4. Προβλήματα του παραθύρου συμφραζομένων
Όταν το όγκο των εισόδων υπερβαίνει το όριο συμφραζομένων, το μοντέλο μπορεί να «ξεχάσει» σημαντικές πληροφορίες από την αρχή της συνεδρίας και να παράγει απρόβλεπτα ή μιξμένα αποτελέσματα.

Τι σημαίνει για την κυβερνοασφάλεια
Η Cisco αναγνωρίζει ότι θεωρητικά θα μπορούσε να περιοριστεί η εργασία σε συγκεκριμένο τμήμα αναφοράς, αλλά αυτή η προσέγγιση στερεί τους χρήστες από εξοικονόμηση χρόνου. Στον τομέα της κυβερνο‑ασφάλειας ακόμη και ένα μικρό σφάλμα μπορεί να κοστίσει πολύ. Γι’ αυτό οι δημιουργοί των τελικών εγγράφων πρέπει να ελέγχουν προσεκτικά κάθε λέξη και να μην βασίζονται εντελώς στις συστάσεις του LLM.

Συμπέρασμα: τα μεγάλα γλωσσικά μοντέλα μπορούν να παράγουν γρήγορα αναφορές, αλλά τα συμπεράσματά τους απαιτούν υποχρεωτικό έλεγχο από ειδικούς για την αποφυγή σφαλμάτων και ασυνέπειας σε κρίσιμες καταστάσεις κυβερνο‑συμβάντων.