Οι ρομπότ AI χάνουν αποτελεσματικότητα σε μακρές συνομιλίες με ανθρώπους – μια μεγάλη έρευνα της Microsoft το επιβεβαίωσε.

Μελέτη της Microsoft Research και της Salesforce: πώς οι μεγάλες μοντέλα AI χάνουν την κατεύθυνση σε διαλόγους

Τι μελετήθηκε Ποια μοντέλα 200 000+ πολυ-βήμα συνομιλίες με κορυφαία LLM GPT‑4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, OpenAI o3, DeepSeek R1, Llama 4

Κύριοι συμπεράσματα
Δείκτης Αποτέλεσμα Ακρίβεια σε ενιαίες ερωτήσεις 90 % σωστές απαντήσεις (GPT‑4.1, Gemini 2.5 Pro) Ακρίβεια σε μακριές συνομιλίες ~65 % – η αποτελεσματικότητα πέφτει σχεδόν τριπλάσει Συμπεριφορά μοντέλου Συχνά «επαναχρησιμοποιεί» την πρώτη λανθασμένη απάντηση ως βάση για τις επόμενες ανταποκρίσεις Μήκος απάντησης Αυξάνεται κατά 20‑300 % σε πολυ-βήμα συνομιλίες, οδηγώντας σε αύξηση ψευδαισθήσεων και υποθέσεων Αξιοπιστία Μειώνεται στο 112 % (τα μοντέλα «προκατασκευάζουν» απάντηση πριν ολοκληρώσουν την ερώτηση)

Γιατί συμβαίνει αυτό;
1. Επαναχρησιμοποίηση λανθασμένης βάσης

Το μοντέλο βασίζεται στην πρώτη του εξήγηση και οικοδομεί τις επόμενες απαντήσεις πάνω σε αυτή, ακόμη κι αν είναι λάθος.

2. Αύξηση του συμφραζομένου

Με κάθε νέο ερώτημα προστίθεται περισσότερο κείμενο – αυτό αυξάνει τον αριθμό «εφευρεμένων» γεγονότων που το μοντέλο θεωρεί ως πραγματικότητα.

3. Πρόβλημα με τα “τοκέν της σκέψης”

Ακόμη και μοντέλα με επιπλέον “τοκέν” (o3, DeepSeek R1) δεν κατάφεραν να ξεπεράσουν την παγίδα – εξακολουθούν να παράγουν απαντήσεις πολύ νωρίς και χωρίς επαρκή ανάλυση.

Τι σημαίνει αυτό για τους χρήστες;
- Χαμηλή αξιοπιστία σε πραγματικές συνομιλίες

Η AI μπορεί να «χάσει» το θέμα, αρχίζοντας να μιλάει για μη υπαρκτά πράγματα.

- Κίνδυνος λανθασμένων πληροφοριών

Η απόρριψη των παραδοσιακών μηχανών αναζήτησης προς όφελος γεννητικών εργαλείων (π.χ., Google‑AI reviews) αυξάνει την πιθανότητα λήψης ακατάλληλων δεδομένων.

- Σημασία ποιοτικών υποδείξεων

Η Microsoft είχε προηγουμένως επισημάνει χαμηλό επίπεδο μηχανικής κατά τη δημιουργία ερωτήσεων. Ανεπιτυχείς ερωτήσεις και «κακές» υποδείξεις μπορεί να είναι η αιτία που η AI δεν αποκαλύπτει το δυναμικό της.

Συμπέρασμα
Η τεχνολογία των μεγάλων γλωσσικών μοντέλων βρίσκεται ακόμη σε φάση ανάπτυξης. Αν και δείχνουν υψηλή ακρίβεια σε ενιαίες ερωτήσεις, η αξιοπιστία τους σε πολυ-βήμα διαλόγους παραμένει πρόβλημα. Για ασφαλή και αποτελεσματική χρήση της AI είναι σημαντικό:

1. Να γράφετε σαφείς, συγκεκριμένες ερωτήσεις.
2. Να είστε έτοιμοι να διορθώνετε τις απαντήσεις του μοντέλου.
3. Μην βασίζεστε εντελώς στο γεννητικό περιεχόμενο χωρίς επαλήθευση των fact.

Στο τέλος, η βελτίωση των μοντέλων και η αύξηση της ανθεκτικότητάς τους σε μακροπρόθεσμες συνομιλίες είναι το κλειδί για να γίνει η AI αξιόπιστος συνεργάτης για τους χρήστες.