Η Apple αναπτύσσει έναν δικό της AI‑assistant για το iPhone, ικανό να ξεκινάει εφαρμογές εκ μέρους του χρήστη

Η Apple αναπτύσσει έναν συμπαγή τοπικό AI‑επαγγελματία για την εργασία με διεπαφές χρήστη

Η Apple εργάζεται πάνω σε νέο αλγόριθμο – Ferret‑UI Lite, ο οποίος μπορεί να «κατανοεί» τις διεπαφές των εφαρμογών και να αλληλεπιδράει μαζί τους εκ μέρους του χρήστη, αλλά όλα αυτά συμβαίνουν στη συσκευή. Το μοντέλο έχει 3 milliard παραμέτρους και στις δοκιμές δείχνει αποτελέσματα συγκρίσιμα ή ακόμη καλύτερα από μεγάλα μοντέλα που είναι έως και 24 φορές μεγαλύτερα.

Αιτίες του έργου
Τον Δεκέμβριο του 2023, μια ομάδα εννέα ερευνητών δημοσίευσε την εργασία FERRET: Refer and Ground Anything Anywhere at Any Granularity. Σε αυτή παρουσιάστηκε ένα πολυμορφικό γλωσσικό μοντέλο που εκπαιδεύεται σε διάφορους τύπους δεδομένων και μπορεί να συνδέει κείμενα με συγκεκριμένα τμήματα εικόνας.

Από τότε η Apple επέκτεινε την οικογένεια των μοντέλων Ferret:

Το Ferret‑UI, συγκεκριμένα, αντιμετωπίζει ένα από τα προβλήματα των σύγχρονων πολυμορφικών μεγάλων γλωσσικών μοντέλων (MLLM): δεν αναγνωρίζουν καλά τα στοιχεία UI. Το μοντέλο προσθέτει «τυχαία ανάλυση» πάνω στο Ferret, βελτιώνοντας τη λεπτομέρεια των εικόνων και χρησιμοποιώντας ενισχυμένα οπτικά χαρακτηριστικά.

Νέες επιτεύξεις
Πρόσφατα η Apple παρουσίασε δύο πρόσθετες εκδόσεις:

1. Ferret‑UI Lite – ελαφρύ μοντέλο με 3 milliard παραμέτρους, βελτιστοποιημένο για τοπική εκτέλεση σε κινητές συσκευές.

2. Ferret‑UI 2 – επεκτεταμένη έκδοση που υποστηρίζει πολλαπλές πλατφόρμες και υψηλότερη ανάλυση στιγμιοτύπων.

Η κύρια διαφορά του Ferret‑UI Lite από τα μεγάλα μοντέλα σε server είναι ότι παραμένει ανταγωνιστικό, ενώ απαιτεί σημαντικά λιγότερους υπολογιστικούς πόρους.

Γιατί αυτό είναι σημαντικό
Οι περισσότερες υπάρχουσες GUI‑επαγγελματικές βασίζονται σε τεράστια θεμέλια μοντέλα, επειδή οι ισχυρές δυνατότητες τους για συλλογισμό και σχεδιασμό επιτρέπουν εξαιρετικά αποτελέσματα στην πλοήγηση γραφικών διεπαφών. Ωστόσο, αυτά τα μοντέλα είναι πολύ βαριά για εκτέλεση απευθείας στη συσκευή.

Το Ferret‑UI Lite αντιμετωπίζει αυτό το πρόβλημα συνδυάζοντας:

- Πολλαπλά βασικά στοιχεία και ιδέες από την εκπαίδευση μικρών LLM;
- Πραγματικά και συνθετικά δεδομένα από διάφορους τομείς GUI;
- Τεχνικές δυναμικής περικοπής και βελτιστοποίησης ποιότητας διαχωρισμού διεπαφής;
- Ελεγχόμενη λεπτομερή προσαρμογή και εκμάθηση με ενίσχυση.

Το αποτέλεσμα είναι ένα μοντέλο που σχεδόν ισοδυναμεί ή ακόμη υπερβαίνει τα μεγαλύτερα ανταγωνιστικά GUI‑επαγγελματικά σε εργασίες χαμηλού επιπέδου συνδέσεων με στοιχεία UI, κατανόηση του τι συμβαίνει στην οθόνη, πολυ-βήμα σχεδιασμού και αυτοανάλυση.