Η Xiaomi παρουσίασε το OmniVoice – ένα ανοιχτό μοντέλο AI που μπορεί να φωνάζει κείμενα σχεδόν σε όλες τις γλώσσες και να αντιγράφει φωνές.

Η Xiaomi παρουσίασε το ανοιχτό AI‑module OmniVoice

Η εταιρεία ανακοίνωσε την εκκίνηση του μοντέλου τεχνητής νοημοσύνης OmniVoice, που μετατρέπει κείμενο σε ομιλία. Εκτός από τη σύνθεση φωνής σε εκατοντάδες γλώσσες, το μοντέλο μπορεί να κλωνοποιεί φωνή και να παράγει προφορά με εξατομικευμένες ρυθμίσεις.

Τι νέο υπάρχει στο OmniVoice;
Προβολές Περιγραφή Γλώσσες Υποστήριξη περισσότερες από 200 γλωσσών, συμπεριλαμβανομένων σπάνιων και δύσκολα εκπαιδεύσιμων. Ακόμη και με λιγότερα από 10 ώρες δεδομένων το μοντέλο παράγει ομιλία «σχεδόν σε οποιαδήποτε γλώσσα». Σε δοκιμές με 102 γλώσσες η σαφήνεια της ομιλίας ήταν συγκρίσιμη με την ανθρώπινη, και σε κάποιες περιπτώσεις υπερέβαλε. Σε 24 γλώσσες το μοντέλο ξεπέρασε αρκετά εμπορικά συστήματα όσον αφορά τη σύμφωνη και σαφήνεια. Αρχιτεκτονική Ελαφριά διμερή μετασχηματιστής χωρίς ενδιάμεσα τμήματα πρόβλεψης token. Αυτό μειώνει το χρόνο εκπαίδευσης σε μία ημέρα για 100 000 ώρες δεδομένων και αυξάνει την ταχύτητα inference (έως 40× πραγματικού χρόνου στο PyTorch). Τεχνολογίες • «Τυχαία απόκρυψη ακουστικών κωδίκων» – επιταχύνει την εκπαίδευση. • Σύνδεση μεγάλης γλωσσικής μοντέλου κατά τη προεκπαίδευση βελτιώνει την προφορά και σαφήνεια.

Πρακτικές δυνατότητες
1. Κλωνοποίηση φωνής

- Παραγωγή ομιλίας με τις περιγραφόμενες χαρακτηριστικά (ηλικία, φύλο, τόνος, акцент, διάλεκτος).

- Δυνατότητα δημιουργίας ψιθύρου και άλλων στυλιστικών παραλλαγών χωρίς αναφορά ήχου.

2. Επεξεργασία αρχικών εγγραφών

- Αφαίρεση θορύβου και εξαγωγή καθαρών χαρακτηριστικών φωνής ακόμη από μη ιδανικά αρχεία.

3. Διαχείριση εντονιάς

- Προσθήκη αναπνοών, γέλιου και άλλων λεπτομερειών για πιο φυσική ήχηση.

4. Ακριβής διόρθωση προφοράς

- Χειροκίνητη ρύθμιση σύνθετων φωνητικών, π.χ. πολυφωνικών κινέζικων χαρακτήρων ή αγγλικών ιδιωτικών ονομάτων.

Συμπεράσματα
Το OmniVoice αποτελεί ανταγωνιστική εναλλακτική για τα υπάρχοντα εμπορικά συστήματα σύνθεσης φωνής. Χάρη στον απλό σχεδιασμό, την υψηλή ταχύτητα εκπαίδευσης και inference, καθώς και τις ευρείες δυνατότητες προσαρμογής, το μοντέλο είναι έτοιμο για ενσωμάτωση σε καταναλωτικές εφαρμογές και υπηρεσίες.