Xiaomi hat OmniVoice gestartet – ein offenes KI-Modell, das Texte in praktisch allen Sprachen vorlesen und Stimmen kopieren kann.

Xiaomi hat das offene KI-Modul OmniVoice vorgestellt

Das Unternehmen kündigte die Einführung des KI-Modells OmniVoice an, das Text in Sprache umwandelt. Neben der Sprachsynthese in Hunderten von Sprachen kann das Modell Stimmen klonen und Aussprache mit benutzerdefinierten Einstellungen generieren.

Was ist neu bei OmniVoice?
KennzahlBeschreibungSprachenUnterstützung von über 200 Sprachen, einschließlich seltener und schwer zu trainierender. Selbst bei weniger als 10 Stunden Daten liefert das Modell „fast in jeder Sprache“ eine Stimme.QualitätBei Tests mit 102 Sprachen war die Sprachverständlichkeit vergleichbar mit der menschlichen, in einigen Fällen sogar überlegen. Auf 24 Sprachen übertraf das Modell mehrere kommerzielle Systeme hinsichtlich Ähnlichkeit und Verständlichkeit.ArchitekturVereinfachtes bidirektionales Transformer-Netz ohne Zwischenschichten zur Token-Vorhersage. Dadurch reduziert sich die Trainingszeit auf einen Tag bei 100 000 Stunden Daten und die Inferenzgeschwindigkeit steigt (bis zu 40× Echtzeit in PyTorch).Technologien• „Zufälliges Verbergen akustischer Codes“ beschleunigt das Training.• Die Einbindung eines großen Sprachmodells beim Vortraining verbessert Aussprache und Verständlichkeit.

Praktische Möglichkeiten
1. Stimmenklonierung

- Generierung von Sprache anhand beschriebenen Merkmalen (Alter, Geschlecht, Ton, Akzent, Dialekt).

- Möglichkeit, Flüstern und andere stilistische Varianten ohne Referenzaudio zu erstellen.

2. Verarbeitung von Ausgangsaufnahmen

- Rauschunterdrückung und Extraktion sauberer Stimmmerkmale auch aus nicht idealen Dateien.

3. Intonationssteuerung

- Hinzufügen von Atemzügen, Lachen und anderen Nuancen für ein natürlicheres Klangbild.

4. Präzise Aussprachekorrektur

- Manuelle Anpassung komplexer Laute, z. B. mehrdeutiger chinesischer Schriftzeichen oder englischer Eigennamen.

Ergebnisse
OmniVoice stellt eine wettbewerbsfähige Alternative zu bestehenden kommerziellen Sprachsynthesesystemen dar. Durch ein einfaches Design, hohe Trainings- und Inferenzgeschwindigkeit sowie umfangreiche Anpassungsmöglichkeiten ist das Modell bereit für die Integration in Verbraucheranwendungen und -dienste.