ElevenLabs startet Realtime v1 Modelle für natürliche Sprachagenten-Konversationen
ElevenLabs ist bereit, die Entwicklung von Sprachagenten neu zu definieren, mit der Einführung seiner Eleven Realtime v1 Modelle, einer neuen Klasse von Speech-to-Speech-Modellen, die die Komplexität beim Aufbau natürlich klingender konversationeller KI eliminieren soll. Traditionell erforderte die Erstellung eines hochentwickelten Sprachagenten die Integration und Feinabstimmung separater Komponenten wie Spracherkennung, Sprachaktivitätserkennung, Gesprächsmanagement, große Sprachmodelle (LLMs) und Text-to-Speech-Systeme. Dieser Prozess ist oft zeitaufwendig und erfordert erhebliches Fachwissen. Eleven Realtime Modelle lösen diese Herausforderung, indem sie als vollständige, optimierte Sprachagenten für spezifische Anwendungsfälle fungieren und die Entwicklungspipeline straffen.
Vorstellung der Eleven Realtime v1 Modelle
Das neue Angebot umfasst zwei verschiedene Modelle: Eleven Realtime v1 Mini und Eleven Realtime v1 Max. Das v1 Mini ist für natürliche Konversationen zu geringeren Kosten positioniert und somit eine ideale Wahl für KI-Assistenten, Bildungswerkzeuge und interaktive Charaktere, die die meisten gängigen Anwendungsfälle abdecken. Für anspruchsvollere Anwendungen, die komplexe Aufgaben erledigen müssen, wie z. B. Kundensupport, Lead-Qualifizierung oder mehrstufige Arbeitsabläufe, wird der Eleven Realtime v1 Max empfohlen. Beide Modelle verfügen über eine umfassende Sprachunterstützung für über 90 Sprachen und können auf jede der über 17.000 Stimmen in der ElevenLabs-Bibliothek zugreifen.
Begründung hinter den Realtime-Modellen
ElevenLabs betont, dass Entwickler keine Konfigurationsexperten werden müssen, um effektive Sprachagenten zu erstellen. Die Nuancen natürlicher Konversationen – wie angemessene Pausendauern, Unterbrechungsbehandlung und die Synergie zwischen Stimme, Prompts und Modellen – sind entscheidend. Die ElevenAgents-Plattform bietet einstellbare Parameter für diese Elemente. Darüber hinaus ist Eleven Realtime für eine einfache Integration konzipiert, mit einer API, die mit der Realtime API von OpenAI kompatibel ist. Entwickler können zu Eleven Realtime wechseln, indem sie einfach den Endpunkt und den Modellnamen in ihrem bestehenden Code aktualisieren.
Leistung und Benchmarks
Artificial Analysis hat die Leistung beider Realtime v1 Modelle anhand mehrerer öffentlicher Benchmarks bewertet. Bei Big Bench Audio, das Sprachverständnis testet, erreichte v1 Max eine beeindruckende Genauigkeit von 98,8 %, während v1 Mini 75,9 % erzielte. In Bezug auf die Geschwindigkeit reagierte v1 Max im Durchschnitt in 0,57 Sekunden und v1 Mini in 0,62 Sekunden. Diese Ergebnisse unterstreichen die starke Leistung von v1 Max sowohl bei der Genauigkeit als auch bei der Geschwindigkeit und adressieren den typischen Kompromiss zwischen beiden Metriken. Für Konversationsdynamiken, getestet auf Full-Duplex-Bench (Bewertung von Pausen, Gesprächsmanagement und Unterbrechungen), erzielte v1 Mini 95,8 % und v1 Max 94,1 %. In der Speech Agent Arena, wo menschliche Teilnehmer Modelle in Blindgesprächen vergleichen, erhielt v1 Max 998 Punkte und v1 Mini 988 Punkte. Bei Werkzeugnutzungsaufgaben zeigte v1 Max überlegene Fähigkeiten und erledigte 87,1 % der Aufgaben im Vergleich zu 60,3 % bei v1 Mini, was seine Eignung für komplexe Arbeitsabläufe mit Werkzeugaufrufen unterstreicht.
Erste Schritte mit Eleven Realtime
Entwickler können die Realtime-Modelle über die ElevenAgents-Plattform nutzen, indem sie ein Realtime-Modell aus einem Dropdown-Menü auswählen. Dies bietet Zugriff auf Produktionsbereitstellungsfunktionen, einschließlich Unterstützung für verschiedene Kanäle (Telefon, Web, WhatsApp, CCaaS), Workflow-Management, Wissensdatenbanken, Schutzmaßnahmen, Test- und Überwachungswerkzeuge. Umfassende Dokumentation ist in den ElevenAgents Docs verfügbar.
Für diejenigen mit bestehenden Integrationen, die die Realtime API von OpenAI verwenden, ist die Migration unkompliziert. Durch Ändern des WebSocket-Endpunkts auf wss://api.elevenlabs.io/v1/convai/realtime und Angabe des gewünschten Modells (z. B. eleven_realtime_v1_mini) können Entwickler ihren aktuellen Code nutzen. Es ist wichtig zu beachten, dass die Realtime API ausschließlich über WebSocket funktioniert und daher alle WebRTC-Integrationen zuerst migriert werden müssen. Diese API arbeitet unabhängig von der vollständigen ElevenAgents-Plattform. Benutzer, die Plattformfunktionen benötigen, sollten daher direkt auf ElevenAgents aufbauen.
