ElevenLabs lance ses modèles Realtime v1 pour des conversations vocales d'agents naturelles
ElevenLabs s'apprête à redéfinir le développement d'agents vocaux avec le lancement de ses modèles Eleven Realtime v1, une nouvelle catégorie de modèles Speech-to-Speech conçus pour éliminer la complexité de la création d'IA conversationnelles au son naturel.
Traditionnellement, la création d'un agent vocal sophistiqué impliquait l'intégration et le réglage fin de composants distincts tels que la reconnaissance vocale, la détection d'activité vocale, la logique de prise de parole, les grands modèles linguistiques (LLM) et les systèmes de synthèse vocale. Ce processus est souvent long et nécessite une expertise considérable. Les modèles Eleven Realtime relèvent ce défi en agissant comme des agents vocaux complets et optimisés pour des cas d'utilisation spécifiques, rationalisant ainsi le pipeline de développement.
Présentation des modèles Eleven Realtime v1
La nouvelle offre comprend deux modèles distincts : Eleven Realtime v1 Mini et Eleven Realtime v1 Max. Le v1 Mini est positionné pour des conversations naturelles à moindre coût, ce qui en fait un choix idéal pour les assistants IA, les outils éducatifs et les personnages interactifs, répondant aux cas d'utilisation les plus courants. Pour les applications plus exigeantes nécessitant l'accomplissement de tâches complexes, telles que le support client, la qualification de prospects ou les flux de travail en plusieurs étapes, l'Eleven Realtime v1 Max est recommandé. Les deux modèles bénéficient d'une prise en charge linguistique étendue, capables de gérer plus de 90 langues, et peuvent exploiter n'importe laquelle des plus de 17 000 voix disponibles dans la bibliothèque ElevenLabs.
Raison d'être des modèles Realtime
ElevenLabs souligne que les développeurs ne devraient pas avoir à devenir des experts en configuration pour créer des agents vocaux efficaces. Les nuances de la conversation naturelle, telles que les durées de pause appropriées, la gestion des interruptions et la synergie entre la voix, les invites et les modèles, sont essentielles. La plateforme ElevenAgents fournit des paramètres ajustables pour ces éléments. De plus, Eleven Realtime est conçu pour une intégration facile, avec une API compatible avec l'API Realtime d'OpenAI. Les développeurs peuvent passer à Eleven Realtime en mettant simplement à jour le point de terminaison et le nom du modèle dans leur code existant.
Performances et benchmarks
Artificial Analysis a évalué les performances des deux modèles Realtime v1 sur plusieurs benchmarks publics. Dans Big Bench Audio, qui teste le raisonnement vocal, v1 Max a atteint une précision impressionnante de 98,8 %, tandis que v1 Mini a obtenu 75,9 %. En termes de vitesse, v1 Max a répondu en moyenne en 0,57 seconde, et v1 Mini en 0,62 seconde. Ces résultats soulignent les solides performances de v1 Max en matière de précision et de vitesse, abordant le compromis typique entre ces deux métriques.
Pour la dynamique conversationnelle, testée sur Full-Duplex-Bench (évaluant les pauses, la prise de parole et les interruptions), v1 Mini a obtenu 95,8 % et v1 Max 94,1 %. Dans la Speech Agent Arena, où des participants humains comparent des modèles dans des conversations à l'aveugle, v1 Max a reçu 998 points et v1 Mini 988 points. Pour les tâches d'utilisation d'outils, v1 Max a démontré une capacité supérieure, accomplissant 87,1 % des tâches par rapport aux 60,3 % de v1 Mini, renforçant ainsi son aptitude pour les flux de travail complexes impliquant l'invocation d'outils.
Premiers pas avec Eleven Realtime
Les développeurs peuvent commencer à utiliser les modèles Realtime via la plateforme ElevenAgents en sélectionnant un modèle Realtime dans un menu déroulant. Cela donne accès aux fonctionnalités de déploiement en production, y compris la prise en charge de divers canaux (téléphone, web, WhatsApp, CCaaS), la gestion des flux de travail, les bases de connaissances, les garde-fous, les outils de test et de surveillance. Une documentation complète est disponible dans la documentation ElevenAgents.
Pour ceux qui ont des intégrations existantes utilisant l'API Realtime d'OpenAI, la migration est simple. En modifiant le point de terminaison WebSocket en wss://api.elevenlabs.io/v1/convai/realtime et en spécifiant le modèle souhaité (par exemple, eleven_realtime_v1_mini), les développeurs peuvent exploiter leur code actuel. Il est important de noter que l'API Realtime fonctionne exclusivement via WebSocket, nécessitant la migration préalable de toute intégration WebRTC. Cette API fonctionne indépendamment de la plateforme ElevenAgents complète, donc les utilisateurs ayant besoin des fonctionnalités de la plateforme devraient construire directement sur ElevenAgents.
