Données de sécurité ouvertes pour la prochaine génération d'intelligence personnelle

Inflection AI et Alice publient un ensemble de données de "red-teaming" multi-tours qui capture comment les risques émotionnels peuvent s'accumuler au fil de longues conversations avec une IA. La publication de cet ensemble de données est notre première contribution conjointe à une couche de sécurité ouverte et partagée pour l'IA conversationnelle. En post-entraînant NVIDIA Nemotron 3 Super avec des données dérivées du nouvel ensemble de données, nous avons pu créer un modèle personnalisé avec un score de sécurité qui a augmenté de 0,56 à 0,73 pour ces cas d'utilisation, sur des conversations de test qu'il n'a jamais vues lors de l'entraînement, tandis que le modèle post-entraîné a refusé des requêtes inoffensives lors de seulement 1,6 % des tours.

Détails

De l'IA transactionnelle à l'IA relationnelle, et pourquoi les tests de sécurité doivent suivre. Les assistants IA apprennent à parler comme les humains : lire le ton, reconnaître quand vous avez terminé une pensée, et suivre lorsque vous interrompez. Cela les rend beaucoup plus utiles, et cela signifie aussi que les gens commencent à les traiter davantage comme des personnes. La plupart des outils de sécurité sur lesquels l'industrie s'appuie ont été construits pour détecter une réponse nuisible à une seule invite.

Contexte

Cela dit très peu sur ce qui se passe au fil des semaines de conversation. Inflection AI construit deux piles ensemble pour notre système de nouvelle génération. Sa couche conversationnelle gère les échanges d'une conversation vocale, tandis que les agents et d'autres modèles exécutent des tâches en arrière-plan. Cette couche fonctionne sur des modèles ouverts, y compris NVIDIA Nemotron 3 Super, et est maintenue séparée des systèmes sous-jacents, afin que nous puissions choisir le bon modèle pour chaque tâche.

Impact

La seconde est une pile de sécurité et d'alignement qui doit suivre le rythme de la première. Le "red-teaming" contradictoire d'Alice l'informe, et nous pensons qu'elle devrait être partagée. Pourquoi cela doit être ouvert. De plus en plus d'IA conversationnelles sont construites sur des modèles ouverts, souvent par des équipes sans groupe de recherche dédié à la sécurité. Les modèles ouverts donnent à ces équipes quelque chose que les modèles fermés n'offrent pas : la capacité d'intégrer directement le comportement de sécurité dans le modèle qu'elles déploient, au lieu de se fier uniquement aux instructions dans une invite.

Prochaines étapes

Ce qui leur manque généralement, ce sont les données contradictoires pour l'entraînement. Ces données et les évaluations qui les accompagnent restent principalement au sein des entreprises individuelles, de sorte que chaque nouvelle équipe recommence. Les chercheurs ont commencé à publier des évaluations multi-tours pour les risques liés à la santé mentale et aux relations, et cette publication s'ajoute à ce travail. Les chercheurs à qui nous avons parlé nous disent que ce type de données contradictoires et multi-tours est ce dont ils ont besoin et qu'ils obtiennent rarement.

Antécédents

Ce que nous publions. L'ensemble de données provient du "red-teaming" d'Alice sur une version de recherche "sandbox" de l'Intelligence Personnelle d'Inflection AI, Pi, exécutée avec ses garde-fous de sécurité habituels désactivés afin que les échecs apparaissent dans le modèle lui-même. Il ne contient aucune donnée utilisateur réelle et a été entièrement isolé des systèmes de production d'Inflection AI et de Pi. Alice a créé plus de 20 personas, chacune avec sa propre histoire, personnalité et comportement.

Analyse

Certains représentent des personnes vulnérables dérivant vers le risque. D'autres sont des adversaires modélisés sur des tactiques d'acteurs malveillants du monde réel. Chaque conversation commence par une demande ordinaire et escalade un pas à la fois : soulever le sujet risqué, puis dépasser le premier refus, et ainsi de suite. Les deux côtés de chaque tour sont enregistrés et notés par rapport à la politique de sécurité d'Inflection AI.

Plus d'informations

La publication comprend les invites d'Alice et les réponses du modèle avec ses garde-fous de sécurité habituels désactivés. Les réponses ont été sélectionnées car elles montrent ce qu'un modèle ne devrait pas dire. Cet ensemble de données est précieux pour l'entraînement et les tests, et il n'est pas représentatif de ce que les utilisateurs de Pi expérimentent. L'accès aux données est restreint aux chercheurs et aux développeurs et s'accompagne d'un avertissement de contenu.