Auteurs : Sid Ravi (AI Research), Patrizio Cugia (Data Engineering)
Certains de nos premiers clients ont remarqué une étrange bizarrerie dans l'Inter-1. Lorsqu'ils lui transmettaient des vidéos dont l'audio manquait et lui demandaient de lire les signaux sociaux, il faisait occasionnellement quelque chose qui n'avait pas à le faire : citer quelqu'un. En silence, sans rien entendre, il rapporterait que la personne à l'écran avait dit "Ouais, vendredi à cinq heures".
Inter-1 est notre modèle pour lire la communication humaine à partir d'une vidéo. Vous lui remettez un court clip et il renvoie un jugement structuré : un état d'engagement global, un ensemble de signaux sociaux (accord, hésitation, scepticisme, confiance, etc.), chacun avec une justification fondée. Inter-1 est omnimodal. Il inspecte la vidéo, écoute l’audio et décide de manière globale de ce qui se passe.
Les modèles omnimodaux sont puissants précisément parce qu’ils fusionnent les modalités. Mais ils viennent avec leurs bizarreries. Lorsqu’une modalité disparaît, le modèle peut s’appuyer sur ce qu’il a appris pendant la formation pour combler l’écart. [1] [2] La vidéo sans audio est exactement ce genre d'écart, et "Ouais, vendredi à cinq heures" est ce qui est tombé dedans.
Pour traquer la source de ces gobelins, notre équipe a retourné toutes les pierres qu'elle a pu trouver. L’instinct, raisonnablement, était qu’une phrase aussi spécifique devait se trouver quelque part dans le pipeline avec lequel nous nous entraînions. Nous sommes allés le chercher partout où il pouvait vraisemblablement vivre.
| Où nous avons regardé | Sous-ensemble analysé | Ce que nous avons trouvé |
|---|---|---|
| Corpus de formation : mentions du jour de la semaine et de la date/heure | 30 960 enregistrements | Mardi (118) l'emporte sur vendredi (73). "Vendredi à cinq heures": 0. |
| Sondages d'inférence antérieurs contre Inter-1 | ~800 enregistrements générés | 0 occurrence. |
| Transcriptions vidéo | 4 603 relevés de notes | 0 occurrence de la phrase. |
| Des seaux de stockage intacts | 584 objets / 1,7 Gio | 0 hits textuels. |
| Balayage exhaustif des journaux et des phrases de stockage | 194 coups | La plupart des sources à chargement rapide ou connues. 20 semblable à une inférence. |
Nous nous sommes rapidement concentrés sur les données post-entraînement, car elles étaient l'un des coupables les plus probables. Le mot « vendredi »...
[Courte citation de 8% de l'article original]