Benchmark IA "LARA" : Quand l’IA obéit trop, la conformité dérape...

Les agents IA promettent d’automatiser les processus métiers. Mais une nouvelle série de tests montre que les grands modèles restent capables de dériver vers la collecte abusive de données, la manipulation d’utilisateurs ou le profilage interdit.

Jusqu’ici, les benchmarks d’IA avaient une obsession : savoir quel modèle raisonne le mieux, code le plus juste, calcule le plus vite ou répond avec le plus de pertinence. MMLU, GPQA, SWE-Bench, AIME, Humanity’s Last Exam… Les benchmarks se sont multipliés pour évaluer le potentiel des modèles, leur intelligence, par rapport aux autres IA et par rapport à l’humain.Mais tous ignorent une préoccupation qu’aucun DSI ne peut lui ignorer : « ce modèle se comporte-t-il légalement lorsqu’on le branche à des outils métiers, des bases clients et des historiques RH ? ».

La question impose de ne plus seulement mesurer l’intelligence apparente d’un modèle, mais son comportement dans des scénarios réalistes, juridiquement sensibles, proches de ceux que les entreprises commencent à lui confier.

C’est précisément le vide que vient combler LARA (Legal Assessment for Real-world Agents), un outil développé par la fondation Aithos, organisation néerlandaise à but non lucratif. Plutôt que d’évaluer la performance brute, LARA place les modèles dans des simulations agentiques réalistes – un agent de servic...
[Courte citation de 8% de l'article original]