L'état de l'art en matière d'IA open source pour les tâches juridiques suisses

Si vous avez besoin d'un LLM ouvert pour un travail juridique suisse en allemand, français ou italien, il n'y a pas de meilleur modèle unique en 2026. Nous avons évalué 13 modèles ouverts sur trois références juridiques suisses, 55 861 échantillons notés chacun, et les cinq premiers terminent à moins de 2,1 points sur notre score composite.

Le modèle qui gagne globalement n’est pas le meilleur traducteur. Et le meilleur traducteur est l’un des plus faibles pour les questions de droit à choix multiples. La bonne question n’est donc pas « quel modèle ouvert est le meilleur » mais « le meilleur dans quoi ».

Cet article s'adresse à tous ceux qui décident quel modèle ouvert exécuter sur le texte juridique suisse, et à tous ceux qui souhaitent connaître les chiffres actuels plutôt que les vibrations. Tous les résultats proviennent d'une seule exécution complète : les sorties brutes sont disponibles dans le compartiment public Hugging Face, et leexécuter.pyLe point d'entrée reproduit chaque numéro ci-dessous.

TL;DR : choisissez GLM 5.2 pour la traduction, Nemotron ou une variante DeepSeek V4 pour le résumé et le raisonnement juridique ouvert, et Gemma 4 31B pour le déploiement local. Gemma obtient un score global de 54,8 et est en tête du benchmark MCQ ; il s'adapte au matériel local tandis que chaque modèle au-dessus est un MoE beaucoup plus important servi dans le cloud.

Le Nemotron 3 Ultra 550B de NVIDIA est en tête du composite avec 59,0. Mais Kimi K2.6 (58,6), DeepSeek V4 Pro (58,3), DeepSeek V4 Flash (57,3) et MiniMax M3 (56,9) ne traînent que de 0,4, 0,7, 1,7 et 2,1 points.

Les cinq premiers sont effectivement à égalité. Un bootstrap au niveau de la tâche sur les mêmes fichiers de résultats (10 000 rééchantillons dans chaque famille de référence) donne des intervalles de 95 % avec des demi-largeurs d'environ 3,2 à 3,6 points, plus larges que l'écart de 2,1 points entre le premier et le cinquième. Cette incertitude est également cohérente avec les récents travaux du LLM en tant que juge : JudgeSense constate que des reformulations rapides équivalentes peuvent renverser les décisions des juges, et Li et al. montrent que les juges basés sur les scores changent en fonction des perturbations de la rubrique et de la réponse de référence. Le composite comprend en moyenne quatre groupes de tâches (résumé SLDS, questions ouvertes LEXam, traduction et QCM), chacun sur une échelle de 0 à 100.

L'écart ne devient décisif que plus bas, à une exc...
[Courte citation de 8% de l'article original]