Pouvez-vous battre un LLM ? Construire des humains contre le dernier examen de l'humanité

DEV - 01:05
Découvrez Humans vs HLE, une application de quiz qui vous oppose à des modèles pionniers lors du dernier examen de l'humanité, y compris ce qu'elle fait, comment elle est fabriquée, sa notation côté serveur imbattable, son classement des objets durables, sa configuration locale, et bien plus encore.

Les modèles Frontier écrasent les benchmarks les uns après les autres... j'ai donc créé un quiz pour poser cette question simple mais humiliante : un humain peut-il encore les battre ?

Humans vs. HLE est un quiz en ligne qui vous oppose à des modèles d'IA de pointe lors du dernier examen de l'humanité. HLE est une référence de questions académiques de niveau expert conçues pour être incroyablement difficiles. Vous répondez à une série de questions à choix multiples (si vous en manquez 4, vous êtes éliminé et le quiz se termine !) et votre score est comparé à la fois aux performances des meilleurs modèles sur le même matériau et à ceux d'autres humains qui ont répondu à ce quiz via un classement humain persistant.

Spoiler : c'est plus difficile qu'il n'y paraît.

Ce que ça fait

  • Questions de niveau expert ! Tirées de l’ensemble de données HLE, ce ne sont pas des questions triviales car elles sont conçues pour dérouter même les modèles...
    [Courte citation de 8% de l'article original]