DeepSWE : Claude n'est pas aussi doué qu'on ne le pensait en codage, il a triché !  

Ny Ando A. - LeBigData - 28/05
Selon ce nouveau benchmark de codage baptisé DeepSWE, Claude d’Anthropic et Gemini de Google sont distancés de très loin par GPT d’OpenAI.

Pour beaucoup, peu importe le modèle choisi, les performances des IA en codage sont plus ou moins identiques. Ce qui est compréhensible. Après tout, les grands benchmarks actuels nous induisent en erreur.

Ces épreuves donnaient l’impression que tous les modèles jouaient dans la même cour. Et pourtant, non. Selon ce nouveau benchmark de codage baptisé DeepSWE, Claude d’Anthropic et Gemini de Google sont distancés de très loin par GPT d’OpenAI.

 

DeepSWE : un nouveau benchmark de codage qui vient nous ouvrir les yeux

Développé par la startup Datacurve, DeepSWE teste les agents IA sur 113 tâches. Ces dernières sont réparties sur 91 dépôts open source et cinq langages de programmation.

Contrairement à de nombreux benchmarks existants, celui-ci...
[Courte citation de 8% de l'article original]

Loading...