Les startups trouvent les puces IA d'Amazon « moins compétitives » que les GPU Nvidia, selon un document interne

Amazon compte sur ses puces d’IA internes pour alimenter sa prochaine phase de croissance rentable. Un document interne récent montre que le géant du cloud est toujours en train de rattraper les GPU dominants de Nvidia.

La startup d'IA Cohere a découvert que les puces Trainium 1 et 2 d'Amazon étaient « sous-performantes » par rapport aux GPU H100 de Nvidia, selon un document interne « confidentiel » d'Amazon de juillet, obtenu par Business Insider. Cohere a rapporté que l'accès à Trainium 2 était "extrêmement limité" et en proie à de fréquentes interruptions de service, note également le document.

Les "défis de performances" de Cohere faisaient toujours l'objet d'une enquête de la part d'Amazon et de son groupe de puces Annapurna Labs, mais les progrès sur ces questions étaient "limités", indique le document officiel.

Stability AI, une startup bien connue qui génère des images d'IA, avait des préoccupations similaires. Il a conclu que les puces Trainium 2 d'Amazon étaient moins performantes que les GPU H100 de Nvidia en termes de latence, les rendant « moins compétitives » en termes de vitesse et de coût, prévient également le document.

Un ingrédient essentiel

Les puces Trainium d'Amazon sont un élément essentiel des efforts de l'entreprise pour rivaliser dans la course au cloud IA. Le premier succès d'Amazon Web Services, en particulier sa rentabilité, reposait sur la conception de ses propres puces de cent...
[Courte citation de 8% de l'article original]