Bob McGrew estime que la progression des grands modèles est un processus très lent. Par exemple, le GPT-5 pourrait être seulement dix fois plus puissant que le GPT-4 et ne sera pas aussi important que les générations de modèles précédentes. Il prédit que la qualité des futurs modèles vidéo sera considérablement améliorée et que des films primés entièrement générés par l’IA pourraient apparaître d’ici deux ans. Il pense également que la robotique sera monnaie courante d’ici cinq ans et pense que c’est le bon moment pour créer une entreprise de robotique.
Dans le domaine de l’intelligence artificielle, peu de personnes sont plus visibles que Bob McGrew. En tant qu'ancien directeur de la recherche d'OpenAI, McGrew a joué un rôle clé dans la réalisation de percées dans la technologie de l'IA au cours des six dernières années et demie. Mercredi, plus d'un mois après avoir quitté OpenAI, McGrew a accordé une rare interview au monde extérieur.
Le 18, heure locale, Bob McGrew a discuté de l'avenir de l'IA dans le podcast RedPoint AI, notamment si les grands modèles ont rencontré des goulots d'étranglement, comment les robots et les vidéos d'IA se développeront à l'avenir, et d'autres problèmes.
McGrew a d'abord répondu au débat actuel sur la question de savoir si les capacités des grands modèles ont atteint leurs limites. Il estime qu'il y a encore beaucoup de place à l'amélioration dans les grands modèles, mais qu'il s'agit d'un processus lent qui prend plusieurs années pour s'améliorer.
Il a souligné qu'il existe une grande différence entre la vision du monde extérieur sur les capacités du modèle et la vision à l'intérieur du laboratoire. Pour le monde extérieur, le développement de grands modèles peut sembler un processus rapide, mais pour les initiés du laboratoire, chaque progrès nécessite l’investissement d’énormes ressources informatiques. Par exemple, de GPT-3 à GPT-4, la puissance de calcul a été multipliée par 100. Cette croissance provient non seulement de l’ajout de puces et de centres de données supplémentaires, mais également d’améliorations des algorithmes.
McGrew a souligné que les progrès en matière de pré-formation nécessitent une énorme quantité de puissance de calcul, ce qui implique souvent la construction de nouveaux centres de données, ce qui est un processus lent. Il a mentionné qu'au cours du processus d'évolution de GPT-4 à GPT-5, les capacités de GPT n'auraient pu être multipliées que par 10.
McGrew prédit également que la qualité des futurs modèles vidéo sera considérablement améliorée et que des films primés entièrement générés par l'IA pourraient apparaître d'ici deux ans et que le coût diminuerait considérablement.
McGrew était très enthousiaste lorsqu'il parlait de robotique. Il estime que la robotique deviendra courante d'ici cinq ans et que c'est le bon moment pour créer une entreprise de robotique, car les modèles de base ont fait des percées en matière de démarrage rapide et de généralisation.
McGrew estime également que l'AGI (intelligence artificielle générale) n'a peut-être pas connu un tournant clair, mais une série de développements progressifs. Il prédit qu’à mesure que l’IA progresse, nous entrerons dans un monde où l’intelligence est omniprésente et gratuite, et où l’agence sera alors l’une des ressources les plus rares.
Wall Street Insights a compilé les points forts de cette interview :
Voici le texte intégral de cette interview (traduit par AI) :
Hôte Jacob :
Bob McGrew a été directeur de la recherche chez OpenAI pendant six ans et demi. Il est récemment parti il y a quelques mois et nous avons eu la chance de l'avoir sur l'un de ses premiers podcasts ici sur le podcast d'apprentissage non supervisé. Nous avons donc eu l’occasion de l’interroger sur l’avenir de l’intelligence artificielle. Nous avons discuté de la question de savoir si le modèle avait rencontré un goulot d'étranglement, du modèle robotique, du modèle vidéo, du modèle d'utilisation de l'ordinateur, ainsi que des délais et capacités futurs envisagés par Bob. Nous avons parlé de la culture unique d’OpenAI et de ce qui rend ses recherches si efficaces, ainsi que de certains points de décision clés et de ce que cela a été de les parcourir. Nous expliquons pourquoi AGI ne semble pas différent de ce qu'elle est aujourd'hui, et Bob explique pourquoi il a quitté OpenAI et quelle est la prochaine étape. Je pense que les gens vont vraiment apprécier cet épisode. Sans plus tarder, voici Bob. Bob, merci beaucoup d'être sur le podcast. Merci pour l’invitation et j’attends avec impatience cette conversation. Je suis vraiment content que tu puisses venir. Je sais que nous allons parler de beaucoup de sujets différents. Je pense que nous pourrions tout aussi bien commencer par la question qui, je pense, préoccupe le plus tout le monde en ce moment, à savoir le débat houleux sur la question de savoir si les capacités du modèle ont atteint un goulot d'étranglement. Nous serions ravis de connaître votre avis à ce sujet et le potentiel qu’il reste, selon vous, en pré-formation.
Bob McGrew : Eh bien, je pense que c'est probablement là que se situe la plus grande divergence entre les observateurs extérieurs et les personnes travaillant dans les grands laboratoires. Je pense que si vous regardez les choses de l’extérieur, beaucoup de gens ont commencé à s’intéresser à l’intelligence artificielle grâce à ChatGPT. Puis six mois plus tard, GPT-4 est apparu. On a l’impression que tout s’accélère rapidement et que des progrès sont réalisés. Cependant, GPT-4 est sorti il y a un an et demi, et tout le monde sait qu'il a été formé bien avant. Alors, que se passe-t-il maintenant ? Pourquoi rien de nouveau ne sort-il, n'est-ce pas ?
La vue de l’intérieur est très différente. Là-bas, les gens se demandent : sommes-nous confrontés à un goulot d’étranglement en matière de données ? Ce qui s'est passé? Mais il ne faut pas oublier que progresser dans la pré-formation, en particulier, nécessite une énorme augmentation de l’effort de calcul. De GPT-2 à GPT-3, ou de GPT-3 à GPT-4, le montant de calcul effectif augmente de 100 fois. C'est ce que représente cette augmentation. Vous pouvez y parvenir en augmentant le nombre d'opérations en virgule flottante, en ajoutant des puces, en agrandissant les centres de données et en améliorant les algorithmes. Les améliorations de l'algorithme peuvent apporter des gains : 50 %, 2x ou 3x seraient formidables. Mais fondamentalement, il faut attendre que de nouveaux centres de données soient construits.
Il n’y a pas beaucoup de nouveaux centres de données en construction. Il suffit de regarder l'actualité pour constater que des laboratoires de pointe comme Meta, X et d'autres construisent de nouveaux centres de données, même s'ils ne font pas toujours la une des journaux. Mais fondamentalement, c'est un processus très lent qui prend des années. En fait, jusqu'à ce que vous assistiez à une transition générationnelle complète, comme de GPT-4 à GPT-5, vous verrez quelque chose qui ne représente qu'une amélioration de 10 fois. Les gens oublient souvent que nous sommes passés de GPT-3 à GPT-3.5 puis à GPT-4.
Maintenant, ce qui est intéressant, c'est que la pré-formation est en cours. Je pense que nous devrons attendre de voir quand le prochain modèle sortira. Si vous regardez quelque chose comme O1, nous avons pu progresser grâce à l’apprentissage par renforcement. Selon diverses métriques, O1 représente 100 fois plus de calculs que GPT-4. Certaines personnes ne s’en rendent peut-être pas compte car il a été décidé de l’appeler O1 au lieu de GPT-5. Cependant, il s’agit en fait d’un modèle de nouvelle génération.
Lorsque la prochaine génération, l’hypothétique GPT-4.5, est formée, la question intéressante est de savoir comment ces progrès pré-entraînement se comparent-ils au processus d’apprentissage par renforcement ? Je pense que nous devrons simplement attendre et voir quelles nouvelles seront publiées.
Jordan, hôte : Cela soulève la question, étant donné le processus pluriannuel jusqu'en 2025, pensez-vous qu'il y aura autant de progrès dans l'IA l'année prochaine que l'année dernière, ou pensez-vous que les choses vont commencer à ralentir ?
Bob McGrew : Eh bien, je pense qu'il y aura des progrès. Je pense que ce serait une progression différente. Une chose est que lorsque vous entrez dans une nouvelle génération, vous allez toujours rencontrer des problèmes que vous n'avez pas vus dans la génération précédente. Par conséquent, même si le centre de données est construit, il faudra du temps pour résoudre le problème et terminer la formation du modèle.
Le processus d'apprentissage par renforcement que nous avons utilisé pour former O1, le même processus qu'OpenAI a utilisé pour former O1, a créé une chaîne de pensées plus longue et plus cohérente, intégrant efficacement plus de calculs dans la réponse. Donc, vous savez, si un modèle prend quelques secondes pour générer une réponse et qu'un autre modèle prend, disons, des heures pour générer une réponse, cela représente 10 000 fois l'effort de calcul si vous pouvez réellement exploiter cela, n'est-ce pas ?
Pour être honnête, nous réfléchissons à la manière d'utiliser les calculs de temps de test depuis environ 2020. En fin de compte, je pense que c’est en fait la...
[Courte citation de 8% de l'article original]