Comment le code correspond au mystère mathématique des Transformers

C'est pourquoi les Transformers préfèrent l'ordre au caos sans que ce soit le cas... spoiler, c'est ce qu'il a fait.

Nous avons publié un jour certains articles liés à un article récent de Google et à la CMU intitulé "Les modèles de séquence profonde ont tendance à mémoriser géométriquement ; on ne sait pas pourquoi", arXiv 2510.26745 (Les modèles de sécurité profonde doivent être mémorisés géométriquement ; ce n'est pas clair pour quoi).

Si vous voyez les titulaires qui circulent ici, vous avez probablement rencontré le Santo Grial. Il est vrai que les modèles « sintetizan espontaneamente a memoria geométrica », que « no solo memorizan, sino que construyen geometría » ou même insinua que nous sommes avant les premiers chispazos d'une conscience qui ordonne le monde volontairement propre.

J'ai trouvé l'original PDF. Cela m'a coûté, parce que les anglais universitaires et nous avons une relation de respect mutuel à distance, et parce que mes mathématiques sont celles d'un ingénieur qui a levé 30 ans de haut pied, chez un enquêteur théorique. Mais à la lecture, mon intuition a été guidée.

C'est lui qui a un "mystère" (on ne sait pas pourquoi), mais vous avez juste un algorithme qui est exactement là où il a été programmé pour le faire. Pas de magie. Il y a un mécanisme d’optimisation qui suit la loi du minimum d’effort.

Mon intuition initiale

L'installation de l'étude est la suivante : entrez dans un transformateur avec les données qui sont ses atomes, de type "A connecté à B", "B connecté à C". Il n'y a pas de carte complète, seulement les connexions loc...
[Courte citation de 8% de l'article original]