Démystifier l'apprentissage multimodal : l'inefficacité cachée de la modélisation du langage de vision

🤗 Article de la communauté, 📝 Article de blog

Introduction

Dans le passage des modèles textuels aux modèles de langage de vision (VLM), nous parlons souvent de « paramètres » et de « raisonnement émergent ». Cependant, il existe une monnaie cachée qui régit les performances, le coût et la faisabilité de ces systèmes : les jetons visuels (VT).

Figure 1 : Nombre de jetons VLM par rapport à la résolution de l'image. Nous rapportons le nombre de jetons visuels en fonction de la résolution de l'image (en nombre de pixels (px)) sur quatre modèles LLaVA-1.5, LLaVA-OneVision, Qwen3VL, Gemma3. Les nombres estimés sont calculés sur la base d'une taille de fusion spatiale de 2, d'une résolution quelconque avec des fenêtres 3x3 et d'un regroupement moyen spatial de taille 4. Pour la méthode P&S, nous supposons que le nombre de cultures augmente en tant que fonction échelonnée et partons des mêmes configurations de toute résolution. ∗ ^* ∗

Dans notre précédent article de blog, nous avons exploré l'anatomie architecturale des VLM et la façon dont les images sont converties en vecteurs compatibles avec le langage. Dans ce deuxième volet deDémystifier l'apprentissage multimodalnous nous concentrons sur les mathématiques et l’impact opérationnel de cette conversion. Plus précisément, nous verrons comment calculer les jetons visuels. Présentation d'un guide pratique pour estimer le nombre de jetons dans différentes stratégies SOTA – de la fusion dynamique de Qwen (QwenTeam, 2025), des grilles Any-Res de LLaVA (Li et al., 2024b) et Gemma3 Pan&Scan (Gemma-Team, 2025) – sans exécuter une seule ligne d'inférence.

Comprendre la charge de calcul de ces jetons n'est plus seulement un exercice académique : c'est une nécessité de production.

∗ ^* ∗ Veuillez noter que pour LLaVa-OneVision et Gemma P&S, le nombre total de jetons visuels dépend fortement de la quantité de récoltes.

Calcul des jetons #Visual

Comme indiqué dans notre article de blog précédent, les VT sont les unités fondamentales qui permettent aux LLM de percevoir les données visuelles. Maintenant que nous comprenons le « quoi », nous devons aborder l...
[Courte citation de 8% de l'article original]