TLDR : Portfolio Beam Search (PBS) est une méthode de test qui intègre la théorie du portefeuille financier dans l'inférence LLM. Au lieu de sélectionner avidement les solutions candidates les mieux notées, il couvre ses « paris » en traitant les solutions candidates comme des actifs financiers dans un portefeuille, en les évaluant en fonction de leur potentiel ajusté au risque. En diversifiant le processus de raisonnement, PBS évite les « ornières de raisonnement » et optimise le budget de calcul pour obtenir une précision supérieure et un raisonnement plus robuste.
Le paradigme de mise à l’échelle de l’IA subit un changement fondamental. Alors que la préformation à grande échelle se heurte à des rendements décroissants et à des coûts astronomiques, l'industrie s'oriente vers une frontière plus économe en ressources, où « réfléchir plus longtemps » devient une alternative viable à « grandir ». Cette évolution marque une rupture avec une dépendance pure au calcul du temps de train – la mise à l’échelle traditionnelle des paramètres par force brute vers la mise à l’échelle du calcul au moment du test (TTC), qui adapte stratégiquement le temps de traitement d’un modèle pendant la phase d’inférence pour résoudre des tâches complexes[1].
Cette transition est discutée en profondeur dans la recherche Scaling test-time computing with open models[2], qui démontre comment les stratégies d'inférence dynamique peuvent combler l'écart de performances. En tirant parti de méthodes telles que l'échantillonnage Best-of-N et la recherche de faisceaux guidée par des modèles de récompense de processus (PRM), des modèles plus petits et optimisés peuvent rivaliser et même surpasser leurs homologues beaucoup plus grands. Ces stratégies vont au-delà du simple vote majoritaire en utilisant une vérification par étapes pour naviguer plus efficacement dans l’espace de raisonnement.
Cependant, la simple augmentation du budget de calcul ne garantit pas de meilleurs résultats. Même les méthodes de recherche avancées peuvent avoir des difficultés avec « l’effondrement des arbres », où un modèle se concentre sur des chemins qui semblent prometteurs sur la base des premières récompenses cumulées, abandonnant prématurément l’exploration de meilleures alternatives. Pour réaliser pleinement le potentiel du TTC, un décodage efficace doit aller au-delà du simple renk basé sur les scores PRM. Dans cet article, nous présentons une adaptation de Portfolio Beam Search (PBS)[3] pour les LLM. En présentant le décodage comme un problème d'optimisation, PBS équilibre la qualité de sortie attendue avec l'incertitude du modèle et la diversité sémantique. Cela garantit que « penser plus longtemps » reste productif, plutôt que redondant, même lorsque le modèle rencontre des changements de distribution ou des chemins de raisonnement inconnus.
Cet article préconise le décodage basé sur la recherche comme cadre pratique pour mettre à l'échelle le calcul au moment du test dans les LLM. Plutôt que de s'appuyer sur une seule passe d'inférence, ces méthodes explorent systématiquement l'espace des solutions en générant plusieurs candidats et en utilisant un vérificateur pour sélectionner les chemins les plus prometteurs. Nous nous concentrons sur les modèles de récompense de processus (PRM) [4] comme moteur principal de cette exploration. En fournissant un retour d'information précis, étape par étape, plutôt qu'une récompense éparse basée sur les résultats, les PRM constituent un choix naturel pour piloter un raisonnement complexe via une recherche guidée.
Les méthodes de décodage standard fonctionnent généralement comme un processus gourmand, donnant la p...
[Courte citation de 8% de l'article original]