CacheWeaver réorganise les preuves RAG pour la réutilisation du cache de préfixe : réorganisation des preuves prenant en compte le cache de préfixe

Quoi : Le 18 juin 2026, les chercheurs ont publié CacheWeaver, une méthode de couche d'invite basée sur la réorganisation des preuves prenant en compte le cache des préfixes. Cela modifie uniquement l'ordre dans lequel les morceaux RAG récupérés apparaissent dans l'invite, afin que le moteur de serveur puisse réutiliser davantage son cache de préfixes KV.

Pourquoi : Dans le cadre du service augmenté par récupération, le délai d'obtention du premier jeton est dominé par le pré-remplissage des preuves ; la réutilisation d'un préfixe mis en cache ignore ce travail, et CacheWeaver élimine la réutilisation qu'un système naïf laisse sur la table - sans changement de moteur.

vs prior : par rapport à la mise en cache naïve de l'ordre de récupération – morceaux laissés dans l'ordre de pertinence, de sorte que l'ouverture de chaque invite correspond rarement au cache – CacheWeaver re-séquence les mêmes morceaux pour maximiser le préfixe d'ouverture partagé, la partie que le moteur peut réellement réutiliser.

Pensez-y comme

Une cuisine qui réutilise des commandes déjà mi-cuites sur une grille chauffante.

• bloc de preuves récupérées = un cours dans une commande de plusieurs cours
• l'invite envoyée au modèle = la commande complète, cours par cours dans l'ordre
• Cache préfixe KV = le plateau chauffant des commandes déjà partiellement cuites
• préfixe réutilisable = les cours d'ouverture que votre commande partage avec un en rayon
• Réorganisation de CacheWeaver = replaquage des mêmes cours pour que l'ouverture corresponde à l'étagère
• time-to-first-token = combien de temps la première assiette quitte la cuisine

Glossaire rap...
[Courte citation de 8% de l'article original]