Contexte et fenêtres de contexte: ce que vous devez savoir

Pourquoi votre IA est un poisson rouge

Partie 2 des 101 introductions de Knitli à l'IA et à l'économie de l'IA

tl; dr

• Les grands modèles de langue (LLMS) utilisent une fenêtre de contexte de taille fixe pour traiter l'entrée et générer des réponses, mais elles n'ont pas de mémoire comme les humains.

• La fenêtre de contexte contient toutes les informations que le modèle peut considérer en même temps, et lorsqu'elle déborde, des informations plus anciennes sont perdues.

• Les LLM sont formées sur des données obsolètes, conduisant à une préférence pour les informations plus anciennes et les hallucinations potentielles lorsqu'on leur a demandé des sujets inconnus.

• La gestion du contexte est cruciale, car l'inclusion d'informations trop ou non pertinentes peut entraver la précision de la réponse.

• Les ingénieurs utilisent des techniques comme la priorisation des informations récentes et le filtrage des détails non pertinents pour gérer efficacement le contexte.

LLMS et leurs «souvenirs»

Lorsque les gens parlent de «l'IA» aujourd'hui, ils signifient généralement Chatgpt, Claude ou Gemini. Ces outils utilisent tous de grands modèles de langage (LLMS). Les LLM sont constituées de milliards de paramètres_think de chaque pa...
[Courte citation de 8% de l'article original]