Comment gérer une main-d'œuvre IA de 50 agents sur un seul GPU de 6 Go

Construire en public. Il s'agit de la véritable architecture derrière l'exécution d'environ 50 agents d'IA locaux sur 6 Go de VRAM : un verrou GPU, un chien de garde d'expulsion, un gouverneur de ressources et un modèle de routeur. Initialement publié sur mon blog.

La question que l'on me pose le plus souvent est une version de "il est impossible d'exécuter autant d'agents sur un GPU d'ordinateur portable de 6 Go". La réponse honnête : pas comme vous l’imaginez. Je ne gère pas 50 modèles à la fois. J'exécute un modèle à la fois, très délibérément - et l'essentiel de l'ingénierie concerne la planification et non l'inférence. Voici l'a...
[Courte citation de 8% de l'article original]