Exécuter plusieurs LLM sur un seul GPU

Ces dernières semaines, j'ai travaillé sur des projets utilisant des GPU et j'ai exploré des moyens d'optimiser leur utilisation. Pour mieux comprendre l'utilisation du GPU, j'ai commencé par analyser la consommation de mémoire et les modèles d'utilisation à l'aide de l'outil nvidia-smi. Cela m'a fourni une ventilation détaillée de la mémoire GPU et de son utilisation pour chaque application. L'un des domaines sur lesquels je me suis concentré est le déploiement de nos propres LLM. J'ai remarqué que lorsque je travaillais ...
[Courte citation de 8% de l'article original]