Exécutez Ollama sur le GPU Intel Arc (IPEX)

DEV - 27/11
Comment exécuter Ollama à l'aide du GPU Intel Arc

Exécutez Ollama sur le GPU Intel Arc (IPEX)

Au moment de la rédaction de cet article, Ollama ne prend pas officiellement en charge les GPU Intel Arc dans ses versions. Cependant, Intel fournit une image Docker qui inclut une version d'Ollama compilée avec la prise en charge Arc GPU activée. Ce guide vous guidera dans la configuration et l'exécution d'Ollama sur votre GPU Intel Arc à l'aide de l'image Docker IPEX (Intel OneAPI Extension for XPU).

Conditions préalables

Avant de continuer, assurez-vous que les éléments suivants sont installés et correctement configurés :

  • Bureau Docker
  • Pilotes de GPU Intel Arc

Des liens vers les guides d'installation de Docker et des pilotes Arc sont fournis à la fin de cet article. Assurez-vous de suivre le guide approprié pour votre système d'exploitation.

Configurer le conteneur Ollama

  1. Extrayez l’image Intel Analytics IPEX :

Extrayez l'image Intel Analytics IPEX de Docker Hub :

docker pull intelanalytics/ipex-llm-inference-cpp-xpu:dernière
Entrer en mode plein écran Quitter le mode plein écran
  1. Démarrez le conteneur avec Ollama Serve :

Étant donné que la commande Docker permettant de démarrer le conteneur est assez longue, il est pratique de l'enregistrer dans un script pour faciliter l'ajustement et le redémarrage.

Utilisateurs Mac et Linux : créez un fichier nomméstart-ipex-llm.shdans votre répertoire personnel et ajoutez le contenu suivant :

#!/bin/bash docker run -d --restart=always \ --net=bridge \ --device=/dev/dri \ -p 11434:11434 \ -v ~/.ollama/models:/root/. ollama/models \ -e PATH=/llm/ollama:$PATH \ -e OLLAMA_HOST=0.0.0.0 \...
[Courte citation de 8% de l'article original]