Tutoriel : Déployer Llama 3.1 405B sur GKE Autopilot avec 8 x A100 80 Go

DEV - 08/10
Tutoriel sur la façon de déployer le modèle Llama 3.1 405B sur GKE Autopilot avec 8 GPU A100 80 Go à l'aide de...

Tutoriel sur la façon de déployer le modèle Llama 3.1 405B sur GKE Autopilot avec 8 GPU A100 de 80 Go à l'aide de KubeAI.

Nous utilisons la précision fp8 (8 bits) pour ce modèle. Cela nous permet de réduire la mémoire GPU requise et de servir le modèle sur une seule machine.

Créer un cluster GKE Autopilot

Clusters de conteneurs gcloud create-auto cluster-1 \ --location=us-central1
Entrer en mode plein écran Quitter le mode plein écran

Ajoutez le dépôt helm pour KubeAI :

helm repo ajouter kubeai https://www.kubeai.org mise à jour du dépôt helm
Entrer en mode plein écran Quitter le mode plein écran

Créez un fichier de valeurs pour KubeAI avec les paramètres requis :

chat <kubeai-values.yaml ResourceProfiles : nvidia-gpu-a100-80gb : imageName : "nvidia-gpu" limites : nvidia.com/gpu : "1" requêtes : nvidia.com/gpu : "1" # C...
[Courte citation de 8% de l'article original]