Accélérez l'inférence LLM 1 bit avec BitNet sur WSL2 (Ubuntu)

DEV - 22/10
Tirez parti de BitNet, un framework basé sur le processeur, pour effectuer une inférence rapide avec des LLM 1 bit sur votre environnement Ubuntu WSL2. Ce guide vous guide à travers les tâches d'installation, de configuration et d'exécution d'inférence.

message original https://baxin.netlify.app/run-bitnet-wsl2-inference/

Qu’est-ce que BitNet ?

bitnet.cpp est le cadre d'inférence officiel pour les LLM 1 bit (par exemple, BitNet b1.58). Il propose une suite de noyaux optimisés, qui prennent en charge l'inférence rapide et sans perte de modèles 1,58 bits sur CPU (avec la prise en charge NPU et GPU à venir).

En utilisant BitNet, il devient possible d'effectuer une inférence rapide en utilisant uniquement le CPU.

Configurer BitNet

installer des paquets

# vous devrez peut-être utiliser sudo si vous obtenez une erreur d'autorisation bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)" # Si vous ne l'avez pas encore installé, ce qui suit être nécessaire. sudo apt installer clang sudo apt installer cmake
Entrer en mode plein écran Quitter le mode plein écran

dépôt de clone

git clone --récursif https://github.com/microsoft/BitNet.git
Entrer en mode plein écran Quitter le mode plein écran

créer un venv et installer les packages python...
[Courte citation de 8% de l'article original]