L'inférence IA désormais disponible dans Supabase Edge Functions

DEV - 16/04
Nous facilitons grandement l'exécution de modèles d'IA dans Supabase Edge Functions. Une nouvelle API intégrée est...

Nous facilitons grandement l'exécution de modèles d'IA dans Supabase Edge Functions. Une nouvelle API intégrée est disponible dans Edge Runtime pour exécuter des charges de travail d'inférence en quelques lignes de code seulement :

// Instancier une nouvelle session d'inférence const session = new Supabase.ai.Session('gte-small') // puis utiliser la session pour exécuter l'inférence sur une invite const output = wait session.run('Luke, je suis ton père ') console.log(sortie) // [ -0.047715719789266586, -0.006132732145488262, ...]
Entrer en mode plein écran Quitter le mode plein écran

⚡️ En savoir plus sur la GA Week

Avec cette nouvelle API vous pouvez :

  • Générez des intégrations à l'aide de modèles tels quegîte-petità stocker et à récupérer avec pgvector. Ceci est disponible aujourd’hui.
  • Utilisez de grands modèles de langage commelama2etmistralpour les charges de travail GenAI. Cela sera progressivement déployé à mesure que nous mettrons la main sur davantage de GPU.

Lors de notre précédente semaine de lancement, nous avons annoncé la prise en charge de l'inférence IA via Transformers.js. C'était un bon début, mais il présentait quelques inconvénients : le « démarrage » prend du temps car il doit instancier un runtime WASM et créer le pipeline d'inférence. Nous avons augmenté les limites du processeur pour atténuer ce problème, mais...
[Courte citation de 8% de l'article original]