Instrument Votre LLM appelle pour analyser les coûts et l'utilisation de l'IA

DEV - 11/04
Au cours des dernières années, nous avons progressivement introduit de nouvelles fonctionnalités d'IA dans Tinybird. Beaucoup étaient petits ...

Au cours des dernières années, nous avons progressivement introduit de nouvelles fonctionnalités d'IA dans Tinybird. Beaucoup étaient des améliorations de qualité de vie petites et simples, telles que les erreurs de fixe automatique, le code automatique ou les schémas générés automatiquement.

Avec notre dernière version de produit, cependant, nous avons fait un grand pas en avant dans notre voyage pour construire un produit AI-Native. Nous avons introduit des fonctionnalités qui déplacent beaucoup de travail vers les LLM, comme la création d'un projet de données Tinybird complet, la rédaction de suites de test, la génération de données simulées ou les API et les schémas d'itération basés sur les invites utilisateur.

Lorsque vous construisez avec Tinybird, vous construisez avec l'IA:

  • TB Create --Prompt: Générer ou mettre à jour des ressources, même des projets de données complets à un seul coup
  • TB Mock--rapide: Créer des données de luminaire pour un schéma de source de données donné
  • test de tuberculose--rapide: Couvrir vos API avec des tests donnés par rapport aux réponses des points de terminaison

Comment implémenter les fonctionnalités d'IA?

Au cours de l'année des agents AI ™ ️, nous avons gardé notre mise en œuvre de ces fonctionnalités assez basique: juste un LLM, des invites système et des appels de fonction, avec des boucles simples pour les problèmes ou les hallucinations automatique.

Les temps ont changé.

Nous avons deux backends, un en python et un en dactylographie.

Le backend Python implémente toutes nos API publiques, telles que les événements, les tuyaux et les API de jetons; Ces API servent toutes les fonctionnalités pour créer des projets de données et donner accès aux utilisateurs et aux bases de données de métadonnées.

Le backend TypeScript est responsable des itinéraires et fonctionnalités de l'API Frontend.

Le backend Python met en œuvre certaines des fonctionnalités d'IA les plus complexes, telles que la création d'un projet Tinybird complet à partir d'une invite, en utilisant l'IA pour écrire de...
[Courte citation de 8% de l'article original]