Rejoignez Nočnica Mellifera et Nir pour discuter de la manière dont l'apprentissage automatique peut être surveillé avec OpenTelemetry. Nous verrons comment les tableaux de bord SigNoz peuvent vous aider à surveiller l'utilisation des ressources, les performances et à détecter les problèmes avant que votre budget infrastructure ne se détraque.
Vous trouverez ci-dessous l'enregistrement et une transcription éditée de la conversation.
Retrouvez la transcription de la conversation ci-dessous.👇
NICA : Dans mon premier rôle en tant que développeur, je pense que j'essayais de faire un commit dès le premier jour et j'ai exécuté mes tests unitaires. J'ai reçu que 223 tests échouaient. Je me souviendrai toujours de ce numéro parce que je suis allé voir mon développeur principal, mon mentor, et je lui ai dit que j'avais cassé quelques tests unitaires avec mon commit et elle m'a dit "Combien en as-tu cassé ?" Je me suis dit : "Oh, 223".
Ce que j'ai dit, c'est que j'en ai dit quelques centaines. » Elle a dit : « Combien en as-tu cassé exactement ? » J'ai dit : « Oh mon Dieu, tu sais qu'elle est plus en colère contre moi que je ne le pensais, 223. »
Elle dit : "Oh, c'est bien. 223. Vous êtes toujours brisé. Si cela avait été 224 ou 220, cela aurait été un problème. Mais 223, c'est bien. Vous êtes prêt à vous engager."
C'est toujours mieux de commencer par cela, je pense que nous sommes en direct. Mais cela a beaucoup à voir avec ce dont nous parlons aujourd’hui. Nous parlons d'OpenTelemetry et d'apprentissage automatique avec mon invité. Nous avons Nir ici aujourd'hui. Nir, dis bonjour aux gens. Parlez-nous quelque chose à propos de Trace Loop. Ouais, merci beaucoup de vous joindre à nous.
NIR : Merci. Je m'appelle Nir, le PDG de Trace Loop. Nous sommes une entreprise YC. Nous avons réalisé YC Winter '23 et nous nous concentrons sur la création d'un outil de suivi et d'évaluation de grands modèles de langage.
NICA : J'adore ça. Je pense que c'est un sujet très intéressant car OpenTelemetry est cet outil qui offre un moyen très standard de surveiller le fonctionnement de nos logiciels en production. Et l’une des choses qu’il a toujours pu faire est de vous indiquer l’utilisation de vos ressources. Mais pour les applications Web, nous ne nous préoccupons pas de l'utilisation des ressources en cas de croissance massive du nombre d'utilisateurs.
Oui, ils utilisent la quantité de bande passante qu'ils utilisent, et ils s'en sortent généralement bien. Mais dans le domaine de l’apprentissage automatique, cela constitue une préoccupation majeure. Est-ce que les choses grandissent de manière totalement disproportionnée ?
NIR : Oui, je pense qu'en ce qui concerne l'évaluation, c'est la partie la plus complexe et elle n'a toujours pas été résolue pour les grands modèles de langage ou l'IA générative en général. Donc, si vous regardez l’apprentissage automatique traditionnel, vous avez toujours eu cet ensemble de mesures qui vous guidaient en quelque sorte vers ce qui est bien et mal.
Mais ensuite est arrivé GenAI et vous créez une invite dans laquelle vous travaillez avec ce modèle, et vous obtenez une réponse, et vous ne savez pas si cette réponse était meilleure que la précédente, à part simplement la regarder avec vos yeux humains et dire : "D'accord, ça a l'air mieux."
NICA : Oui, et le plus important, c'est que lorsque vous vous asseyez et réalisez : « Oh, j'examine simplement manuellement ma facturation AWS pour voir si je vais bien », c'est une préoccupation. Et la qualité que nous obtenons est également un autre élément important.
J'adore ce sujet et j'ai écrit tout un tas de questions parce que j'étais très curieux. Nous allions avoir une excellente démonstration d'utilisation de SigNoz pour effectuer cette surveillance. Nous avons eu une petite limitation technique aujourd'hui, nous allons donc le faire dans le cadre d'un segment distinct qui sera probablement mis en ligne la semaine prochaine ou peu avant la KubeCon. Nous allons essayer d'y parvenir, mais ce sera la partie questions-réponses. Nous ferons notre partie démo très bientôt. Mais je voulais commencer par mes questions ici.
Vous savez que vous pouvez les lire si vous êtes un apprenant visuel, mais parlez-moi de la décision d'utiliser OpenTelemetry en plus de votre base pour ces outils. Je suis curieux à ce sujet car je pense que beaucoup de gens associent OpenTelemetry à une requête Web, un cadre basé sur des événements, ce avec quoi nous travaillons ici.
NIR : Nous sommes de grands fans d’OpenTelemetry. Nous l'utilisons depuis des années. J'étais architecte en chef chez Fiverr et nous avons intégré OpenTelemetry dans Fiverr.
NICA : C'est vrai, j'ai oublié que Fiverr était comme l'une des premières boutiques OpenTelemetry. C'est super. Désolé, allez-y.
NIR : Nous sommes donc de grands fans d'OpenTelemetry, et je pense que lorsque nous avons commencé à travailler avec de grands modèles de langage, en créant ces pipelines dans lesquels vous disposez d'une base de données vectorielle, vous récupérez des données, puis vous les utilisez pour créer une invite que vous envoyez à OpenAI, cela a du sens. Cela ressemble à une trac...
[Courte citation de 8% de l'article original]