Comment nous avons utilisé eBPF + Rust pour observer les systèmes d'IA sans instrumenter une seule ligne de code

DEV - 21/01
L’observabilité de la production pour les systèmes d’IA est rompue. Nous l'avons corrigé en nous déplaçant sous l'application...

L’observabilité de la production pour les systèmes d’IA est rompue. Nous l'avons corrigé en nous déplaçant sous la couche d'application.

Pourquoi l'observabilité traditionnelle échoue complètement pour les charges de travail d'IA

Les systèmes d’IA modernes ne se comportent pas comme les services Web classiques.

Ils sont:

  • Très asynchrone
  • Lié au GPU
  • Beaucoup de framework (PyTorch, TensorRT, CUDA, ONNX)
  • Opaque une fois déployé

Pourtant, nous les observons toujours en utilisant :

  • Intergiciel HTTP
  • Traçage au niveau de la langue
  • Instrumentation des applications Cela crée trois problèmes fatals :

❌ Problème 1 : biais d'instrumentation

Vous ne voyez que ce que le développeur a retenu pour instrumenter.

❌ Problème 2 : surcharge d'exécution

La latence d'inférence de l'IA est mesurée en microsecondes. Le traçage traditionnel ajoute des millisecondes.

❌ Problème 3 : angles morts

Une fois l’exécution franchie :

  • CUDA
  • Pilotes du noyau
  • Appels système
  • Planification GPU

👉Votre observabilité cesse d'exister.

L'idée radicale : observer les systèmes d'IA depuis le noyau

Au lieu d’instrumenter les applications, nous observons la réalité.

Cela signifie :

  • A...
    [Courte citation de 8% de l'article original]