Agent d'IA confié à la production avec Java + Quarkus + Langchain4j - Partie 2 - Mémoire

DEV - 12/11
Autores @herbertbeckman - LinkedIn @rndtavares - LinkedIn Partes do...

Autores

@herbertbeckman - LinkedIn

Parties de l'article

  1. Agent d'IA confié à la production avec Java + Quarkus + Langchain4j - Partie 1 - AI as Service

  2. Agent d'IA confié à la production avec Java + Quarkus + Langchain4j - Partie 2 - Mémoire (cet article)

  3. Agent d'IA confié à la production avec Java + Quarkus + Langchain4j - Partie 3 - RAG (en bref)

  4. Agent d'IA confiável em prod com Java + Quarkus + Langchain4j - Partie 4 - Guardrails (en bref)

Introduction

Quand nous crions un agent, nous devons comprendre que les LLM ne gardent pas de type d'information, ou ils sont apatrides. Pour que notre agent ait la capacité de « visualiser » ces informations, nous devons mettre en œuvre la gestion de la mémoire. Quarkus a déjà notre entrée dans une mémoire vive configurée, ou peut-être même que votre agent peut littéralement créer une mémoire vive disponible pour lui, comme décrit dans la documentation de Quarkus, si ce n'est pas le cas de ses dettes. Il n'y a rien de plus problématique et aussi pour que nous puissions utiliser notre agent dans un environnement d'évolutivité, précisément d'unChatMemoryStore.

Conceitos

Nous utilisons un chat pour interagir avec notre agent et avons des idées importantes que nous devons comprendre pour que notre interaction puisse détecter la meilleure forme possible et ne pas occasionner de bugs dans la production. Nous nous concentrons d'abord précisément sur les types de messages que nous utilisons à l'heure d'interagir avec eux, c'est-à-dire :

  • Messages de l'utilisateur (Message utilisateur): Un message ou une sollicitation envoyée au client final. Quand nous envoyons un message au DevUI du Quarkus, nous envoyons toujours un messageMessage utilisateur. D'autre part, il est également utilisé par nos résultats de travaux manuels (outils) que nous avons déjà effectués.

  • Messages de l'IA (AiMessage): Un message de réponse du modèle. Même si le répondant du LLM est notre agent, il recevra un message de ce type. Ce type de message consiste en alternance avec votre contenu entre une réponse textuelle et des sollicitations d'exécution de travaux (outils).

  • Messages du système (Message système): Ce message peut être défini quelque part 1 fois et est quelque peu au rythme du développement.

Maintenant que vous connaissez les 3 types de messages qui vous intéressent, nous allons vous expliquer comment ils doivent se comporter avec certaines armes graphiques. Tous les graphiques du forum tirados de la présentation Java meets AI: Build LLM-Powered Apps with LangChain4j par Deandrea, Andrianakis, Escoffier, recommandent maintenant la vidéo.

Le premier graphique démo...
[Courte citation de 8% de l'article original]