Construire des connecteurs Kendra personnalisés et gérer les sources de données avec IAC

DEV - 31/03
Dans le paysage commercial actuel axé sur l'IA, les chatbots sont devenus la principale interface entre ...

Dans le paysage commercial actuel axé sur l'IA, les chatbots sont devenus la principale interface entre les entreprises et leurs clients. L'efficacité de ces assistants d'IA dépend d'un facteur critique: la qualité et l'accessibilité des données sur lesquelles ils ont formé. Amazon Kendra propose une solution puissante - un service entièrement géré qui indexé intelligemment et récupère les informations à partir de plusieurs sources de données, permettant à votre chatbot de répondre avec une précision de niveau expert.

Mais que se passe-t-il lorsque vous devez connecter Kendra à des sources de données spécialisées ou personnalisées? C'est là que les connecteurs et l'infrastructure personnalisés en tant que code (IAC) deviennent des outils inestimables dans votre boîte à outils d'implémentation d'IA.

Condition préalable

Ce billet de blog vous guidera dans l'approvisionnement des ressources AWS nécessaires à l'aide de Terraform. Pour suivre avec succès, vous aurez besoin:

  • Terraform installé sur votre machine locale - nous avons utilisé v1.11.2
  • Un éditeur de code tel que le code vs
  • Accès à un compte AWS (de préférence avec les autorisations d'administration)
  • Accès à un projet JIRA pour indexer
  • Accès à ce référentiel GitHub

Remarque: Amazon Kendra peut être coûteux, il est donc recommandé de démolir toutes les ressources après l'achèvement et d'indexer des sources de données de taille raisonnable.

Pourquoi IAC?

Si vous avez déjà utilisé l'infrastructure comme code (IAC), vous connaissez déjà ses avantages. N'hésitez pas à passer à la section suivante.

IAC vous permet de gérer l'infrastructure - telles que les serveurs, les ressources cloud et les bases de données - à l'aide du code. Il permet le contrôle de version, la collaboration et l'approvisionnement efficace et le déprovisation des ressources.

Sans IAC, la gestion des infrastructures s'appuie souvent sur des configurations manuelles, ce qui peut entraîner des incohérences, des erreurs humaines et des difficultés dans les environnements de mise à l'échelle. Les modifications peuvent ne pas être documentées correctement, ce qui rend plus difficile le suivi des modifications et dépanner les problèmes. De plus, la gestion manuelle des infrastructures peut prendre du temps et inefficace, ralentissant les cycles de développement et augmentant les risques opérationnels.

Dans cet article, nous utiliserons Terraform pour provisionner les ressources AWS, notamment Amazon Kendra et AWS Lambda. Si vous êtes nouveau sur Terraform, ne vous inquiétez pas - l'article vous guidera à travers tout ce que vous devez suivre.

Amazon Kendra

Amazon Kendra est, par définition, un moteur de recherche d'entreprise intelligent. Il vous permet d'indexer plusieurs sources de données et d'effectuer une recherche en langage naturel sur les données indexées. En utilisant les données indexées, Amazon Kendra est souvent utilisé dans les architectures de génération augmentée (RAG) de récupération pour les systèmes de chatbot AI. Étant un service entièrement géré, tout ce que vous avez à faire est de décider quelles sources de données utiliser, de vérifier s'il existe un connecteur fourni par Amazon et de suivre les instructions de configuration étape par étape pour la configurer. Après cela, vous pouvez synchroniser (index) la source de données et effectuer une récupération du langage naturel à l'aide de l'API Kendra, ou si vous voulez simplement jouer avec, en utilisant la console AWS.

Comprendre la génération de la récupération (RAG)

Source - https://aws.amazon.com/what-is/retrieval-augmented-ceneration/

La génération auprès de la récupération est une technique d'IA qui améliore les modèles linguistiques en les connectant à des sources de connaissances externes. Contrairement aux LLM standard qui reposent uniquement sur leurs données de formation, les systèmes de chiffon peuvent récupérer des informations pertinentes à partir de bases de données ou de collections de documents avant de générer des réponses.

Le processus fonctionne en deux étapes simples:

  1. Récupérer: le système recherche via des documents indexés pour trouver des informations pertinentes pour la requête de l'utilisateur
  2. Générer: Le modèle de langue crée une réponse en utilisant à la fois ses connaissances intégrées et les informations spécifiquement récupérées

Les avantages clés comprennent des réponses plus précises, l'accès à des informations à jour, la réduction des hallucinations d'IA et la capacité de tirer parti des connaissances spécifiques à l'organisation. Amazon Kendra est une composante de récupération idéale dans les architectures de chiffon, fournissant des capacités de recherche intelligentes qui comprennent la signification sémantique des requêtes et renvoient des résultats contextuellement appropriés.

Connecteurs personnalisés: quand et pourquoi

Si AWS fournit des connecteur...
[Courte citation de 8% de l'article original]

Loading...