Format d'index d'intégration pour l'accès aux données ouvertes

DEV - 06/09
txtai est une base de données d'intégration tout-en-un pour la recherche sémantique, l'orchestration LLM et le langage...

txtai est une base de données d'intégration tout-en-un pour les workflows de recherche sémantique, d'orchestration LLM et de modèles de langage.

Le principal langage de programmation avec txtai est Python. Un principe clé est que les données sous-jacentes dans un index d'intégration sont accessibles sans txtai.

Cet article le démontrera à travers une série d’exemples.

Installer les dépendances

Installertxtaiet toutes les dépendances.

pip install txtai[graph] ensembles de données sqlite-vec
Entrer en mode plein écran Quitter le mode plein écran

Charger l'ensemble de données

Cet exemple utilisera leinvites chatgptensemble de données.

à partir des ensembles de données import load_dataset dataset = load_dataset("fka/awesome-chatgpt-prompts", split="train")
Entrer en mode plein écran Quitter le mode plein écran

Créer un index d'intégrations

Construisons d'abord un index d'intégration en utilisant txtai.

à partir de txtai import Embeddings embeddings = Embeddings() embeddings.index((x["act"], x["prompt"]) for x in dataset) embeddings.save("txtai-index")
Entrer en mode plein écran Quitter le mode plein écran

Jetons un coup d'oeil à l'index qui a été créé

!ls -l txtai-index !echo !file txtai-index/*
Entrer en mode plein écran Quitter le mode plein écran
total 268 -rw-r--r-- 1 racine racine 342 6 septembre 15:21 config.json -rw-r--r-- 1 racine racine 262570 6 septembre 15:21 intégrations -rw-r--r- - 1 racine racine 2988 6 septembre 15:21 ids txtai-index/config.json : données JSON txtai-index/embeddings : données txtai-index/ids : données
Entrer en mode plein écran Quitter le mode plein écran

Le format d'index des intégrations txtai est documenté ici. En regardant les fichiers ci-dessus, nous avons la configuration, les données intégrées et le stockage des identifiants. Le stockage des identifiants n'est utilisé que lorsque le contenu est désactivé.

Inspectons chaque fichier.

importer json avec open("txtai-index/config.json") as f: print(jso...
[Courte citation de 8% de l'article original]