Streaming de botte de foin de pipeline asynchrone sur le point de terminaison FastAPI

DEV - 24/12
Si vous êtes amoureux de Langchain et/ou n'utilisez pas les fonctionnalités expérimentales de Haystack, ce blog est...

Si vous êtes amoureux de Langchain et/ou n'utilisez pas les fonctionnalités expérimentales de Haystack, ce blog n'est pas pour vous !

Besoin de ce blog

J'adore l'équipe Haystack et j'espère qu'ils déploieront bientôt une RC sur des crochets à foin, afin que nous ayons une expérience plus intuitive. Mais d'ici là, vous pouvez utiliser cette solution de contournement, dans laquelle nous créons une tâche de pipeline et définissons des rappels de streaming « synchronisés » sur la boucle d'événements en cours d'exécution pour collecter des fragments et les générer.

FAT bravo à vblagoje pour l'essentiel 🙌🏽

Main tenant

Vous pouvez simplement copier le code et il devrait faire exactement ce que vous recherchez, c'est-à-dire. diffusion en continu en tant qu'événements envoyés par le serveur.

Forfaits

Assurez-vous que ces packages sont installés. Essayez les UV ou la poésie.

python = ">=3.10,<3.13" fastapi = "^0.111.0" uvicorn = "^0.30.1" botte de foin-ai = "^2.8.0" botte de foin-experimental = "^0.4.0" pydantic = "^ 2.7.2"
Entrer en mode plein écran Quitter le mode plein écran

API rapide

Ce didacticiel n'est pas un guide pour vous permettre de comprendre FastAPI, mais juste au cas où, voici un squelette pour le point de terminaison.

import os import asyncio from fastapi import FastAPI from fastapi.responses import St...
[Courte citation de 8% de l'article original]