Éliminez l’analyse redondante des démarques : généralement un streaming IA 2 à 10 fois plus rapide

Hier, j'ai sorti incremark, un projet que j'ai développé ce week-end. Les performances réelles ont dépassé toutes les attentes, offrant généralement des améliorations de vitesse de 2 à 10 fois pour les scénarios de streaming IA, avec des gains encore plus importants pour les documents plus longs. Bien qu'initialement conçu comme un outil interne pour mon produit, j'ai réalisé que l'open source pourrait être une excellente direction à prendre.

Le problème

Chaque fois qu'une IA diffuse un nouveau morceau de texte, les analyseurs de démarques traditionnels réanalysent l'intégralité du document à partir de zéro, gaspillant ainsi des cycles de processeur sur du contenu déjà rendu. Incremark résout ce problème en analysant uniquement les nouveautés.

Résultats de référence : voyez-le pour le croire

Document de démarque court :

Document de démarque plus long :

Remarque : Le multiplicateur d'amélioration des performances peut varier d'une exécution de référence à l'autre en raison de la stratégie de segmentation. La page de démonstration utilise des longueurs de fragments aléatoires :const chunks = content.match(/[\s\S]{1,20}/g) || []. Cette segmentation affecte la génération de blocs stables et simule mieux les scénarios du monde réel dans lesquels un fragment peut contenir le contenu du fragment précédent ou suivant. Quelle que soit la façon dont le contenu est fragmenté, les améliorations des performances sont garanties. Le site Web de démonstration n’utilise aucune stratégie de segmentation artificielle p...
[Courte citation de 8% de l'article original]