Quelle est la taille des morceaux ?

La taille du bloc fait référence au nombre maximum de caractères ou de jetons autorisés dans un seul bloc. Par exemple, si la taille du bloc est de 300, chaque bloc comportera jusqu'à 300 caractères.

Exemple : Imaginez ce texte :

Le découpage est le processus consistant à diviser un gros morceau de texte en morceaux plus petits et plus faciles à gérer pour le rendre plus facile à traiter et à analyser.

si la taille du bloc est de 40 caractères :

• Chunk 1 : "Le chunking est le processus de rupture d'un"
• Morceau 2 : "une grande partie du texte en plus petite"
• Morceau 3 : « élément gérable pour le rendre plus facile »
• Morceau 4 : « à traiter et à analyser ».

Notes : vous pouvez utiliser l'outil pour compter les jetons Tokeniz...
[Courte citation de 8% de l'article original]