Il chunking consiste nel dividere documenti lunghi in piccoli blocchi, perché un’IA possa poi trovare i passaggi giusti.
Esempio
Un manuale di 80 pagine viene diviso in blocchi di circa mezza pagina ciascuno.
Per esperti
Dimensione e sovrapposizione dei blocchi influiscono molto sulla qualità di un sistema RAG. Blocchi troppo piccoli perdono il contesto, troppo grandi diluiscono la ricerca. I buoni metodi tagliano su titoli o paragrafi e salvano metadati come titolo e pagina.
