El chunking consiste en dividir documentos largos en fragmentos pequeños para que una IA encuentre después los pasajes adecuados.
Ejemplo
Un manual de 80 páginas se divide en fragmentos de media página aproximadamente.
Para profesionales
El tamaño y el solapamiento de los fragmentos influyen mucho en la calidad de un sistema RAG. Si son demasiado pequeños pierden contexto; si son demasiado grandes diluyen la búsqueda. Los buenos métodos cortan por títulos o párrafos y guardan metadatos como título y página.
