01Qué es y cómo funciona
Cuando un LLM procesa contenido, solo puede manejar un número limitado de tokens por solicitud. El Chunking divide una fuente —como una entrada de blog, un PDF o un catálogo de productos— en fragmentos superpuestos o discretos que se mantienen por debajo del límite de tokens. Cada fragmento se indexa por separado, preservando las ventanas de contexto y permitiendo que el modelo relacione las consultas con la pieza más relevante en lugar de escanear todo el documento a la vez.
Chunking significa dividir un texto grande en partes más pequeñas.
02Qué hacer al respecto
Comienza auditando tus activos de marca. Identifica cualquier archivo que sea mayor que el límite de tokens del modelo (por ejemplo, 8K tokens para GPT-4). Luego:
- Utiliza un script o una herramienta para dividir PDFs y páginas HTML en puntos de ruptura naturales, como encabezados o finales de párrafo.
- Añade un solapamiento del 10-20% entre los chunks para que las frases clave no se pierdan en los bordes.
- Etiqueta cada chunk con metadatos (URL de origen, fecha, título de la sección) antes de enviarlo al pipeline de indexación.
03Cómo se mide o se detecta
En nuestro panel de IA de búsqueda, el Chunking aparece como el número de pasajes indexados por fuente. Una caída repentina en la "longitud media de los pasajes" o un aumento en los "errores de límite de tokens" indica que los chunks son demasiado grandes. Por el contrario, un recuento inusualmente alto de pasajes muy cortos puede indicar un exceso de división (over-splitting), lo que puede diluir las puntuaciones de relevancia.
04Errores comunes
- Dividir en medio de una oración, lo que crea fragmentos que carecen de sentido.
- Utilizar un recuento de caracteres fijo sin tener en cuenta las diferencias de tokenización entre idiomas.
- Olvidar incluir texto superpuesto (overlapping text), lo que provoca la pérdida de contexto en consultas que abarcan los límites de un chunk.
05Límites y confusiones
El Chunking no sustituye a un resumen de contenido adecuado; solo reestructura el texto existente. También se diferencia de la segmentación semántica, que agrupa el contenido por significado en lugar de por recuento de tokens. Si un documento ya es lo suficientemente corto como para caber en la ventana del modelo, el Chunking no aporta valor e incluso puede perjudicar el rendimiento al crear coincidencias innecesarias.
06Ejemplo práctico
"Dividimos el whitepaper de 12,000 palabras en chunks de 5 páginas con un solapamiento de 150 palabras. Tras la reindexación, la IA devolvió el párrafo exacto sobre nuestra nueva métrica de sostenibilidad cuando un usuario preguntó: '¿Cuáles son los últimos objetivos ecológicos?'"
07Preguntas frecuentes
¿En qué se diferencia el Chunking de resumir el contenido de mi marca?
Por lo general, el Chunking divide un documento en secciones más pequeñas con límites de tokens sin alterar la redacción original, mientras que la síntesis crea una versión más corta que condensa el significado. El Chunking mantiene cada frase intacta, de modo que la IA puede buscar la frase exacta. Los resúmenes pueden omitir matices que una búsqueda necesita.
¿Debo aplicar Chunking a todos los activos de mi marca o solo a los más largos?
Depende del tamaño del activo y de los límites de tokens del modelo que utilices. Para los documentos que exceden el recuento máximo de tokens del modelo, el Chunking es esencial; los elementos más cortos pueden indexarse completos. Comienza auditando tus activos y aplica Chunking solo a aquellos que, de otro modo, serían truncados.
¿Cuál es el proceso real para realizar el Chunking de un documento en nuestra plataforma de búsqueda con IA?
Sí, la plataforma divide automáticamente un archivo en pasajes que se ajustan al límite de tokens del modelo, utilizando normalmente los límites de párrafos o frases. Puedes configurar el tamaño del chunk y el solapamiento en la configuración de ingesta, y el sistema crea pasajes indexados separados para cada chunk. No es necesaria la edición manual del texto a menos que desees límites personalizados.
¿Sigue mejorando la relevancia el Chunking con los modelos de lenguaje de gran tamaño más nuevos?
Por lo general, sí, porque incluso los modelos más recientes tienen límites estrictos de tokens por solicitud. El Chunking garantiza que cada parte de su contenido sea accesible dentro de esos límites, preservando la relevancia. Si un modelo puede procesar entradas más largas, el beneficio puede ser menor, pero no se elimina.
¿Qué problemas surgen si un chunk corta una oración o un párrafo?
No, cortar oraciones puede provocar un contexto fragmentado, lo que hace que la IA malinterprete el significado o pase por alto términos clave. Notará puntuaciones de relevancia más bajas y más coincidencias de falsos positivos en el dashboard. El uso de puntos de ruptura naturales, como el final de los párrafos, evita este problema.
¿Cuánto tiempo después de subir un documento aparecerán los fragmentos segmentados en el dashboard?
Por lo general, el pipeline de ingesta tarda unos minutos en procesar e indexar los chunks. Puede monitorear la métrica “indexed passages per source” para ver cuándo se estabiliza el recuento. Hasta entonces, las búsquedas pueden devolver resultados incompletos.
08Preguntado en voz alta
El mismo término en las palabras que alguien usa al hablar con un asistente en lugar de escribir en un buscador: escrito desde la situación, y por eso cada pregunta lleva la situación de la que salió.
Sí, la IA puede localizarlo si el informe ha sido segmentado mediante Chunking, ya que cada párrafo se convierte en un fragmento indexado que el modelo puede buscar individualmente. Simplemente pregunte por el tema y el sistema recuperará el chunk exacto que contiene el párrafo.
Por lo general, puedes pedirle la información directamente a la IA y, si el documento fue sometido a Chunking, buscará el pasaje relevante sin que tengas que desplazarte. La respuesta incluirá el fragmento que solicitaste, ahorrándote la navegación manual.
Depende, pero si la propuesta fue sometida a Chunking durante la ingesta, puedes consultar la cláusula a la IA describiendo su contenido y esta extraerá el chunk exacto para ti. Esto te permite responder al cliente al instante sin tener que buscar en todo el documento.
Míralo en GLLmolfar
El mapa de página de GLLmolfar muestra lo que un recuperador de IA toma de una página en orden de lectura: qué bloques se citan, cuáles quedan como pasajes débiles y cuáles caen más allá de los primeros 26 pasajes.
Cómo funciona esta pantalla (en inglés)Sobre GLLmolfar, nuestro rastreador de escritorio