Qué lee un asistente de IA cuando lee su página

Un sistema de recuperación nunca lee su página. Lee fragmentos de la misma — un puñado, seleccionados por su similitud con una pregunta — y el resto del contenido de la página puede considerarse inexistente para esa respuesta. No se trata de un detalle de la implementación de un producto. Es lo que es la generación aumentada por recuperación, y lo ha sido desde el el artículo que lo nombró en 2020: recuperar fragmentos y luego redactar a partir de ellos.

Por lo tanto, la cuestión interesante sobre una página no es cuán buena es. Es qué fragmentos recibiría un recuperador, en qué orden, y si el que contiene su respuesta está entre ellos.

Construimos Vectorscope para responder a eso una URL a la vez, y ejecuta la canalización real — el mismo chunker (segmentador), el mismo modelo de incrustación, el mismo passage cap (límite de fragmentos) que aplica el producto de pago. Una demostración que ejecuta una versión simplificada halagaría la canalización que existe para demostrar.

Seis páginas, y el número que resultó no importar

Ejecutamos seis páginas: una guía de un proveedor sobre un formulario fiscal, tres páginas de referencia y documentación, un artículo enciclopédico muy extenso y nuestra propia página Vectorscope. Cada cifra que se muestra a continuación se obtuvo con la herramienta el 19 de agosto de 2026, usando la canalización desplegada — embeddings voyage-4-lite de 1 024 dimensiones y un límite de 26 pasajes por página.

El número que esperábamos que fuera la historia era la cuarta columna: cuánto de una página nunca llega al índice. En cinco de seis páginas era cero. No cercano a cero — cero. No se perdió nada, porque ninguna de esas páginas era lo suficientemente larga como para superar el techo.

Muerde una sola vez, y muerde fuerte. El artículo de Wikipedia sobre transformers tiene 14,163 palabras; el recuperador recibió 26 pasajes que contenían 47,275 caracteres y dejó 53,903 caracteres sin leer — 53.3% de la página. Más de la mitad de la explicación más enlazada de la arquitectura detrás de cada modelo mencionado aquí no está, en cuanto a una pasada de recuperación, presente.

La lección es más concreta que el consejo habitual y más útil: la longitud de la página no es un problema de recuperación hasta que es enorme, y entonces es grave. Por debajo de aproximadamente cinco mil palabras, el techo no es lo que le está costando.

Qué difiere: cuánto se repite una página

Observe la última columna. La auto‑similitud es la media de la similitud coseno entre los propios pasajes de una página — cuán parecidos son entre sí las partes de una página. Las seis páginas varían entre 0.698 y 0.854, y el orden no corresponde al de sus recuentos de palabras.

Un número bajo indica que la página cubre terreno. El artículo de Wikipedia sobre SEO, con 0.708, tiene seis grupos, uno de ellos un único pasaje sobre mercados internacionales que no se asemeja a ningún otro contenido de la página — se trata de una página con una sección realmente separada, y un recuperador que consulta sobre SEO internacional dispone de algo concreto que devolver.

Un número alto indica que la página repite una idea muchas veces. Eso nos lleva a la parte incómoda.

Lo probamos en nosotros mismos y quedamos últimos

Nuestra propia página de Vectorscope obtuvo 0,854 — la más alta, por mucho, en seis páginas que no elegimos para halagarnos. Sus 1.556 palabras se convirtieron en seis pasajes distribuidos en tres grupos, uno de los cuales es un único pasaje y otro contiene cuatro. En términos simples: la página formula un argumento, de forma repetida, con palabras ligeramente distintas.

Peor, 1.994 de sus 10.235 caracteres extraídos — 19 % — se clasificaron como utilidad y no como contenido principal: navegación, controles, la franja de chips superior. En la guía W‑9 la cifra equivalente fue 434 caracteres de 29.270, lo que representa el 1,5 %.

No vamos a pretender que se trata de un hallazgo sutil. Desde entonces, la página ha añadido ocho secciones de explicación real bajo la herramienta, y la lectura anterior se realizó después de esa incorporación; antes habría sido peor. Es la demostración más clara que tenemos de que la medida es útil: nos indicó algo verdadero que no queríamos escuchar, sobre la página que más consultamos.

Las tres formas de dividir una página y por qué la del medio es la más importante

Chunking es el paso que nadie ve y por el que todos son evaluados.

Fixed-length chunking corta cada N caracteres. Es la opción predeterminada en la mayoría de los pipelines porque es trivial de implementar, corta por la mitad de las frases, separa un encabezado de la respuesta que lo sigue y genera pasajes que empiezan con medio palabra. Es rápido, barato, repetible y la causa de que muchas páginas recuperen mal las preguntas que responden perfectamente.

Heading-aware chunking utiliza la propia estructura H2 y H3 de la página como líneas de corte, de modo que un pasaje llega con el encabezado que lo nombra. Es la mejora única más grande disponible para la mayoría de las páginas, y tiene una consecuencia que la gente pasa por alto: el texto de su encabezado ahora realiza trabajo de recuperación. Una sección llamada "Overview" no aporta nada al pasaje que la sigue. Una sección llamada "How much does it cost?" aporta la propia pregunta.

Semantic chunking compara bloques vecinos y corta donde cambia el significado, exista o no un encabezado. Genera pasajes autónomos y requiere una pasada de embedding sobre la página antes de que se produzca cualquier recuperación.

Ninguna de las tres está libre de juicio. Un corte es una decisión sobre dónde termina una idea, y Vectorscope le muestra las decisiones en lugar de una puntuación, porque una puntuación las ocultaría.

Lo que no puede decirle

Tres cosas, y preferimos indicarlas aquí antes de que alguien las descubra y concluya que la herramienta se promociona en exceso.

No puede decirle si algún asistente concreto tiene su página en su índice. Nadie fuera de esas compañías puede verlo, y una herramienta que afirme lo contrario está inferiendo a partir de algo que no nombrará.

No puede decirle cómo un modelo clasifica su página frente a la de un competidor. Eso requiere un corpus de ambas páginas, que es el producto y no la demostración.

No puede decirle si ha sido citado en una respuesta hoy. Es una medición en el tiempo, sobre los prompts que usted elija, y constituye un instrumento distinto.

Lo que sí puede hacer es mostrarle, con exactitud, los fragmentos que un recuperador recibe de una URL, que es la parte de la cadena que todos suponen.

Si se construye la recuperación en lugar del contenido

La misma página funciona como una implementación de referencia a la que se puede apuntar con cualquier URL:

• Ejecute una página que ya haya indexado y compare los límites de los pasajes con los de su segmentador.
• Compare las tasas de extracción en la misma URL. Si la suya es inferior, su extractor está descartando el texto del cuerpo, no el texto estándar.
• Formule a la página una pregunta cuya respuesta conozca y compruebe que el pasaje principal es el que la contiene.
• Ejecute una página que sea demasiado larga. Los pasajes que superan el límite son los que su propio top‑k nunca alcanzará.

Fuentes y dónde seguir leyendo

• Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — el artículo del que proviene el nombre del patrón.
• Cosine similarity — la medida que sustenta cualquier afirmación de que dos pasajes tratan del mismo tema.
• Google Search Central sobre AI features and your site y la SEO Starter Guide, una de las seis páginas leídas anteriormente.
• La introduction to structured data de Google y schema.org, para la parte legible por máquinas.
• llms.txt — la convención que seguimos en /llms.txt, que describe esta herramienta en el único formato que un modelo no necesita analizar.
• OpenAI's embeddings guide, si la incrustación de palabras es nueva.

Nuestra propia methodology page incluye todas las fórmulas que emplea el producto y lo que cada número puede afirmar.