Todos los escenarios/ Desarrollador
Un rastreo se paró tras unas pocas páginas: por qué y qué hacer
El rastreo de tu propio sitio terminó tras unas decenas de páginas, o se alarga durante horas. Puede haber varias causas: robots.txt cierra secciones, el servidor responde 429, la CDN muestra una verificación antibots o las reglas de alcance cortaron más de lo previsto. Hasta saber cuál, tocar ajustes es ir a ciegas.
- Quién
- Desarrollador, DevOps, SEO técnico
- Sitio
- Un sitio detrás de una CDN o protección antibots, con límites de peticiones
- Qué duele
- El rastreo queda incompleto o va muy lento, y no está claro por qué
- Qué necesitas
- La causa exacta con direcciones de ejemplo y qué cambiar, en el sitio o en los ajustes
Pasos en Molfar
Lee la línea de robots.txt
Sobre el rastreo en vivo, Molfar dice qué reglas se aplican —las del sitio, las tuyas desde los ajustes o ninguna—, qué ritmo permite el sitio, como Crawl-delay, cuántos flujos, cuántas rutas están cerradas y a qué bots de IA está cerrado el sitio. A menudo la causa ya se ve aquí.
Rastreo — documentación (en inglés)
En la captura: robots.txt y ritmo del rastreo Mira cómo frena el sitio el rastreo
Cuando el sitio responde 429 o 503, Molfar frena solo: menos flujos, una pausa más larga, respetando Retry-After, y tras una serie de respuestas normales vuelve a acelerar poco a poco. La misma línea dice qué pasó: «el sitio respondió 429: más despacio», «el sitio dejó de responder: pausa», «acelerando de nuevo».
Rastreo — documentación (en inglés)En la captura: robots.txt y ritmo del rastreo Abre el diagnóstico
El botón «¿Por qué el rastreo fue así?» de la misma línea, o Rastreo › Diagnóstico…, abre un panel con las causas en una lista: direcciones cerradas por robots.txt, respuestas 429 y 503, páginas de verificación antibots con el nombre del servicio, páginas sin respuesta, direcciones fuera del alcance, versiones de idioma omitidas y el límite alcanzado. Cada punto trae su recuento y direcciones de ejemplo. Un agente recibe los mismos puntos por MCP con la herramienta diagnose_crawl.
Diagnóstico — documentación (en inglés)En la captura: robots.txt y ritmo del rastreo Revisa tu propio alcance
El contador «omitidas por el alcance» durante el rastreo muestra cuántas direcciones descartaron tus propias reglas: Incluir, Excluir, profundidad, parámetros, la carpeta inicial. Si es grande, el rastreo está incompleto por los ajustes, no por el sitio.
Ajustes · Alcance del rastreo — documentación (en inglés)En la captura: robots.txt y ritmo del rastreo Cambia las reglas para tu sitio
Para tu propio sitio o un staging, los ajustes de rastreo permiten fijar tu propio robots.txt y probarlo con una dirección, o no respetar el robots.txt del sitio. La protección antibots es mejor no saltarla: pide al administrador de la CDN que deje pasar tu rastreador.
Ajustes · Rastreo — documentación (en inglés)En la captura: robots.txt y ritmo del rastreo Rastrea de nuevo y compara
Tras los cambios, vuelve a rastrear y compara con la ejecución anterior en Historial: cuántas direcciones nuevas aparecieron y si desaparecieron las páginas con errores de respuesta.
Historial — documentación (en inglés)
En la captura: Historial de rastreos
Lo que obtienes
La causa con ejemplos
Qué detuvo exactamente el rastreo, con las direcciones donde pasó.
Qué cambiar y dónde
En el sitio: robots.txt, el límite de peticiones, una regla de la CDN; en Molfar: el alcance y el ritmo.
Un rastreo completo
Una segunda ejecución, comparada con la primera.
Conviene saber
- El diagnóstico explica el rastreo abierto con lo que registró y no vuelve a preguntar al sitio: para ver si un cambio ayudó, rastrea de nuevo.
- Molfar no se salta las verificaciones antibots: ante un CAPTCHA el rastreo puede pausarse y abrir la página para que la superes tú.
- Ignora robots.txt solo en sitios que son tuyos o que tienes permiso para rastrear.
- Algunos ajustes pueden estar bloqueados en tu cuenta; el candado dice qué los abre.
Preguntas
- ¿Por qué Molfar frena solo?
- Porque 429 y 503 significan que el servidor pide menos peticiones. Insistir trae un bloqueo o tumba el sitio; un rastreo completo lento vale más que uno rápido e incompleto.
- ¿Puedo fijar el ritmo a mano?
- Sí, Solicitudes por segundo está en los ajustes de rastreo; el Crawl-delay del sitio sigue aplicándose si respetas robots.txt.
- ¿El diagnóstico ve las versiones de idioma?
- Sí: si el alcance dejó fuera versiones de idioma del sitio, el diagnóstico lo indica como un punto propio.