01Qué es y cómo funciona
Googlebot utiliza un algoritmo heurístico para decidir el crawl rate de cada sitio. Ese algoritmo analiza la capacidad de tu servidor, la rapidez de su respuesta y si devuelve errores. Si tu servidor es rápido y está en buen estado, Googlebot aumenta la tasa. Si detecta respuestas lentas o fallos, reduce el ritmo. El crawl rate es dinámico, no es un número fijo. Puedes influir en él indirectamente manteniendo tu servidor con buena capacidad de respuesta y tu sitio libre de errores. Google ignora la directiva crawl-delay en el robots.txt, aunque otros motores de búsqueda podrían respetarla.
Crawl rate es la rapidez con la que un motor de búsqueda visita tu sitio. Es la frecuencia de las solicitudes.
02Qué hacer al respecto
Para gestionar su crawl rate, comience con el rendimiento del servidor. Abra el informe de Crawl Stats de Google Search Console para ver las solicitudes diarias y el tiempo de respuesta promedio. Si nota una caída, compruebe si hay errores del servidor o cambios recientes en el robots.txt. Para fomentar un crawl rate más alto, asegúrese de que su servidor pueda manejar más solicitudes concurrentes. Utilice la herramienta URL Inspection para solicitar la indexación de páginas importantes. Evite bloquear a Googlebot con el robots.txt a menos que tenga una razón de peso. Mantenga su sitemap actualizado y elimine los enlaces rotos.
03Cómo se mide o se detecta
Puede medir el crawl rate examinando los registros de su servidor. Filtre por el user agent de Googlebot y cuente las solicitudes por segundo o por hora. El informe Crawl Stats de Google Search Console muestra las solicitudes por día, el tiempo de respuesta promedio y el tamaño de la descarga. Un cambio repentino en el crawl rate suele indicar un problema, como una caída del servidor o un error en el robots.txt. Las herramientas de analítica en tiempo real también pueden mostrar el tráfico de rastreo a medida que ocurre.
04Errores comunes
- Bloquear los crawlers con robots.txt, lo que impide que Google indexe su sitio.
- Establecer un crawl-delay bajo para Google, lo cual es ignorado y hace perder el tiempo.
- Ignorar los errores de rastreo en Search Console, lo que puede disminuir su crawl rate.
- Usar robots.txt para bloquear CSS o JavaScript, lo que perjudica el renderizado y puede reducir el crawl rate.
- Asumir que un crawl rate alto siempre es bueno; puede sobrecargar su servidor.
05Límites y confusiones
Crawl rate no es lo mismo que crawl budget. El crawl budget es el número total de URLs que Google puede rastrear en un periodo determinado, mientras que el crawl rate es la velocidad de las solicitudes. No se puede establecer directamente el crawl rate; lo determina el algoritmo de Google. No se aplica a todos los motores de búsqueda: Bing y otros tienen sus propios sistemas. El crawl rate no es un factor de posicionamiento. Un sitio con un crawl rate bajo aún puede posicionarse bien si su contenido es relevante y con autoridad.
06Ejemplo práctico
Consideremos un sitio con 1,000 páginas. Si Googlebot rastrea a 5 solicitudes por segundo, tardaría 200 segundos en rastrear todas las páginas. Pero si el servidor comienza a responder lentamente, Googlebot reduce el rate a 1 solicitud por segundo, extendiendo el rastreo a 1,000 segundos. Esto demuestra cómo el rendimiento del servidor afecta directamente al crawl rate.
07Preguntas frecuentes
¿En qué se diferencia el crawl rate del crawl budget?
El crawl rate es la velocidad a la que un motor de búsqueda solicita páginas, mientras que el crawl budget es el número total de URLs que un motor de búsqueda rastreará en su sitio dentro de un plazo determinado. Su crawl rate afecta directamente a su crawl budget. Piense en el crawl rate como el ritmo y en el crawl budget como la asignación total.
¿Cómo mido mi crawl rate?
Puedes medir el crawl rate examinando los logs de tu servidor para contar las peticiones de Googlebot u otros bots de los motores de búsqueda por segundo o por minuto. Herramientas como Google Search Console proporcionan estadísticas de rastreo. Esto te muestra la tasa real y qué páginas se están rastreando.
¿Cuándo debería ajustar mi crawl rate?
Deberías ajustar el crawl rate cuando el rendimiento de tu servidor se vea afectado por la carga. Comienza revisando el rendimiento del servidor y los tiempos de respuesta. Si estás recibiendo errores o respuestas lentas, puedes reducir el crawl rate en Google Search Console.
¿Qué pasa si mi crawl rate es demasiado alto?
Si tu crawl rate es demasiado alto, es posible que tu servidor se ralentice o incluso se bloquee, lo que provocará tiempos de inactividad y problemas de rendimiento para los usuarios reales. Podrías notar errores 5xx en los logs. Esto puede perjudicar la experiencia de usuario de tu sitio y afectar indirectamente al posicionamiento.
08Preguntado en voz alta
El mismo término en las palabras que alguien usa al hablar con un asistente en lugar de escribir en un buscador: escrito desde la situación, y por eso cada pregunta lleva la situación de la que salió.
Sí, podría ser. Revisa los logs de tu servidor para ver si hay un pico de peticiones de Googlebot. Si el crawl rate es inusualmente alto, puedes reducirlo en Google Search Console para aliviar la carga.
Depende del tamaño y la popularidad de tu sitio. Para sitios más grandes, muchas peticiones son normales, pero si estás viendo errores o ralentizaciones, es posible que necesites ajustar tu crawl rate.
Sí, puedes configurar un crawl rate personalizado en Google Search Console sin afectar el posicionamiento. Reducirlo solo ralentiza la rapidez con la que Google descubre y vuelve a rastrear tu contenido, no cómo lo posiciona.
Míralo en Molfar
Molfar respeta robots.txt por defecto, y Settings › Crawling fija su propia velocidad de peticiones, sus conexiones en paralelo y su tiempo de espera.
Cómo funciona esta pantalla (en inglés)Sobre Molfar, nuestro rastreador de escritorio