01Qué es y cómo funciona
Google asigna a cada dominio un presupuesto basado en dos señales: el límite de la tasa de rastreo (qué tan rápido puede responder el servidor sin errores) y la demanda de rastreo (con qué frecuencia es probable que el contenido cambie o sea necesario para los usuarios). El crawler respeta el límite de tasa para evitar sobrecargar al host y luego gasta el presupuesto restante en las páginas que parecen valiosas, como aquellas con un alto valor de enlaces internos o actualizaciones recientes. El proceso se ejecuta continuamente, pero el presupuesto puede reducirse si el sitio devuelve muchos errores 5xx o ofrece respuestas lentas.
Crawl budget = cuántas páginas rastreará Google en tu sitio y con qué frecuencia.
02Qué hacer al respecto
Comience por limpiar las URLs de bajo valor: elimine parámetros duplicados, bloquee páginas con poco contenido (thin pages) con noindex y consolide la paginación. A continuación, mejore la velocidad del servidor para que el límite de tasa (rate limit) pueda aumentar: utilice un CDN, habilite la compresión y corrija las consultas lentas a la base de datos. Finalmente, señale la importancia mediante el enlazado interno: coloque las páginas nuevas o de alto tráfico en la parte superior de su navegación y utilice rutas de migas de pan (breadcrumbs). Estos pasos pueden realizarse en una semana y proporcionan a Google señales más claras sobre dónde gastar su presupuesto.
03Cómo se mide o se detecta
El informe de Crawl Stats de Google Search Console muestra el total de solicitudes, el tiempo medio de respuesta y el límite de tasa de rastreo actual. Una caída repentina en las "Crawl requests" o un aumento en los "Server errors (5xx)" suelen indicar una reducción del presupuesto. Los registros del servidor (server logs) también revelan el número de visitas de Googlebot por día; compare eso con el número de URLs que espera que sean rastreadas. Si observa muchas URLs que nunca se solicitan, es probable que estén fuera del presupuesto actual.
04Errores comunes
- Bloquear grandes secciones del sitio con
robots.txtcuando se espera que Google las rastree. - Dejar miles de parámetros de
session-iden las URLs, lo que crea infinitas páginas de bajo valor. - Confiar únicamente en el tamaño del sitemap para aumentar el presupuesto sin mejorar el rendimiento del servidor.
05Límites y confusiones
El Crawl budget se aplica solo a sitios grandes o que se actualizan con frecuencia; los blogs pequeños suelen recibir suficiente presupuesto por defecto. No es lo mismo que el presupuesto de indexación: Google puede rastrear una página pero decidir no indexarla si considera que el contenido es de baja calidad. Confundir el Crawl budget con señales de ranking puede llevar a un esfuerzo desperdiciado; el presupuesto no afecta directamente a la posición en la SERP, solo a la rapidez con la que el rastreador puede ver el contenido nuevo o actualizado.
06Ejemplo práctico
"Después de que eliminamos el 30 % de las URLs de productos duplicadas y redujimos el tiempo promedio de carga de la página de 3.2 s a 1.1 s, las Crawl Stats en Search Console mostraron un aumento del 45 % en las páginas rastreadas por día, y nuestras nuevas páginas de productos aparecieron en las búsquedas en un plazo de 24 horas".
07Preguntas frecuentes
¿En qué se diferencia el Crawl budget del límite de la tasa de rastreo (crawl rate limit)?
Depende del contexto. El crawl rate limit es la velocidad máxima a la que Google solicitará páginas a tu servidor sin causar errores, mientras que el Crawl budget es la cantidad total de rastreo que Google asigna a tu sitio, equilibrando esa velocidad con la frecuencia con la que considera que tu contenido necesita actualizarse.
¿Debería preocuparme por el Crawl budget de mi pequeño blog personal?
Por lo general, no es necesario. Los blogs pequeños suelen recibir suficiente Crawl budget por defecto, por lo que, a menos que tengas miles de páginas que cambien con frecuencia, Google rastreará tu contenido nuevo sin ningún esfuerzo especial.
¿Cómo determina Google el Crawl budget de mi sitio?
Depende de dos señales principales. Google analiza el crawl rate limit, que refleja con qué rapidez puede responder su servidor sin errores, y la crawl demand, que estima con qué frecuencia es probable que su contenido cambie o sea solicitado por los usuarios.
¿Mejorar la velocidad de carga de la página aumentará mi Crawl Budget?
Por lo general, ayuda. Los tiempos de respuesta más rápidos pueden aumentar el crawl rate limit, permitiendo que Google rastree más páginas en la misma cantidad de tiempo, lo que puede aumentar efectivamente el Crawl Budget general de su sitio.
¿Qué pasa si mi Crawl Budget es demasiado bajo?
Si su presupuesto es bajo, es posible que Google no rastree todas sus páginas con regularidad, lo que hará que el contenido nuevo o actualizado permanezca invisible en los resultados de búsqueda. Notará que aparecen menos páginas en el informe de Crawl Stats y una caída en el tráfico orgánico de las páginas recién añadidas.
¿Cuánto tarda en aparecer en Search Console el impacto de los cambios en mi Crawl Budget?
Por lo general, Google tarda de unos pocos días a una semana en ajustar el Crawl Budget después de que usted realice mejoras en el sitio. Mientras tanto, puede monitorear el informe de Crawl Stats para observar cualquier cambio en el volumen de solicitudes y los tiempos de respuesta.
08Preguntado en voz alta
El mismo término en las palabras que alguien usa al hablar con un asistente en lugar de escribir en un buscador: escrito desde la situación, y por eso cada pregunta lleva la situación de la que salió.
Por lo general, se debe a que el current crawl budget aún no ha asignado suficientes solicitudes a esa URL. Puedes acelerar el proceso enviando la página a través de la herramienta URL Inspection y asegurándote de que el servidor responda rápidamente.
Por lo general, se trata de un problema de crawl budget o de URLs bloqueadas. Revisa las Crawl Stats de Google Search Console para ver si Google está solicitando esas páginas y asegúrate de no estar bloqueándolas involuntariamente con robots.txt o etiquetas noindex.
Depende de cómo se haya gestionado la eliminación. Si bloqueaste las URLs sin las redirecciones adecuadas o sin etiquetas noindex, es posible que Google piense que el sitio tiene menos páginas útiles, lo que reducirá el crawl budget y la visibilidad.