En la parte más técnica del SEO existen algunas técnicas avanzadas que llevan algo de tiempo aplicarlas, además de no ser muy conocidas para las personas que se están iniciando en el mundo del posicionamiento.
En el artículo de hoy vamos a enseñaros algo nuevo y más avanzado, que a pesar de ser todo bastante técnico, estoy seguro que le podréis sacar partido, hoy os vamos a hablar sobre la optimización del Crawl Budget.
¿Qué es el Crawl Budget?
El Crawl Budget o presupuesto de rastreo es un término que usamos en SEO para referirnos al tiempo que va a estar el robot de Google rastreando nuestra web.
Este presupuesto va a estar limitado por un determinado tiempo donde el robot irá rastreando nuestra web. El tiempo que el robot va a estar crawleando y la cantidad de páginas rastreadas, normalmente está directamente relacionado con la calidad del SEO de nuestro sitio web.
¿Por qué es importante mejorar el presupuesto de rastreo?
Para saber por qué es importante mejorar el presupuesto de rastreo, es necesario entender un poco cómo Google reconoce cuáles son las páginas más importantes de tu sitio web.
Google rastrea las páginas siguiendo los enlaces. Si una página tiene varios enlaces internos apuntando hacia ella, Google pasará más veces por ella y entenderá que esa página tiene más relevancia frente a otras de la web.
Si optimizamos el Crawl Budget, podremos hacer pasar más veces al robot de Google por las páginas que nos interesan y ayudarle a identificar las páginas más importantes.
¿Cómo controlar el Crawl Budget?
Actualmente puedes controlar el Crawl Budget Google de varias formas, algunas más sencillas que otras, pero de normal las más sencillas no son las mejores :0
Search Console
La forma más rápida y fácil de consultar el rastreo de Google es mediante la herramienta Search Console, en la sección Herramientas e informes antiguos en Estadísticas de rastreo.
Solo una anotación, actualmente no se encuentra activo para las cuentas de Search Console dadas de alta como dominio. Puedes verlo en la guía de Search Console de Publisuites. ¿Cómo mejorar el crawl budget o presupuesto de rastreo? Share on XGoogle Analytics
Lino Uruñuela fue quien mostró este pequeño truco que nos muestra cómo podemos ver lo que rastrea Google con nuestra cuenta de Analytics.
El método consiste en agregar un script en código php con el que se manda la información a una vista de Analytics.
Es bastante sencillo de utilizar. Si tienes una web de WordPress y quieres probarlo, puedes adjuntarlo en el fichero footer.php de tu tema activo para poder empezar a usarlo.
Como punto positivo de este método, es que podemos ver la respuesta que está recibiendo el robot y las páginas rastreadas, pero por contrapartida no podemos ver las llamadas a otros recursos, como imágenes, css, js, y otro tipo de archivos similares.
Aún así debo reconocer que he probado el método y está muy guay, me encantó.
Análisis de Logs
Este es el método más complejo de todos, ya que los logs son ficheros muy pesados que se almacenan en nuestro servidor. Contiene bastante información de todas las visitas que se producen en nuestra web.
Las herramientas como siempre, no es que sean excesivamente baratas, pero es algo obligatorio que hay que trabajar.
Al final de este artículo os dejo un método de Iñaki Huerta para subir los logs a Google Data Studio y algo más de información sobre el Crawl Budget de Google en una presentación realizada en su paso por el Clinic SEO.
¿Cómo controlar y optimizar el Crawl Budget? Share on X¿Cómo optimizar el Crawl Budget para el SEO?
El Crawl Budget Google se puede dividir en 4 grandes zonas de optimización, estas son:
- WPO: mejorando la velocidad de carga, podremos conseguir que el robot visualice más páginas
- Control del robot mediante htaccess o robots.txt: controlando los accesos del robot, conseguiremos que este pase únicamente por aquellas páginas que nos interesen realmente.
- Respuesta de error de páginas y redirecciones: corrigiendo los enlaces que dan problemas, no solo mejoraremos la calidad de nuestro SEO y nuestro presupuesto de rastreo, también conseguiremos que el robot no consuma tiempo en páginas innecesarias.
- Enlazado interno: optimizando el enlazado de nuestra web conseguiremos que el robot de Google pase más veces por aquellas páginas que más nos interesen.
Dentro de Publisuites podrás generar ingresos vendiendo posts patrocinados dentro de tu blog para otros usuarios. Entra y Hazte una cuenta de editor para empezar a ganar dinero.
Vamos a ver estos puntos uno a uno.
Website Performance Optimization
Una de las formas más rápidas y fáciles que existe de mejorar el Crawl Budget es mejorando la velocidad de la web. Además notaremos también mucho más rápidamente mejorías a nivel SEO, ya que no requiere demasiado tiempo para detectarlo.
Existen varias herramientas tipo Gtmetrix, Google PageSpeed o Google Lighthouse, que te indican aspectos a mejorar de la página analizada. Incluso en Google Analytics tienes un atajo para ver la velocidad y mejora de las páginas con Google PageSpeed.
Control del robot mediante htaccess o robots.txt
Desde estos dos ficheros podemos controlar por dónde queremos que el robot acceda, por lo que nos permitirá filtrar páginas donde no queremos que el robot pierda su tiempo, pudiendo así concentrarlo en el resto de la web.
Por lo general suelen filtrarse páginas con variables y parámetros en las urls. Este atajo suele ser también bastante rápido, el problema es que si Google ya ha pasado por estas urls, las mantendrá en el índice y seguirá tratando de acceder a la web por medio de estas urls.
En estos casos puede ser interesante usar la funcionalidad de desindexación de páginas de Search Console, para evitar que el robot pierda tiempo en estas urls, aunque hay que ir con cuidado, ya que en ocasiones podría llegar a interesarnos para facilitar el rastreo a urls más profundas y difíciles de llegar.
Respuesta de error de páginas y redirecciones
Otra forma normalmente rápida de mejorar el Crawl Budget es corrigiendo los enlaces internos que apuntan a redirecciones, errores 404, páginas sin respuesta o errores de servidor.
Cuando el robot llega a una página con respuestas de este tipo está consumiendo tiempo que podría estar usando en otra página, por lo que suele ser un método efectivo.
Este tipo de páginas las podemos encontrar rápidamente con alguna herramienta del tipo crawler como Screaming Frog Spider, Sitebulb, Semrush, etc.
Rastreando la web encontraremos aquellas urls que necesitemos modificar y dónde se encuentran.
Enlazado interno
Esta es la opción más difícil de las tres, ya que debemos tener en cuenta:
- Cómo está enlazada toda la web
- Por qué palabras clave queremos posicionar cada página
- Cuál es la dificultad de cada palabra clave
- Cuáles son las palabras clave que nos ayudan a cumplir mejor nuestros objetivos
Este estudio va acompañado de los análisis de logs, que nos permite reconocer fácilmente algunas de las secciones y urls más importantes. Además, cruzando las veces que pasa el robot con otros datos podemos obtener información bastante relevante para tomar decisiones.
Para realizar el análisis de logs puedes usar las herramientas OnCrawl o Screaming Frog Log Analyzer.
Te interesa En caso de no tener mucho presupuesto, pero sí suficientes conocimientos técnicos, puedes optar por usar Kibana con ElasticSearch o también puedes pegarle un vistazo a esta charla de Iñaki Huerta donde habla sobre el Crawl Budget y explica un método para mostrar la información con Google Data Studio a partir de la diapositiva 54:Lo bueno de usar esta metodología de Google Data Studio, es que te permite cruzar fácilmente la información con otras fuentes de datos sin tener muchos conocimientos, lo que nos permitiría sacar rápidamente las url’s que más visitas orgánicas tienen, la relación que guardan con el número de veces que el robot pasa, los enlaces que apuntan hacia estas webs, entre otros muchos datos, pudiendo ver la información de forma mucho más gráfica.
Conclusiones
La optimización del Crawl Budget es un factor bastante importante a nivel de SEO técnico que no todo el mundo trabaja.
Existen pequeñas soluciones rápidas que nos permiten mejorar nuestro presupuesto de rastreo rápidamente, sin necesidad de invertir mucho tiempo.
Pero si queremos realizar correctamente esta tarea, es necesario meternos en profundidad y realizar un análisis de logs para mejorar todo esto.
Photo by Austin Distel on Unsplash
13 comentarios en “Qué es el crawl budget y cómo optimizarlo”
Está interesantisimo este post para mejorar el seo.
Habrá que leerlo varias veces porque tiene mucho contenido.
Saludos😉
Si tienes cualquier duda sobre el Crawl Budget pregunta =)
Creo en mi opinión que es mejor hacer un buen enlazado interno porque lo demás lo veo muy complicado.
Muy buena publicación.
Puedes corregir los enlaces que apunten a redirecciones y páginas con errores, además de usar algún plugin de velocidad.
Son cosas sencillas que pueden ayudarte con todo esto 😉
Pingback: Interlinking: qué es y cómo usarlo para mejorar el SEO
Siempre estoy muy pendiente que no existan errores 404 en mi web
Como experiencia de usuario es terrible
Y bueno, como bien explican, tiene su beneficio SEO hacerlo
Saludos
Hola Luis!
Correcto, fíjate también en enlaces internos con redirecciones y páginas que esté rastreando el robot y no se indexen o no te vayan a posicionar por nada,.
Este tipo de páginas consumen tiempo de rastreo también, siendo una buena opción para optimizar webs muy grandes.
Hola Eric,
es un post muy completo y me ha servido para conocer algo que desconocía, como es el pequeño truco de añadir el código en php para que Analytics rastree mejor las visitas que recibimos. Sin duda lo probaré 🙂
Saludos.
Hola Jesús!
Me alegro que te guste el artículo que recomendé de Lino Uruñuela =)
Ten cuenta que tienes que agregar el user-agent del bot a rastrear (puedes rastrear otros a parte de google y bing que menciona el artículo), y también algo muy importante, solo verás las páginas de la web, recursos externos como imágenes, css y js no se visualizarán en esta configuración.
Para ver el crawleo de estos últimos archivos mencionados, necesitas hacer un análisis de logs.
Saludos!
Eric
=)
Gracias Eric, muy interesante la aportación ya conocia Screaming Frog Log Analyzer y esta semana estoy probando OnCrawl esta interesante sobre todo la herramienta de posibles canibalizaciones, respecto al presupuesto y tiempo de la araña de google es muy necesario trabajarlo como indicas. Saludos Juan Carlos
OnCrawl es una herramientas con muchas posibilidad y bastante potente. Creo que por navidades o por el black friday, lanzaron una oferta muy buena que donaban no sé si parte o todo lo recogido para una causa benéfica.
La única pega que veo a la herramienta (a pesar de que personalmente me gusta), es el coste.
Interesante herramienta Erick, habría que probarla! Saludos
¡Increíble artículo sobre el crawl budget y cómo optimizarlo! El crawl budget es un aspecto fundamental en el SEO técnico que puede tener un impacto significativo en la indexación y visibilidad de tu sitio web.