En la parte más técnica del SEO existen algunas técnicas avanzadas que llevan algo de tiempo aplicarlas, además de no ser muy conocidas para las personas que se están iniciando en el mundo del posicionamiento.

En el artículo de hoy vamos a enseñaros algo nuevo y más avanzado, que a pesar de ser todo bastante técnico, estoy seguro que le podréis sacar partido, hoy os vamos a hablar sobre la optimización del Crawl Budget.

¿Qué es el Crawl Budget?

El Crawl Budget o presupuesto de rastreo es un término que usamos en SEO para referirnos al tiempo que va a estar el robot de Google rastreando nuestra web.

Este presupuesto va a estar limitado por un determinado tiempo donde el robot irá rastreando nuestra web. El tiempo que el robot va a estar crawleando y la cantidad de páginas rastreadas, normalmente está directamente relacionado con la calidad del SEO de nuestro sitio web.

¿Por qué es importante mejorar el presupuesto de rastreo?

Para saber por qué es importante mejorar el presupuesto de rastreo, es necesario entender un poco cómo Google reconoce cuáles son las páginas más importantes de tu sitio web.

Google rastrea las páginas siguiendo los enlaces. Si una página tiene varios enlaces internos apuntando hacia ella, Google pasará más veces por ella y entenderá que esa página tiene más relevancia frente a otras de la web.

Si optimizamos el Crawl Budget, podremos hacer pasar más veces al robot de Google por las páginas que nos interesan y ayudarle a identificar las páginas más importantes.

¿Cómo hacer un buen enlazado interno?

¿Cómo controlar el Crawl Budget?

Actualmente puedes controlar el Crawl Budget de varias formas, algunas más sencillas que otras, pero de normal las más sencillas no son las mejores :0

Search Console

webcrawler de google search console

La forma más rápida y fácil de consultar el rastreo de Google es mediante la herramienta Search Console, en la sección Herramientas e informes antiguos en Estadísticas de rastreo.

 Solo una anotación, actualmente no se encuentra activo para las cuentas de Search Console dadas de alta como dominio. Puedes verlo en la guía de Search Console de Publisuites.

¿Cómo mejorar el crawl budget o presupuesto de rastreo? Clic para tuitear

Google Analytics

Lino Uruñuela fue quien mostró este pequeño truco que nos muestra cómo podemos ver lo que rastrea Google con nuestra cuenta de Analytics.

El método consiste en agregar un script en código php con el que se manda la información a una vista de Analytics.

Es bastante sencillo de utilizar. Si tienes una web de WordPress y quieres probarlo, puedes adjuntarlo en el fichero footer.php de tu tema activo para poder empezar a usarlo.

Como punto positivo de este método, es que podemos ver la respuesta que está recibiendo el robot y las páginas rastreadas, pero por contrapartida no podemos ver las llamadas a otros recursos, como imágenes, css, js, y otro tipo de archivos similares.

Aún así debo reconocer que he probado el método y está muy guay, me encantó.

Análisis de Logs

Este es el método más complejo de todos, ya que los logs son ficheros muy pesados que se almacenan en nuestro servidor. Contiene bastante información de todas las visitas que se producen en nuestra web.

Las herramientas como siempre, no es que sean excesivamente baratas, pero es algo obligatorio que hay que trabajar.

Al final de este artículo os dejo un método de Iñaki Huerta para subir los logs a Google Data Studio y algo más de información sobre el Crawl Budget en una presentación realizada en su paso por el Clinic SEO.

¿Cómo controlar y optimizar el Crawl Budget? Clic para tuitear

¿Cómo optimizar el Crawl Budget?

El Crawl Budget se puede dividir en 4 grandes zonas de optimización, estas son:

  • WPO: mejorando la velocidad de carga, podremos conseguir que el robot visualice más páginas
  • Control del robot mediante htaccess o robots.txt: controlando los accesos del robot, conseguiremos que este pase únicamente por aquellas páginas que nos interesen realmente.
  • Respuesta de error de páginas y redirecciones: corrigiendo los enlaces que dan problemas, no solo mejoraremos la calidad de nuestro SEO y nuestro presupuesto de rastreo, también conseguiremos que el robot no consuma tiempo en páginas innecesarias.
  • Enlazado interno: optimizando el enlazado de nuestra web conseguiremos que el robot de Google pase más veces por aquellas páginas que más nos interesen.

Vamos a ver estos puntos uno a uno.

 Website Performance Optimization

Una de las formas más rápidas y fáciles que existe de mejorar el Crawl Budget es mejorando la velocidad de la web. Además notaremos también mucho más rápidamente mejorías a nivel SEO, ya que no requiere demasiado tiempo para detectarlo.

Existen varias herramientas tipo Gtmetrix, Google PageSpeed o Google Lighthouse, que te indican aspectos a mejorar de la página analizada. Incluso en Google Analytics tienes un atajo para ver la velocidad y mejora de las páginas con Google PageSpeed.

¿Quieres mejorar el rendimiento de tu WordPress? En nuestro podcast hablamos de plugins y consejos para optimizar la velocidad de tu web.

 Control del robot mediante htaccess o robots.txt

Desde estos dos ficheros podemos controlar por dónde queremos que el robot acceda, por lo que nos permitirá filtrar páginas donde no queremos que el robot pierda su tiempo, pudiendo así concentrarlo en el resto de la web.

Por lo general suelen filtrarse páginas con variables y parámetros en las urls. Este atajo suele ser también bastante rápido, el problema es que si Google ya ha pasado por estas urls, las mantendrá en el índice y seguirá tratando de acceder a la web por medio de estas urls.

En estos casos puede ser interesante usar la funcionalidad de desindexación de páginas de Search Console, para evitar que el robot pierda tiempo en estas urls, aunque hay que ir con cuidado, ya que en ocasiones podría llegar a interesarnos para facilitar el rastreo a urls más profundas y difíciles de llegar.

Respuesta de error de páginas y redirecciones

Otra forma normalmente rápida de mejorar el Crawl Budget es corrigiendo los enlaces internos que apuntan a redirecciones, errores 404, páginas sin respuesta o errores de servidor.

Cuando el robot llega a una página con respuestas de este tipo está consumiendo tiempo que podría estar usando en otra página, por lo que suele ser un método efectivo.

Este tipo de páginas las podemos encontrar rápidamente con alguna herramienta del tipo crawler como Screaming Frog Spider, Sitebulb, Semrush, etc.

Rastreando la web encontraremos aquellas urls que necesitemos modificar y dónde se encuentran.

Enlazado interno

Esta es la opción más difícil de las tres, ya que debemos tener en cuenta:

  • Cómo está enlazada toda la web
  • Por qué palabras clave queremos posicionar cada página
  • Cuál es la dificultad de cada palabra clave
  • Cuáles son las palabras clave que nos ayudan a cumplir mejor nuestros objetivos

Este estudio va acompañado de los análisis de logs, que nos permite reconocer fácilmente algunas de las secciones y urls más importantes. Además, cruzando las veces que pasa el robot con otros datos podemos obtener información bastante relevante para tomar decisiones.

Para realizar el análisis de logs puedes usar las herramientas OnCrawl o Screaming Frog Log Analyzer.

Te interesa En caso de no tener mucho presupuesto, pero sí suficientes conocimientos técnicos, puedes optar por usar Kibana con ElasticSearch o también puedes pegarle un vistazo a esta charla de Iñaki Huerta donde habla sobre el Crawl Budget y explica un método para mostrar la información con Google Data Studio a partir de la diapositiva 54:

Seo y big data, rastreando lo que google rastrea – clinic seo – eshow from Iñaki Huerta (ikhuerta)

Lo bueno de usar esta metodología de Google Data Studio, es que te permite cruzar fácilmente la información con otras fuentes de datos sin tener muchos conocimientos, lo que nos permitiría sacar rápidamente las url’s que más visitas orgánicas tienen, la relación que guardan con el número de veces que el robot pasa, los enlaces que apuntan hacia estas webs, entre otros muchos datos, pudiendo ver la información de forma mucho más gráfica.

Conclusiones

La optimización del Crawl Budget es un factor bastante importante a nivel de SEO técnico que no todo el mundo trabaja.

Existen pequeñas soluciones rápidas que nos permiten mejorar nuestro presupuesto de rastreo rápidamente, sin necesidad de invertir mucho tiempo.

Pero si queremos realizar correctamente esta tarea, es necesario meternos en profundidad y realizar un análisis de logs para mejorar todo esto.

Te lo ponemos fácil
Regístrate en Publisuites y mejora tu visibilidad en Internet. Ponemos a tu disposición más de 8.000 medios tematizados para comprar posts patrocinados así como redactores especializados para delegar la creación de contenidos SEOptimizados.

Photo by Austin Distel on Unsplash

 

  • Viaja y no te pierdas nada

    Está interesantisimo este post para mejorar el seo.
    Habrá que leerlo varias veces porque tiene mucho contenido.
    Saludos😉

    • Eric Jorge Seguí Parejo

      Si tienes cualquier duda sobre el Crawl Budget pregunta =)

  • José Cádiz

    Creo en mi opinión que es mejor hacer un buen enlazado interno porque lo demás lo veo muy complicado.
    Muy buena publicación.

    • Eric Jorge Seguí Parejo

      Puedes corregir los enlaces que apunten a redirecciones y páginas con errores, además de usar algún plugin de velocidad.

      Son cosas sencillas que pueden ayudarte con todo esto 😉

  • Luis Marcano

    Siempre estoy muy pendiente que no existan errores 404 en mi web

    Como experiencia de usuario es terrible

    Y bueno, como bien explican, tiene su beneficio SEO hacerlo

    Saludos

*