En este art\u00edculo analizaremos en profundidad qu\u00e9 es un web crawler y c\u00f3mo afecta al posicionamiento de nuestra web en los motores de b\u00fasqueda.<\/p>\n
\u00bfQu\u00e9 es una ara\u00f1a web, crawler o WebCrawler?<\/h2>\n
Son diferentes nombres, pero significan los mismo, o normalmente los SEOs lo definimos como lo mismo. Los Crawlers son bots que rastrean las p\u00e1ginas de internet a trav\u00e9s de enlaces <\/strong>en el contexto de los buscadores, tales como Google, Bing, Yahoo entre otros.<\/p>\n Principalmente, se pueden agrupar o segmentar en 2 tipos seg\u00fan los objetivos:<\/p>\n Una ara\u00f1a web generalmente sigue ciertos pasos para recopilar la informaci\u00f3n. Generalmente, cuando llega a un sitio web, normalmente\u00a0lo primero que hace es una petici\u00f3n al fichero robots.txt<\/strong><\/p>\n Una vez realizada esta petici\u00f3n sabe por qu\u00e9 urls debe y no debe pasar. Tambi\u00e9n existen atributos en los enlaces y directrices que se pueden aplicar a las cabeceras de una p\u00e1gina para dar directrices a estos robots como el seguimiento de enlaces o la indexaci\u00f3n de ciertas p\u00e1ginas.<\/p>\n Dentro de Publisuites podr\u00e1s generar ingresos vendiendo posts patrocinados dentro de tu blog para otros usuarios. Entra y Hazte una cuenta de editor para empezar a ganar dinero.<\/p>\n No siempre sucede esto pues algunos crawlers pueden saltarse estas directrices y no obedecerlas. Incluso el propio Google, si su bot determina que por alguna raz\u00f3n no debe seguir estas directrices no las seguir\u00e1.<\/p>\n Para estos casos donde los bots son menos obedientes, siempre puedes tirar de la configuraci\u00f3n del fichero .htaccess, para no permitir accesos o directamente limitarlos<\/strong>. La configuraci\u00f3n de este fichero es la que mejor funciona si ten\u00e9is muchos problemas.<\/p>\n Siempre hay una cierta relaci\u00f3n entre el rastreo de p\u00e1ginas y el posicionamiento web. Personalmente, he asistido a conferencias donde se expon\u00eda con ejemplos que no afectaba al posicionamiento, pero nada m\u00e1s lejos de la realidad, que un experimento no funcione, no significa que sea definitivo.<\/p>\n Existen m\u00e1s factores y esta es una forma de hacer una mejora r\u00e1pida en el SEO.<\/p>\n Google, en el contexto de buscador, vive de los resultados ofrecidos a otros usuarios. Una web r\u00e1pida garantiza una mayor satisfacci\u00f3n de cara al usuario<\/strong>. Si los top 10 resultados fueran p\u00e1ginas que tardan 20 segundos de media en cargar, tardar\u00edamos casi 4 minutos en poder cargar todas las p\u00e1ginas.<\/p>\n Como os pod\u00e9is hacer una idea no es bueno ofrecer resultados as\u00ed a los usuarios.<\/p>\n Por otra parte, si una web es muy lenta tambi\u00e9n requiere de m\u00e1s recursos que se consumen a nivel de ordenadores, lo que significa que por esta parte pierden mucho dinero, adem\u00e1s de tener un impacto bastante fuerte en la contaminaci\u00f3n del planeta, al tener tantas m\u00e1quinas para que vayan crawleando webs y procesando toda la informaci\u00f3n que obtienen.<\/p>\n Una web r\u00e1pida garantiza una mayor satisfacci\u00f3n de cara al usuario.<\/p><\/blockquote>\n Una vez conocidos los motivos podemos entender por qu\u00e9 influyen en el SEO el rastreo de un crawler por una p\u00e1gina.<\/p>\n Adem\u00e1s de todo esto, el robot de Google define un tiempo limitado para el rastreo de cada web<\/strong>, esto se conoce como el Crawl Budget. El Crawl Budget pueden variar en base a varias optimizaciones de SEO en la web tanto on page como off page.<\/p>\n Tener una web r\u00e1pida asegurar\u00e1 que se rastreen m\u00e1s p\u00e1gina de nuestra web con el Crawl Budget asignado, y no solo eso, tambi\u00e9n har\u00e1 que el robot pase m\u00e1s veces por determinadas p\u00e1ginas al detectar el enlazado interno<\/a> de la web.<\/strong><\/p>\n Al seguir este enlazado interno y pasar m\u00e1s veces por estas p\u00e1ginas, las considerar\u00e1 m\u00e1s relevantes y tendr\u00e1n m\u00e1s facilidades a la hora de posicionarse.<\/p>\n Desde la antigua versi\u00f3n de Search Console<\/a>, podemos ver las p\u00e1ginas rastreadas por d\u00eda y el tiempo medio que tarda en rastrear nuestra web la ara\u00f1a de Google.<\/p>\n Otros de los motivos que hacen que se pierda fuerza a trav\u00e9s del enlazado interno y que se consuma tiempo del WebCrawler son los enlaces que apuntan a redirecciones y a p\u00e1ginas 404.<\/strong><\/p>\n Un enlace a una redirecci\u00f3n hace que tenga que pasar por una o varias p\u00e1ginas intermedias antes de llegar a la p\u00e1gina final. Puede que el tiempo sea corto, pero hay que tratar de optimizar lo m\u00e1ximo posible.<\/p>\n En el caso de los errores 404 es algo peor ya que estamos haciendo que se cargue una p\u00e1gina que no queremos indexar y ya no solo es que el usuario se lleve una mala experiencia, es que el tiempo que tarda en descargar este tipo de p\u00e1ginas, por lo general, es m\u00e1s alto que seguir una simple redirecci\u00f3n.<\/p>\n Por esto, hay que tratar de evitar tener enlaces apuntando a p\u00e1ginas con errores 4XX o redirecciones.<\/strong><\/p>\n Tener m\u00e1s enlaces externos hace que el robot encuentre m\u00e1s f\u00e1cil nuestra web y acceda muchas m\u00e1s veces a rastrearla<\/strong>, por lo que podr\u00e1 indexar m\u00e1s p\u00e1ginas si nuestra web es muy grande.<\/p>\n Al rastrearla m\u00e1s veces hace que se considere de m\u00e1s relevancia que respecto al resto de p\u00e1ginas. Si a todo esto le sumamos que los enlaces son de p\u00e1ginas tem\u00e1ticas y tienen cierta relevancia en el sector en el que nos encontramos, tambi\u00e9n nos ayudar\u00e1.<\/strong><\/p>\n En esto te podemos ayudar en Publisuites\u00a0\ud83d\udc47<\/p>\n Dentro de Publisuites ponemos a tu disposici\u00f3n m\u00e1s de 8.000 medios especializados segmentados por tem\u00e1tica, precio, idioma, pa\u00eds, m\u00e9tricas SEO<\/b>… Hazte una cuenta de anunciante y pasa por la plataforma para mejorar la autoridad de tu web.<\/p>\n\n
![\"Objetivos](\"https:\/\/www.publisuites.com\/blog\/wp-content\/uploads\/2019\/01\/objetivo-crawler.jpg\")
<\/p>\n\u00bfC\u00f3mo funciona un Crawler?<\/h2>\n
![](\"https:\/\/media.giphy.com\/media\/qYTn6z4fjSqXK\/giphy.gif\")
<\/p>\n\u00bfC\u00f3mo funciona una ara\u00f1a web? <\/a><\/span>Compartir en X<\/a><\/span>\nC\u00f3mo afecta el rastreo de una p\u00e1gina al posicionamiento SEO<\/h2>\n
\u00bfPor qu\u00e9 a Google le interesa que las p\u00e1ginas sean m\u00e1s r\u00e1pidas?<\/h3>\n
\u27a1\ufe0f Mejorando la velocidad y el enlazado interno<\/h3>\n
![\"webcrawler](\"https:\/\/www.publisuites.com\/blog\/wp-content\/uploads\/2018\/11\/rastreo-google-compressor-1024x817.png\")
<\/p>\n\u00bfC\u00f3mo afecta el rastreo de una p\u00e1gina al posicionamiento SEO? <\/a><\/span>Compartir en X<\/a><\/span>\n\u27a1\ufe0f Paginas con errores y redirecciones<\/h3>\n
\u27a1\ufe0f Enlazado externo<\/h3>\n