Definición
Podemos decir que una araña web es un programa automatizado (bot) que va inspeccionando todas las páginas de internet de manera sistemática (sitio que encuentra a través de un enlace, lo va rastreando).
Y eso, ¿qué quiere decir?
La araña de Google, cuando entra en una web empieza a inspeccionarla de arriba a abajo. Va a analizar, rastrear o crawlear toda la web, y sus diversos contenidos, pero algo muy importante es que va siguiendo cada enlace hallado.
Por ejemplo, en mi sitio web, si entrara por el inicio (es decir, por leonardobaez.com), iría a los enlaces de pie de página y comenzaría a hacer clic en cada uno de ellos, abriendo esas páginas.
Cuando haga clic en «Servicios SEO«, se le abriría esta página:
Y luego iría haciendo clic (de uno en uno) en los demás enlaces que tuviera esa página (no solo en el footer). De manera sistemática, la araña accedería a todas las URLs que tiene mi sitio web.
¿Esto es importante para el SEO?
Sí, es muy importante. Por muchas razones (una de ellas es el crawl Budget) que son parte importante de los sistemas de clasificación y rankeo de Google.
Lo que sí debes saber, es que es muy importante que la araña de Google sea capaz de llegar a todas las URLs que quieres posicionar. Debido a ello, es que desde la parte técnica del sitio, debes facilitar mucho el acceso a ese crawler o araña web hacia las URLs de tu sitio.
Y, ¿cómo se hace esto? Con arquitectura web.
No lo olvides, una araña web es un programa que analiza todas las páginas de los sitios web existentes en Internet, y esta actividad la ejecuta de manera sistemática.
