Araña

¿Qué significa araña?

En el contexto de Internet, una araña es un software especializado diseñado para rastrear y navegar sistemáticamente por la World Wide Web, normalmente con el fin de indexar páginas web para ofrecerlas como resultados de búsqueda para las consultas de búsqueda de los usuarios.

La más famosa de estas arañas es Googlebot, el principal rastreador de Google, que ayuda a garantizar que se devuelvan resultados relevantes para las consultas de búsqueda.

Las arañas también se conocen como rastreadores web, robots de búsqueda o, simplemente, bots.

Definición de araña

Una araña es esencialmente un programa utilizado para recopilar información de la World Wide Web. Recorre las páginas de los sitios web extrayendo información e indexándola para su uso posterior, normalmente en los resultados de los motores de búsqueda.

La araña visita los sitios web y sus páginas a través de los distintos enlaces hacia y desde las páginas, por lo que una página sin un solo enlace que vaya a ella será difícil de indexar y puede ser clasificada muy bajo en la página de resultados de búsqueda.

Y si hay muchos enlaces apuntando a una página, esto significaría que la página es popular y aparecería más arriba en los resultados de búsqueda.

Pasos del rastreo web:

• La araña encuentra un sitio y empieza a rastrear sus páginas.
• La araña indexa las palabras y los contenidos del sitio.
• La araña visita los enlaces que se encuentran en el sitio.

Las arañas o webcrawlers son sólo programas y, como tales, siguen reglas sistemáticas establecidas por los programadores. Los propietarios de sitios web también pueden participar indicando a la araña qué partes del sitio debe indexar y cuáles no.

Esto se hace creando un archivo «robots.txt» que contiene instrucciones para la araña sobre qué partes debe indexar y qué enlaces debe seguir y cuáles debe ignorar.

Las arañas más importantes que existen son las de los principales motores de búsqueda, como Google, Bing y Yahoo, y las destinadas a la extracción de datos y la investigación, pero también hay algunas arañas maliciosas escritas para encontrar y recopilar correos electrónicos para que el usuario los venda a empresas de publicidad o para encontrar vulnerabilidades en la seguridad de la Web.