INICIO / ARTÍCULOS

Quizás hemos oído hablar de las arañas web. Aunque es un término relativamente común quizás no sepamos con certeza qué son, para qué se usan o cómo funcionan.

Estas son sólo algunas de las interrogantes que quizás le surjan y que trataremos de explicar en este artículo.

¿Qué son?

Los spiders o arañas web son programas diseñados para navegar automáticamente la web. Son utilizadas por los motores de búsqueda para añadir las páginas web a sus catálogos; también son usadas para obtener estadísticas de servidores web.

Las arañas de red solo pueden encontrar información accesible públicamente, por lo que esta aplicación solo encontrará información que el usuario objetivo ha decidido hacer público. Por supuesto esto puede representar mucha información en algunos casos. Es fácil extender esta técnica a casi cualquier tipo de información pública disponible en la Web.

Una gran mayoría de los buscadores internacionales que todos usamos y conocemos son de este tipo, son los llamados spiders o arañas. Requieren muchos recursos para su funcionamiento. No están al alcance de cualquiera.

Funcionamiento
La función de los spiders es recorrer las páginas recopilando toda la información sobre los contenidos de todas las páginas.

Cuando buscamos cualquier tipo de información en los motores de búsqueda (www.yahoo.com, www.google.com, www.altavista.com, etc.), ellos consultan su base de datos, y nos la presentan clasificados por su relevancia.

¿Qué es lo que los spiders indexan?
Se ha trabajado para que los spiders cuando lleguen a las páginas que están en Internet, indexen toda la información; los buscadores pueden almacenar desde la página de entrada, a todas las páginas de la web; es un trabajo arduo pero que lo realizan constantemente para tener bien actualizados a los motores de búsqueda.

Si buscamos una palabra clave, que vaya de acuerdo a lo que nosotros estamos interesados en encontrar, en los resultados que nos ofrecerá el motor de búsqueda, aparecerán páginas que contengan esta palabra en alguna parte de su texto.

Los spiders son inteligentes y si consideran que una página es importante para el usuario, tienden a registrarlas todas. Si no la consideran importante, solo almacenan una o más páginas.

Cada cierto tiempo, los motores revisan las páginas, para actualizar los contenidos de su base de datos, por lo que no es infrecuente, que los resultados de la búsqueda no estén actualizados.

El spider que más tiempo lleva rastreando la red es el Googlebot. Éste es el encargado de recoger los links, que después se encontrarán en Google. Además cuenta con otros robots como FreshBot.