Empezaremos
este artículo conceptualizando la WEB Superficial y la WEB Profunda
¿Qué es la WEB Superficial o Visible?
Es aquella que comprende
todos aquellos sitios cuya información puede ser indexada por los robots de los
buscadores convencionales y recuperada casi en su totalidad mediante una
consulta a sus formularios de búsqueda.
Las características
principales de los sitios de la Web visible son:
- su
información no está contenida en bases de datos
- es
de libre acceso
- no
requiere la realización de un proceso de registro para acceder
- Mayoritariamente
está formada por páginas Web estáticas, es decir páginas o archivos con
una URL fija y accesibles desde otro enlace
¿Qué es la WEB Profunda o Invisible?
La Web invisible es
el término utilizado para describir toda la información disponible en Internet
que no es recuperada interrogando a los buscadores convencionales. Generalmente
es información almacenada y accesible mediante bases de datos.
Si bien el 90% de las
bases de datos están públicamente disponibles en Internet, los robots de los
buscadores solamente pueden indicar su página de entrada (homepage) y son
incapaces de entrar dentro de las tablas e indizar cada registro, les falta la
habilidad para interrogarlas, seleccionar sus opciones y teclear una consulta
para extraer sus datos. La información almacenada es por consiguiente
"invisible" a estos, ya que los resultados se generan en la
contestación a una pregunta directa mediante páginas dinámicas (ASP, PHP...) es
decir páginas que no tienen una URL fija y que se construyen en el mismo
instante (temporales) desapareciendo una vez cerrada la consulta.
Por cada millón de
páginas visibles hay otros 500 o 550 millones ocultas, contiene alrededor de
unos 100.000 sitios y el 90% suele ofertar su información pública y
gratuitamente. La información
pública y gratuita del Web invisible es actualmente de 400 a 550 veces mayor
que el Web visible.
Para poder entender un poquito más la diferenciación entre la web
superficial y la web profunda, citaremos una caracterización de la Web
invisible o profunda de Sherman y Price (2001), en la cual identifican cuatro
tipos de contenidos invisibles en la Web:
Se
compone de archivos que podrían estar incluidos en los índices de los motores
de búsqueda, pero no lo están por alguna de estas razones:
o Extensión
de la indización: por economía, no todas las páginas de un sitio son indizadas
en los buscadores.
o Frecuencia
de la indización: los motores de búsqueda no tienen la capacidad de indizar
todas las páginas existentes; diariamente se añaden, modifican o desaparecen
muchas y la indización no se realiza al mismo ritmo.
o Número
máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces
un gran número de resultados de búsqueda, generalmente limitan el número de
documentos que se muestran (entre 200 y 1000 documentos).
o URL’s
desconectadas: las generaciones más recientes de buscadores, como Google,
presentan los documentos por relevancia basada en el número de veces que
aparecen referenciados o ligados en otros. Si un documento no tiene un link
desde otro documento será imposible que la página sea descubierta, pues no
habrá sido indizada.
Consiste en las páginas web que podrían estar indizadas en los
motores de búsqueda pero son excluidas deliberadamente por alguna de estas
causas:
o Las páginas están protegidas por contraseñas (passwords).
o Contienen un archivo “robots.txt” para evitar ser indizadas.
o Contienen un campo “noindex” para evitar que el buscador indice la
parte correspondiente al cuerpo de la página.
Incluye aquellas
páginas en las que es necesario registrarse para tener acceso al contenido, ya
sea de forma gratuita o paga. Se dice que al menos 95% de la Web profunda
contiene información de acceso público y gratuito.
- y la WEB realmente invisible
Se compone de páginas que no pueden ser indizadas
por limitaciones técnicas de los buscadores, como las siguientes:
o
Páginas web
que incluyen formatos como PDF, PostScript, Flash, Shockwave, programas ejecutables
y archivos comprimidos.
o
Páginas
generadas dinámicamente, es decir, que se generan a partir de datos que introduce
el usuario.
o
Información
almacenada en bases de datos relacionales, que no puede ser extraída a menos
que se realice una petición específica. Otra dificultad consiste en la variable
estructura y diseño de las bases de datos, así como en los diferentes
procedimientos de búsqueda.
Para tener en cuenta:
- algunos buscadores recuperan archivos PDF y
páginas con imágenes, aunque de forma limitada;
- es relativamente sencillo llegar hasta la
“puerta” de las bases de datos con contenido importante;
- existen ya motores avanzados capaces de
realizar búsquedas directas simultáneas en varias bases de datos a la vez;
y aunque la mayoría requieren de pago, también ofrecen versiones gratuitas;
- el contenido que se genera en tiempo real
pierde validez con mucha velocidad, salvo para análisis históricos; es
relativamente sencillo llegar hasta la “puerta” de los servicios que
ofrecen información en tiempo real;
- el contenido que se genera dinámicamente
interesa únicamente a ciertos usuarios con características específicas;
- es relativamente sencillo llegar hasta la
“puerta” de los servicios que ofrecen contenido generado dinámicamente.