El mundo más allá de mis ojos: Descubriendo la Web Profunda (o invisible)

Tenemos una mala noticia, las páginas de Internet a las que accedemos a través de la mayoría de buscadores genéricos como Google, se conoce como la Web superficial y son tan solo una pequeña parte de la cantidad de información disponible que existe. Entonces nos preguntamos ¿dónde está el resto? ¿por qué no podemos acceder a ello a través de los buscadores? Conozcamos algo más acerca de la Web profunda (o invisible).

Definimos rápidamente la Web superficial como aquellas páginas que pueden ser indexadas por los robots de los motores de búsqueda de los buscadores. Se trata normalmente información de libre acceso, a la que puedes acceder sin realizar un registro (gratuito o de pago), su información no está almacenada en bases de datos y son, por lo general, páginas estáticas (con url fija).

Sin embargo, la Web profunda o invisible ofrece información almacenada en bases de datos y son normalmente páginas dinámicas (se construyen y destruyen tras realizar la consulta). Dentro de ella se pueden encontrar 4 tipos de contenidos invisibles (según Sherman y Price):

Web opaca: páginas que podrían ser visibles para los buscadores pero no lo son por diversos motivos:

Porque los buscadores no pueden indexar todas las páginas existentes.
Por ser un resultado que sobre pasa el número máximo de resultados visibles de los buscadores.
Por no tener la relevancia suficiente para aparecer entre los resultados (por ejemplo no ser referenciado desde otras páginas).

Web privada: páginas excluidas por los buscadores, normalmente por decisión de los propios autores:

Páginas protegidas con contraseñas.
Web que contienen un archivo "robots.txt" o un campo "noindex" que impiden la indexación por parte de los motores de búsqueda.

Web propietaria: son aquellas páginas que requieren de un registro para su acceso, bien gratuito o bien de pago.
Web realmente invisible: páginas que no pueden ser indexadas por los buscadores, por ejemplo:

Programas ejecutables o archivos comprimidos.
Páginas dinámicas.
Información almacenada en bases de datos que requiere de una consulta...

Si queremos acceder a la Web profunda para realizar búsquedas en enciclopedias, artículos académicos, tesis doctorales o simplemente para comprobar si los resultados a nuestras consultas son más precisos que los realizados en un buscador genérico sobre la Web superficial, os dejo aquí algunos recursos de búsqueda en la Web profunda o invisible.