Das unsichtbare Netz

Seit Bestehen des Internet stellt sich eine große Frage: Wie umfassend ist dieses weltumspannende Netz? Wie viele Informationen und Seiten sind hinterlegt? Suchmaschinen und Verzeichnisse sind der zentrale Einstiegspunkt in das Datenuniversum – nur: wissen die Suchmaschinen wirklich alles?

Im August 1994 startete Lycos seinen Spider und erreichte im November den damals sensationellen Wert von 60 Millionen indexierten Dokumenten. AltaVista begann etwa zur gleichen Zeit mit dem Sammeln von Links. Dort schätzte man 1995, dass „da draußen“ etwa 80.000 Server und etwa 30 Millionen Dokumente aufzuspüren waren. 1999 stellten die Wissenschaftler Steve Lawrence und C. Lee Giles vom NEC Forschungsinstitut eine große Untersuchung zur Größe des Internet an. Sie stellten fest, dass nur etwa 16% des Internet durch Suchmaschinen erfasst wurden. Das ist allerdings schon eine Weile her; trotzdem ist die Menge der angebotenen Dokumnete immer sehr viel größer als diejenigen, die im Suchmaschinenindex landen.

Im Vergleich zu heute mutet eine zweistellige Millionen Zahl erfasster Dokumente lächerlich an. Die heute führenden Suchmaschinen Google und Alltheweb jonglieren mehrere Milliarden Dokumente in ihren Indizes. Trotzdem ist das nach wie vor nur ein Bruchteil dessen, was wirklich verfügbar ist. Woran liegt das? zum Beispiel an dynamischen Seiten.