İnternet ne kadar büyük?

Evet büyük, ama ne kadar büyük? Google, İnternetin 1 trilyon siteden oluştuğunu söylüyor.

İnternetin, üniversite görevlileri ve askeri çalışanlar dışında normal insanların da kullanabildiği ticari İnternetin doğum tarihi 6 Ağustos 1991. Google'ın ilk oluşturduğu indeks 28 milyon, yıllardan ise 1998. İnternetin büyüyüşünün matematiksel bir ivme göstermediğini düşünürsek mantıklı bir miktar. Google'ın minik robot örümcekleri, 2000 yılında 1 milyar siteyi indekslemiş durumdaydı. Google, kendi blog'unda 1 trilyon adresi indekslediğini açıkladı.

Bu hesabı nasıl yapıyorlar? Bir siteyi izleyen robot yazılımlar, sitedeki bütün linklere ışınlanıyorlar. Işınlandıkları sitedeki linkler, oradan o sitenin linkleri derken programcıklar Web'i didik didik edip duruyor. Bu işi, googlebot denen örümcekler yapıyor. Googlebot'lar'ın formları doldurup sonuç sayfasını indeksledikleri bile oluyor. Biz, yazdığımız yazının iki saniye sonra indekslendiğine bile şahit olduk.

Bu 1 trilyon site, tekil adreslerden oluşuyor, yani aynı siteye yönlenen farklı adresler bu sayıya dahil değil. Peki web gerçekten ne kadar büyük? Kesin sayıyı bilmenin imkanı yok. Bir sonraki güne tıkladığınızda otomatik olarak o sayfayı yaratan takvim siteleri mesela, teorik olarak sonsuz sayıda sayfa yaratabilirler. Her gün eklenen milyarlarca yeni site de cabası. 2011 yılında, dünya nüfusunun %22'sinin online olacağı tahmin ediliyor. O zamanki web sitesi miktarını tahmin edebiliyor musunuz? Google, "amacımız dünyadaki tüm verileri indekslemek" diyor. Biraz korkutucu değil mi?