Google Bot, Google arama motorunun web sitelerini tarayan indeksleyen veya site üzerindeki değişiklikleri fark eden örümceğine verilen addır. Google Bot taradığı sitelere özel bir bilgi (user agent) gönderir Web site sahipleri bu bilgiyi kullanarak Google Bot’un ziyaretçi istatistikleri arasına girmesini engeller. Özellikle bazı linkler ve ziyaretçilerin ancak üye olarak erişebileceği bazı sayfalara Google Bot’un erişmesi sağlanır. Bunun en büyük sebebi botun ulaştığı sayfa içerik zenginliğine göre arama motorundaki sıralamasının değişmesi yani gelen ziyaretçinin Google Bot olduğu tespit edilir ve site içeriği bota gösterilir.
Web sitelerine üye olmadan siteyi Google bot ziyaret ediyormuş gibi göstererek sitenin kullanıcılara yasak ancak Google bota serbest olan kısmını görebilirsiniz. Google bot bir sayfayı, o sayfa üzerinde bulunan bütün bağlantıları ziyaret ederek işler, sonrada o bağlantılardan başka web sayfalarına geçer.
Be The Bot adlı site ile web siteyi Google sitede web adresini girebileceğiniz bir form ve hangi arama motoru gibi görünmek istediğinizi seçebileceğiniz bir alan bulunmaktadır. Formu gönderdiğinizde site Google bot’a içini gösteriyorsa sizde site içeriğini ayni sayfada görebileceksiniz. Eğer web sitesi normal kullanıcılara da üye olmalarını istiyor fakat Googe Bot veya Yahoo Bot’tan üyelik istemiyorsa bu servis ile site içeriğini görebilirsiniz.
Genelde forum sitelerinde yapılan “içeriği görebilmek için üye olmalısınız” şeklinde görünen yazıların eğer Google bot tarafından görüntülenmesi serbest bırakılmış ise hiçbir sorun yaşamadan erişim sağlayabilirsiniz.