Archiwa tagu: crawler

Internet w jednym pliku

Opublikowano 2009-03-06, autor: sebastian

Przed chwilą w logach serwera znalazlem młodego pajączka: dotbota. Na stronie jego projektu autor oferuje dostęp do indeksu stron pobranych przez bota. Indeks można pobrać poprzez torrenta. W tej chwili plik ma 68 gigabajtów. Więcej na stronie projektu.

Opublikowano Internet | Otagowano , , , , , | Skomentuj