Archiwa tagu: crawler

Internet w jednym pliku

Przed chwilą w logach serwera znalazlem młodego pajączka: dotbota. Na stronie jego projektu autor oferuje dostęp do indeksu stron pobranych przez bota. Indeks można pobrać poprzez torrenta. W tej chwili plik ma 68 gigabajtów. Więcej na stronie projektu.

Opublikowano Internet | Otagowano , , , , , | Skomentuj