Największa aplikacja Hadoop na świecie w Yahoo!
2008-02-20Hadoop jest oprogramowaniem open-source, umożliwiającym przechowywanie i przetwarzanie dużych ilości danych przez system rozproszony. Największa aplikacja Hadoop służy do tworzenia indeksu stron dla wyszukiwarki Yahoo!, operując na 5 petabajtach danych.
Więcej szczegółów na temat zastosowania Hadoop w klustrze 10 000 maszyn linuksowych można znależć w artykule na blogu Yahoo! Developer Network. Zastosowanie Hadoop do przetwarzania danych w sposób rozproszony za pomocą algorytmu MapReduce przyspieszyło pracę systemu o 1/3.
Koncetracja na projektach open-source jest jednym z działań związanych z otwieraniem platform Yahoo! dla firm i deweloperów zewnętrznych. Publikacja na blogu Yahoo! Search wpomina o niedawno ogłoszonym wsparciu Yahoo! dla OpenID w wersji 2.0.
Poniżej wywiad z zespołem pracującym nad Yahoo! Webmap.