Czym dokładnie jest hadoop? teoria cynika

Zwykle wszystko, co wydaje się zbyt piękne, aby mogło być prawdziwe. Tak może być w przypadku Apache Hadoop, szeroko rozpowszechnionego projektu open source, o którym wszyscy mówią. Czym dokładnie jest ta rzecz? Dobre pytanie!

Eksperci wątpliwi

Analityk Mark Madsen z Third Nature przybił go do ściany w zwięzłym kawałku na InsideAnalysis.com: „Czym jest Hadoop. Czym nie jest Hadoop”. Jako ktoś, kto wie, jak projektować rzeczywiste rozwiązania, a następnie je wdrażać, jego porady nie powinny być ignorowane.

Ale płynie tutaj głębszy prąd i nadszedł czas, aby odkryć korzenie tej fascynującej flory, aby zobaczyć, czy nie możemy uzyskać perspektywy na to, co dzieje się na poziomie makro. W końcu dostawcy ciągle mówią, że to wielka sprawa, a jest tak wielu uczestników.

Zatrudnij Committers! (?)

Trzy firmy są obecnie właścicielami większości rodzącego się rynku Hadoop: Cloudera, Hortonworks i MapR. Podczas niedawnej, dość kontrowersyjnej odprawy za pośrednictwem Boulder BI Brain Trust (#BBBT), Jim Walker z Hortonworks wypowiedział ten ciekawy komentarz:

„Nie możesz rozwinąć technologii, jeśli nie zatrudnisz zleceniodawców!”

Wracać?

Czy to nie brzmi jak coś, co senator Palpatine mógłby powiedzieć w filmie Gwiezdne wojny?

Sen. Palpatine: „Zatrudnij sprawców!”

Pobliski stworek: „Ale, ale proszę pana! Pomyśl o dzieciach!”

Dla laika próbującego załatwić sprawę, komentatorzy to ludzie, którzy są oddani konkretnemu projektowi typu open source. Fundacja Apache ma ścisłe protokoły, dzięki którym ich projekty idą do przodu, co często jest dobrą rzeczą.

To powiedziawszy, komentarz Walkera uzasadnia badanie. Jednym z kluczowych pytań (zagrożonych wyczarowaniem dni na placu zabaw) byłoby: Czy to obietnica czy zagrożenie? Czy on mówi, że Hortonworks może po prostu wziąć piłkę i wrócić do domu?

Współpraca czy konkurencja?

Interesujący, choć paradoksalny, jest to, że podobno większość osób odpowiedzialnych za zespół Hadoop (około 30 osób) pochodzi z Hortonworks i Cloudera - którzy są konkurentami. To bardzo ciekawy przypadek konkurencji.

Więc o co chodzi? Oto wykształcone przypuszczenie: Hadoop w dużej mierze zawdzięcza swoją sławę sprytnemu planowi opracowanemu przez grupę inwestorów i inżynierów venture capital z Doliny Krzemowej, którzy zasadniczo próbują zabezpieczyć swoje zakłady przed Oracle.

Ogólną ideą jest obsadzenie rynku fundamentem kodu, który może być ulepszony i wzmocniony przez flotę programistów, którzy z czasem stworzą wszelkiego rodzaju narzędzia do zarządzania danymi, w tym produkty bazodanowe. VC mogą pewnego dnia inwestować i wypłacać pieniądze. Istnieją jednak poważne wyzwania.

Jak wszystkie monolityczne przedsiębiorstwa, Oracle często znajduje się na celowniku wielu mniejszych graczy. A kto nie chciałby po prostu odrobiny oszałamiającego dochodu? Tylko w ostatnim kwartale Oracle zarezerwowało około 9 miliardów dolarów. Ale wyzwanie Big Redowi i pokonanie go to dwie bardzo różne rzeczywistości.

Darmowy webcast: Co to jest Hadoop i dokąd zmierza? Dołącz do Erica Kavanagha, Robina Bloora i Techopedii, aby porozmawiać o tym, jak Hadoop różni się znacznie od Linuksa lub SOA i dlaczego jego przyszłość pozostaje w dużej mierze niepisana.

Problemy z pakowaniem

W Hadoop per se chodzi o to, że w żadnym wypadku nie jest to pakietowe rozwiązanie. Jest to raczej złożona kolekcja modułów, która umożliwia programistom wysokiej jakości wykorzystanie masywnych algorytmów równoległego przetwarzania do wykonywania bardzo konkretnych czynności. Ale nie ma żadnego wyszukanego interfejsu użytkownika, a instrukcje są brutalne.

Dodaj do tego wyzwania tę krytyczną przeszkodę: potrzebujesz także ludzi biznesu, którzy mają przynajmniej ogólne zrozumienie tego, co może zrobić. Ci ludzie muszą być w stanie wyczarować pomysły, w jaki sposób można z nich korzystać, a następnie komunikować się z programistami, którzy następnie muszą tworzyć, testować, wdrażać i wspierać aplikacje.

Organizując ten taniec, Cloudera i Hortonworks zarabiają dużo ze swoich pieniędzy. Problem w tym, że większość rozwiązań stworzonych tą metodą jest unikalna i zazwyczaj koncentruje się na systemach operacyjnych, a nie analitycznych. Tłumaczenie? Takie rzeczy nie nadają się do pakietów oprogramowania.

Opłacalność opakowań!

Co sprowadza nas z powrotem do Oracle. Larry Ellison i chłopcy zajmują się sprzedażą siana, bazodanową technologią, sprzętem, usługami i (czekaj na to …) pakietowym oprogramowaniem. Cloudera najwyraźniej to rozgryzł, stąd ich skupienie na Impali. Ale Hortonworks?

Ich model wydaje się bardziej naśladować model RedHata, ludzi, którzy zbudowali biznes wart miliard dolarów na systemie operacyjnym Linux. Nie jest głównym dostawcą w branży oprogramowania dla przedsiębiorstw, nie pisze dla Linuksa, systemu operacyjnego, w którym IBM kierował Microsoft na przełęczy. Ale Hadoop nie jest Linuksem, nie z dystansu.

Dr Geoffrey Malafsky, były nanotechnolog z US Navy, obecnie naukowiec z Phasic Systems i PSIKORS Institute, destyluje propozycję wartości Hadoop w następujący sposób:

„Hadoop jest świetny do wyszukiwania, bardzo dużych analiz trendów dla wyników stochastycznych i prawdopodobnie niektórych bardzo tanich, sprytnych równoległych procesów, takich jak moja była żona: obliczanie kwantowej funkcji falowej stanu stałego i reakcji chemicznych. Ta prawdziwa nauka opiera się na superkomputerach i przeniosłem się nieco na przetwarzanie równoległe, ale jest to trudna zmiana podejścia programistycznego. Młodzi, inteligentni, energiczni absolwenci będą tymi, którzy to umożliwią. Podejrzewam, że granty badawcze zaczynają iść w tym kierunku na mocne obliczenia Aplikacje."

Zauważysz, że nie brzmi to jak hurtownie danych, inteligencja biznesowa, integracja danych, a nawet duże zbiory danych. Brzmi jak superkomputer. Z jakiegoś interesującego powodu światy obliczeń o wysokiej wydajności i inteligencji biznesowej tak naprawdę nigdy nie zderzały się ani nie łączyły w żaden znaczący sposób.

Długa droga do Hortonworks i Cloudera

A oto naprawdę zła wiadomość dla Hortonworks i być może Cloudera. Wielcy dostawcy, tacy jak IBM i SAP, Oracle i Teradata - delikatnie mówiąc, cytując Dire Straits: „Oni nie są głupi!” Trzy i więcej lat temu wszyscy wdrożyli poważne strategie Hadoop.

Najważniejsze w tych planach są rzeczy, których oczekują użytkownicy biznesowi: graficzne interfejsy użytkownika, funkcjonalność „przeciągnij i upuść”, narzędzia do modelowania i odkrywania, przepływ pracy, zarządzanie, bezpieczeństwo; w skrócie, wszystkie części, które sprawiają, że oprogramowanie dla przedsiębiorstw jest użyteczne. I oczywiście ci duzi dostawcy mają ogromne bazy instalacyjne.

Z pewnością Cloudera i Hortonworks osiągnęły dobry interes, ale tylko niewielką część tego, co ci główni gracze dostają każdego roku. Oblicz, ile pretendentów obciąża swoich klientów, w porównaniu z tym, ile prawdopodobne jest ich obciążenie ogólne, a obraz nie jest tak różowy. To prawda, że ​​jest tak jak w przypadku problemów z oprogramowaniem na wczesnym etapie, ale nadal …

Przyszłość Hadoopa?

Czy możemy zatem zobaczyć klasyczną falę przejęć, jak wtedy, gdy IBM kupił Cognos, Oracle dostał Hyperion, a SAP przejął BusinessObjects? Być może, ale nowe dzieci w tym bloku nie posiadają Hadoop; po prostu to pożyczają. I choć obiecujące, jak YARN i Tez, cykle wydawania wydają się być opóźnione w stosunku do tego, co produkują ciężkie hity.

Pewnego dnia informator z branży skomentował, że polityka w Apache może być poważnym wąskim gardłem. Nie jest to szczególnie zaskakujące, zwłaszcza jeśli weźmie się pod uwagę zaangażowane dolary - innowatorzy mają wielką motywację, aby uzyskać bogactwo. I czy ktoś zauważył, jak Chrome ostatnio wyprzedził Firefoksa pod względem funkcjonalności i funkcjonalności? Ktoś zamknięty?

Jedno jest pewne: ta gra zostanie rozegrana na kilka interesujących sposobów. Tak, ssaki (czytaj: mali sprzedawcy) często mogą prześcignąć dinozaury; ale na całym świecie wciąż istnieją aligatory i krokodyle; a jeśli natkniesz się na jednego nieświadomego, możesz po prostu odkryć, jak ostre mogą być te zęby. Kilka krokusów może nawet zdjąć słonia lub dwa.