Jak twierdzi Mike Olson, CEO Cloudera, platforma analityczna Hadoop ma pewne istotne ograniczenia związane z szybkością i złożonością. Jednak liderzy branży - w tym ci z jego własnej firmy - pracują nad tym, by być pewnym, że to narzędzie badawcze będzie ewoluować w fundamentalny sposób w nadchodzących latach.
Na zeszłorocznej Konferencji Strata Olson poprosił publiczność, aby wyobraziła sobie, jak gdyby stworzono ją dzisiaj, Hadoop zostałby zaprojektowany inaczej, zakładając, że pewne konkretne zmiany mogą otworzyć nowe wrota do badań w takich dziedzinach, jak edukacja, energia i rolnictwo. Powołując się na kosmologa i autora naukowego Carla Sagana, Olson podkreślił znaczenie rozbicia danych wysokiego poziomu dla większej liczby odbiorców.
„Myślę, że jesteśmy przygotowani na wielkie odkrycia, które mają znaczenie dla biznesu i społeczeństwa” - powiedział Olson.
Zauważył, że jednym z przykładów jest odkrycie naukowe możliwe dzięki pracy naukowców w Large Hadron Collider w Szwajcarii. Według Olsona codzienna ocena 37 terabajtów danych doprowadziła do kluczowych postępów, takich jak przełomowe odkrycie Higgsa-Bosona, które ujawniło kluczowe aspekty materii i energii. Olson dodał, że Hadoop pomaga w tych podstawowych projektach badawczych, przechwytując ogromną ilość danych w jednym repozytorium, ale trudno jest wchodzić w interakcje z tymi danymi w czasie rzeczywistym.
Wyjaśniając, w jaki sposób Hadoop i podobne technologie mogą pomóc naukowcom w kluczowych obszarach, takich jak opieka zdrowotna, Olson ogłosił także projekt Impala, nad którym jego firma pracuje od dwóch lat, z dwiema czwartymi testami beta w koordynacji z głównymi klienci. Projekt Impala, powiedział Olson, to technologia „w 100% open source” z licencjonowaniem Apache, która współpracuje z Hadoop jako „mechanizm zapytań w czasie rzeczywistym”. Olson powiedział, że pozwala to na tak zwaną „szybkość zapytań myślowych”, w której użytkownicy mogą zadawać pytania, uzyskiwać odpowiedzi i formułować nowe pytania w celu skutecznego wykorzystania głównych klastrów danych.
„Daje to nowy sposób na uzyskanie dostępu do danych” - powiedział Olson, wskazując, w jaki sposób ten postęp może otworzyć dodatkowe możliwości rozwiązania poważnych problemów w Stanach Zjednoczonych i za granicą.
