Ewolucja dużych zbiorów danych

Na początku XXI wieku było jasne, że istnieje ogromna potrzeba innowacji w zakresie danych. Ograniczenia tego, co firmy mogłyby zrobić ze swoimi danymi, sfrustrowały kadrę kierowniczą i znacznie zmniejszyły wydajność. Wiele firm przechowywało ogromne ilości informacji, ale po prostu nie było w stanie nimi zarządzać, analizować ani manipulować na swoją korzyść. To rosnąca presja ustąpiła granicom dużych zbiorów danych.

W 2003 r. Google stworzyło MapReduce, aplikację do przetwarzania danych, która pozwoliła firmie przetwarzać i analizować informacje o zapytaniach na tysiącach serwerów w krótkim czasie. Zarówno skalowalny, jak i przystosowalny, program umożliwił Google wykonanie tysięcy zadań związanych z danymi w zaledwie kilka minut, co poprawiło wydajność i na nowo zdefiniowało postrzegane granice tego, co można zrobić z danymi. Prawie 10 lat później duże zbiory danych stały się główną zasadą technologii informatycznych. Jego daleko idący zakres i możliwości zasadniczo zmieniły zarządzanie danymi w miejscu pracy. Ale co spowodowało tę ewolucję i jak dokładnie duże zbiory danych wpłyną na przyszłość? Myśleliśmy, że nigdy nie zapytasz. (W celu zapoznania się z większymi danymi na temat dużych zbiorów danych zapoznaj się z Big Data: Jak są one wychwytywane, łamane i wykorzystywane do podejmowania decyzji biznesowych).

Poszukiwanie odpowiedzi na pytania dotyczące dużych zbiorów danych

Piękno MapReduce uprościło bardzo złożone zadania. Komunikacją można zarządzać na różnych maszynach, awarie systemu można usuwać, a dane wejściowe mogą być organizowane automatycznie, co może być nadzorowane przez osoby, które nie potrzebują już umiejętności technicznych. Dzięki przetwarzaniu danych nie tylko możliwe, ale także przystępne, Google zainspirował kulturową zmianę w zarządzaniu danymi. Wkrótce tysiące dużych firm korzystało z MapReduce do swoich danych.

Ale był jeden problem: MapReduce był po prostu modelem programowania. Chociaż ułatwiał podstawy przetwarzania danych, sam nie był odpowiedzią na istniejące niedociągnięcia w danych; był to tylko bardzo potrzebny krok we właściwym kierunku. Korporacje nadal potrzebowały systemu, który sprostałby ich unikalnym potrzebom w zakresie danych i wykraczałby poza podstawowe potrzeby zarządzania danymi. Krótko mówiąc, technologia potrzebna do ewolucji.

Wejdź do Hadoop

Wejdź do Hadoop, oprogramowania ramowego typu open source stworzonego przez kilku programistów, w tym Douga Cutting. Podczas gdy MapReduce był prosty i szeroki, Hadoop zapewniał odświeżającą specyfikę. Firmy mogły projektować własne, dostosowane do potrzeb aplikacje, które zaspokajałyby potrzeby w zakresie danych w sposób niemożliwy do osiągnięcia przez żadne inne oprogramowanie, i było ogólnie zgodne z innymi systemami plików. Firma z utalentowanymi programistami mogłaby zaprojektować system plików, który realizowałby unikalne zadania z danymi, które wcześniej wydawały się nieosiągalne. Być może najlepsze w tym było to, że programiści dzielili między sobą aplikacje i programy, które można było objaśniać i doskonalić.

Dzięki demokratyzacji tak ważnego zasobu Hadoop stał się trendem. W końcu wiele dużych korporacji, zwłaszcza wyszukiwarek, uważało, że potrzebują go od dziesięcioleci! Wkrótce giganci wyszukiwarek, tacy jak Yahoo, ogłosili wdrożenie dużych aplikacji Hadoop, które generowały dane wykorzystywane w zapytaniach w sieci. Wydawało się, że to fala, kilka znanych firm ogłosiło wprowadzenie tej technologii w swoich ogromnych bazach danych, w tym Facebook, Amazon, Fox, Apple, eBay i FourSquare. Hadoop ustanowił nowy standard przetwarzania danych.

Duże zbiory danych, duże problemy

Choć postępy w technologii danych zmieniły sposób, w jaki firmy traktują dane, wielu menedżerów nadal nie jest w stanie wykonać pełnego zakresu wymaganych zadań. W lipcu 2012 r. Oracle opublikowało ankietę obejmującą ponad 300 menedżerów na poziomie C, którzy ujawnili, że podczas gdy 36 procent firm polega na IT do zarządzania i analizowania danych, 29 procent z nich uważa, że ​​ich systemy nie mają wystarczających zdolności, aby sprostać wymaganiom swoich firm. wymagania. Być może najbardziej uderzającym odkryciem w badaniu było to, że 93% respondentów uważało, że ich firma straciła nawet 14% swoich dochodów, ponieważ nie była w stanie wykorzystać zebranych danych. To przychód, który można wydać na tworzenie lepszych produktów i zatrudnienie większej liczby pracowników. W czasach, gdy firmy walczą o utrzymanie rentowności, poprawa danych w celu zwiększenia rentowności jest koniecznością. Badanie wskazuje, że pomimo tych, którzy wierzą, że wpływ dużych zbiorów danych na handel już minął, możliwości wzrostu i postępu, jakie posiada, muszą jeszcze zostać w pełni wykorzystane.

Co przyniesie przyszłość Big Data

Dobra wiadomość jest taka, że ​​Hadoop i MapReduce zainspirowały wiele innych narzędzi do zarządzania danymi. Wiele nowych firm tworzy rozbudowane platformy danych, które działają na platformie Hadoop, ale oferują szeroki wachlarz funkcji analitycznych i łatwiejszą integrację systemu. Wydaje się, że korporacje zainwestowały wiele zasobów w rozwiązywanie problemów związanych z danymi, a sukces finansowy firm danych był tego dowodem. W 2010 r. Firmy danych dokonały szacowanej sprzedaży detalicznej na 3, 2 mld USD. Wielu ekspertów oszacowało, że liczba ta wzrośnie do 17 miliardów dolarów do samego 2015 roku. Jest to fakt, który nie został pominięty przez niektóre z największych firm technologicznych. Zarówno IBM, jak i Oracle wydały miliardy w ciągu ostatnich kilku miesięcy na przejęcie firm danych. Wiele innych firm zrobi podobne posunięcia w nadchodzących latach, ponieważ nadal będą rywalizować o konkurencyjny udział w rynku.

Granica Big Data

Ilość gromadzonych danych rośnie wykładniczo, co budzi niepokój, a inne podniecają. Plusem jest to, że ludzie będą nadal stawać się bardziej produktywni i adaptacyjni, gdy uczymy się nowych rzeczy o naszym świecie poprzez analizę danych. Minusem jest to, że istnieje tak ogromna ilość danych, że wielu obawia się, że nie jesteśmy w stanie właściwie przechowywać wszystkich danych, a tym bardziej odpowiednio zarządzać nimi, aby mogły z nich korzystać wszyscy, którzy ich potrzebują.

To powiedziawszy, postęp w dziedzinie dużych zbiorów danych może zapewnić bezprecedensowe możliwości rozwiązania pilnych problemów dotyczących danych. Na przykład eksperci zasugerowali, że prawidłowe wdrożenie dużych zbiorów danych z naciskiem na wydajność i jakość mogłoby potencjalnie zaoszczędzić około 300 miliardów dolarów rocznie na samych wydatkach na opiekę zdrowotną; detaliści byliby w stanie poprawić swoje marże operacyjne, sektor publiczny mógłby zapewnić lepsze usługi, a duże przedsiębiorstwa mogłyby zaoszczędzić miliardy. Wydaje się więc, że rozwiązanie naszych problemów z danymi jest potrzebne nie tylko w zarządach firm, ale wszędzie. Co mówi dobre rzeczy o przyszłości dużych zbiorów danych - a może także naszej.