Przy całym tym szumie wokół ogromnych centrów danych NSA, które gromadzą miliardy danych o naszym prywatnym życiu, jest jedna rzecz, o której wiele się nie mówi, przynajmniej w CNN. Wiąże się z problemem inżynieryjnym, który pojawił się wraz z technologią chmury, big data i imponującymi fizycznymi centrami przechowywania danych, które są obecnie budowane na całym świecie. Więc co to jest? Cóż, bez względu na to, kto administruje jednym z gigantycznych systemów informatycznych, które obsługują te urządzenia, istnieje zapotrzebowanie na systemy oprogramowania, które pomogą wszystkim tym szybko dostać się i wyjść z rurociągu. Potrzeba ta stanowi jedno z najciekawszych pytań lub zagadek informatycznych, przed którymi stają dziś profesjonaliści.
Jak zauważa wielu ekspertów, dzisiejsze ekstremalne zapotrzebowanie na przetwarzanie danych wykracza daleko poza tradycyjne podejścia. Mówiąc najprościej, użycie prostych struktur bazy danych i narzędzi, takich jak interfejs zapytań SQL, nie zapewni wystarczającej mocy obliczeniowej ani funkcjonalności dla systemów zastrzeżonych, które rozwinęły się w ciągu ostatnich kilku lat. Archiwa dzisiejszych dużych firm technologicznych potrzebują niezwykle skalowalnej technologii. Potrzebują narzędzi do przetwarzania danych, które mogą wprowadzać i wyprowadzać wyniki w znacznie większym wolumenie, niż może to ułatwić pojedynczy serwer. Potrzebują rozwiązań, które można szybko przyspieszyć w celu rozwoju, rozwiązań obejmujących złożony poziom sztucznej inteligencji, rozwiązań zaprojektowanych z myślą o łatwym zarządzaniu przez dział IT.
Pytanie brzmi: w jaki sposób firmy i agencje rządowe pokonują ograniczenia tradycyjnej ścieżki przetwarzania danych? Tutaj przyjrzymy się jednej bardzo obiecującej opcji: oprogramowaniu, które obsługuje duże zbiory danych i administrację wieloma centrami danych.
