ETL (ekstrakcja, transformacja i ładowanie) jest jednym z najważniejszych procesów w analizie dużych zbiorów danych - i jednocześnie może być jednym z największych wąskich gardeł. (Aby uzyskać więcej informacji na temat dużych zbiorów danych, zapoznaj się z 5 pomocnymi kursami Big Data, które możesz wziąć online).
Powodem, dla którego ETL jest tak ważny, jest to, że większość danych gromadzonych przez firmę nie jest gotowa, w swojej surowej postaci, do rozwiązania analitycznego do strawienia. Aby rozwiązanie analityczne tworzyło wgląd, nieprzetworzone dane muszą zostać wyodrębnione z aplikacji, w której obecnie się znajdują, przekształcone do formatu, który program analityczny może odczytać, a następnie załadowane do samego programu analitycznego.
Ten proces jest analogiczny do gotowania. Twoje surowe składniki to Twoje surowe dane. Muszą zostać wyodrębnione (zakupione w sklepie), przetworzone (ugotowane), a następnie załadowane (powleczone), zanim będą mogły być analizowane (smakowane). Trudność i koszty mogą się nieprzewidywalnie skalować - łatwo jest zrobić ser Mac n 'dla siebie, ale znacznie trudniej jest stworzyć menu dla 40 osób na przyjęciu. Nie trzeba dodawać, że błąd w dowolnym momencie może spowodować niestrawność posiłku.
