P:
Jakie okoliczności doprowadziły do powstania ekosystemu dużych zbiorów danych?
ZA:Istnieje wiele czynników, które przyczyniły się do powstania dzisiejszego ekosystemu dużych zbiorów danych, ale istnieje ogólna zgoda co do tego, że powstały duże zbiory danych ze względu na szereg konstrukcji sprzętu i oprogramowania, które po prostu pozwalały na istnienie dużych zbiorów danych.
| Seminarium internetowe: Big Iron, Poznaj Big Data: Uwolnienie danych na komputerach mainframe dzięki Hadoop & Spark Rejestracja tutaj |
Konwencjonalna definicja dużych zbiorów danych jest następująca: zestawy danych, które są na tyle duże i złożone, że przeciwstawiają się łatwemu iteracyjnemu zarządzaniu lub zarządzaniu ręcznemu. Duże zbiory danych są często identyfikowane jako zestawy danych, które nie mieszczą się w prostej sieci baz danych, ponieważ ich analiza wymaga zbyt wiele pracy ze strony serwerów obsługujących dane.
Mając to na uwadze, główną częścią tego, co stworzyło duże zbiory danych, jest idea znana jako Prawo Moore'a lub podwojenie tranzystorów w obwodzie co dwa lata, tworząc coraz mniejszy sprzęt i urządzenia do przechowywania danych (a także mocniejsze mikroprocesory) . W połączeniu z prawem Moore'a i prawdopodobnie z tego powodu zdolność obliczeniowa dostępnych systemów oprogramowania stale rosła, do tego stopnia, że nawet komputery osobiste mogły obsługiwać znacznie większe ilości danych, a systemy biznesowe i awangardowe zaczęły obsługiwać rozmiary danych nie do pomyślenia zaledwie kilka lat wcześniej. Systemy osobiste zostały przeniesione z kilobajtów do megabajtów, a następnie do gigabajtów, w procesie przejrzystym dla konsumentów. Systemy awangardowe przenosiły się z gigabajtów do terabajtów i petabajtów oraz na rzędy wielkości, takie jak zetabajty, w sposób, który był znacznie mniej przejrzysty dla przeciętnego obywatela.
Kolejnym postępem uwzględniającym duże zbiory danych były zmiany w sposobach przetwarzania zestawów danych przez procedury obsługi. Zamiast przetwarzania liniowego za pomocą konwencjonalnego projektu relacyjnej bazy danych, programy obsługi zaczęły używać narzędzi takich jak Apache Hadoop i powiązane elementy zarządzania sprzętem, aby wyeliminować wąskie gardła w procesach danych.
W rezultacie powstaje świat dużych zbiorów danych, w którym żyjemy, w którym ogromne zbiory danych są przechowywane i utrzymywane w centrach danych, a dostęp do nich jest coraz szerszy dzięki szerokiej gamie technologii do szerokiego zakresu zastosowań. Od handlu po ekologię, od planowania publicznego po medycynę, duże zbiory danych stają się coraz bardziej dostępne. Tymczasem agencje rządowe i inne większe organizacje wciąż przekraczają granice dużych zbiorów danych i wdrażają nawet bardziej zaawansowane rozwiązania.
