P:
Jakie kluczowe kwestie należy wziąć pod uwagę w strategii przechowywania dużych zbiorów danych?
ZA:Jednym z największych problemów, które są ignorowane w przypadku przechowywania dużych danych, jest dostępność dla zespołów, które tego potrzebują. Dane są regularnie przechowywane bez dokumentacji, w miejscach, do których trudno jest uzyskać dostęp lub w których odpowiednie zespoły nie są świadome faktu, że w ogóle istnieją. Ostatecznie przechowywanie dużych danych powinno przyjąć otwartą pierwszą strategię, w której zespoły są uświadamiane o ich istnieniu, z czego składają się dane i jak uzyskać do nich dostęp, aby zespoły mogły z nich korzystać w oprogramowaniu, jeśli tego potrzebują.
Innym krytycznym problemem, który znalazłem, jest jakość przechowywanych danych. Dane powinny być przechowywane w formie najwyższej jakości, w której mogą istnieć w swoim ostatecznym miejscu przechowywania. Przechowywanie danych niskiej jakości w jeziorze danych jest zwykle w porządku, ale w miarę ciągnięcia w dół potoku danych każdy etap powinien podnieść jakość danych, tak aby były przechowywane w formie najwyższej jakości w systemie takim jak hurtownia danych lub baza danych analitycznych. Zwiększy to jakość systemów zajmujących miejsce spoczynku danych.
