"Błądzić jest rzeczą ludzką; naprawdę nieczyste rzeczy wymagają komputera. ”William E. Vaughan dokonał tej obserwacji w 1969 roku. Przejęcie kontroli nad zautomatyzowanym systemem niesie ze sobą możliwość awarii i spowodowania poważnych szkód przed sprawdzeniem.
Automatyzacja nie jest nowa, ale staje się coraz bardziej rozpowszechniona dzięki integracji systemów cyfrowych i fizycznych. Zaletą automatyzacji na dużą skalę jest duża wydajność. Ale wadą polegającą na systemie „ustaw i zapomnij” jest to, że ktoś może nie ustawić go poprawnie.
Dzięki systemowi, który po prostu działa bez interwencji i bez możliwości zatrzymania maszyny, możesz mieć destrukcyjne skutki. W związku z tym technologia może stworzyć sytuację opisaną w „Uczniu czarnoksiężnika”, kiedy to, co wydaje się ułatwiać życie, faktycznie wymyka się spod kontroli.
