Spisu treści:
Definicja - Co oznacza Łączenie pracy?
Łańcuch zadań jest terminem w MapReduce, który odnosi się do uruchomienia kilku kroków w tym samym zadaniu MapReduce. W przypadku łączenia zadań pierwsze zadanie wysyła dane wyjściowe do jednego zadania, które wysyła dane wyjściowe do następnego zadania w łańcuchu i tak dalej, aż zadanie zostanie ukończone. Jest to forma tworzenia potoków zadań MapReduce, aby były łatwiejsze do zarządzania.
Techopedia wyjaśnia tworzenie miejsc pracy
Łańcuch zadań w MapReduce odnosi się do uruchamiania wielu zadań w jednym zadaniu MapReduce.
Na przykład łańcuch zadań może składać się z:
Map1> Reduce1> Map2> Reduce2
Zaletą łączenia zadań jest to, że eliminuje potrzebę pośrednich danych między wszystkimi etapami potoku. W tym sensie tworzenie łańcuchów zadań jest podobne do przekierowania wejścia / wyjścia w powłoce uniksowej. Dane wyjściowe z jednego łącza w łańcuchu przepływają do danych wejściowych w następnym zadaniu w łańcuchu. MapReduce pozwala programistom określać zależności lub zadania, które należy wykonać, zanim przetworzy kolejne zadania w łańcuchu za pomocą wywołania metody addDependingJob ().
Ułatwia to programistom napisanie programu MapReduce, który może przetwarzać duże ilości danych.
