a : data-local
b : rack-local
c : off-rack
key 1개 일때 reduce 생성하여 결과 출력
key가 여러개일때 key별 reduce를 생성하여 결과 출력
* data shuffling 방지 하기 위해 fun 종류에 따라 combiner function을 사용
=> max는 각각 map에 대해 max를 구하면 되지만 mean의 경우에는 해당 key에 대한 평균값을
사용해야 함으로 combiner function을 사용할수 없음
reduce job이 없을경우
'NoSQL > Hadoop' 카테고리의 다른 글
yarn 구조 (0) | 2017.03.08 |
---|---|
hadoop read & write (0) | 2017.03.06 |
hadoop streaming (0) | 2017.03.06 |
hadoop distcp (0) | 2017.03.02 |
Hadoop streaming (0) | 2016.07.01 |