map/reduce job runtion optimization

1. java memory for tasks

   map/reduce task에서 사용하는 jvm 메모리 설정 (mapred.child.java.opts)

 

2. map spill memory

   mapper에 의해서 생성된 output records의 크기가 메모리 버퍼 사이즈 70%를 초과할 경우

   disk에 생성 (io.sort.mb 값을 적정한 값으로 설정)

 

3. mapper 수 조정

   task에 따라 적절한 mapper 수 설정

   ( 프로그램 수행시  mapred.min.split.size or mapred.job.reuse.jvm.num.tasks 수 지정)