hadoop os tunning

1. Transparent Huge Pages (THP) : disable

   THP는 하둡에서 잘 동작 되지 않으며, 높은 cpu 사용률을 유발함.

   

   /etc/rc.local 파일에 아래 내용 추가

   if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag; then

       echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag ;

   fi

 

2. memory swapping : avoid or minimize

   메모리 swapping 방지를 위해 disable 또는 최소화

 

   /etc/sysctl.conf 파일에 내용추가

   vm.swappiness = 0 or 최소화

 

3. cpu mode 변경 : performance

   save power 모드를 performance로 변경

   cpufreq-set -r -g  performance

 

4.  network connection : higher value 조정

    master와 worker 노드간 connection 많이 발생함으로 max 값을 조정

 

    /etc/sysctl.conf 파일에 내용추가

    net.core.somaxconn=1024

 

5. file system : ext4 and mount 옵션 ( noatime )

   성능이 좋은 ext4 사용 및 logging setting disable하기 위해 mount 옵션 추가 (noatime)