hdfs file system optimization

1. filesystem mount option

   - ext4 or xfs 

   - mount option : noatime ( logging disable )

 

2. hdfs block size

   - block 사이즈에 따라 metadata 사이즈가 증가하며, mapper 개수도 결정됨으로 적정사이즈 설정

     ( 128MB ~ 1GB, dfs.blocksize) 

 

3. Short circuit read

   - 성능을 최적화를 위해 data와 같이 배치된 client는 datanode 없이 데이터를 읽을수 있게 설정

     dfs.client.read.shortcircuit=true

     dfs.domain.socket.path=/var/lib/Hadoop-hdfs/dn_socket

 

4. Stale Datanode

   - datanode가 통신이 안될경우 client에서 해당 datanode 연결을 제외

     dfs.namenode.avoid.read.stale.datanode=true

     dfs.namenode.avoid.write.stale.datanode=true