erasure encoding

hadoop 3.0에서는 replication factor로 인해 디스크 공간 낭비를 줄이고자 erasure encoding 지원

아래와 같이 3가지 type에 데이터를 분류하여

 

1. hot data: 하루에 20번 이상 접근이 되고 7일 이내 데이터로 모든 replicator 데이터 유지

 

2. warm data : 1주일에 여러번 접근이 되는 데이터로 1 replicator는 disk에 나머지는 archive tier에 유지

 

3. cold data : 1달에 몇번 접근이 되고 1달 이상된 데이터로 cold layer 또는 삭제 대상이 됨

 

 

ECManager, ECClient, ECWorker 프로세스 사용