hadoop 3.0에서는 replication factor로 인해 디스크 공간 낭비를 줄이고자 erasure encoding 지원
아래와 같이 3가지 type에 데이터를 분류하여
1. hot data: 하루에 20번 이상 접근이 되고 7일 이내 데이터로 모든 replicator 데이터 유지
2. warm data : 1주일에 여러번 접근이 되는 데이터로 1 replicator는 disk에 나머지는 archive tier에 유지
3. cold data : 1달에 몇번 접근이 되고 1달 이상된 데이터로 cold layer 또는 삭제 대상이 됨
ECManager, ECClient, ECWorker 프로세스 사용
'NoSQL > Hadoop' 카테고리의 다른 글
| hdfs admin 명령어 (0) | 2019.06.27 |
|---|---|
| hdfs app 프로그램 (0) | 2019.06.27 |
| HDFS DataNode내 Disk 데이터 밸런싱 (0) | 2019.06.27 |
| HDFS DataNode 데이터 밸런싱 (0) | 2019.06.27 |
| sentry 보안 (0) | 2019.06.21 |