hive avro table 자동적재 using sqoop

1.  sqoop 수행

임시테이블 만들어 데이터 import

sqoop import --connect jdbc:mysql://localhost/test --table CUSTOMER 

--username test1 --password test -m 1 --create-hive-table 

--hive-table CUSTOMER --as-avrodatafile  --target-dir /tmp/test/customer

sqoop import --connect jdbc:mysql://localhost/test --table CUSTOMER 

--username test1 --password test -m 1 --as-avrodatafile  --target-dir /tmp/test/customer

2. avro 파일 export후 스키마 정보 추출

hdfs dfs -get /tmp/test/customer/part-m-00000.avro

java -jar avro-tools-1.8.1.jar getchema part-m-00000.avro > customer.avrc

3. 스키마 정보 upload

hdfs dfs -put customer.avrc /tmp/test

4. 자동으로 데이터 import  (oozie 사용)

sqoop import --connect jdbc:mysql://localhost/test --table CUSTOMER 

--username test1 --password test -m 1 --create-hive-table 

--hive-table CUSTOMER --as-avrodatafile  --target-dir /tmp/test/customer

sqoop import --connect jdbc:mysql://localhost/test --query 'select * from customer where $CONDITIONS' --username test1 --password test -m 1  --compression-code snappy