filebeat 사용

1.  설치

   1) sign key 설정

    sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

 

   2) rep 설정 (/etc/yum.repos.d/)

      [elastic-7.x]

      name=Elastic repository for 7.x packages

      baseurl=https://artifacts.elastic.co/packages/7.x/yum

      gpgcheck=1

      gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

      enabled=1

      autorefresh=1

      type=rpm-md

 

   3) yum 설치 : yum install filebeat

 

2. 설정 (filebeat.yml)

 

  # source file 설정 (gather할 file)

  filebeat.inputs:  

   - type: log 

     enabled: true

     paths:

         - /var/log/messages

     fields:

         data_type: sys             # 서비스 구분을 위한 custom 필드 및 값 추가

     scan_frequency: 10s          # 수집 파일을 얼마나 자주 체크할지 설정 

     include_lines : ['kernel:']     # kernel 단어가 포함된 라인을 수집

 

  setup.ilm.enabled: false        # elasticsearch custom index 사용하기 위해 ilm policy diable

   

  #output.console:

  #  pretty: true                    # console로 테스트 하기 위해 comment를 제거하고 사용

 

  output.elasticsearch:

     hosts: ["10.10.10.5:9200", "10.10.10.6:9200", "10.10.10.7:9200"]

     protocol: "http"

     compression_level: 1        # 네트웍 부하 완화를 위해 최소의 압축으로 데이터 전송

     worker: 1

     loadbalance: true            # 위에 3개 ip에 대해서 부하 균등 배분

     index: "test-%{[fields.data_type]}-%{[agent.version]}-%{+yyyyMMdd}"    # custom 일일 index 생성

 

  max_procs : 1                   # core(cpu) 1개만 사용

  

  logging.level : info 

  logging.to_files: true          # log를 파일로 출력

  logging.files:

      path:  /tmp/filebeat/logs

      name: filebeat               # filebeat.log로 파일 생성

      keepfiles: 7                   # 최대 7개 log file유지

      permissions: 0644