vector를 이용해서 로그 분석 파이프라인 구성하기

vector를 이용하여 로그 분석 파이프라인 구성하기

Vector 시작하기

vector 개요

• Vector는 높은 성능의 **오브저버빌리티(관측성) 데이터 파이프라인 도구, 오픈소스 솔루션
  • cf. filebeat, logstash (grok)
• 로그(logs), 메트릭(metrics), 트레이스(traces)를 수집, 변환, 라우팅하여 원하는 목적지(예: 다양한 벤더 서비스)로 효율적으로 전달
• Vector 문서 : https://vector.dev/docs/
  • 소스 : https://github.com/vectordotdev/vector

vector 설치 및 실행하기

• 기본적인 실행 (-c 또는 --config)

brew install vector
vector -c vector.toml

• 실행시 다양한 옵션 주기

    vector -c vector.toml --verbose    
    vector --config ./vector.toml --dry-run --quiet    
    vector validate vector.toml --deny-warnings 
  

  • --config
    • 지정된 설정 파일(./vector.toml)을 사용하여 Vector를 실행
    • 지원되는 형식 : TOML, YAML, JSON
  • --dry-run
    • 구성 파일을 실제 실행하지 않고 _검증 및 시뮬레이션_만 수행한 뒤 종료
    • 오류 메시지 등을 확인할 수 있으며, CI 환경에서 유용하게 사용
  • --quiet (-q)
    • 로그 출력을 최소화하여, 처리 과정 중에 출력되는 내용을 줄임
    • 반복해서 사용하면 더 적은 로그를 출력하도록 함
  • --validate 서브커맨드
    • 구성 파일의 정적 유효성, 토폴로지, 환경 설정 등을 검증
    • 검사 성공 시 0, 실패 시 78 종료 코드로 반환
  • --deny-warnings
    • 구성 파일 내에 경고 메시지가 하나라도 발생하면 검증을 실패로 처리