프로그래밍/Elastic Stack (5) 썸네일형 리스트형 [LOGSTASH] 04. Logstash Plugin 01 1. Twitter 1) input 소스input { twitter { consumer_key => "CONSUMER_KEY_GOES_HERE" consumer_secret => "CONSUMER_SECRET_GOES_HERE" oauth_token => "ACCESS_TOKEN_GOES_HERE" oauth_token_secret => "ACCESS_TOKEN_SECRET_GOES_HERE" keywords => ["test","sample"] full_tweet => true }} 2) 참고링크 - https://www.elastic.co/guide/en/logstash/current/plugins-inputs-twitter.html 2. Json_Line 1) 설치bin/logstash-plugin.. [LOGSTASH] 03. Logstash Filter mutate 1. Filter Mutate?? - 데이터 변환 2. 기능 - remove_field : 해당 필드 값들을 제거한다. - rename : 필드명을 변경한다. - 기타 여러 기능들이 있다. 아래 참고링크를 참고하면 좋다. 3. 예제filter {mutate {remove_field => ["@timestamp","@version"]rename => {"TEST_VALUE" => "testValue"}}} * 참고 링크 - https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-rename [LOGSTASH] 02. Logstash Mysql input 사용하기 1. conf파일 기본 형태#데이터를 가지고옴.input {} #데이터를 가공함.filter {} #데이터를 출력함.output {} 2. mysql에서 데이터 가져와서 파일로 생성해보기. 1) mysql-connector를 직접 다운받아, path를 지정해줘야함.(1) connector 다운로드wget 'https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz' - 'https://dev.mysql.com/downloads/connector/j/' 링크를 통해서 직접 다운로드 받을 수도 있다. (2) 압축풀기tar -xvf ./mysql-connector-java-5.1.46.tar.gz (3) 파일이동 - 필요.. [ElasticSearch] index mapping 변경하기. 1. 개요 - ElasticSearch를 사용하던 중 index mapping을 변경 해야하는 문제가 발생. - 재인덱싱(reindex)을 해야한다. - 데이터 양이 있어, 재인덱싱 시간이 길다. - ........ - alias를 활용해 보자! 2. 기본작업 1) Alias 만들기 - test_v1 이라는 index에 test라는 alias를 만든다. curl -XPOST 'http://localhost:9200/_aliases' -d '{ "actions" : [ { "add" : { "index" : "test_v1", "alias" : "test" } } ]}' 2) Alias 확인 - 호출curl -XGET 'http://localhost:9200/test?pretty=true' - 결과 { ".. Elastic Stack으로 AWS ELB Monitoring 하기. * 시작전 필요사항 - Elastic Stack에 대한 사전 지식 - ElasticSearch가 설치되어 있어야함. ( https://www.google.co.kr/search?q=elasticsearch+install ) - Logstash가 설치되어 있어야함. (https://www.google.co.kr/search?q=logstash+install) - Kibana가 설치되어 있어야함.(https://www.google.co.kr/search?q=kibana+install) - 해당 자료는 6.2.4 Set로 수정되었습니다. 1. 구성 - ELB 로그를 S3에 저장한다. - Logstash로 간단하게 가지고와서, ElasticSearch에 넣는다. - Kibana로 간단하게 본다. 2. AWS E.. 이전 1 다음
