구성

1. flask+uwsgi+nginx를 붙임

• request --[http://localhost:8081]--> nginx --[8081:5000]--> flask+uwsgi [app]
• 관련 환경설정 파일은 각 디렉토리 참조

2. logger 수집

1. flask 로그와 nginx 로그를 logstash를 통해서 elastic으로 전송

2. logger에 대한 logstash pipleline관련하여 grok 문법에 대한 simulate는 kibana에서 [DevTools]->[Grok Debugger]에서 시뮬레이션 할 수 있음

   • logstash grok 문법 참조: https://github.com/logstash-plugins/logstash-patterns-core/blob/v2.0.5/patterns/grok-patterns#L86

3. flask에서 내부 logging과 logstash로 log를 전송하게끔 구성함

   • 실제 flask 내부에서 logstash.TCPLogstashHandler를 통해서 logstash 컨테이너에 log를 전송하게끔 하였음
   • (logstash pipeline관련 내용) .elk/logstash/pipeline/flask_log.conf
   • 로그 예:

     [flask 로그]
     2021-06-11 01:50:15,033 - web_stream - 192.168.176.1 - GET - OS - requested http://localhost:8080/ - INFO in log - session = no
     2021-06-22 06:34:47,821 - werkzeug - 192.168.240.1 - GET - OS - requested http://localhost:8080/ - INFO in log - session = None
     [logstash 로그]
     {
     "@version" => "1",
     "path" => "log",
     "method" => "GET",
     "loglevel" => "INFO",
     "host" => "flask.simpleweb_elastic",
     "timestamp" => "2021-06-11 01:50:15,018",
     "device" => "OS",
     "requested_url" => "http://localhost:8080/",
     "port" => 56660,
     "message" => "session = no",
     "@timestamp" => 2021-06-11T01:50:15.018Z,
     "clientip" => "192.168.176.1"
     }
     

4. nginx의 access.log를 logstash로 전송하게끔 구성 (.elk/logstash/pipeline/flask_log.conf)

   • docker-compose 내에서 nginx의 /var/log/nginx 디렉토리에 있는 access.log 를 mount하여 logstash에서 file로 write하게끔 구성
   • (logstash pipeline관련 내용) .elk/logstash/pipeline/simple_web_log.conf
   • 로그 예:

     [nginx access.log]
     192.168.176.1 - - [11/Jun/2021:01:50:15 +0000] "GET / HTTP/1.1" 200 280 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36" "-"
     [logstash]
     {
     "tags" => [
     [0] "_dateparsefailure",
     [1] "_geoip_lookup_failure"
     ],
     "agents" => {
     "build" => "",
     "os" => "Windows",
     "patch" => "4472",
     "minor" => "0",
     "device" => "Other",
     "os_name" => "Windows",
     "major" => "91",
     "name" => "Chrome"
     },
     "agent" => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36",
     "@version" => "1",
     "http_version" => "1.1",
     "geoip" => {},
     "path" => "/var/log/nginx/access.log",
     "method" => "GET",
     "bytes" => "280",
     "response" => "200",
     "request" => "/",
     "host" => "b323ff9ed6aa",
     "referrer" => "-",
     "timestamp" => "11/Jun/2021:01:50:15 +0000",
     "message" => "192.168.176.1 - - [11/Jun/2021:01:50:15 +0000] \"GET / HTTP/1.1\" 200 280 \"-\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36\" \"-\"",
     "@timestamp" => 2021-06-11T01:50:15.823Z,
     "clientip" => "192.168.176.1"
     }
     

5. elastic에 /web-YYYY.mm.dd 와 /access-YYYY.mm.dd로 로그가 쌓임

   [elastic에서 확인 방법]
   GET /web-2021.06.11/_search
   {
   "query": {
   "match_all": {}
   }
   }
   

build

./build.sh [start|stop]