방화벽 로그 분석 (FW Analysis)

방화벽로그를 CSV 형태 추출하여 수십개 파일로 존재

몽고디비에 적재하는 배치 스크립트

for %%f in ("C:\FW\*.csv") do (
    mongoimport --db Logos --collection FW --type csv --file "%%f" --headerline >> import.log 2>&1
)

방화벽 로그 20GB 기준 3~4시간 소요

몽고디비 적재 후 어그리게이션 이용하여 쿼리로 원하는 데이터만 추출

출발지IP 지정, 도착지IP 대역대로 지정, 드롭정책 제외, 기간 설정, 송신 데이터 1000바이트 이상

[
  {
    "$match": {
      "Src": { "$in": ["103.229.81.123", "103.5.144.50", "27.102.106.198"] },
      "Dst": { "$regex": "^59\\.10\\.104\\." },
      "Policy": { "$ne": "drop" },
      "Time": {
        "$gte": "2024-07-18T00:00:00Z",
        "$lt": "2024-07-25T00:00:00Z"
      },
      "Bytes": { "$gt": 1000 }
    }
  }
]