[Scalp] 스칼프 웹서버 공격성 로그 자동화 :: 마이자몽

Scalp 스칼프

Scalp는 아파치 톰캣 웹서버 로그 자동화 분석 모듈이다.

웹서버의 엑세스 로그 파일 내용을 설정한 룰을 기반으로 확인하여 공격성 로그만 남도록 해주는 자동화 모듈이다.

파이썬으로 개발되었으며, 아파치 웹서버의 access 로그를 기준으로 만들어졌다.

Scalp 모듈 설치

https://code.google.com/archive/p/apache-scalp/downloads

위 링크를 통해 0.4버전을 받아준다.

정규표현식을 이용한 공격성 로그 구별 룰파일도 받아준다.

https://github.com/hyyan/apache-scalp/blob/master/default_filter.xml

Apache Tomcat Access Log

아파치 톰캣의 실행로그는 아래와 같다.

123.45.678.123 - - [12/Mar/2019:14:26:03 +0900] "GET /test/img/introduce.jpg HTTP/1.1" 200 22366
123.45.678.123 - - [12/Mar/2019:14:26:06 +0900] "POST /test/message HTTP/1.1" 200 207
123.45.678.123 - - [12/Mar/2019:14:26:07 +0900] "POST /test/message HTTP/1.1" 200 536
123.45.678.123 - - [12/Mar/2019:14:26:09 +0900] "POST /test/message HTTP/1.1" 200 259
123.45.678.123 - - [12/Mar/2019:14:26:17 +0900] "POST /test/message HTTP/1.1" 200 324
123.45.678.123 - - [12/Mar/2019:14:26:19 +0900] "POST /test/message HTTP/1.1" 200 336
123.45.678.123 - - [12/Mar/2019:14:26:22 +0900] "POST /test/message HTTP/1.1" 200 472
123.45.678.123 - - [12/Mar/2019:14:26:24 +0900] "POST /test/message HTTP/1.1" 200 341
123.45.678.123 - - [12/Mar/2019:14:26:28 +0900] "POST /test/message HTTP/1.1" 200 231

해당 로그의 패턴을 기반으로 로그분석을 하게된다.

Scalp 실행

Scalp는 파이썬 모듈로 실행하기 때문에 기본적으로 파이썬이 설치되어 있고, python 명령어를 통해서 실행해준다.

python scalp-0.4.py -l ${로그경로} -f ${필터경로} -o ${출력경로} --html

공격성 로그가 존재하면 html파일 형태로 결과를 출력해준다.

결과 출력

Tmax 웹투비 제우스 실행로그 반영

Scalp는 아파치 웹서버를 기준으로 로그분석하도록 개발되었다. 필자는 Tmax 웹투비 제우스를 사용하여 공격성 로그를 감지할려고 했는데, 실행로그 형식이 달라서 Scalp 실행시 오류가 떨어졌다.

123.45.678.123 [01/Jan/2019:10:37:10 +0900] "GET /shell.php HTTP/1.1" 307 166 0
123.45.678.123 [01/Jan/2019:10:37:11 +0900] "GET /appserv.php HTTP/1.1" 307 166 0
123.45.678.123 [01/Jan/2019:10:37:13 +0900] "GET /scripts/setup.php HTTP/1.1" 307 166 0
123.45.678.123 [01/Jan/2019:10:37:14 +0900] "GET /phpmyadmin/scripts/setup.php HTTP/1.1" 307 166 0

아파치 톰캣 실행로그와의 차이를 확인하면 "- -" 때문에 오류가 발생한다.

Scalp의 코드를 확인하여 정규표현식으로 "- -"를 구분하는 분만 변경해주면 된다.

기존 아파치 웹서버 정규표현식

c_reg = re.compile(r'^(.+)-(.*)\[(.+)[-|+](\d+)\] "([A-Z]+)?(.+) HTTP/\d.\d" (\d+)(\s[\d]+)?(\s"(.+)" )?(.*)$')

티맥스 웹투비 수정 정규표현식

c_reg = re.compile(r'^(.+)() \[(.+)[-|+](\d+)\] "([A-Z]+)?(.+) HTTP/\d.\d" (\d+)(\s[\d]+)?(\s"(.+)" )?(.*)$')

batch파일 설정

일자별로 자동 실행해주기 위해 배치파일 생성

properties setenv file

PYTHON=/home/test/python/python2.7.13/bin/python  #파이썬 경로
ACCESS=/home/test/access_log_check/bin  #SCALP 모듈 경로
FILTER_PATH=/home/test/access_log_check/config  # 필터 경로
LOG_PATH=/home/tmax/webtob/log/test  # 웹투비 로그파일 경로
OUTPUT_PATH=/home/test/access_log_check/logs  # 분석결과 출력 경로
DAY=30  # 현재 날짜로부터 지정 일수까지 분석 

실행 batch 파일

source /home/test/access_log_check/batch/setenv
 
if test $# -eq 0 ; then
        echo "no params"
        exit 0
fi
 
OPTION=$1
 
if test "$OPTION" = "start"
then
        for((i=0;i<$DAY;i++));do
        sudo ${PYTHON} ${ACCESS}/scalp-0.4_fix.py -l ${LOG_PATH}/"$(date -d $i'day ago' +'access.log_%m%d%Y')" -f ${FILTER_PATH}/filter.xml -o ${OUTPUT_PATH} --html
        done
 
elif test "$OPTION" != ""
then
        echo "wrong"
fi