用途:个人学习笔记,欢迎指正

目录

背景:

一、日志自动提取-七牛Logki&观星应急工具

1、七牛Logkit: (支持Windows&Linux&Mac等)

2、观星应急工具(只支持Windows)

二、日志自动分析-Web-360星图&Goaccess&ALB&Anolog

1、Web-360星图(支持IIS/Apache/Nginx)

2、Web-GoAccess(任何自定义日志格式字符串)

3、Web-自写脚本ALB(支持任何自定义日志格式字符串)

4、Web-机器语言analog(支持任何自定义日志格式字符串)

三、Windows系统-日志自动分析-LogonTracer 推荐

四、日志综合平台-Elasisearch+Filebeat+Redis+Logstash+Kibana

背景:

由于日志文件数量过多,内容也多,人工分析过于繁琐,此时日志提取工具和日志自动分析工具的使用就会省时省力,同时也能为人工分析提供参考价值,提高效率。

一、日志自动提取-七牛Logki&观星应急工具

1、七牛Logkit: (支持Windows&Linux&Mac等)

https://github.com/qiniu/logkit/

2、观星应急工具(只支持Windows)

二、日志自动分析-Web-360星图&Goaccess&ALB&Anolog

1、Web-360星图(支持IIS/Apache/Nginx)

百度可搜索下载,config.ini配置文件:配置好日志文件所在路径

2、Web-GoAccess(任何自定义日志格式字符串)

工具: https://github.com/allinurl/goaccess
使用手册: https://goaccess.io/man
输出报告:
goaccess -f /home/wwwlogs/access.log –log-format=COMBINED > /root/aa.html
实时监控:
goaccess -f /home/wwwlogs/access.log –log-format=COMBINED –real-time-html /home/wwwroot/default/x.html

3、Web-GitHub用户脚本ALB(支持任何自定义日志格式字符串)

脚本和使用:https:/github.com/Lucifer1993/ALB
例:python ALB.py -f F:\access.log -t 200

4、Web-机器语言analog(支持任何自定义日志格式字符串)

脚本:https://github.com/Testzero-wz/analog
使用参考:https://analog.testzero-wz.com/

三、Windows系统ELK-日志自动分析-LogonTracer 推荐

https:/github.com/ffffffffOx/f8x(自动搭建项目)
https://github.com/JPCERTCC/LogonTracer
如何安装使用:
https://github.com/JPCERTCC/LogonTracer/wiki/

Docker安装:
https://www.freebuf.com/sectool/219786.html
docker pull jpcertcc/docker-logontracer
docker run
–detach
-publish=7474:7474-publish=7687:7687-publish=8080:8080\
-e LTHOSTNAME=你的ip\
jpcertcc/docker-logontracer

手工安装:
1.下载并解压neo4j:tar-zvxf neo4j-community-4.2.1-unix.tar
2.安装java11环境:sudo yum install java-11-openjdk-y
3.修改neo4j配置保证外部访问:
dbms.connector.bolt.listen_address=0.0.0.0:7687
dbms.connector.http.listen_address=0.0.0.0:7474
./bin/neo4j console
4.下载LogonTracer并安装库:
git clone https://github.com/JPCERTCC/LogonTracer.git
pip3 install -r requirements.txt
5.启动LogonTracer并导入日志文件分析
python3 logontracer.py -r -o [PORT] -u [USERNAME] -p [PASSWORD] -s [IP]
python3 logontracer.py -r -o 8080 -u neo4j -p xiaodi -s 47.98.99.126
python3 logontracer.py -e [EVTX文件] -z [时区] -u [用户名] -p [密码] -s [lP地址]
python3 logontracer.py -e Security.evtx -z -13 -u neo4i -p xiaodi -s 127.0.0.1

四、日志综合平台-Elasisearch+Filebeat+Redis+Logstash+Kibana

Elasticsearch: 用于存储收集到的日志信息;
Logstash: 用于收集日志转发给Elasticsearch;
Kibana: 通过Web端的可视化界面来查看日志。

企业工作人员一般喜欢搭建日志分析系统

快速搭建参考:5分钟快速安装ELK(一)

参考:Filebeat+Redis+Logstash+Elasticsearch+Kibana搭建日志采集分析系统_filebeat+redis+logstash+kibana-CSDN博客