ELK 收集 Tomcat日志以及修改Tomcat日志格式

ELK 收集 Tomcat日志以及修改Tomcat日志格式 Tomcat日志 想要收集tomcat 日志 首先我们要对tomcat的日志有足够的了解

tomca日志分类

简单的说tomcat logs下日志分为五类： catalina 、 localhost 、 manager 、 admin 、 host-manager tomcat 其实还有记录访问日志（localhost_access_log.txt）   localhost.log　　 程序异常没有被捕获的时候抛出的地方【常用】 catalina.log　　 程序的输出、tomcat的日志输出【常用】 localhost_access_log.txt　　tomcat访问日志记录【常用】 manager.log　　 webapps/manager项目生成的日志文件 host-manager.log　　 webapps/host-manager项目生成的日志文件  

tomcat日志还分有级别

SEVERE (highest value) > WARNING > INFO > CONFIG > FINE > FINER > FINEST (lowest value) 附

日志级别的修改：

修改/conf/logging.properties文件

示例：

①设置 catalina 日志的级别为： FINE

1catalina.org.apache.juli.FileHandler.level = FINE

②禁用 catalina 日志的输出：

1catalina.org.apache.juli.FileHandler.level = OFF

③输出 catalina 所有的日志消息：

1catalina.org.apache.juli.FileHandler.level = ALL

按照我们的需求，我们可以将tomcat日志分为两大类 1、catalina.log 日志记录了tomcat运行状态信息以及异常告警信息等 2、localhost_access.Y-M-D.log:访问日志主要是记录访问的时间，IP以及访问的资料等相关信息 我们要想更好的将tomcat两种日志准确的定位抓取，需要自定义tomcat日志格式 首先是locathost_access.Y-M-D.log访问日志，将日志输出定义为json格式，方便后续kibana展示

 "org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="%h %l %u %t "%r" %s %b" />

v1

Note: The pattern used is equivalent to using pattern="common" -->
"org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access" suffix=".log"
 
               pattern="{"client":"%h", "client user":"%l", "authenticated":"%u", "access time":"%t", "method":"%r", "status":"%s", "send bytes":"%b", "Query?string":"%q",  "partner":"%{Referer}i", "Agent version":"%{User-Agent}i"}"/>

v2

    "org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access" suffix=".log"
 
               pattern="{"client":"%h", "client user":"%l", "authenticated":"%u", "access time":"%t", "method":"%r", "status":"%s", "Request time":"%T", "send bytes":"%b", "partner":"%{Referer}i", "Agent version":"%{User-Agent}i"}"/>

参数详情： directory：日志文件存放的位置 prefix：日志文件名称前缀 suffix：日志名称后缀 pattern：是一个json解析字段的参数 "client":"%h"其中%h表示请求的主机名称，这里指的是请求端的IP "client user":"%l"其中%l记录的是刘拉着进行身份验证时提供的名称 "authenticated":"%u" 其中%u代表获得验证的访问请求者，否则就是"-" "access time":"%t" 其中%t代表请求的时间 "method":"%r" 其中%r代表请求的方法和URL "status":"%s" 其中%s代表HTTP的响应状态码 "Request time":"%T", 其中%T处理请求的时间，以秒为单位 "send bytes":"%b" 其中%b代表发送请求的字节数，但不包括请求http头部信息 "Query?string":"%q" 其中%q指的是查询字符串的意思 v2 日志内容展示

{"client":"221.226.190.138", "client user":"-", "authenticated":"-", "access time":"[03/Dec/2019:10:35:15 +0800]", "method":"GET /docs/appdev/ HTTP/1.1", "status":"404", "Request time":"0.005", "send bytes":"1075", "Query?string":"",  "partner":"http://122.51.9.145:8080/", "Agent version":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36"}
　

　  

％a-远程IP地址
％A-本地IP地址
％b-发送的字节，不包括HTTP标头，如果为零则为'-'
％B-发送的字节，不包括HTTP标头
％h-远程主机名（如果连接器的enableLookups为false，则为IP地址）
％H-请求协议
％l-来自identd的远程逻辑用户名（总是返回“-”）
％m-请求方法（GET，POST等）
％p-接收此请求的本地端口。另请参见下面的％{xxx} p。
％q-查询字符串（如果存在，则以“？”开头）
％r-请求的第一行（方法和请求URI）
％s-响应的HTTP状态代码
％S-用户会话ID
％t-日期和时间，以通用日志格式
％u-已验证（如果有）的远程用户，否则为'-'
％U-请求的URL路径
％v-本地服务器名称
％D-处理请求所花费的时间（以毫秒为单位）
％T-处理请求所花费的时间，以秒为单位
％F-提交响应所花费的时间（以毫秒为单位）
％I-当前请求线程名称（以后可以与堆栈跟踪进行比较）