使用skywalking监控java项目
官方教程
官方教程文档地址:https://skyapm.github.io/document-cn-translation-of-skywalking/zh/8.0.0/setup/service-agent/java-agent/
从官方文档中可以知道以下几点
1.需要jdk环境 (7.x版本中代理支持 JDK 8 - 14, 6.x版本支持JDK 1.6 - JDK 12)
2.需要修改两处配置 (config/agent.config中的agent.service_name和config/agent.config中的collector.backend_service。默认指向127.0.0.1:11800,表示仅作用于本地后端)
3.需要在项目jar包前面加上skywalking-agent.jar,并且确保这个参数在-jar参数之前。
比如:java -javaagent:/path/to/skywalking-agent/skywalking-agent.jar -jar yourApp.jar
当前项目情况介绍
java项目都是封装成docker镜像后运行容器的,其Dockerfile文件如下:
FROM jdd.io/jre:1.8.0_275
MAINTAINER 1103324414@qq.com
EXPOSE 8088
ADD target/demo-0.0.1-SNAPSHOT.jar demo-0.0.1-SNAPSHOT.jar
ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom", "-jar","demo-0.0.1-SNAPSHOT.jar"]
CMD ["--spring.profiles.active=test"]
其中基础镜像:jdd.io/jre:1.8.0_275
是使用如下Dockerfile进行封装生成的,里面安装的有jre8环境
FROM jeanblanchard/alpine-glibc:latest
MAINTAINER sandu <1103324414@qq.com>
COPY localtime /etc/localtime
COPY timezone /etc/timezone
RUN echo "https://mirrors.aliyun.com/alpine/latest-stable/main/" > /etc/apk/repositories
RUN echo "https://mirrors.aliyun.com/alpine/latest-stable/community/" >> /etc/apk/repositories
RUN ["apk","update"]
RUN ["apk","add","curl"]
RUN ["apk","add","openjdk8-jre"]
有关skywalking-agent的延申
如上有三种方式
首先排除第三种方式,因为不太熟悉
然后是排除第二种方式,需要在每个项目使用的Dockerfile文件中进行修改,新增加jar包以及重新编写ENTRYPOINT命令,有点费事费力,暂不考虑
最后就先使用第一种方式 (若此方式行不通,再考虑第二种方式)
官方文档中提供的有现成的镜像,地址是:https://hub.docker.com/r/apache/skywalking-java-agent
打开网址后可以发现有如下信息
根据描述,只需要修改项目使用的基础镜像就可以直接使用了,不用做其他的操作
结合项目情况,也就是把FROM jdd.io/jre:1.8.0_275
换成:FROM apache/skywalking-java-agent:8.5.0-jdk8
点击查看官方镜像apache/skywalking-java-agent:8.5.0-jdk8
对应的Dockerfile文件,其内容如下:
地址:https://github.com/apache/skywalking-docker/tree/master/java-agent
ARG version
ARG BASE_IMAGE='adoptopenjdk/openjdk8:alpine'
FROM apache/skywalking-base:${version}-es6 AS build
FROM $BASE_IMAGE
LABEL maintainer="kezhenxu94@apache.org"
ENV JAVA_TOOL_OPTIONS=-javaagent:/skywalking/agent/skywalking-agent.jar
WORKDIR /skywalking
COPY --from=build /skywalking/agent /skywalking/agent
COPY --from=build /skywalking/bin/swctl /skywalking/bin/swctl
分析该文件内容可知如下几点:
1.有jdk8环境,使用的镜像是:adoptopenjdk/openjdk8:alpine
2.使用分阶段构建方式:apache/skywalking-base:${version}-es6 AS build
, ${version}
的值有构建时传递过来的变量version获取得到
3.关键值这一句:ENV JAVA_TOOL_OPTIONS=-javaagent:/skywalking/agent/skywalking-agent.jar
环境变量JAVA_TOOL_OPTIONS是会被所有虚拟机都能识别和应用的 (这个直接决定了项目使用的Dockerfile文件中的ENTRYPOINT命令不用做任何修改,使用的时候会把这个环境变量加在java 命令后面,也就是项目jar包前面)
拓展
保险起见,以后说不明这中间还会再加其他参数配置,届时还是需要得修改ENTRYPOINT命令
倒不如有时间的话逐个修改项目中的Dockerfile文件的ENTRYPOINT命令,参考文件地址:
ENTRYPOINT ["sh", "-c", "java ${PARAMS} ${JAVA_OPTS} -Djava.security.egd=file:/dev/./urandom -jar demo-0.0.1-SNAPSHOT.jar"]
根据官方镜像使用的Dockerfile文件以及项目使用的Dockerfile文件,可以把两者内容结合起来:
项目使用的Dockerfile文件内容有进一步优化,不进行此优化也可以,仍使用原来的内容
FROM apache/skywalking-base:8.7.0-es7 AS build
FROM jeanblanchard/alpine-glibc:latest
MAINTAINER sandu <1103324414@qq.com>
RUN ln -sf /usr/share/zoneinfo/Asia/shanghai /etc/localtime && echo 'Asia/shanghai' > /etc/timezone
RUN echo "https://mirrors.aliyun.com/alpine/v3.10/main/" > /etc/apk/repositories && echo "https://mirrors.aliyun.com/alpine/v3.10/community/" >> /etc/apk/repositories
RUN ["apk","update"]
RUN ["apk","add","curl"]
RUN ["apk","add","openjdk8-jre"]
ENV JAVA_TOOL_OPTIONS=-javaagent:/skywalking/agent/skywalking-agent.jar
COPY --from=build /skywalking/agent /skywalking/agent
COPY --from=build /skywalking/bin/swctl /skywalking/bin/swctl
说明:
1.首先采用多阶段构建方式,FROM apache/skywalking-base:8.7.0-es7 AS build
使用的变量直接根据最新的信息写死
2.项目使用的基础镜像优化内容
3.最后增加上skywalking-agent有关内容 (对官方镜像使用的Dockerfile文件内容进一步精简优化)
项目使用的基础镜像是FROM jdd.io/jre:1.8.0_275
,这里可以直接根据上述Dockerfile文件构建同名的基础镜像(构建后的名称仍是:jdd.io/jre:1.8.0_275)
这样一来,项目引用的基础镜像就是最新构建的这个(里面含有skywalking-agent内容),又因为环境变量JAVA_TOOL_OPTIONS的存在,因此不用再修改其他任何配置就能直接使用 (这也就是官方镜像页面所说的信息)
然后处理需要使用的俩参数:config/agent.config中的agent.service_name
和config/agent.config中的collector.backend_service
Agent的可配置属性列表
属性名 | 描述 | 默认值 |
---|---|---|
agent.namespace | 命名空间,用于隔离跨进程传播的header。如果进行了配置,header将为HeaderName:Namespace. | 未设置 |
agent.service_name | 在SkyWalking UI中展示的服务名。5.x版本对应Application,6.x版本对应Service。 建议:为每个服务设置个唯一的名字,服务的多个服务实例为同样的服务名 | Your_ApplicationName |
agent.sample_n_per_3_secs | 负数或0表示不采样,默认不采样。SAMPLE_N_PER_3_SECS表示每3秒采样N条。 | 未设置 |
agent.authentication | 鉴权是否开启取决于后端的配置,可查看application.yml的详细描述。对于大多数的场景,需要后端对鉴权进行扩展。目前仅实现了基本的鉴权功能。 | 未设置 |
agent.span_limit_per_segment | 单个segment中的span的最大个数。通过这个配置项,Skywalking可评估应用程序内存使用量。 | 未设置 |
agent.ignore_suffix | 如果这个集合中包含了第一个span的操作名,这个segment将会被忽略掉。 | 未设置 |
agent.is_open_debugging_class | 如果为true,skywalking会将所有经Instrument转换过的类文件保存到/debugging文件夹下。Skywalking团队会要求你提供这些类文件以解决兼容性问题。 | 未设置 |
agent.cause_exception_depth | 在记录异常信息的时候, 探针需要记录的堆栈深度. | 5 |
agent.force_reconnection_period | grpc的强制重连周期,基于grpc_channel_check_interval. | 1 |
agent.operation_name_threshold | 设置操作名不建议超过最大长度(190). | 150 |
agent.keep_tracing | 如果该值为 true,即使后台不可用,也要保持跟踪. | false |
osinfo.ipv4_list_size | 限制ipv4列表的长度. | 10 |
collector.grpc_channel_check_interval | 检查grpc的channel状态的时间间隔。 | 30` |
collector.backend_service | 接收skywalking trace数据的后端地址 | 127.0.0.1:11800 |
collector.heartbeat_period | 探针心跳报告时间. 单位秒. | 30 |
collector.grpc_upstream_timeout | grpc客户端向上游发送数据时超时多长时间. 单位秒. | 30 秒 |
collector.get_profile_task_interval | 嗅探器获取配置文件任务列表间隔. | 20 |
logging.level | 日志级别。默认为debug。 | DEBUG |
logging.file_name | 日志文件名 | skywalking-api.log |
logging.output | 日志输出. 默认是文件. 使用控制台意味着输出到标准输出. | FILE |
logging.dir | 日志目录。默认为空串,表示使用"system.out"输出日志。 | "" |
logging.pattern | 日志格式. 所有的转换说明符: | |
* %level means log level. | ||
* %timestamp 表示现在的时间格式 yyyy-MM-dd HH:mm:ss:SSS. | ||
* %thread 表示当前线程的名称. | ||
* %msg 表示用户记录的某些消息. | ||
* %class 表示TargetClass的SimpleName. | ||
* %throwable 表示用户抛出的异常. | ||
* %agent_name 表示 agent.service_name | %level %timestamp %thread %class : %msg %throwable | |
logging.max_file_size | 日志文件的最大大小。当日志文件大小超过这个数,归档当前的日志文件,将日志写入到新文件。 | 300 * 1024 * 1024 |
logging.max_history_files | The max history log files. When rollover happened, if log files exceed this number,then the oldest file will be delete. Negative or zero means off, by default. | -1 |
jvm.buffer_size | 收集JVM信息的buffer的大小。 | 60 * 10 |
buffer.channel_size | buffer的channel大小。 | 5 |
buffer.buffer_size | buffer的大小 | 300 |
profile.active | 如果为true,SkyWalking代理将在用户创建新的配置文件任务时启用配置文件. 否则禁用概要. | true |
profile.max_parallel | 并行监控段计数 | 5 |
profile.duration | 监控段最大时间(分钟),如果当前监控段时间超出限制,则停止. | 10 |
profile.dump_max_stack_depth | 最大线程转储的堆栈深度 | 500 |
profile.snapshot_transport_buffer_size | 快照传输到后端缓冲区的大小 | 50 |
plugin.mongodb.trace_param | 如果为true,记录所有访问MongoDB的参数信息。默认为false,表示仅记录操作名,不记录参数信息。 | false |
plugin.elasticsearch.trace_dsl | 如果为true,记录所有访问ElasticSearch的DSL信息。默认为false。 | false |
plugin.springmvc.use_qualified_name_as_endpoint_name | 如果为true,endpoint的name为方法的全限定名,而不是请求的URL。默认为false。 | false |
plugin.toolit.use_qualified_name_as_operation_name | 如果为true,operation的name为方法的全限定名,而不是给定的operation name。默认为false。 | false |
plugin.mysql.trace_sql_parameters | 如果设置为 true, SQL 查询 (典型的是 java.sql.PreparedStatement) 的参数也会被采集. | false |
plugin.mysql.sql_parameters_max_length | 如果设置为正整数, 收集的 SQL 参数 db.sql.parameters 会被截断到这个长度, 否则会被完整保存, 这可能会导致性能问题. | 512 |
plugin.solrj.trace_statement | 如果为 true, 追踪 Solr 查询请求中的所有查询参数(包括 deleteByIds 和 deleteByQuery) 默认为 false. | false |
plugin.solrj.trace_ops_params | 如果为 true, 追踪 Solr 查询中所有操作参数, 默认为 false. | false |
plugin.peer_max_length | Peer 描述最大限制. | 200 |
plugin.mongodb.filter_length_limit | 如果设置为正数, WriteRequest.params 将被截短到这个长度, 否则它将被完全保存,这可能会导致性能问题. | 256 |
plugin.postgresql.trace_sql_parameters | 如果设置为true,将收集sql的参数(通常是 java.sql.PreparedStatement). | false |
plugin.postgresql.sql_parameters_max_length | 如果设置为正数, db.sql.parameters 将被截断到这个长度,否则它将被完全保存,这可能会导致性能问题. | 512 |
plugin.mariadb.trace_sql_parameters | 如果设置为true,将收集sql的参数(通常是 java.sql.PreparedStatement). | false |
plugin.mariadb.sql_parameters_max_length | 如果设置为正数,db.sql 将被截断到这个长度,否则它将被完全保存,这可能会导致性能问题. | 512 |
plugin.light4j.trace_handler_chain | 如果为true,请跟踪属于请求的Light4J处理程序链的所有中间件/业务处理程序. | false |
plugin.opgroup.* | 支持在不同插件中自定义组规则的操作名. 请阅读 Group rule supported plugins | Not set |
plugin.springtransaction.simplify_transaction_definition_name | 如果为true,事务定义名称将被简化. | false |
plugin.jdkthreading.threading_class_prefixes | 线程类 (java.lang.Runnable and java.util.concurrent.Callable) 及其子类(包括任何名称匹配 THREADING_CLASS_PREFIXES (以 , 分隔)的匿名内部类) 将被检测, 确保只指定短小的前缀,就像您预期要测试的一样, (java. 和 javax. 会因安全问题而被忽略) | Not set |
plugin.tomcat.collect_http_params | 这个配置项控制Tomcat插件是否应该收集请求的参数. 同样,在概要追踪中隐式激活. | false |
plugin.springmvc.collect_http_params | 这个配置项控制SpringMVC插件是否应该收集请求的参数, 当您的Spring应用程序基于Tomcat时, 只需要设置 plugin.tomcat.collect_http_params 或 plugin.springmvc.collect_http_params 之一. 同样,在概要追踪中隐式激活. | false |
plugin.http.http_params_length_threshold | 当启用 COLLECT_HTTP_PARAMS时,要保留多少字符并将其发送到OAP后端,请使用负值来保留和发送完整的参数. 添加这个配置项是为了提高性能. | 1024 |
correlation.element_max_number | 关联上下文的最大元素数. | 3 |
correlation.value_max_length | 关联上下文元素的最大值长度. | 128 |
通过查看配置文件:config/agent.config
的内容可知,里面的俩参数:config/agent.config中的
agent.service_name和
config/agent.config中的collector.backend_service`除了手动编辑该配置文件设置外,还能从环境变量中获取
因此,在这里就不手动修改配置文件了,采用向docker镜像中传递环境变量参数的形式给上述俩参数传值 (若还需要其他参数的值也可以采取这个办法,具体对应的环境变量名从agent.config配置文件中获取)
agent.service_name对应的环境变量名是SW_AGENT_NAME
collector.backend_service对应的环境变量名是SW_AGENT_COLLECTOR_BACKEND_SERVICES
java项目部署在k8s中的的话,也是这样的操作
1.直接修改项目Dockerfile文件使用的基础镜像为新构建的镜像:jdd.io/jre:1.8.0_275
2.在项目使用的deployments中新增加俩环境变量(甚至更多)