xxl-job任务调度失败——java.io.IOException: Too many open files


错误日志:

msg:
com.xxl.rpc.util.XxlRpcException: java.lang.IllegalStateException: failed to create a child event loop at com.xxl.rpc.remoting.invoker.reference.XxlRpcReferenceBean$1.invoke(XxlRpcReferenceBean.java:227)
at com.sun.proxy.$Proxy78.run(Unknown Source)
at com.xxl.job.admin.core.trigger.XxlJobTrigger.runExecutor(XxlJobTrigger.java:
196)
at com.xxl.job.admin.core.trigger.XxlJobTrigger.processTrigger(XxlJobTrigger.java:149) at com.xxl.job.admin.core.trigger.XxlJobTrigger.trigger(XxlJobTrigger.java:74)
at com.xxl.job.admin.core.thread.JobTriggerPoolHelper$3.run(JobTriggerPoolHelper.java:77) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.IllegalStateException: failed to create a child event loop at io.netty.util.concurrent.MultithreadEventExecutorGroup.(MultithreadEventExecutorGroup.java:88)
at io.netty.util.concurrent.MultithreadEventExecutorGroup.(MultithreadEventExecutorGroup.java:
58)
at io.netty.channel.MultithreadEventLoopGroup.(MultithreadEventLoopGroup.java:52)
at io.netty.channel.nio.NioEventLoopGroup.(NioEventLoopGroup.java:
87)
at io.netty.channel.nio.NioEventLoopGroup.(NioEventLoopGroup.java:82)
at io.netty.channel.nio.NioEventLoopGroup.(NioEventLoopGroup.java:63)
at io.netty.channel.nio.NioEventLoopGroup.(NioEventLoopGroup.java:
51)
at io.netty.channel.nio.NioEventLoopGroup.(NioEventLoopGroup.java:43)
at com.xxl.rpc.remoting.net.impl.netty_http.client.NettyHttpConnectClient.init(NettyHttpConnectClient.java:
48)
at com.xxl.rpc.remoting.net.common.ConnectClient.getPool(ConnectClient.java:110)
at com.xxl.rpc.remoting.net.common.ConnectClient.asyncSend(ConnectClient.java:
41)
at com.xxl.rpc.remoting.net.impl.netty_http.client.NettyHttpClient.asyncSend(NettyHttpClient.java:18)
at com.xxl.rpc.remoting.invoker.reference.XxlRpcReferenceBean$
1.invoke(XxlRpcReferenceBean.java:216) ... 8 more Caused by: io.netty.channel.ChannelException: failed to open a new selector at io.netty.channel.nio.NioEventLoop.openSelector(NioEventLoop.java:169)
at io.netty.channel.nio.NioEventLoop.(NioEventLoop.java:143)
at io.netty.channel.nio.NioEventLoopGroup.newChild(NioEventLoopGroup.java:
127)
at io.netty.channel.nio.NioEventLoopGroup.newChild(NioEventLoopGroup.java:36)
at io.netty.util.concurrent.MultithreadEventExecutorGroup.(MultithreadEventExecutorGroup.java:
84) ... 20 more Caused by: java.io.IOException: Too many open files at sun.nio.ch.IOUtil.makePipe(Native Method) at sun.nio.ch.EPollSelectorImpl.(EPollSelectorImpl.java:65)
at sun.nio.ch.EPollSelectorProvider.openSelector(EPollSelectorProvider.java:
36) at io.netty.channel.nio.NioEventLoop.openSelector(NioEventLoop.java:167) ... 24 more

原因:

操作系统的中打开文件的最大句柄数受限所致,在多个用户并发访问服务器时,为了执行每个用户的请求,应用服务器要加载多个文件(new一个socket就需要一个文件句柄),以 CentOS 做 API 接口服务供其他终端调用时,并发量高会报错:java.io.IOException: Too many open files。

其原因是在 Linux 下默认的Socket最大连接数为 1024(可以通过 ulimit -n 查看)。超过这个数这就会导致打开文件的句柄的缺乏。

ulimit -n

解决方案:

一:把类打成jar包,因为一个jar包只消耗一个文件句柄,如果不打包,一个类就消耗一个文件句柄。
二:java的垃圾回收不能关闭网络连接打开的文件句柄,如果没有执行close()(例如:java.net.Socket.close())则文件句柄将一直存在,而不能被关闭,也可以考虑设置socket的最大打开数来控制这个问题。
三:对操作系统做相关的设置,增加最大文件句柄数量。

查看允许打开的最大文件数

cat /proc/sys/fs/file-max

 查看每个用户允许打开的最大文件数

ulimit -a

发现系统默认的是open files (-n) 1024,问题就出现在这里。

在系统文件 /etc/security/limits.conf 中修改这个数量限制(系统文件慎重修改)

vim /etc/security/limits.conf

在文件中加入内容:

* soft nofile 65535 (注意:此处参数最大65536,如超过65536系统将会认为这儿为负数,这会导致外部ssh无法连接)
* hard nofile 65535(注意:此处参数最大65536,如超过65536系统将会认为这儿为负数,这会导致外部ssh无法连接)

* 表示修改所有用户的限制;

soft 代表软连接

hard 代表硬连接

无需重启 Linux 服务器,只需重启xxl-job的服务即可生效。

ps -ef | grep xxl-job

service deploy restart xxl-job-admin-2.0.2

或执行:ulimit -n 4096(本次生效,服务器重启后恢复原配置)

将open files (-n) 1024 设置成open files (-n) 4096,这样就增大了用户允许打开的最大文件数

注意:

cron表达式需正确书写,否则xxl-job无法识别,导致任务启动后每秒都在调度(应该没有几个任务可以确保一秒执行完成)直接导致你的任务全部挂起未执行。

一秒挂一个想想上面设置的最大值65535能支撑多久,所以说cron表达式在定时任务执行中是很重要的。

参考博客:分布式调度中xxl-job任务调度失败——java.io.IOException: Too many open files