Tomcat对JDK原生线程池的修改(特色任务处理流程)

Tomcat线程池工作原理

1. JDK的原生线程池先天适合CPU密集型任务
2. Tomcat限制线程个数与队列长度
3. 重写execute方法实现特色任务处理
工作流程：
- 前corePoolSize个任务时，来一个任务就创建一个新线程
- 再有任务，就把任务放入任务队列，让所有线程去抢。若队列满，就创建临时线程
- 总线程数达到maximumPoolSize，则继续尝试把任务放入任务队列
- 若缓冲队列也满了，插入失败，执行拒绝策略

和JDK线程池区别在线程数达maximumPoolSize和缓冲队列满了的处理。

Tomcat对原生JDK线程池的修改

  • 定制任务队列

public void execute(Runnable command, long timeout, TimeUnit unit) {
    submittedCount.incrementAndGet();
    try {
        // 调用JDK原生线程池的execute执行任务
        super.execute(command);
    } catch (RejectedExecutionException rx) {
       // 总线程数达到maximumPoolSize后，JDK原生线程池会执行默认拒绝策略
        if (super.getQueue() instanceof TaskQueue) {
            final TaskQueue queue = (TaskQueue)super.getQueue();
            try {
                // 继续尝试把任务放入任务队列
                if (!queue.force(command, timeout, unit)) {
                    submittedCount.decrementAndGet();//任务执行失败，抛异常时，将该计数器减一：
                    // 若缓冲队列还是满了，插入失败，执行拒绝策略。
                    throw new RejectedExecutionException("...");
                }
            } 
        }
    }
}

  • Tomcat线程池维护的submittedCount变量

Tomcat线程池使用 submittedCount 变量维护已提交到线程池，但未执行完的任务数量。

为何要维护这样一个变量呢？

因为Tomcat维护 已提交任务数 是为了在任务队列长度无限时，让线程池还能有机会创建新线程。见下文：

  • capacity参数

//Tomcat的任务队列TaskQueue扩展了JDK的LinkedBlockingQueue，Tomcat给了它一个capacity，传给父类LinkedBlockingQueue的构造器。
public class TaskQueue extends LinkedBlockingQueue {

  public TaskQueue(int capacity) {
      super(capacity);
  }
  ...
}
//capacity参数通过Tomcat的maxQueueSize参数设置，但maxQueueSize默认值Integer.MAX_VALUE；
//当前线程数达到核心线程数后，再来任务的话线程池会把任务添加到任务队列，并且总会默认成功，就永远无机会创建新线程了。

  • LinkedBlockingQueue#offer

//为解决该问题，TaskQueue重写了LinkedBlockingQueue#offer，在合适时机返回false，表示任务添加失败，这时线程池就会创建新线程。(即实现了优先创建线程到达最大线程数，再来任务放任务队列)
public class TaskQueue extends LinkedBlockingQueue {

  ...
   @Override
  // 线程池调用任务队列的方法时，当前线程数 ＞ core线程数
  public boolean offer(Runnable o) {

      // 若线程数已达max，则不能创建新线程，只能放入任务队列
      if (parent.getPoolSize() == parent.getMaximumPoolSize()) 
          return super.offer(o);
          
      // 至此，表明 max线程数 > 当前线程数 ＞ core线程数
      // 说明可创建新线程：
      
      // 1. 若已提交任务数 ＜ 当前线程数
      //    表明还有空闲线程，无需创建新线程
      if (parent.getSubmittedCount()<=(parent.getPoolSize())) 
          return super.offer(o);
          
      // 2. 若已提交任务数 ＞ 当前线程数
      //    线程不够用了，返回false去创建新线程
      if (parent.getPoolSize()<parent.getMaximumPoolSize()) 
          return false;//合适的时机返回false!!!
          
      // 默认情况下总是把任务放入任务队列
      return super.offer(o);
  }
  
}
//所以Tomcat维护 已提交任务数 是为了在任务队列长度无限时，让线程池还能有机会创建新线程。

总结：

提交任务数小于核心线程数，则创建任务数的线程；

当前线程数达到核心线程数，调用任务队列方法；

当前线程数达到最大线程数，默认放入任务队列；

提交任务数小于等于当前线程，表明还有空闲线程，无需创建线程；

提交任务数大于当前线程数小于最大线程数，重写任务队列的offer方法返回false不执行默认的放入队列操作，继续创建线程(false表示任务队列已满)；

提交任务数达到任务队列最大值，执行拒绝策略。

原文链接:https://cloud.tencent.com/developer/article/1890241

java技术点JAVA编程基础

相关

标签