Web的缓存加速（Squid的安装与配置）

1.Squid代理服务器基础知识

默认端口3128

1.1代理形式

• 传统代理
  (正向代理)

  适用于Internet正向代理，需在客户机指定代理服务器的地址和端口。

• 透明代理

  客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将web访问重定向给代理服务器处理。

  • 边界服务器的时候使用

• 反向代理

  反向代理:如果squid反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的WEB服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

• 默认端口3128

1.2 缓存工作机制

缓存网页对象(静态网页资源)，减少重复请求

1.3 代理工作机制

代理的工作机制:
1.代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。
2.将获得的网页数据(静态Web元素)保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。

1.4 代理服务器

1.4.1概念

代理服务器是一一个位于客户端和原始(资源)服务器之间的服务器，为了从原始服务器取得内容，客户端向代理服务器发送一个请求并指定目标原始服务器，然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

缓存代理对于web至关重要，尤其对于大型高负载web站点。缓存可作为性能优化的一-个重要手段，可以极大减轻后端服务器的负载。通常对于静态资源，即较少经常更新的资源，如图片，css或js等进行缓存，从而在每次刷新浏览器的时候，不用重新请求，而是从缓存里面读取，这样就可以减轻
服务器的压力。

1.4.2 作用

资源获取:代替客户端实现从原始服务器的资源获取;
加速访问:代理服务器可能离原始服务器更近，从而起到一-定的加速作用;
缓存作用:代理服务器保存从原始服务器所获取的资源，从而实现客户端快速的获取;
隐藏真实地址:代理服务器代替客户端去获取原始服务器资源，从而隐藏客户端真实信息。

1.4.3 常见缓存代理服务器

• NGINX
  兼职，通过三方模块实现
• Squid
  传统，稳定，能将缓存数据持久化
  适用于大文件
  支持正向反向代理
• Varnish
  性能更好，资源开销比Squid高
  只支持反向代理,数据都在内存中
  安全性较Squid较差，但无伤大雅

1.5 ACL

访问控制列表(ACL)是一种基于包过滤的访问控制技术，它可以根据设定的条件对接口上的数据包进行过滤，允许其通过或丢弃。访问控制列表被广泛地应用于路由器和三层交换机，借助于访问控制列表，可以有效地控制用户对网络的访问，从而最大程度地保障网络安全。

ACL与防火墙关系：

同：

ACL(访问控制列表)和防火墙都执行过滤流量的功能。

异：

1.防火墙是一个独立功能（可以是专有硬件也可以是安装在通用服务器上的软件），而ACL是路由器或三层网络设备上的功能。
2.防火墙通过跟踪记录流量的状态，检查数据包，可对数据包执行至7层应用层探测；ACL对数据包逐包执行无状态检查，检查端口和协议内容（4层）。

ACL和防火墙_Mia_Zh的博客

2. 实验配置

2.1 编译安装squild

2.1.1 编译步骤

## 首先关闭防火墙和SElinux
[root@squid_service ~]# systemctl stop firewalld.service 
[root@squid_service ~]# systemctl disable firewalld.service
[root@squid_service ~]# setenforce 0

1.编译安装Squild（安装包在/opt目录下）

## 编译环境安装
[root@squid_service opt]# yum -y install gcc gcc-c++ make
[root@squid_service opt]# tar zxvf squid-3.5.28.tar.gz -C /opt/
[root@squid_service opt]# cd /opt/squid-3.5.28
[root@squid_service squid-3.5.28]# ./configure --prefix=/usr/local/squid \     #指定安装目录路径
--sysconfdir=/etc \                         #指定配置文件路径
--enable-arp-acl \                          #MAC地址管控，防止客户端使用IP欺骗
--enable-linux-netfilter \                  #使用内核过滤
--enable-linux-tproxy \                     #支持透明模式
--enable-async-io=100 \                     #异步IO，提升存储性能
--enable-err-language="Simplify_ Chinese" \ #错误信息的显示语言
--enable-underscore \                       #允许URL中有下划线
--disable-poll \                            #关闭默认使用poll模式
--enable-epoll \                            #开启epoll模式提升性能
--enable-gnuregex                           #使用GNU正则表达式
##四核编译安装
[root@squid_service squid-3.5.28]# make -j4 && make install 

##配置运行环境
[root@squid_service squid-3.5.28]# ln -s /usr/local/squid/sbin/* /usr/local/sbin/
[root@squid_service squid-3.5.28]# useradd -M -s /sbin/nologin squid
[root@squid_service squid-3.5.28]# chown -R squid:squid /usr/local/squid/var/
[root@squid_service squid-3.5.28]# vim /etc/squid.conf

2.运行环境配置

##配置运行环境
[root@squid_service squid-3.5.28]# ln -s /usr/local/squid/sbin/* /usr/local/sbin/
[root@squid_service squid-3.5.28]# useradd -M -s /sbin/nologin squid
[root@squid_service squid-3.5.28]# chown -R squid:squid /usr/local/squid/var/
[root@squid_service squid-3.5.28]# vim /etc/squid.conf
_____________________________________
......
--56行--插入
http_access allow all				#放在 http_access deny all 之前，允许任意客户机使用代理服务，控制规则自上而下匹配
http_access deny all
http_port 3128						#用来指定代理服务监听的地址和端口(默认的端口号为 3128)
--61行--插入
cache_effective_user squid			#添加，指定程序用户，用来设置初始化、运行时缓存的账号,否则启动不成功
cache_effective_group squid			#添加，指定账号基本组
_____________________________________
[root@squid_service squid-3.5.28]# squid -k parse            #检查配置文件
[root@squid_service squid-3.5.28]# squid -z 	             #初始化缓存目录
[root@squid_service squid-3.5.28]# squid						#启动 squid 服务
[root@squid_service squid-3.5.28]# netstat -anpt | grep "squid"

3.创建Squid 服务脚本

[root@squid_service squid-3.5.28]# vim /etc/init.d/squid
#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
   start)
     netstat -natp | grep squid &> /dev/null
     if [ $? -eq 0 ]
     then
       echo "squid is running"
     else
       echo "正在启动 squid..."
       $CMD
     fi
   ;;
   stop)
     $CMD -k kill &> /dev/null
     rm -rf $PID &> /dev/null
   ;;
   status)
     [ -f $PID ] &> /dev/null
        if [ $? -eq 0 ]
          then
            netstat -natp | grep squid
          else
            echo "squid is not running"
        fi
   ;;
   restart)
      $0 stop &> /dev/null
      echo "正在关闭 squid..."
      $0 start &> /dev/null
      echo "正在启动 squid..."
   ;;
   reload)
      $CMD -k reconfigure
   ;;
   check)
      $CMD -k parse
   ;;
   *)
      echo "用法：$0{start|stop|status|reload|check|restart}"
   ;;
esac
————————————————————————————————————————————————
#2345是默认自启动级别，如是 - 代表任何级别都不自启动; 90是启动优先级，25是停止优先级，
#优先级范围是0一100，数字越大，优先级越低。
[root@squid_service squid-3.5.28]# chmod +x /etc/init.d/squid
[root@squid_service squid-3.5.28]# chkconfig --add squid
[root@squid_service squid-3.5.28]# chkconfig --level 35 squid on

2.1.2 实际步骤

1.编译安装Squid

2.运行环境与文件配置


3.创建启动脚本

2.2 配置传统代理模式

2.2.1 传统代理模式简介

代理服务器被用于缓存远程主机上的数据到本地代理服务器。当被缓存的数据被第二次访问的时候，客户端将直接从本地代理服务器获取请求数据而不再向原远程主机请求数据。但是要想实现这种方式，必须在每一个本地客户端上明确指明代理服务器的IP地址、端口号。
客户端访问时，每次都把请求送给代理服务器处理，代理服务器根据请求确定是否连接到远程主机获取数据。如果在本地缓存有目标文件，则直接将文件传给用户即可。如果没有的话则先取回文件，先在本地保存一份缓存，然后将文件发给本地客户端。

2.2.2 环境准备与服务器配置

Squid缓存代理服务器配置

[root@squid_service squid-3.5.28]# vim /etc/squid.conf
--63行--插入
cache_mem 64 MB				#指定缓存功能所使用的内存空间大小，便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，建议设为物理内存的1/4
reply_body_max_size 1 MB			#允许用户下载的最大文件大小，以字节为单位，当下载超过指定大小的Web对象时，浏览器的报错页面中会出现“请求或访问太大”的提示默认设置0表示不进行限制
maximum_object_size 700 KB			#允许保存到缓存空间的最大对象大小，以KB为单位，超过大小限制的文件将不被缓存，而是直接转发给用户
_____________________________
[root@squid_service squid-3.5.28]# service squid restart   ##重启服务
[root@squid_service squid-3.5.28]# systemctl restart squid

如果未关闭防火墙则需要配置下面两条规则。

[root@squid_service squid-3.5.28]# iptables -F
[root@squid_service squid-3.5.28]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

2.2.3 操作截图

Squid配置

客户端访问配置

先不配置代理服务，直接访问网页服务器。

访问两个图片15.jpg :10.25MB，0.5jpg:527.24KB（15.JPG原图有15MB，由于apache和火狐浏览器默认的压缩配置，导致大小的压缩）。

在配置火狐浏览器的代理浏览。

清理浏览器缓存。再次访问网页服务器。

可以看到0.5jpg正常访问，而15.jpg报出403错误（访问错误）

使用tail -f /var/log/httpd/access_log查看网页服务器访问日志。

可以看到代理前的.45主机访问记录，和代理后的.20主机访问记录

2.3 透明代理

2.3.1 透明代理简介

透明代理提供的服务功能与传统代理是一致的，但是其“透明”的实现依赖于默认路由和 防火墙的重定向策略，因此更适用于为局域网主机服务，而不适合为 Internet 中的客户机提 供服务。

在 Linux 网关上，构建 Squid 为客户机访问 Internet 提供代理服务。
在所有的局域网客户机上，只需正确设置 IP 地址、默认网关和 DNS，不需要手动指定 代理服务器的地址、端口等信息

2.3.2 环境准备与服务器配置

squid服务器配置

[root@squid_service ~]# vim /etc/squid.conf
--64行--修改添加提供内网服务的IP地址，和支持透明代理选项 transparent
http_port 12.0.0.1:3128 transparent

[root@squid_service ~]# systemctl restart squid

#开启路由转发，实现本机中不同网段的地址转发
[root@squid_service ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
[root@squid_service ~]# sysctl -p
#修改防火墙规则
[root@squid_service ~]# iptables -F
[root@squid_service ~]# iptables -t nat -F
[root@squid_service ~]# iptables -t nat -I PREROUTING -i ens37 -s 12.0.0.0/24 -p tcp --dport 80 -j REDIRECT --to 3128	#用于转发http协议
[root@squid_service ~]# iptables -t nat -I PREROUTING -i ens37 -s 12.0.0.0/24 -p tcp --dport 443 -j REDIRECT --to 3128	#用于转发https协议
[root@squid_service ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

2.3.3 操作截图

关闭客户机所有代理服务，配置网关为12.0.0.1

访问WEB服务器192.168.80.25

查看 Squid 访问日志的新增记录

查看 Web 访问日志的新增记录，显示的是由代理服务器的外网口代替客户机在访问

2.4 ACL控制

2.4.1 squid的ACL控制简介

Squid 提供了强大的代理控制机制，通过合理设置 ACL（Access Control List，访问控 制列表）并进行限制，可以针对源地址、目标地址、访问的 URL 路径、访问的时间等各种 条件进行过滤。

在配置文件 squid.conf 中，ACL 访问控制通过以下两个步骤来实现：

1.使用 acl 配置项定义需要控制的条件；
2.通过 http_access 配置项对已定义的列表做“允许”或“拒 绝”访问的控制。

2.4.2 环境准备与服务器配置

squid服务器配置

##建立拒绝访问的ip地址
[root@squid_service data]# vim ipblock.txt
[root@squid_service data]# echo "192.168.80.30"  > ipblock.txt 
[root@squid_service data]# cat ipblock.txt 
192.168.80.30
[root@squid_service data]# vim /etc/squid.conf
......
acl destinationhost dst "/etc/squid/dest.list"			#调用指定文件中的列表内容
......
http_access deny(或allow) destinationhost				#注意，如果是拒绝列表，需要放在http_access allow all前面

# Squid normally listens to port 3128			
http_port 3128	                                         #注意这边要修改为3128端口，如果前面实验过透明代理的话
[root@squid_service data]# systemctl restart squid

2.4.3 操作截图

客户端访问测试：

在未配置代理前

访问.25web服务

访问.30服务

配置代理：

清空缓存，再次访问.25web服务

正常访问

访问.30web服务显示被拒绝访问。

2.5 配置squid日志分析软件SARG

2.5.1 SARG简介

SARG 全称是 Squid Analysis Report Generator，是一款 Squid 日志分析工具，采用HTML 格式，详细列出每位用户访问 Internet 的站点信息、时间占用信息、排名、连接次数、 访问量等。

2.5.2 SARG安装配置

需要实现准备sarg-2.3.7.tar.gz包。

#安装图像处理软件包
yum install -y pcre-devel gd gd-devel

mkdir /usr/local/sarg
tar zxvf sarg-2.3.7.tar.gz -C /opt/

cd /opt/sarg-2.3.7
./configure --prefix=/usr/local/sarg \
--sysconfdir=/etc/sarg \							#配置文件目录，默认是/usr/local/etc
--enable-extraprotection							#额外安全防护

----------------------------------------------------------------------------------------------------------
make && make install

vim /etc/sarg/sarg.conf
--7行--取消注释
access_log /usr/local/squid/var/logs/access.log		#指定访问日志文件
--25行--取消注释
title "Squid User Access Reports"					#网页标题
--120行--取消注释，修改
output_dir /var/www/html/squid-reports					#报告输出目录
--178行--取消注释
user_ip no											#使用用户名显示
--184行--取消注释，修改
topuser_sort_field connect reverse					#top排序中，指定连接次数采用降序排列，升序是normal
--190行--取消注释，修改
user_sort_field connect reverse						#对于用户访问记录，连接次数按降序排序
--206行--取消注释，修改
exclude_hosts /usr/local/sarg/noreport				#指定不计入排序的站点列表的文件
--257行--取消注释
overwrite_report no									#同名同日期的日志是否覆盖
--289行--取消注释，修改
mail_utility mailq.postfix							#发送邮件报告命令
--434行--取消注释，修改
charset UTF-8										#指定字符集UTF-8
--518行--取消注释
weekdays 0-6										#top排行的星期周期
--525行--取消注释
hours 0-23											#top排行的时间周期
--633行--取消注释
www_document_root /var/www/html						#指定网页根目录


#添加不计入站点文件，添加的域名将不被显示在排序中
touch /usr/local/sarg/noreport

ln -s /usr/local/sarg/bin/sarg /usr/local/bin/
sarg --help

#验证
yum install httpd -y
systemctl start httpd

#运行
sarg				#启动一次记录


浏览器访问 http://192.168.80.20/squid-reports ，查看sarg报告网页。

创建脚本，自动生成日志

#添加计划任务，执行每天生成报告
vim /usr/local/sarg/report.sh
#/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)
/usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/sarg -z -d $YESTERDAY-$TODAY &> /dev/null
find ./ -type d -a -name "$(env LANG=en_US.UTF-8 date -d "30 day ago" +%Y%b%d)-$(env LANG=en_US.UTF-8 date -d "29 day ago" +%Y%b%d)" | xargs rm -rf
exit 0


chmod +x /usr/local/sarg/report.sh

crontab -e
0 0 * * * /usr/local/sarg/report.sh

2.5.3 操作截图

1.安装依赖库

2.源码编译安装sarg

3.sarg配置文件修改

2.6 squid 反向代理配置

2.6.1 squid反向代理的简介

如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 Web 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

工作机制：
●缓存网页对象，减少重复请求
●将互联网请求轮训或按权重分配到内网Web服务器
●代理用户请求，避免用户直接访问Web服务器，提高安全

2.6.2 环境准备与服务器配置

squid服务器配置

vim /etc/squid.conf
......
--60行--修改，插入
http_port 192.168.80.20:80 accel vhost vport
cache_peer 192.168.80.25 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 192.168.80.30 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.canyun.com
#表示对www.canyun.com的请求，squid向192.168.80.25和192.168.80.30的80端口发出请求

----------------------------------------------------------------------------------------------------------
http_port 80 accel vhost vport #squid从一个缓存变成了一个Web服务器反向代理加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。
accel ：反向代理加速模式
vhost ：支持域名或主机名来表示代理节点
vport ：支持IP和端口来表示代理节点

parent ：代表为父节点，上下关系，非平级关系
80 ：代理内部web服务器的80端口
0 ：没有使用icp（电信运营商），表示就一台squid服务器
no-query ：不做查询操作，直接获取数据
originserver ：指定是源服务器
round-robin ：指定 squid 通过轮询方式将请求分发到其中一台父节点
max_conn ：指定最大连接数
weight ： 指定权重
name ：设置别名
----------------------------------------------------------------------------------------------------------

//清空之前透明模式配置的 iptables 规则
iptables -F
iptables -t nat -F

systemctl stop httpd       #防止 httpd 服务使用的 80 端口号和 squid 反向代理配置的监听端口冲突
systemctl restart squid

2.6.3 操作截图

1.squid服务器配置文件修改

2.客户端访问测试

客户端先配置域名解析

客户端关闭代理设置

3.小结