Python爬虫基础之认识爬虫

一、前言

爬虫Spider什么的，老早就听别人说过，感觉挺高大上的东西，爬网页，爬链接~~~dos黑屏的数据刷刷刷不断地往上冒，看着就爽，漂亮的校花照片，音乐网站的歌曲，笑话、段子应有尽有，全部都过来~~~

前段时间在学习Python打基础，一周时间过去了，是时候要开始写点东西了，Python爬虫刚好可验证下这段时间的学习成果，写写博文记录下自己学习爬虫的经过和遇到的坑，希望对同样是小白的园友有帮助！！！

我用的Python 3.5版本，2.7版本用的人也挺多的。

那么，接下来，我们要搞清楚几个问题：爬虫是什么东西？爬虫可以用来做什么？开发爬虫前需要掌握什么？

二、爬虫是什么东西

百度百科这么定义爬虫：

这里有几个关键词"规则"，"自动"，"万维网"，"程序"或者"脚本",理解了这几个关键词估计对爬虫就有个大体上的认识了。

接下来，会对这几个关键词就行解释.

三、爬虫从哪里爬取数据

浏览器输入QQ音乐首页的网址：https://y.qq.com/，展现在我们面前的是浏览器解析器后的样子，敲击F12后，我们可以看到网页的源码，都是由一些html标签（标签我们这里用"节点"表示吧）构成。

所有网页的源码结构主要长的是这个样子：

　　　　title name

　　　　page content

关键词"万维网"？最简单的理解，万维网就是千千万万台电脑相互连接形成的像蜘蛛网一样的东西，我们的爬虫就是在这张网上干活，从网页上爬取信息。

关键词"规则"？这就是爬虫需要遵守的规则，节点是和的父节点，和是子节点，父节点包含子节点，子节点相邻的节点是兄弟节点，是<html>的子孙节点，</span></p> <p><span style="font-size: 14px">这就构成了HTML DOM（文档对象模型），简单地说，爬虫就是爬取这些节点的内容，例如图片，文本等。。</span></p> <p><span style="font-size: 14px"><strong>关键词"自动"和"程序"或者"脚本"？</strong>可以理解成非人工的方式，也就是编写代码的方式，通过程序或者一段脚本（我们这里用Python脚本），自动按着我们预设的意愿工作，爬取我们认为<strong>有价值的信息</strong>，满足我们对信息的需求。</span></p> <p></p> <h1><span style="font-size: 18px"><strong>四、我的爬虫知识储备</strong></span></h1> <hr> <p style="margin-left: 30px"><span style="font-size: 16px"><strong>HTML + CSS + Javascript</strong></span></p> <p style="margin-left: 30px"><strong>掌握一些HTML静态网页的知识，CSS样式，ID，标签，类选择器，还有Javascript如何定位和操作页面上的元素，w3school的教程，有教程和实例，还可以用来调试代码脚本，新手入门和知识查阅十分方便。网页解析方面，后面我们会用到正则表达式、BeautifulSoup和Lxml三种方式。</strong></p> <p style="margin-left: 30px"><span style="font-size: 16px"><strong>HTTP协议</strong></span></p> <p style="margin-left: 30px"><strong>具备一些网络方面的知识，了解浏览器和服务器之间的交互，如何发送http请求和处理请求结果。网页请求和下载网页，后面我们会用到Python的库urllib</strong></p> <p style="margin-left: 30px"><span style="font-size: 16px"><strong>Python</strong></span></p> <p style="margin-left: 30px">我们的脚本语言，这个自然不用说，必须掌握，入门推荐 runoob.com，Python基础和 Python 3</p> <p style="margin-left: 30px"><strong>掌握了以上知识，我们就可以开始实战了！！！</strong></p> <hr> </div>  <div class="p-2"></div> <div class="arcinfo my-3 fs-7 text-center"> <a href='/t/etagid8-0.html' class='tagbtn' target='_blank'>Python</a><a href='/t/etagid717-0.html' class='tagbtn' target='_blank'>python爬虫</a> </div> <div class="p-2"></div> </div> <div class="p-2"></div>  <div class="lbox p-4 shadow-sm rounded-3"> <div class="boxtitle"><h2 class="fs-4">相关</h2></div> <hr> <div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-566513.html">学习《Python编程从入门到实践》PDF+代码训练</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-566439.html">python-----面向对象简单理解</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-565236.html">python多线程控制</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-564738.html">Sublime 的安装、汉化、配置、Python环境和插件</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-564855.html">python——time strftime() 函数表示当地时间</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-564276.html">python 初识函数</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-564187.html">python 函数对象嵌套闭包</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-563864.html">Python栈溢出——设置python栈大小</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-563952.html">python-面向对象-01课堂笔记</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-563329.html">python爬虫</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-563001.html">Python 之父的解析器系列之五：左递归 PEG 语法</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div><div class="row g-0 py-2 border-bottom align-items-center"> <div class="col-7 col-lg-11 border-lg-end"> <h3 class="fs-6 mb-0 mb-lg-2"><a href="/a/1-563230.html">Python 为了提升性能，竟运用了共享经济</a></h3> <div class="ltag fs-8 d-none d-lg-block"> </div> </div> </div>   </div>  </div> <div class="col-lg-3 col-12 p-0 ps-lg-2">     <div class="lbox p-4 shadow-sm rounded-3"> <div class="boxtitle pb-2"><h2 class="fs-4"><a href="#">标签</a></h2></div> <div class="clearfix"></div> <ul class="m-0 p-0 fs-7 r-tag"> </ul> <div class="clearfix"></div> </div>  </div> </div> </div> </main> <div class="p-2"></div> <footer> <div class="container-fluid p-0 bg-black"> <div class="container p-0 fs-8"> <p class="text-center m-0 py-2 text-white-50">一品网 <a class="text-white-50" href="https://beian.miit.gov.cn/" target="_blank">冀ICP备14022925号-6</a></p> </div> </div> <script> var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?6e3dd49b5f14d985cc4c6bdb9248f52b"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); </script> </footer> <script src="https://cdn.jsdelivr.net/npm/bootstrap@5.3.8/dist/js/bootstrap.min.js"></script> </body> </html>