第5周遇挫不折PQ爬虫,该如何去掉python爬虫爬到的网页数据多余的部分
该如何去掉python爬虫爬到的网页数据多余的部分？
Python爬虫不太会用，用的是数据采集软件，比如：前嗅，火车头，八爪鱼，后羿等，现在用的是前嗅，可以根据自己的需求做模板，采集出来的数据就是直接筛选后的数据了，免得清洗数据了，还是比较方便的。
python爬虫一直运行不出结果？
检查是否存在保存。也有可能是爬取的信息量太大，需要等一下。
python做爬虫到了一定程度，该如何提高？
学着自己做一个爬虫
再学着用人工智能训练一只爬虫
有很多很多东西等着你
还可以爬美国特别的站
把里头的人脸换成你喜欢的明星的
自动实现全网站换脸
想想就有点热血沸腾呢！
如何让一个网络爬虫速度更快，抽取更好的信息？
可以从包括但不限于以下几个方面考虑一下。
1、代码性能优化方面
2、搞多几个代理，上代理池，多个代理一起抓取
3、多进程（多线程）
4、找个网速好一些的地方，带宽大一些
5、搞个好点的电脑
6、多搞几个ua头
7、分布式抓取
等等
pq控制全称？
PQ全称为PowerQuery，Power Query 是 Excel 中可用的三大数据分析工具之一。但在2016之后的版本中这个名字已经找不到了，但是大家还是喜欢称为PQ。因为其功能的强大微软在2016之后的版本已经将其内化入Excel
PowerQuery是一种数据连接技术，功能主要包含三个部分：连接(获取)、转换、合并。
连接其实就是获取数据的数据的能力。PowerQuery的数据获取能力很强操作也很简单。按照分类来说可以分为以下几类：
1. 文件类：Excel文件、CSV文件、JSON文件、XML文件等以文件存储的数据
2. 数据库：SAP HANA、Mysql、SQLServer、Oracle等主流数据库
3. 网页：PowerQuery通过简单操作即可获取网页数据，俗称：爬虫。有了这个功能大部分的API，PowerQuery也能调用了
4. 其他数据源：Facebook、Azure、ODBC、Hadoop等
还要一点就是PowerQuery已经在PowerBI中集成了Python和R语言，相信很快也会被集成在Excel中。有了Python和R的加持，PowerQuery的获取能力将更加强大，可以说PowerQuery将无所不能。所以我称其为最强手臂。
转换的能力就是将数据清洗为可用于分析的能力。
python爬虫某些网站数据不能爬什么原因？
有些网站做了防爬虫机制。你可以利用webdriver来模拟人的访问进行爬数据。
你在爬虫的时候遇到过这个问题吗？
原网页也没有这个内容是什么意思？原网页是指的你程序下载下来的原网页吗，如果是这样的话，那就是你的爬虫程序被对方网站识别被禁止掉了，下载下来的页面并不是真正你想要的那个网页，大多是404页面。
建议把程序下载下来的内容以.html结尾的文件形式保存到本地，并用浏览器打开看看是不是真正的你想要的网页内容。如果不是，那你的程序需要加上代理来防止对方网站的反爬虫机智，当然还有许多办法来防止反爬虫机智，比如更换浏览器头，减小爬取频率等。
python爬虫一直报错，怎么办？
爬虫报错，有好多可能，从一个新手角度来看，大致有以下几条：
1、ImportError 导入模块/对象失败
这类错误往往是在导入模块的时候报错，比如导入失败或者没有安装对应的模块
处理方式：安装相应的模块，或者检查语法是否输入错误等等
2、KeyError、NameError、SyntaxError、TabError、ValueError、IndentationError
这类错误往往是比较麻烦的，我们来挨个解释下：
KeyError值错误，没有对应的键值，比如取字典中不存在的值的时候，就会出现这个错误
NameError变量名错误，这个错误一般出现在没有定义或者没有初始化变量，或者变量名字输入错误
SyntaxError语法错误，这个错误很明显就是字面意思了
TabError Tab和空格混用导致的错误、IndentationError缩进错误
ValueError参数错误，传入的参数值有问题，比如类型错误或者其他的
以上错误往往是因为写编码的时候不够细致，或者一些不好的操作习惯导致。出现错误后只需要根据后面的提示去修正相应的代码即可！
3、AttributeError对象没有这个属性、IndexError列表没有相应的索引
这2个错误为什么单独拿出来呢，是因为这是新手最常见的错误了，比如我们在做一个小爬虫，用re或者其他方式匹配出结果后，需要对其进行进一步的操作比如分割，往往就忽略了一个问题，匹配出的结果是列表，或者精确的匹配一个内容，也忽略它本身还是一个列表，我们把它当成是一个字符串来处理，就会报错
还有就是如果没有匹配到相应的内容，会返回空列表，而这种情况有可能发生在代码已经写到后面了，没有相应的判断语句去规避，结果就是返回的空列表，去取值，就会报IndexError错误了！
当然还有其他的错误类型，比如上面几位所说的，requests没有返回我们要求的值、因为爬取的过快结果服务器断开连接等等，都会发生报错！
python爬虫如何分析一个将要爬取的网站？
呃。。题主这个问题是如何分析并选择什么样的方式进行爬取。我也是新入门，简单说下我的经验吧，当然只针对简单的小爬虫，大型爬虫先不说了（我也不怎么会。。）！
首先，我会去看看我想要的内容在哪个页面，查看页面结构，考虑怎么写循环获取所有的数据（如果只是单页面抓取数据，直接右键就可以不需要写爬虫了），这样我脑海里就有了大概的构思，比如大概几层循环就可以完成
然后第二步呢，就是观察网页，简单的说，就是查看网页的元素是否存在源代码中，这就分2步了：
1、存在，那么简单了：查看页码，构建翻页循环，根据网页结构选择适当的匹配方式，获取内容，存储的方法等等按部就班的写就行！这类网站适用于大部分的盗版小说网等等，大家自己去看看就知道了
2、不存在，那么就去开发者工具中查看是否是ajax动态加载，是否可用抓到json数据：
a、如果存在json数据：类似百度图片，下拉加载内容，就可以抓取json包，然后观察请求地址，找出循环规律，遍历json数据，取到相关内容！百度图片、头条图集就是属于这类网站，有兴趣可以去看看
b、没有json数据，不存在ajax加载，这种网站是最烦的，你需要去分析它的内容存在位置，是否js加载，js函数规律等等，比如煎蛋网妹子图
3、在写代码中间，还面临一个问题，有的网站虽然数据存在源代码中，但是它们也存在反爬，那么我一般是依次尝试：只加入UA、加入所有请求头、尝试移动端网页（比如微博爬虫，移动端的比较好爬）抓取等等手段，在抓取数据中间也存在网站有限制的情况，比如防盗链（分析Headers里的Referer参数），封IP（加入ip代理），封账号（加入cookie池）如果还不行，那就要看最后一条了
4、如果之前的手段还是不行，那么可以尝试selenium+python的解决办法，一般的网站都可以搞定了！
最后补充一条！爬到的数据自己想怎么玩就怎么玩，但是不要流传，不要买卖，我们只做研究学习！！！切记！
不知道为啥，传不了图片了。。很尴尬。。大家凑合看吧！
欢迎关注我的个人公众号：python入门 或者头条号，大家一起交流学习！