自然搜索引擎背后的秘密,搜索引擎的蜘蛛是如何工作的？又该如何吸引蜘蛛来爬取页面

在SEO工作中，有的时候我们很少关心搜索引擎蜘蛛的是如何工作的，虽然，它是一个相对复杂的工作系统，但对于SEO人员而言，我们有必要进行详尽的了解，它有利于指导我们有效的工作。

那么，搜索引擎蜘蛛是如何工作的，又该如何引蜘蛛呢？

根据以往的工作经验，蝙蝠侠IT，将通过如下内容，解读主流搜索引擎，百度蜘蛛是如何工作的：

1、常见蜘蛛抓取的策略：

① 深度优先遍历策略

简单理解，深度优先遍历策略主要是指建立一个起点，按照这个起点的顺序，顺序抓取链条上，没有被抓取的每个节点。但有的时候，面对“无限循环”节点的时候，这一策略便显得捉禁见肘。

② 宽度优先遍历策略

宽度优先便利策略，是早期搜索引擎常用的一种抓取策略，主要流程是提取整个页面中的URL，其中未被抓取的URL，就被放入待抓取列队，以此循环。

③ PR优先策略

RP优先策略是一个非常注明的链接分析方法，它用于衡量网页的重要性，通常它会计算一个页面上URL的PR，按照从高到低的顺序进行抓取。

由于PR值的计算，需要不断的迭代更新，通常这里所采用的都是非完全PageRank策略。

④ 反链策略

反链策略，并没有一个明确的官方文档说明，这里蝙蝠侠IT认为，它主要是基于反链的数量以及种子页面的权威度，二者进行加权评估后，按照优先顺序抓取。

⑤ 社会化媒体分享策略

社会化媒体分析策略，主要是指一个URL在社交媒体中的流行度，它的转载量，评论，转发量，综合指标的评估。

言外之意，如果你的URL最先没有在百度网址提交，而是出现在社交媒体中，比如：头条文章，也是很有可能被百度抓取的。

2、一般蜘蛛抓取的流程：

对于搜索引擎而言，常见的抓取流程包括：种子页URL提取->整理新的待抓取URL集合->合并更新链接（包括已经抓取过的链接）->解析页面内容->进入链接总库（索引库）

其中，在解析页面内容，进入索引库的时候，它需要经过多层复杂的系统计算，评估目标URL的质量，从而决定是否进入低质量库。

3、如何引蜘蛛爬行页面：

对于合理引导蜘蛛爬行页面，具体常见的操作是：

① 内容更新频率

理论上，如果你的页面更新频率相对较高，那么搜索引擎自然爬虫就是频繁来访，目的是抓取更多潜在的优质内容。

② 内容更新质量

言外之意，如果你长期频繁更新低质量内容，是不可取的，特别是百度爬虫而言，如果你定期输出高质量且具有稀缺性的内容（独特的视角）你会发现蜘蛛的来访频率很高，并且经过一定周期的信任度累积，很容易达到“秒收录”

③ 网站页面稳定

服务器的连通率是决定，搜索引擎蜘蛛是否能够顺利抓取的主要因素，如果你的网站经常产生延迟，识别对抓取与索引产生重要影响。

④ 整站目标权重

这是一个综合性指标的考虑，通常而言，高权重的站点，更受搜索引擎的亲睐，蜘蛛抓取的也相对频繁，但这个评级，并不是咱们SEO人员，简单通过站长工具查询的结果，而是百度自身，一个非常私密的评估体系。

总结：蝙蝠侠IT认为，搜索引擎蜘蛛的工作原理，是一个非常复杂的系统，上述内容，只是简述一个框架，部分内容，仅供讨论与参考。

SEO是由英文Search Engine Optimization缩写而来， 中文意译为“搜索引擎优化”！SEO是指通过对网站进行站内优化和修复(网站Web结构调整、网站内容建设、网站代码优化和编码等)和站外优化，从而提高网站的网站关键词排名以及公司产品的曝光度。

通过搜索引擎查找信息是当今网民们寻找网上信息和资源的主要手段。

而SEM，搜索引擎营销，就是根据用户使用搜索引擎的方式，利用用户检索信息的机会尽可能将营销信息传递给目标用户。在目前企业网站营销中，SOM（SEO+SEM）模式越来越显重要。

搜索大全，顾名思义，就是多个搜索引擎的综合。出现的目的，是让使用者能快速的在多个搜索引擎中迅速寻找到自己喜欢或是想要的资讯。

搜索大全对搜索引擎作出细致的分类，按搜索结果和内容类型，可划分为：常用 | 日常 | 购物 | 少儿 |新闻| 知识|影视|词典| 音乐| 游戏| 软件| 图片| Flash| 电子书| 文档| BT| 电驴等。

所谓搜索引擎，是根据用户需求与一定算法，运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术，如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等，为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等，同时可添加其他一系列辅助模块，以为用户创造更好的网络使用环境。

搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上采集信息，在对信息进行组织和处理后，为用户提供检索服务，将检索的相关信息展示给用户的系统。搜索引擎是工作于互联网上的一门检索技术，它指在提高人们获取搜集信息的速度，为人们提供更好的网络使用环境。从功能和原理上搜索引擎大致被分为全文搜索引擎、元搜索引擎、垂直搜索引擎和目录搜索引擎等四大类。

搜索引擎可以帮助我们解决临时性的一些突发难题，而学习能够让我们增长智慧，也能够让我们的知识系统起来，二者相辅相成才能更好地满足我们的日常所需吧！

现在，搜索引擎上的知识的确非常丰富，我们生活中百分之八十的问题或许都可以通过搜索引擎得到解决方案，但我们都知道搜索引擎上的知识是片面的，是非常零碎的，我们虽然解决了临时性的一些问题，但却知其然而不知其所以然。所以我们需要系统性的学习，这样才能查漏补缺。

另外，经过系统性的学习，可以让我们明确某个领域从基础的概念到具体的实操，让我们知道它的具体公用。举个例子，比如我在学习前端编程，碰到一些基础的问题，或许能够通过百度获得零时性的解决方案，但是对其中的概念及为什么这样操作却不是很清楚，下次碰到类似的问题又不知道怎么解决了。而且通过系统性的学习，更够更有利于我们去搜索答案，让我们知道该从什么方面下手去寻找更精确的答案，从而节省更多的时间。

不止如此，搜索引擎并不是万能的，我们只有经过系统性的学习，掌握其中的原理，才有可能在生活中的重重困难中脱颖而出。你们不觉得现在的百度已经吞噬了一代年轻人了吗？凡事只会百度，而忘记了自己还有脑子，个人感觉我们对百度已经过于依赖了。

谢小秘书邀请。

这是个非常专业的问题，小编也要从专业的角度来回答。

不用怀疑，这就是广告，行业名称叫做搜索引擎广告。

搜索引擎广告（SEA）是指广告主根据自己的产品或服务的内容、特点等，确定相关的关键词，撰写广告内容并自主定价投放的广告。当用户搜索到广告主投放的关键词时，相应的广告就会展示（关键词有多个用户购买时，根据竞价排名原则展示），并在用户点击后按照广告主对该关键词的出价收费，无点击不收费。

搜索引擎广告包括关键词广告、竞价排名广告、地址栏搜索广告和网站登陆广告等形式，下列显著的特点而使搜索引擎广告得到了快速发展:

1、具有极强的针对性

在搜索的时候，客户需求已经通过关键字表现出来,搜索引擎根据客户需求,给出相应结果，因此广告投放完全是精确匹配，直接针对有需求的客户。

2、可跟踪的广告效果

好的搜索引擎可以提供广告的数据资料，由此生成完整的报告，方便掌握广告投放效果，及时调整相应的营销战略。

3、受众广泛

截止到2017年，我国使用网络搜索的用户数量已经达到6.24亿人，当然这个数字依旧在不停的飞速增长中。而所用更实用了网络搜索的用户，同时也是广告的受众。

那么，从行业角度出发，这类搜索引擎广告也有不足之处：

1.关键词广告中无效点击比例过高

2.广告信息与自然检索结果可能对用户获取信息的过程产生误导

3.专业搜索引擎关键词广告投放跟管理并非易事

4.关键词广告每次点击费用在不断地上涨

正因为这样那样的不足，随之而兴起的信息流广告越发收到广告主和用户的欢迎。如想了解信息流广告的相关知识，请关注微思敦移动营销哦！

这个问题主要还得从百度小程序的优势说起：

1、智能

既然是百度智能小程序，那么智能肯定是在第一位的。

智能指的是百度公司将百度大脑3.0AI能力开放给所有开发者。百度大脑3.0AI含有语音、图像、自然语言处理等AI技术，还有百度地图的空间数据，以及Apollo和DuerOS的物联网连接功能，甚至有一部分功能已经打包好了，开发者只需要直接调用，可以说是非常简单和贴心了。

结合百度具有巨大优势的AI技术，小程序必然会有更宽广的道路。

2、体验

打开一个网页常常需要很长时间来加载，但是百度智能小程序则不需要，所以说百度智能小程序有比网页更好的体验。

百度智能小程序无需注册，节省时间，是现在最流行的方式，也是大众最喜欢的方式。

并而小程序通过使用百度的账号体系，直接免去注册步骤，直接一键登陆，对我们这样的用户而言，省掉了一些登陆的步骤，是非常好的体验。

3、开源

有了开源框架，百度智能小程序可以让第三方平台快速构建自己的小程序平台，里面的功能可以随意搭建和使用，比起支付宝小程序和微信小程序的优势非常大，更加可以满足开发者的需求。

抛开百度以往所做所为来看，百度小程序在业内首创的开源形态还是非常值得肯定的，这也是百度小程序相比其他小程序最大的优势，作为开发者，唯一顾忌的就是百度能否把正确的价值观贯彻到底，坚持走开源联盟路线，不再走熊掌号的老路。

一般来说，直通车的流量是不会与搜索流量冲突的，除非你的直通车关键词与你产品的搜索关键词一致，且两者在关键词下展现的位置距离较近，这时候就会产生一定的冲突。

产生冲突后，如果搜索排名及直通车都在第一名，那会默认展示自然搜索的位置；如果在其他位置，自然搜索与直通车位置冲突，那就会默认展示直通车的位置，这也就是开车导致自然搜索流量变少的主要原因。

解决办法就是根据自然搜索的位置调整直通车的排序，综合排序好的词，直通车往后靠；综合排序差的词，直通车就往前走，尽量避免两者重叠。

此外，直通车的创意图注意不要与产品主图一致，直通车将主图测好后，我们将其用于搜索，之后就要将直通车的创意图进行更换，避免两者的图片是同一张，否则也会导致自然搜索的产品被屏蔽。

其实产生这种情况的原因在于，如果用户在搜索关键词后，看到一个已经被自己划过的产品再次出现在自己的眼前，那对于用户来说会产生一种很不好的购物体验，这自然是淘宝所需要尽力规避的一件事。

Q2：人群溢价方式怎么定？

对于人群的溢价是我们开直通车的时候必须要注意的一件事，那一般来说，我们设置人群溢价的方式有三种：1、不溢价；2、正常溢价；3、高溢价。

1、不溢价

不溢价适合竞争很小的产品，关键词进来的人群就是最精准的，没有性别、年龄的限制。但这种类目很少，并且我们需要卡到前三的位置才会有足够的展现，很少会用到。当然，其他类目也可以选择不溢价，但如果想要获得展现，会增加很多不必要的花费，不建议不溢价。

2、正常溢价

溢价在0-100%之内都算是正常溢价，适用于大部分类目，尤其是想要打造爆款的非标品。我们可根据人群的特征、数据来适当地提高或降低，筛选精准人群。

3、高溢价

高溢价适合客单价比较高，人群很细分的小众类目，我们需要以高溢价的方式，将人群圈定在特定的客户群体中。

Q3：什么时候该增加日限额？

日限额是我们定好直通车计划每天最多跑多少费用的限额，钱烧完后计划也就下线了。但有的时候，我们即使日限额烧完了，也最好增加限额，让计划继续跑下去。

具体什么时候才要增加日限额呢？

其实就是当计划数据足够好的时候，我们需要增加日限额来持续扩大产品的展现、流量。

数据好体现在我们计划中的点击率、转化率、收藏加购率以及投产比等数据，这些数据具体要到什么程度才算好，那就要看具体类目了。

比如女装类目，投产比在2-3就已经算是不错的数据了，而有些类目，投产比甚至能够做到十几，所以如何判断数据表现，就因类目而议了。

除了数据好外，我们还要了解一下计划的权重，当计划质量分足够高（全10分），ppc也处于行业平均水平或者低于行业平均水平的情况下。日限额同样能够保持高速烧完，这就说明我们的计划不是因为高价卡位置获得了高展现才跑完的，而是我们产品能够切实吸引到用户点击。

在这种时候我们就可以选择增加我们的日限额去扩大产品的流量，提高展现。

Q4：季节性类目如何根据类目流量来判断换季的时间节点？

在淘宝的每一个主类目下，都会有各式各样的产品，在这些产品中根据季节来分，分为季节性类目以及非季节性类目。这两种类目最大的区别就在于是否需要根据不同的季节来做好换季上新。

那对于这种季节性类目的商家来说，想要做好每次换季，最大的问题就在于如何判断这些产品什么时候上新品能够正好契合行业趋势。

想要清晰这一点，我们不能光凭主观判断来决定，而是要事先做好数据分析。

具体操作是，我们可以从生意参谋-行业构成中看到行业中的每一个子类目，在去年的每一个月份流量的趋势，是上升还是下降，在哪一个月份哪一个子类目是处于最高峰的时段，我们就可以根据这一节点提前布局这一类目。

最好在流量最高峰出现的前1.5个月就开始布局，然后开始分配时间去测款、测图、打造基础销量，这样的话，到最高峰我们的产品正好能够处于一个流量增长期，享受到类目流量的红利。

Q5：为什么有的宝贝销量低，搜索排序却比销量高的产品还要高？

在淘宝早期，销量几乎是影响产品权重的决定性因素，所以在那一阶段，只要产品销量能够上去，那产品的排名展现就会随之上升。

而在千人千面算法更新的现阶段，销量虽然同样是影响权重的主要因素之一，但相比之前，销量影响权重的占比已经被点击率转化率等率化因素给抢去了不少。

并且，现在销量给产品权重增权的方式也有了很大的变化。

即当一个用户通过搜索某个关键词进入你的产品浏览后成交了，这个销量所积累的权重不是像之前一样给到产品本身，而是会把这一销量权重累计到该关键词下。

当通过这个关键词进店成交的用户逐步增加，针对该关键词的销量权重也会逐步增多，系统就会在针对搜索这一关键词的排序下，给你产品提高相应的排名。

不过当用户在搜索其他相关关键词时，即使你的标题中有这个关键词能够获得展现，但你在该关键词下的销量权重却不一定能够比其他专注于这一关键词的产品权重高，即使你整体的销量比他的高。

所以这就是有些产品销量很高，有时候排名却排在销量更低的产品后面的原因。

Q6：如何判断一个产品标题的好坏？

判断标题的好坏我们要分对象来看，一方面是对于系统来说，另一方面是对于商家来说。

对于系统来说，一个标题好坏的判断依据就是这一标题能否更好地让系统抓取到产品从而匹配用户搜索的需求。

我举个例子，像“2020新款秋季女韩版外套纯棉小风衣短款小清新”这种标题，那对于搜索引擎来说，这一标题其中包含了足够多的关键词、组合词、长尾词，能够让其抓取到足够多的组合，那就算是一个好标题了。

当然，我举的例子没有写满，大家还是要写满30个字才行。

说完系统，那对于商家来说我们评判标题好坏的标准是什么呢？即这一标题能否给我们产品带来精准的流量。

这里不是说我们产品标题中关键词都是精准的就好了，还要看我们产品的权重在目前能不能获取到展现，获取流量。

在产品不同的阶段，我们筛选标题关键词要注意其的热度与我们产品权重是否匹配，产品权重高，标题关键词就可以筛选大词；权重低，就要筛选搜索热度稍微小一点的词。

对于搜索引擎的种类，不同的人有不同的看法，但这些看法都是片面的，接下来，就详细的了解一下搜索引擎的种类有哪些吧！

1、文字搜索

文字搜索是我们普遍使用的一种搜索方式，基本上所有搜索引擎都是以文字形式检索的，没有特殊性可言，之所以区分出来，是基于对搜索引擎的严格分类，这里就不过多讲解了。

2、图片搜索

图片搜索是基于用户文字搜索方式的扩展方式之一，是通过搜索程序向用户提供互联网上相关的图片资料的服务。图片搜索的目的是查询找出自己所需要的特定图片。

3、语音搜索

语音搜索起初的模式只是为了方便我们通过手机查询一些专项资讯。随着移动信息技术的快速发展，移动搜索从初期的查找专项资讯扩展为多个方面的信息资讯查询。这项技术服务也从最早的语音开始对接上搜索引擎。

4、全文搜索

全文搜索是目前应用最广泛的主流搜索。它的工作原理是搜索引擎特定的计算机索引程序通过对网站文章中的每一个词进行扫描，然后对每一个词建立一个索引，清晰的指明该词在文章中所出现的次数以及位置关系，当用户进行查询操作时候，检索程序就会根据事先建立好的索引进行匹配查找，并将查询的结果反馈给用户。

5、目录搜索引擎

目录搜索是以人工的方式或半自动的方式搜索信息的，由编辑人员人工查看信息之后形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。

目录搜索引擎虽然有搜索功能，但严格意义上并不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息。这类搜索引擎因为加入了人工智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。

6、元搜索引擎

元搜索引擎是一种跨搜索界面的搜索引擎，是建立在独立搜索引擎基础上的一种方式。它通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作。

还有就是垂直搜素引擎、集合式搜索引擎和门户搜索，这三个在以前的文章中已经介绍过了，想要了解可以搜索《常用搜索引擎的搜索方法有哪些？各有什么特点？》这篇文章。

自然搜索的特点是流量更加精确。