全面挖掘800个关键词的13种方法(网络爬虫如何爬取所有关键字搜索的类容)

首先产品要明确的定位，是哪一类目的，然后根据类目去找其他商家的宝贝名称从他们的关键词中分析，也可以重生意参谋指数中分析。宝贝关键词建议用长尾词，可以提高更多的点击率。

百度占据了国内搜索引擎的半壁江山，所以关键词的搜索工具，一个百度系列已经够用，只是使用的方法而已，下面我分享一下我在百度上面搜索关键词的方法。

就拿关键词“马云”举个例子，我们在百度首页搜索栏中输入“马云”，可以在看到有一列下拉关键词，这是主关键词的相关关键词，代表着用户在网上的搜索趋势。而点击每一个相关关键词之后都会有新的相关关键词，所以还是非常好用的。

在搜索结果页尾会出现一个相关搜素的推荐列表，通过这些长尾关键词我们也可以看出主关键词的一些长尾关键词，这些都是用户的在互联网上关注的点，来源可能是搜索，也可能是贴吧讨论等等方面。

另一个就是百度指数的工具了，在百度指数的搜索栏中输入之后，点击需求图谱，可以看到与主关键词相关的一些关键词，然后再通过关联搜索，也可以得出一些长尾关键词。

这些都是一些常用的小方法，觉得有用的就关注收藏吧，希望我的回答能够有一定的帮助。

网络爬虫一般指的是百度搜索引擎、谷歌搜索引擎、好搜搜索引擎每段时间会抓取各大网站的内容更新，当然至于内容要不要收录要不要被排名主要基于以下判断标准：

1、网站保证访问速度，服务器打开速度没有问题，让蜘蛛抓取畅通；

2、路径结构没有动态死循环链接，最好是有伪静态地址。主域名栏目加文章地址属性三级即可。

3、内容主题关键词和内容相符，相关性，不要完全是标题党。

4、注意做好页面要素，例如图片加alt属性等等方面来实现。

5、网站要形成规律的更新和发布机制。

以上是保障收录的根基。如果要做到排名，页面要做到搜索引擎页面价值。如下：

来源于百度工程师博客。

浅谈互联网页面价值

搜索引擎每天处理着数以亿计的查询请求，每个查询请求都代表了一个用户对于某种资源的特定需求。多数时候，通过查询返回的网页结果，这些需求被满足了，我们可以认为结果中的某些页面对特定用户的特定需求产生了价值。那么对于搜索引擎而言，页面的价值是指什么，我们为什么要研究页面价值，技术上怎样判断页面的价值呢？本文将逐一回答这些问题。

一、什么页面价值

前面我们说了，某个页面满足了某一用户的特定需求，就体现了这个页面对用户的价值。那么对搜索引擎而言，价值体现在哪些方面呢？一个简单的推论，所有可能会对用户产生价值的页面都是对搜索引擎有价值的，将这些页面建入搜索引擎的索引中能够满足最终检索到它们用户的需求，我们称这种价值为检索价值。只要是能解决某个用户信息需求的，并且是可以通过某些正常检索需求到达的，那么就是有检索价值的。

小学生张三喜欢在qzone上写日记，写他前天吃了什么，今天玩了什么。这些内容，是有价值的。它们对张三的家长、同学、老师，以及其他小学生，和对小学生日记感兴趣的人来说，都是有价值的。对于这个信息体来说，“张三”这个名字是检索的“key”。

有一些信息单元，只有“浏览”价值，而没有到达该信息的检索途径，那么该资源可能是有价值的，但检索价值就很低。比如一张百度大厦附近的地图，从浏览角度，是有价值的；但是如果没有任何周边文字说明（或者link的anchor text），只有一张光秃秃的地图，就没有检索价值。当然，如果图片的内容识别技术，有朝一日能自动识别出这个是“百度大厦附近地图”，或者能够自动分析出地图内的各种大厦、街道、餐馆等的名称，那么这张图一样变得有检索价值了。所以一个页面是否有检索价值，应该取决于两点：

1）是否能解决某个特定的需求（价值）

2）是否可以通过某个常规的搜索方式获得该信息（检索）

那么，没有检索价值的页面，是否对搜索引擎就没有价值了呢？仔细想想，答案是否定的。索引只是搜索引擎的一个环节，对于其他环节而言，没有检索价值的页面有可能对我们更好的收录那些检索价值高的页面有帮助。比如对负责抓取互联网资源的spider而言，有一些页面，本身没有检索价值，但通过这些页面的抓取和分析，能够更快的帮助我们掌握这一类页面没有检索价值这一重要信息，从而节省更多的流量进行更加有效的抓取。

考虑到这种价值可以算作一种“间接的”检索价值，最终还是立足于索引价值的，在本文中就不再展开论述，我们只关注“检索价值”这一根本问题。下文中提到的“页面价值”特指页面的“检索价值”。

二、为什么要研究页面价值

首先，互联网上的页面是无穷尽的，而搜索引擎的硬件资源是有限的，想用有限的资源去覆盖无穷尽的互联网，我们就需要对页面价值做出判断，不收录那些无检索价值的页面，少收录那些检索价值低的页面。这是页面价值在收录控制方面的应用。

第二，搜索引擎spider的抓取能力是有限的，出于访问友好性的考虑，对于一个网站或一个IP抓取速率需要有一个抓取速率的上限。在这一限制下，抓取或页面更新就需要有一个先后顺序，而这一排序的主要参考依据就是页面价值，或者说对页面价值的预测（未抓取时）。这是页面价值在spider调度方面的应用。

第三，对于某些页面，页面内容发生变化，导致它的检索价值从有到无，典型的就是变为“死链”，或者“被黑”。对于这些页面，好的搜索引擎会在第一时间将其排除出索引，或在检索时对其进行屏蔽，以保证返回给用户的结果是更多检索价值高的“好页面”。对于另一些页面，它不仅具有很高的检索价值，而且有很强的“时效性”，能够第一时间让用户检索到这些页面对搜索体验有很大的提升。对搜索引擎而言，越快的收录和索引页面意味着越多的额外资源开销，以多快的速度收录和以多短的周期更新索引，需要通过页面价值的分析来指导。这两方面是页面价值在死链率和时效性两大搜索引擎指标提升上的应用。

最后，普遍意义上的页面价值高低对搜索引擎返回给用户的结果排序上也存在着指导意义。理想情况下搜索引擎的结果是按照与查询请求的相关性进行排序的，在相关性大体相当的情况下，用户更倾向与浏览普遍意义上页面价值高的网页。这是页面价值在ranking方面的应用。

可以说，页面检索价值的研究是搜索引擎中的一项较为基础的工作，对页面价值的认识和判断的准确程度直接影响着搜索引擎的覆盖率、死链率、时效性等几大主要指标。

三、如何判断页面价值

前文中提到过一个小学生张三qzone日记的例子。我们认为这个页面是有价值的，对张三的同学，朋友，家人都有价值。与此类似的，百度CEO李彦宏在i贴吧上发表一条十几个字的i贴，也是有价值的，对李彦宏的上千万粉丝都有价值。虽然李彦宏的i贴长度可能远小于张三的日记，但就这两个页面的价值来说，我们都会有一个共同的认识，即从普遍意义上讲，李彦宏的i贴价值远大于张三的日记。（当然，对于张三的妈妈来说很可能这个价值的关系是相反的）

再举个例子，搜索某个人的手机号码，搜索引擎返回了一个结果，是这个人在某个论坛上的一个回复。虽然这个手机号码关心的人不多，但因为资源是绝对稀缺的，对于关心这个手机号码的查询需求，这个页面是完全不可替代的，因此具有极高的价值。

另外，页面检索价值，还受到页面质量的影响。相似的页面，对于满足用户需求来说，往往会有很大差异，比如资源下载速度，页面的布局，广告的多寡。这类差异，姑且称之为页面质量。

最后，有些页面具有明显的公众话题性质，且这些资源往往在刚刚产生时有非常高的关注度，随着时间的推移热度显著下降，有着“新闻”的特征。典型的像各种“门”事件，地震、火灾等大型的自然灾害。我们认为这类资源具有“时效性”特征。

所以，一个页面的检索价值，大致受以下四个要素的影响：

1、感兴趣的受众群大小

2、该页面的稀缺程度（可替代性）

3、该页面的质量高低

4、该页面的时效性特征强弱

这四种要素，简称受众，稀缺，质量和时效性。

1. 受众

受众群体的大小，即代表了用户检索需求的大小。评价受众的大小主要依据信息发布源的受众和信息内容本身受众两大方面。具体因素包括且不限于：

网站忠实用户群大小

一般来说，拥有自己忠实用户群的知名网站，他们的成功，在于他们的内容和服务，比别人更能吸引和满足用户。从这个角度来说，我们可以推论，拥有更多忠实用户群的网站上的内容，会比忠实用户群较少的网站上的内容，有更多的既有和潜在受众群。这样的话，忠实用户群大小，就可以变成对站点内资源检索价值的一种衡量指标。忠实用户群的好处在于，它是变动的。如果一个网站变差了，那么用户就会用脚投票。超链有过期问题，作弊问题，而虚假用户群作弊很难。一般所谓的网站知名度，会和忠实用户群数量密切相关。

资源分布规律

我们再考虑一个网站内部的资源分布所体现的受众群大小问题。比如新浪新闻首页的那些推介内容。新浪编辑为什么要推这些内容？因为他们认为这些是用户最感兴趣的。那么从索引价值角度而言，相当于有一个庞大的编辑团队，已经对这些内容打上了“符合大众口味”的标签。搜索引擎只需要乐享其成就行了。这样的话，资源相对于某些结构性关键页面（首页、频道页等）的链接深度，也可以成为衡量一个资源受众群大小的指标了。

访问热门度

我们再从访问热门度角度来考虑受众群大小问题。这个是最直接的，当然，它需要第三方的工具来获取关键数据。通过这个途径，获取的不应仅仅是需要入库的页面，还有用户访问一个网站的访问模式。

超链

超链某种程度上也是受众群大小的反映。某个资源的质量越高，接触的受众群越大，那么获得正常链接的数量往往也越大。

内容特征

A：我写博客：“传言郭德纲要上春晚了。”

B：我写博客：“我今天吃早饭了。”

同样的来源，前者的受众必然高于后者。即：当在发布源相同的情况下，具有公众属性的内容分值会更高。

2. 稀缺

稀缺主要是描述页面在互联网中的独特性。说到稀缺往往会想到重复，稀缺是否等同于无重复，我们应该怎样解读这一概念呢？可以看一个例子：

某人发表了一篇针对某新闻事件的原创博客，随后被新浪转载到了新闻频道。从描述的内容上讲，这是一种重复。但这种重复仅仅是主体内容上的重复，一方面它的转载带来了访问速度、稳定性等方面的增益，并且之后的检索用户还有可能用“新闻事件+新浪”来检索此新闻。这可以被称之为站点增益。另一方面，它在转载过程中可能会改变页面的标题，而且依托其受众，在转载页面上，还有可能出现更多的有价值评论和回复等，还有可能存在指向其它相关事件的新闻链接。这些可以被称之为内容增益。因此即使主题内容没有任何变化，新浪的这次转载也是有价值的，其稀缺度也是较高的。

同样，反过来说，如果转载的网站相当不知名，则其无法带来站点名/稳定性/速度的增益。更有甚者，转载之后在页面上加入大量广告妨碍阅读，或者只转载了内容中不完整的一部分，这样的转载，或者说采集，就是纯重复的，与采集源相比，就是没有检索价值的了。

综上所述，对于主体内容重复的页面，我们应该评价其是否存在站点增益和内容增益，只有对于大量完全无增益的重复页面，我们才应该认为其稀缺度较低。

3. 质量

页面的质量是它对需求的满足程度的一种体现。判断页面质量的高低，应该是从最基础的需求依次递进的。

首先，不能是死链、网站要有一定的稳定性、访问速度要令人满意。

其次，主体内容是否完整、版式和字体是否易读、各类广告会不会太多。

最后，信息是否丰富、延伸出的次级需求是否满足。

典型的低质量页面存在以下一些特征：

1、主需求无效/未满足（过期分类广告/软件下载页面，下载链接无效等）

2、死链

3、虚假信息/诈骗等

4、点不稳定

5、影响主需求的权限问题（下载/浏览需要注册会员/积分等）

6、信息不完整（转载不全等）

7、浏览体验差（广告/字体/页面布局等）

典型的高质量页面存在以下一些特征：

1、访问速度快（页面加载快/资源下载速度快）

2、页面整洁干净，主体内容在显著位置。

3、页面信息完整。

4、页面元素丰富（文字、图片、评论、相关推荐等）

4. 时效性

“时效性”是页面价值的一个属性，它一般体现在两个方面：一是页面所描述的事物本身有着较强的公众话题性，容易被传播。这其实是受众的一个体现。二是页面所描述的事物仅在第一时间有较高热度，随着时间推移热度显著下降。这是一种“新闻”性。对于具有上述两种属性的页面，如果搜索引擎spider发现页面的时间正处于该事物的“爆发期”或“爆发期”之前，我们认为该页面具有时效性。

需要说明的是，搜索引擎的广义“时效性”是指对所有有价值新资源的及时收录提供检索，而所有的有价值新资源中，有一大部分其收录速度的提升对用户的搜索体验改善意义是不大的，比如介绍如何瘦身的知识性文章，张三的日记。页面价值中的“时效性”指得是一种突发时效性，也就是所有有价值页面中最需要及时收录的那些。对页面时效性的判断是为了指导我们将搜索引擎有限的资源投入到最关键的地方，产生最好的性价比。

判断页面的时效性价值，主要通过下面一些途径：

页面本身受众是否有短时间的突增，比如超链爆发。贾君鹏的帖子就是一个典型的例子。

描述相同事物的互联网页面是否有段时间的突增。贾君鹏事件短时间内爆发出大量相关讨论、报道，和这一事件相关的所有内容都具有了时效性属性。

根据一个集合内的页面是否具有上述两种特征，推测该集合的时效性价值。比如魔兽世界吧经常爆出一些热门帖子，公众话题，我们推测出自魔兽世界吧的帖子其时效性“潜在价值”比较高。

四、页面价值的研究重点

前文已经介绍了页面价值的含义，研究的意义与价值判断的方法。最后我们再看一下，从技术角度上，这一方向的研究中的重点方向。对页面价值的研究工作主要致力于三方面：

1、对页面价值体系的认识。我们目前对页面价值的认识是来源于前文所述的四个维度，这个认识是否全面，对于不断变化的互联网环境与用户需求，这些维度应该如何扩展与变化才能更好的服务于整体的搜索体验提升，是一个很重要问题。

2、对于反映页面价值的页面特征提取。巧妇难为无米之炊，挖掘更多的页面特征，更准确合理的特征提取是页面价值判定准确率提升的基础。

3、对各种页面特征的组合策略（机器学习）。针对不用的应用方向，需要利用相应的特征通过合理且高效的策略拟合出页面价值的最终评价结果。

文章来源：百度搜索研发部官方博客

SEO之布词技巧

布词，首先要学会定词和选词，要做好SEO,这些很关键。接下来探讨下这些方法技巧：

定词+选词

定词是做好SEO的第一步 ，假如我们的网站是**，主要从事品牌推广业务，那么，我们的定词就可以是品牌推广、网络推广、网络营销等，这些就是我们需要定的词。

选词主要有三种方法：搜索引擎选词法、借助工具选词法、参考对手选词法。

1、搜索引擎+借助工具选词法

如我们做网络推广，我们就应该把“网络推广”输入到百度上去，你会发现下拉框中推荐有一些词，如网络推广公司哪家好、网络推广方案等，通过滚动点向下拉一下，就会有一个相关热度(主要针对百度)，也会有一些长尾词推荐，拉到最下面，会有相关搜索。根据你的搜索词给予相关的匹配。

另外，也可以借助一此搜索引擎问答平台， 比如搜狗问答，在你输入某个词的时候，网站底部或右侧都会给你展现相关的词汇，供你选择。

借助工具这块，这是用得比较多的一种方法，简单方便，且易上手。比如，我们可以借助百度推广助手里的挖掘关键词、关键词规划师、站长工具等去选词，这种选词方法以长尾关键词为主。

2、参考对手选词法

找到排名靠前的网站，进入该网站后，在空白处点击右键查看源代码，可以看到网站标题、关键词、描述等相关内容，这些都为我们选词提供了依据。

键词挖掘对于SEO来说是必不可少的，针对SEO项目制定的SEO策略，也应该是以“关键词挖掘”为基础的。关键词挖掘的过程，同时也是用户需求的挖掘过程，目的就是了解“潜在用户”在使用搜索引擎过程中的搜索习惯，为“潜在用户”提供“搜索关键词”对应的优质内容。

而怎么挖掘关键词，一直是备受SEOer关注的问题。

一、同事、亲戚、朋友

我们身边大部分人都已经成为搜索引擎的用户，而普通用户本身更能代表大众的搜索习惯。所以，在进行关键词挖掘之前，不妨给身边的每个人限定一个主题，让他们给出会使用最频繁的搜索词，例如，问你的女性朋友：如果她要从网上购买一款化妆品，她会怎样从百度获取信息。 或许从中你可以获得一些不错的建议。

以上述方式获得的这类关键词，一般被当作 “种子词”。万事开头难，有了种子词之后，就可以通过各类工具拓展出更多更深层次的关键词了，尤其是长尾关键词。

二、网站分析工具后台（Google Analytics）

如果网站已经有部分自然搜索流量，同时网站也安装了网站分析工具，那么就可以在分析工具的“关键词”报告中，得到用户进入本网站所使用的搜索“关键词”了。

Google Analytics默认最多导出500个关键词，如果要分析更多的关键词，需要使用Google Analytics提供的API或者修改下载链接。当前最多可以下载1万条关键词数据。

1、打开“老版本”Google Analytics的非付费关键词报告

2、点击导出，并复制“TSV”链接

3、在链接URL的最后，添加&limit=1000参数

4、复制URL到浏览器地址栏，回车后，开始下载关键词数据

如有更好的建议，关注互相探讨

谢邀回答

核心要点：关键词挖掘主要用于下拉以及相关的关键词挖掘的功能。 下面我跟大家分析下关键词挖掘如何使用：

1、填写要查询下拉词的关键词数据 输入要挖掘的关键词，这里挖掘的关键词一定要注意，最好是要相关联的

2、要选择更多的搜索引擎进行关键词搜索，这样挖出来的才更全面。

3、条件填写也很重要，它的是否精准，直接影响你挖出来的词是否属于你所需要的词。

很高兴能回答你的问题！

在进行搜索营销时，提高与优化网站的关键词将对营销起到重要的作用。

首先，我们必须清楚了解不同行业、事件、时间、地点等我们需要归纳总结以便于营销活动中所代表的词语。例如：5G、国庆、香港、阅兵等词汇都是事件、时间、地点所归纳总结出的代表性词汇。

其次，关键词的重要性如何理解?我例证来说，我们在百度、360搜索、搜狗、bing、谷歌等搜索引擎里查找相关信息的时候，通常会在搜索栏中输入上面讲到的代表性词语，搜索引擎便会根据这些词汇在自己的数据库记录数据中进行搜寻与匹配。找到与这些关键词内容相符的网页，采用各自搜索引擎的算法----把网页中关键词的匹配程度、出现的位置、频率、链接、质量等重要数据与关键词的相关度及排名等级，然后按照顺序将含有关键词的内容链接呈现给搜索者。

由此可见，提炼与优化关键词，是提升网页在搜索引擎排名的重要路径。

接下来我介绍几种提炼优化关键词的方法以供参考：

第一、准确定位网站的行业、用途、所涉及的内容，随之确定精准的关键词，这样才能增强网站的营销精度，我们以电视机企业展示性网站为例，展示性网站主要目的是展示企业形象、展示企业产品、展示品牌，那么我就需要在“电视机”“LED液晶电视”“XX牌液晶电视”等数个关键词中选择与确定能够代表该企业的关键词，3---5个为佳。

第二、在域名中体现或者展现关键词，一般来说确定好网站的行业、用途、内容后，用行业的关键词做域名为最佳的选择，比如小米网站，就是他的名字，简单易记，也便于搜索引擎收录，这也是我走过弯路后才发现，先申请域名与后申请域名的区别。

第三、在制作过程中，尽量在内容中体现网站所涉及的关键词。一定要让网页呈现优质的内容供搜索引擎抓取记录，比如搜索引擎的快照，蹭行业热度关键词内容等方法。

第四、规避热词，另辟蹊径。有时候我们面对或选取的关键词在行业里热度与搜索度很高，导致优质内容长期霸占搜索排名前端，无法动摇排名，这个时候我们就要分析行业中所涉及的短词、长尾词，退而求其次，以曲线的方式占用热度词以外的词汇，增加搜索引擎的抓取频率，有了之前内容的铺垫，与另辟蹊径的方法，有可能会让搜索引擎增加网站的权重比，这样网站的展现效果也会有所提升。

以上就是我在这些年在跟SEO接触过程中总结出的经验与自己的浅薄的分析，希望能对你有所帮助，如有不正确的地方请指正，谢谢！

看你是做什么产品的。有区域可以划分区域，例如：北京/上海+产品。有习惯的可以划分习惯例如：产品+厂家/制造商。有特性的加特性，例如产品+OEM/定制。有价格关注的可以重点挖掘价格类，例如：便宜的/低价的+产品。有质量要求的加质量类关键词，例如：产品+哪里好/哪家好。等等还有很多，关键站在用户的角度和习惯去挖掘，可以利用很多的挖词工具进行挖词。按销售逻辑挖词效果最好。欢迎深入交流。