零一生意参谋爬虫beta,爬虫如何利用淘宝赚钱

我的一个客户，用我做的系统，配合pa虫，一个月赚5～6万。

他朋友现在也想做。

我精力有限，只做程序部分

关于S D我相信大家都在刷但是也有个别没有刷的！在这里我想说的是不管你在没在S D 往下面看一下也许能学到一些东西！应为S D在做前期推广的时候的确是一个非常不错的选择！可以节约不少推广费而且简单粗暴！也有说直通车返现淘宝客白菜之类的方法很多在这里我就不一一阐述！毕竟今天要说的是如何减少被查的几率！S D的朋友有些经常被抓！也有长期没事的！或者说从来没有被抓过！不排除个别客户是真的刷不死！有签署“保密协议”的客户我们这里就不在阐述！毕竟多数淘宝商家是没有这个能力达到你们的这种状态的！关于S D我只想对大家说常在河边走哪有不湿脚！如果你选择S D来做前期推广也好补单也罢一旦选择S D就必须有做好被抓的准备承受被抓的损失！要嘛就选择别S D！好了不说废话了直接说重点！

S D注意事项！下面的这些东西都是在S D的时候不能触碰的！不能做的！1、变相降低S D价格 价格区间过大！

如果你去S D的时候 刷50块的这样的情况你很快会死！

2、通过领取红包形式S D！3、通过领取优惠券S D！4、改邮费特别是家具行业！5、刷产品套餐！6、S D的时候改价格！7、在S D的时候修改SKU(尺码)！8、在S D的时候修改详情页！9、在S D的时候修改宝贝主图！10、在S D的时候修改宝贝标题！11、在空包网上购买便宜单号！或者重复单号！

这里我要给大家讲解一下！首先你在空包网上买的单号基本上都是人家用过的单号!当然不一定是淘宝上用的比如京东、蘑菇街、一号店、等等！当然这样用来做淘宝 当然是一手！但是你不能保证人家卖给你以后不会卖给别人！就算你用的是一手单号！如果这个单号又卖给别人了！人家在填写单号的时候就会出现“这个单号已经使用”类似这样的提示当该提示超过3笔！恭喜你中奖了！这个时候淘宝就一定会来排查你一遍如果你在S D就等死吧！这种死法是最冤的！所以在这里提醒大家，有条件一定要发真实空包裹！家具行业或者是大件需要物流单号的建议到当地物流哪里去抄一个单号主要注意单号的位数的起始数值！位数不要搞错！还有如果你今天单号是8位数如88888888！你不能倒着填写变成88888887这样也很容易死的！

12、在S D的时候忽然停刷！

解释一下！如果你这个宝贝每天都是有转化的忽然停止S D了就会出现转化异常这个时候淘宝爬虫都会来查你的，这样的情况就非常有可能出现降权或者清洗！还有一种可能就是排序降档！另外一种叫法就是“隐形降权”排序降档的惩罚期有几种3天 5天 15天 30天！这段时间你是没有排名的！还有这段时间立即停止S D！宝贝排名会在这几天的惩罚期过了以后恢复！

13、活动单子聚划算淘抢购天天特价一号拍多件！要死！14、秒刷改类目不能做！15、刷钻刷皇冠不能做！16、刷流量不能做！

解释一下！很多做淘宝S D的朋友也许都在刷流量但是到我这里来以后我都告诉大家不要刷流量了每次都要一一解释我觉得非常麻烦在这我给大家讲解一下为什么不要刷流量！我对刷流量的行为用一个成语来形容！“掩耳盗铃”为什么这样讲！淘宝免费流量是更具你的宝贝排名来给与你相应的流量的！比如说你宝贝排名在100淘宝就给你100的流量如果 你宝贝排名在50淘宝就给你500的流量！所以你宝贝如果排名在100淘宝给你的流量本来就是100你一定要通过其他方式来做到200或者300！表面上看来你的流量的确是多了很多 你在补转化的时候可以给多一点单量如按照100流量5单转化5%来计算的话！你刷出来的300流量就应该补单到15单才能达到5%的转化了！如果你这样去做就错误了！淘宝强大的督查系统会过滤掉你刷出来的流量只按照他分配给你的自然流量来计算！当你刷出来的300流量的时候！实际转化率其实是15%！这对一个新品来讲就提高了没抓的几率！原因转化异常！所以大家不要去刷流量了！有多少流量就补多少单吧！老实点！

17、控制转化！

解释一下！转化的控制一定要控制到细节！首先看你自己店铺的流量构架到底是那一些来源！专属类目 天猫 直通车 淘宝客 钻展！如果能触碰到钻展的话基本流量构架就应该非常清楚了！这里我是讲给那些比较初级的运营或者说是比较初级的店家的！上图给大家看下吧！打开“生意参谋”网页版！

这里可以看到你的流量来源以及流量构架

不要看这里的转化！

我们要看这里的细节

这个是PC端的转化

这个是无线端的转化

18、关键词一定要经常换！

解释一下不知道关键词在什么地方换的我这里给大家讲下上图

这个是PC端的关键词有4页供你选择

这里是无线端的关键词有25页供你选择

但是前期新品这里根本没有关键词我们可以通过老产品引流进入购买或者通过二维码，淘口令之类的来做！总之你如果有一定排名或者销量以后这里一定会出现关键词供你选择的！如果你已经刷了30单左右了 还是没有出现关键词 建议停刷5天！应为你的宝贝很有可能已经进入淘宝排查范围，或者已经排序降档了！没关系休息几天排名一定会出现的！

19、低价产品不适合S D10元钱一下的就算低价了！不S D都被降权还别说S D了伤不起！20、S D期间因为真实客户差评引起的纠纷到小二哪里去小二介入！还是会出问题的！

总结一下以上的这些可以说是硬性规则了！是千万不能碰的东西！S D就是要悄悄的刷之所以在S D期间不能去修改详情、主图、SKU、价格、标题、的原因就是应为你修改这些以后淘宝系统爬虫又会从新去检查你一次如果你在S D就很容易中招！还是那句话悄悄的刷等自己壮大以后脱离S D到时候想怎么改就怎么改！我们是在做淘宝不是在做S D。

爬虫需要有两个：

1.需要算法2.目标对象地址，也就是网址

爬虫爬取生意参谋平台数据，意思是第三方软件工具获取生意参谋标准版和专业版里面的数据。

感谢邀请！

有着三年淘宝经验不知道能不能帮得上你，现在淘宝是大数据时代，很多人说淘宝更难做了更难刷了，没什么用了，确实如此，淘宝考核的数据多了，以前的方法就没那么管用了，加上现在的淘宝不比以前，各项数据都要考核到位，考核周期也变长了！

店铺的数据分析的话，最简单的就是生意参谋，不过生意参谋要购买标准版或者专业版才更好分析，一般思路的话，如果一个新品，前期从上架到打爆，分成五个阶段，当然，测款这也是一个阶段，第一周基本上都是考核点击率，商品标题做好，做标题也要在生意参谋市场分析里面找热词，展现高的词，然后就是考核点击率了，一般一个词的点击率整个市场的，要记下来，然后这个词的点击率前期肯定是要大于市场平均的点击，这样才能获得更大的曝光，前期破零是肯定的，一般这样一个星期左右，数据有了才好分析，主要看每天的点击关键词，进店关键词，成交词，支付转化率这些！

如果是一个老店，老款，分析就有很多种，生意参谋是一点，另外一点基本上大家都知道，爬虫软件，就比如千里眼店侦探这些的 ，一个商品后期基本上都是考核回购率跟关键词的产值，做好这几点比较好做排名，数据分析主要分析进店关键词的转化率，维持产值！

大数据时代，用数据做出理性分析显然更为有力。做数据分析前，能够找到合适的的数据源是一件非常重要的事情，获取数据的方式有很多种，不必局限。下面将从公开的数据集、爬虫、数据采集工具、付费API等等介绍。给大家推荐一些能够用得上的数据获取方式，后续也会不断补充、更新。

一、公开数据库

1.常用数据公开网站

UCI：经典的机器学习、数据挖掘数据集，包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老，但依然活跃在科研学者的视线中。

国家数据：数据来源中华人民共和国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，全面又权威。

CEIC：最完整的一套超过128个国家的经济数据，能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

万得：简要介绍：被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

搜数网：已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

中国统计信息网：国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

亚马逊：来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

figshare：研究成果共享平台，在这里可以找到来自世界的大牛们的研究成果分享，获取其中的研究数据。

github：一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，适合做研究和数据分析的人员。

2.政府开放数据

北京市政务数据资源网：包含竞技、交通、医疗、天气等数据。

深圳市政府数据开放平台：交通、文娱、就业、基础设施等数据。

上海市政务数据服务网：覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。

贵州省政府数据开放平台：贵州省在政务数据开放方面做的确实不错。

http://Data.gov：美国政府开放数据，包含气候、教育、能源金融等各领域数据。

3.数据竞赛网站

竞赛的数据集通常干净且科研究性非常高。

DataCastle：专业的数据科学竞赛平台。

Kaggle：全球最大的数据竞赛平台。

天池：阿里旗下数据科学竞赛平台。

Datafountain：CCF制定大数据竞赛平台。

二、利用爬虫可以获得有价值数据

这里给出了一些网站平台，我们可以使用爬虫爬取网站上的数据，某些网站上也给出获取数据的API接口，但需要付费。

1.财经数据

（1）新浪财经：免费提供接口，这篇博客教授了如何在新浪财经上获取获取历史和实时股票数据。

（2）东方财富网：可以查看财务指标或者根据财务指标选股。

（3）中财网：提供各类财经数据。

（4）黄金头条：各种财经资讯。

（5）StockQ：国际股市指数行情。

（6）Quandl：金融数据界的维基百科。

（7）Investing：投资数据。

（8）整合的96个股票API合集。

（9）Market Data Feed and API：提供大量数据，付费，有试用期。

2.网贷数据

（1）网贷之家：包含各大网贷平台不同时间段的放贷数据。

（2）零壹数据：各大平台的放贷数据。

（4）网贷天眼：网贷平台、行业数据。

（5）76676互联网金融门户：网贷、P2P、理财等互金数据。

3.公司年报

（1）巨潮资讯：各种股市咨询，公司股票、财务信息。

（2）http://SEC.gov：美国证券交易数据

（3）HKEx news披露易：年度业绩报告和年报。

4.创投数据

（1）36氪：最新的投资资讯。

（2）投资潮：投资资讯、上市公司信息。

（3）IT桔子：各种创投数据。

5.社交平台

（1）新浪微博：评论、舆情数据，社交关系数据。

（2）Twitter：舆情数据，社交关系数据。

（3）知乎：优质问答、用户数据。

（4）微信公众号：公众号运营数据。

（5）百度贴吧：舆情数据

（6）Tumblr：各种福利图片、视频。

6.就业招聘

（1）拉勾：互联网行业人才需求数据。

（2）中华英才网：招聘信息数据。

（3）智联招聘：招聘信息数据。

（4）猎聘网：高端职位招聘数据。

7.餐饮食品

（1）美团外卖：区域商家、销量、评论数据。

（2）百度外卖：区域商家、销量、评论数据。

（3）饿了么：区域商家、销量、评论数据。

（4）大众点评：点评、舆情数据。

8.交通旅游

（1）12306：铁路运行数据。

（2）携程：景点、路线、机票、酒店等数据。

（3）去哪儿：景点、路线、机票、酒店等数据。

（4）途牛：景点、路线、机票、酒店等数据。

（5）猫途鹰：世界各地旅游景点数据，来自全球旅行者的真实点评。

类似的还有同程、驴妈妈、途家等

9.电商平台

（1）亚马逊：商品、销量、折扣、点评等数据

（2）淘宝：商品、销量、折扣、点评等数据

（3）天猫：商品、销量、折扣、点评等数据

（4）京东：3C产品为主的商品信息、销量、折扣、点评等数据

（5）当当：图书信息、销量、点评数据。

类似的唯品会、聚美优品、1号店等。

10.影音数据

（1）豆瓣电影：国内最受欢迎的电影信息、评分、评论数据。

（2）时光网：最全的影视资料库，评分、影评数据。

（3）猫眼电影专业版：实时票房数据，电影票房排行。

（4）网易云音乐：音乐歌单、歌手信息、音乐评论数据。

11.房屋信息

（1）58同城房产：二手房数据。

（2）安居客：新房和二手房数据。

（3）Q房网：新房信息、销售数据。

（4）房天下：新房、二手房、租房数据。

（5）小猪短租：短租房源数据。

12.购车租车

（1）网易汽车：汽车资讯、汽车数据。

（2）人人车：二手车信息、交易数据。

（3）中国汽车工业协会：汽车制造商产量、销量数据。

13.新媒体数据

新榜：新媒体平台运营数据。

清博大数据：微信公众号运营榜单及舆情数据。

微问数据：一个针对微信的数据网站。

知微传播分析：微博传播数据。

14.分类信息

（1）58同城：丰富的同城分类信息。

（2）赶集网：丰富的同城分类信息。

如果你是小白，想通过爬虫获得有价值的数据，推荐我们的体系课程——Python爬虫：入门+进阶

三、数据交易平台

由于现在数据的需求很大，也催生了很多做数据交易的平台，当然，出去付费购买的数据，在这些平台，也有很多免费的数据可以获取。

优易数据：由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

数据堂：专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

四、网络指数

百度指数：指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

阿里指数：国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。

友盟指数：友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

爱奇艺指数：爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。

微指数：微指数是新浪微博的数据分析工具，微指数通过关键词的热议度，以及行业/类别的平均影响力，来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块，此外，还可以查看热议人群及各类账号的地域分布情况。

除了以上指数外，还有谷歌趋势、搜狗指数、360趋势、艾漫指数等等。

五、网络采集器

网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。

造数：新一代智能云爬虫。爬虫工具中最快的，比其他同类产品快9倍。拥有千万IP，可以轻松发起无数请求，数据保存在云端，安全方便、简单快捷。

火车采集器：一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息。

八爪鱼：简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。

第三方软件给的数据就是个笑话，淘宝早就防着各种爬虫软件爬数据了。生意参谋出租还会被封号，你觉得淘宝会坐视第三方软件爬取自己的数据吗？

想知道第三方数据准确不准确，对照自己生意参谋查看自己店铺对照一下就知道，基本都是扯的，唯一能对上的或许也就是销量吧，然而也没鹅用，打开淘宝自己也能看到。

生意参谋是免费的最好数据工具，好好利用，至于付费功能，比如市场行情之类的，看自己店铺情况吧，经济允许尽量订一下，标准版也才几百块，起码你做个标题或者找主打关键词是必须用的。

直通车一开就动百动千，不舍得订市场行情就错了，车要少开，拉免费流量，多找找词，就这样吧。

有月租的，有分次查询的，这个行业已经滋生了很多便宜一不小心就会上当，我都遇到一次。还有就是抓取的爬虫软件肯定不行了，淘宝一更新就over

网页数据采集其实是一种可以影响各行各业的产业，发展到现在，它有着广泛的用途，这里列举一些比较常见的用途，当然他的用途不止这些，要列举的很细的话，上百条都能列出来。因为，只要有了数据，怎么用那就很多了，就算同一份数据，不同的人也有不同的用途。

1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集。

2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻。

3. 监控竞争对手最新信息，包括商品价格及库存。

4. 监控各大社交网站，博客，自动抓取企业产品的相关评论。

5. 收集最新最全的职场招聘信息。

6. 监控各大地产相关网站，采集新房二手房最新行情。

7. 采集各大汽车网站具体的新车二手车信息。

8. 发现和收集潜在客户信息。

9. 采集行业网站的产品目录及产品信息。

10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。

除了以上这些，还有很多让你意想不到的用途：

1. 采集世界各大足球联赛数据，各大博彩公司的足球赔率数据，通过对上百万历史数据的分析，来总结规律，用以指导购买足球彩票。

2. 采集某工业零部件行业网站的所有零件数据和图片，用来制作自己公司的宣传画册以及产品手册。

3. 采集淘宝某店铺的所有商品，然后放到自己店铺，有人购买时，直接由该店铺发货，价格虽然一样，但是可以直接返点，又不用存货发货，轻松做网店店长。

4. 采集各大综合性网站关于某个县级市的相关信息，然后汇总，建立一个地方小门户网站。

5. 某外贸公司利用发源地在搜索引擎搜索指定的英文关键词，采集结果页面的邮箱，然后利用邮件群发软件向这些国外用户推送他们的产品，因为国外人用电子邮件的习惯比较多，因此收到了不错的广告效果。