解码数据背后的商业价值（上）,互联网大数据是什么工作

大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。大数据的应用范围

大数据的应用对象可以简单地分为给人类提供辅助服务，以及为智能体提供决策服务。

大数据不仅包括企业内部应用系统的数据分

析，还包括与行业、产业的深度融合。具体场

景包括：互联网行业、政府行业、金融行业、

传统企业中的地产、医疗、能源、制造、电信

行业等等。通俗地讲“大数据就像互联网＋，可以应用在各行各业”，如电信、金融、教育、

医疗、军事、电子商务甚至政府决策等。

零售餐饮行业：利用大数据实现餐饮O2模式，彻底改变传统餐饮经营方式。通过了解顾客的喜好，可以对营销方案进行改进、服务转

型。

医疗保健行业：改善治疗或向患者提供更好的医疗援助；提高行政管理、成本管理、人力资源／人员管理和供应管理的效率。

能源行业：大数据能加速推进能源产业发展及商业模式创新等。

我发现一个问题，当和一些不熟悉我们这个领域的朋友们来说，解释大数据的概念比起解释商业智能 BI 要容易的多。举个例子，我们问“你知道什么是商业智能 BI”吗？通常情况会一脸茫然的回答到：“不知道！”。但是当我们问：“你知道什么是大数据吗？”，通常情况下大部分人都会很直接的回答：“大数据，我知道啊！”.....“就是数据很大”（我问过我同学、朋友、家人，答案几乎一致，但是他们完全没有相关任何从业经验）。通常的还有数据分析、数据挖掘，这些名词本身就和大数据一样自带解释功能。对于一般非本行业的朋友们来说，看到这些词通过字面意思通常就能理解个大概，所以取一个好名字就显得有多么的重要。

站在一个比较专业的角度来看，这些解释肯定不太严谨或者本身的理解就是错误的，比如前面所提到“大数据就是数据大”的情况。但我个人认为这些并不是什么太大的问题，因为能理解个大概总比解释了半天还不能理解要好。那我现在要说的就是如何向身边的朋友或者客户解释什么是商业智能 BI。

不要试图用一句话解释什么是 BI

在看下面的文章之前，先停下来想一下，假设是由你来介绍，你会用什么样的方式向一个朋友或者你的客户来解释什么是商业智能（Business Intelligence） 呢？

比如：

BI 就是把数据转换为信息。

BI 就是报表。

....

我要说的是，不要尝试用一句话解释商业智能 BI 是什么，因为它本身就是一个专业词汇，背后涉及到方方面面的概念和知识体系。就如同跟一个不懂遗传学的人解释什么是“孟德尔遗传规律”一样，即使可能用一句话高度概括了，但我相信很多人听了仍然不懂。所以，当你向你朋友解释不了什么是商业智能 BI 的时候，这是非常正常的。不是我们知识不够我们讲的不好，而是因为它本身太专业，它包括了 ETL、数据仓库、OLAP、数据分析、数据挖掘等专业技术，以及整套将数据变为信息、信息升华为价值的整个过程。

当每个人都认为自己解释的是正确的，但同时在别人的眼里都是不正确的或者不是很完美的时候，就不要试图用一句话来解释了。

什么是商业智能 BI？

我们先来看看官方的解释。

1) 来自 Wikipedia 的定义：Business intelligence (BI) can be described as "a set of techniques and tools for the acquisition and transformation of raw data into meaningful and useful information for business analysis purposes". （Business intelligence）

2) 来自百度百科：BI 是Business Intelligence的英文缩写，中文解释为商务智能，用来帮助企业更好地利用数据提高决策质量的技术集合，是从大量的数据中钻取信息与知识的过程。简单讲就是业务、数据、数据价值应用的过程。（Business Intelligence）

对于一些完全没有接触过 BI 的朋友们来说是不是很难理解？ 什么叫高质量决策的技术集合？什么叫钻取数据？业务、数据、数据价值应用又是什么？

如何快速的理解商业智能 BI？

跟人们解释一样东西，还是从他们最熟悉的东西开始。我们从到一个餐厅点单开始说起，同时便于大家对比和理解，我在这里不提商业智能 BI，只提一个最简单的场景，从做一张报表开始。

点单和提出报表需求

在图片左边，我们现在去一个餐厅点单，需要点一个菜叫做“小鸡炖蘑菇”。同时在图片右边，我们需要做一张有关销售方面的报表。

餐厅点单的时候，顾客提出了具体的要求（假设可以这样随便提出要求），比如对于食材必须是深山散养的童子鸡，以及对于其它材料的要求，蘑菇的切法等等。这就对应于我们现在要一张有关“产品销售分析”的报表一样，需要弄清楚这张报表应该如何展现，具体需要哪些方面的数据展现在报表上面。无论是点单还是报表需求询问，这都是一个“提出需求的过程”。客户要什么东西，这些东西怎么做，这些就是需求。

备菜的过程与准备报表数据

备菜的过程说简单点就是要上这盘菜，要炒这盘菜，首先我们得把原材料准备好，比如鸡肉、香菇。同样的，我们要去准备一张报表，需求拿到了，那我们就要去准备好这些数据，比如销售相关的、产品相关的数据。备好的菜是放在一个叫操作台的地方，大厨就直接可以炒菜了。同样的，备好的数据放在一个叫“数据仓库 Data Warehouse”的地方，报表开发人员可以从里面直接找到数据制作报表。

原材料的清洗和数据的清洗

下锅炒菜的时候不能直接把一只鸡放在操作台上扔进锅里炒，在原材料变成炒菜的材料之前要把鸡割颈拔毛开膛破肚去屁股尖切成块；蘑菇去根，洗净，顶部开十字口等等，这是一个择菜、洗菜、把源材料变成一个真正可用可下锅的一个过程。这个过程就是 ETL —— Extract 抽取，把鸡拿出来；Transformation 转换，把鸡变成鸡块，完成清洗和转换工作；Loading 加载，把洗净的鸡块放到操作台上以供随时炒菜。

数据的准备过程和菜品原材料的清洗过程是一样的道理，数据是存放在一些数据表中，但是并不是所有的数据都需要抽取出来，只有有用的数据才会被抽取（Extract）；涉及到一些数据需要去重、合并计算、格式转换（比如 15/10/22 转换成 2015-10-22）等都属于 Transformation 阶段；Loading，最后把数据统一加载到数据仓库 Data Warehouse，数据仓库中有一组表。

对于菜品的源材料清洗过程很容易理解，这里为了让大家理解对于数据 ETL 的过程，举了下面这个例子。第（1）张表是我们的原始数据，我们的清洗规则是拿到从0034到0036,0036到0048之间的时间间隔，因此需要通过程序来计算和整理这些数据，可能先转变成第（2）张表的数据，最后再计算转变成第（3）张表的结果。而第（3）张表的结果就是报表最后要的结果，比如展示 ID = 1001， 1002， 1003 ... 等各自的时间间隔。

原材料的采购和源数据的加载

我们再继续想一想，这些鸡和蘑菇是从哪里来的？菜场。可能是一个菜场，也可能是多个菜场的多个摊位采购的，采购之后先原封不动的放到厨房。

源数据的采集和加载也是同样的道理，数据可能是来自外部系统，也可能来自内部的不同业务系统，比如 CRM 系统、ERP 系统，也有可能来自业务人员的 EXCEL 表格， 这些统称为 Data Source 数据源。

这些数据通过 ETL 工具原封不动的抽取到一个叫做 ODS 或者 STAGING 的数据库（或者数据库中的一些表）先存放起来，就类似于把菜买回来先放到厨房，先放起来。后面才有数据的清洗、整理，完毕之后才放到数据仓库，在之后就是制作报表的过程。

这里还要解释一下，ETL 工具和 ETL 的概念区别。ETL 描述的是将数据从一个源头抽取出来，中间完成了数据的清洗和整理，把干净的数据放入到目标数据库或表这样的一个过程。这个过程是可以通过一些工具来实现的，这些帮助实现 ETL 过程的工具统称为 ETL 工具，比如 DataStage、Kettle、Informatica、微软 BI 的 SSIS 等。

回顾整个过程

其实到这里，这些流程已经是比较清楚了，现在只需要反转一下。

其中有几个点我再来解释一下：

第一，菜并不是客户点了单之后我们才到市场去采购的，而是在点菜之前就准备好了的。同样的，报表并不是客户提出了需求我们才去找数据，可能这些数据早就准备好了，当报表需求提出的时候我们只需要从数据仓库中去取就可以了。如果菜品的源材料没有了，只是当时这个菜可能做不了，但并不代表以后这个菜就没有了，以后仍然可以采购。同样的，如果报表所要的数据没有了，就需要顺着这个流程反过来去找，找到数据的源头，然后抽取过来，加工放到仓库里。

第二，在 BI 项目中，通常数据是定时比如说每天晚上或者凌晨从各个数据源抽取到 STAGING/ODS，再到数据仓库，所有的历史数据根据不同的设计得到部分或者全部保留。

第三，从上图中 ODS/STAGING 到 DW 处我用 ETL 来匹配“择菜、洗菜、切菜”的过程。其实从各个数据源抽取数据到 ODS/STAGING，也属于 ETL，只不过在这个 ETL 过程中数据都是原封不动的搬过来，发生了很少的或者没有发生 TRANSFORMATION 转换操作。

一个简单的 BI 项目架构

这篇文章不会把 BI 描述的过于复杂，就如同描述一栋住宅一样。这个住宅你可以规划的非常复杂，把一切都描述的尽善尽美。你也可以把住宅画的很简单，也能让大家明白这就是一个住宅，有门有窗有房顶。同样的道理，对于 BI 来说，不同的人有不同的解释和定义，但我们一样可以描述的很简单。

商业智能 BI 就是一个把数据变为信息的过程 —— 将企业中的各个部分、各个业务系统中的数据统一的按照一定规则的抽取、清洗，最后加载到一个统一而集中的数据库中。在这个数据库之上，可以做报表展现、也可以做数据分析，最后这些展现和分析的结果将能成为一些决策的重要数据支持，这就是描述商业智能 BI 的一个最简单的价值。简单概括这个过程所体现的三个大的部分就是：Data Source 数据源，Data Warehouse 数据仓库的数据准备，Reporting 报表系统提供报表展现和数据分析。

关于报表展现和数据分析

我这里再来放一些图表，来自不同的报表工具，这些报表都是以展现或者分析的目的而制作的，通过数据报表来发现和找到企业在生产、内部管理、市场、客户管理等各个方面的问题，或者作为日常会议决策过程的数据支持。

最后我要说的是，这并不是 BI 的全部，BI 所涉及到的内容和部分比想象中的更复杂。但是作为一个之前并不了解 BI 的朋友们来说，相信通过这篇文章会让你对 BI 的认识更加清晰一些，尽管到最后你还是不能用一句话来表达它的全部。如果看完了之后，更加觉得疑惑或者有更多的问题想要抛出来，可以稍微压抑一下自己的冲动，只需要把做饭的过程和我所描述的报表制作过程理解了就可以了。如果连做饭的过程都不知道，我只能说你日子过的太舒服了，请不要到这里和我们抢饭碗。

如果想了解的更加深入，我会在我的专栏（天善智能社区 BIWORK）更新更多这样的文章，比如商业智能 BI、大数据、数据分析和数据挖掘它们之间的关系，BI 体系的技术与产品划分等内容。

之前发布的一些文章：

如需转载，须经天善智能或本人同意授权，并请完整保留以下内容，否则违者必究：

文本转自天善智能社区 BIWORK 专栏

既然是大数据时代，做电商必不可少的就是分析数据。平台搭建在那里，不是任由买卖双方自己去玩，平台只收收服务费管理费，就可以高枕无忧。最终的目的，都是要在行业里不断做大做强。

像旅游业，可以从两个方面对数据进行分析。

最重要的是客户行为，分析不同区域不同年龄甚至不同职业的客户，他们的消费水平，他们的旅游喜好。比如老年人，喜欢节奏更慢更舒缓的旅游方式，喜欢热热闹闹的搭伙出行，即使逛逛购物店也可以接收；年轻人喜欢猎奇，喜欢干净利落说走就走，比之跟团，可能更倾向于自由半自由行。因此针对不同的受众，可以推荐不同的旅游路线和团餐。现在的大数据真的是无孔不入，我在淘宝或京东浏览过什么，头条的广告马上就会给我推荐类似产品。

第二个要分析的就是环境变化。比如新冠，去年底其实就开始了，但是在1月份有很多旅游公司可能还没反应过来，这个超长春假不仅没让旅游业捞到好处，反而血亏。又比如，周边国家内部动荡或与我国交恶，都应及时调整相应营销策略，规避风险。

总之，比之传统旅游，进入电商时代的旅游业有了更强大的数据积累，可以做不同纬度的精准分析，目的都是降低风险，扩大客户渠道，实现利益增值。

对于电子商务行业来说，数据分析在企业内部非常重要，营销管理、客户管理等环节都需要应用到数据分析的结果，利用数据分来来发现企业内部的不足，营销手段的不足、客户体验的不足等等，利用数据挖掘来了解客户的内在需求。那么要达到这些效果，在电子商务行业大数据分析主要是采用以下算法以及模型：

电子商务大数据

　　第一、RFM模型

　　通过了解在网站有过购买行为的客户，通过分析客户的购买行为来描述客户的价值，就是时间、频率、金额等几个方面继续进行客户区分，通过这个模型进行的数据分析，网站可以区别自己各个级别的会员、铁牌会员、铜牌会员还是金牌会员就是这样区分出来的。同时对于一些长时间都没有购买行为的客户，可以对他们进行一些针对性的营销活动，激活这些休眠客户。使用RFM模型只要根据三个不同的变量进行分组就可以实现会员区分。

　　第二、Apriori算法

　　这个应该是属于数据挖掘工具的一种，属于关联性分析的一种，就可以看出哪两种商品是有关联性的，例如衣服和裤子等搭配穿法，通过Apriori算法，就可以得出两个商品之间的关联系，这可以确定商品的陈列等因素，也可以对客户的购买经历进行组套销售。

　　第三、Spss分析

　　主要是针对营销活动中的精细化分析，让针对客户的营销活动更加有针对性，也可以对数据库当中的客户购买过的商品进行分析，例如哪些客户同时购买过这些商品，特别是针对现在电子商务的细分越来越精细，在精细化营销上做好分析，对于企业的营销效果有很大的好处。

　　第四、网站分析

　　访问量、页面停留等等数据，都是重要的流量指标，进行网站数据分析的时候，流量以及转化率也是衡量工作情况的方式之一，对通过这个指标来了解其他数据的变化也至关重要。

　　在电子商务行业竞争越来越大的今天，也是一个花钱的时代，花出去的钱能不能得到收益，是企业最关注的，投资回报率是大家都要考虑的，因此数据分析在电子商务行业的位置也越来越重要。

在当前的大数据时代，数据分析有非常重要的作用，是数据价值化的重要方式。数据分析简单的说就是从一堆杂乱无章的数据中，找到其背后的规律，从而服务于各种社会活动（商业决策、交通规划、诊疗方案、教育方案等等）。随着大数据的逐渐落地，数据分析将在未来的产业互联网阶段发挥出越来越重要的作用。

从产业互联网的角度来看，数据分析将起到以下几个方面的作用：

第一：数据分析能够体现出企业的健康状况。一份完整的数据分析报告能够比较全面的体现出企业的生产经营状况，通过数据分析能够直观的反映出企业的问题出在哪里，是企业健康与否的重要参考。

第二：数据分析为制定企业策略提供依据。数据分析将广泛应用于产品的设计、研发、生产、销售和服务环节，数据分析能够为产品设计提供依据，可以对设计元素进行市场分析，从而对产品未来的市场热度做出一定的预测。目前，数据分析已经广泛应用在销售领域，是企业制定销售策略、推广策略不可缺少的环节。

第三：数据分析辅助企业管理。数据分析对于企业管理的重要性越来越高，在提倡精细化管理、网络化管理、智能化管理的今天，数据分析是企业管理的重要手段之一。通过数据分析能够对不同岗位进行多维度分析，同时可以对每名工作人员生成一个完整的工作状态描述，这些对于企业管理都具有重要的意义。

数据分析的运用还能明显降低岗位的工作难度，所以对于现代职场人来说，掌握一定的数据分析技能是比较重要的。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续在头条写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网方面的问题，也可以咨询我，谢谢！

现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流也越来越密切，生活也越来越便捷，然而大数据就是这个高科技时代的产物。阿里巴巴创办人马云曾经说过，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，这显示出大数据对于阿里巴巴集团来说是举足轻重的。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在于“大”，而在于“有用”。数据的价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据，发掘其潜在价值，才是赢得核心竞争力的关键。

研究大数据，最重要的意义是预测。因为数据从根本上讲，是对过去和现在的归纳和总结，其本身不具备趋势和方向性的特征，但是我们可以应用大数据去了解事物发展的客观规律、了解人类行为，并且能够帮助我们改变过去的思维方式，建立新的数据思维模型，从而对未来进行预测和推测。比如，商业公司对消费者日常的购买行为和使用商品习惯进行汇总和分析，了解到消费者的需求，从而改进已有商品并适时推出新的商品，消费者的购买欲将会提高。知名互联网公司谷歌对其用户每天频繁搜索的词汇进行数据挖掘，从而进行相关的广告推广和商业研究。

大数据的处理技术迫在眉睫，近年来各国政府和全球学术界都掀起了一场大数据技术的革命，众人纷纷积极研究大数据的相关技术。很多国家都把大数据技术研究上升到了国家战略高度，提出了一系列的大数据技术研发计划，从而推动政府机构、学术界、相关行业和各类企业对大数据技术进行探索和研究。

可以说大数据是一种宝贵的战略资源，其潜在价值和增长速度正在改变着人类的工作、生活和思维方式。可以想象，在未来，各行各业都会积极拥抱大数据，积极探索数据挖掘和分析的新技术、新方法，从而更好地利用大数据。当然，大数据并不能主宰一切。大数据虽然能够发现“是什么”，却不能说明“为什么”;大数据提供的是一些描述性的信息，而创新还是需要人类自己来实现。

分析访客转化率，留存情况、访客客户端来源等，除了要做好访客数据分析，还要分析网页的点击率等，分析不同平台的广告投入和效果。在奥威软件demo平台上的电商数据可视化分析文件夹里倒是有一些现成BI报表，有需要的可以去参考下

智慧社区建设是现在的一大热点，地产商以社区群众的幸福感为出发点，通过打造智慧社区为居民提供便利，从而加快和谐社区建设，推动区域社会进步，使人们的工作和生活更加便捷、舒适、高效。

那么大数据对于智慧社区而言，扮演着什么样的角色呢？简单概括来说，大数据是基于管理或商业目的，按照目标要求进行收集、整理、加工和分析数据，从庞杂的各类数据中提炼有效信息的一个过程。对于企业来说，可以提高企业效率，降低运营成本。同时对于企业管理来说，也可以促进信息在企业各部门间的高效利用，降低管理成本和人员成本。

1、以数据为基础，通过智慧社区大数据库，建立一个地产、物业、小区居民畅通的沟通渠道。

2、智慧社区还包括了社区居民消费服务等有巨大商业价值的消费大数据，这对于服务型行业来说其商业价值同样是不可估量的。简单来说你有什么样的潜在需求，商家在你还未进行消费服务的时候就已经为你在恰当的时间准备好了。

3、整合社区的地理信息和人口数据、社区周边企业法人信息数据，结合线下、物联网和互联网配合采集的信息数据录入方式，在智慧社区平台上建立一个实时数据库。有了这样一个整合性的数据库，社区管理的准确性、实时性、条理性和可统计性将大大提高。

4、利用智慧社区大数据平台建立应急呼叫平台，为社区空巢、孤寡老人等群体提供最及时最贴心的便捷服务。通过建设社区老人的健康数据，使得社区的养老服务可监管、可追溯、可查询、可分析，同时也是城市人口健康大数据的重要来源，因为具有数据采集样本丰富、涵盖比率高的优势，所以社区健康数据的来源具有其他系统数据库所不具有的优势。

1、对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；

2、做小而美模式的中小微企业可以利用大数据做服务转型；

3、面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。