2021年咨询工程师继续教育讲义-大数据技术、市场、产业与投资.doc

1、大数据技术、市场、产业与投资影响未来技术变革大数据时代。iPhone手机的运算能力能让上世纪70年代的IBM主机自愧不如。互联网正演变为“云”网络一个由数以千计的数据中心组成的网络，每一个数据中心都可以让1990年的任何一台超级计算机看上去像是洪荒年代的产物。惊人的数据处理能力使以往无法想象的服务和业务成为了可能。智能化生产。这是一个近乎完美的计算化设计和制造的时代，它将令我们制造产品的方式产生巨大改变，而这个时代的决定性力量将是高素质人才而不是廉价劳动力。无线网络革命。无线连接的成本快速下降，其意义如同电报和电话刚刚出现所带来的深远影响。结合云计算，无线技术给所有地点的几乎所有人带来了低成本

2、的连接、信息和处理能力。华尔街日报网站2013年4月22日文章：科技引领的繁荣即将到来互联网上的一分钟什么正在发生？当下，五大力量的消长：快递消灭渠道网银支付消灭终端SNS（社交化媒体）消灭传统媒体SEO（搜索引擎优化）消灭广告客户端消灭逛街阿里、腾讯、百度、小米、乐视等代表了进攻方力量。电商的顾客在“空中”即被拦截，央视媒体的饱和轰炸，也不能改变消费者购物路径迁移的趋势。2013年马云与王健林1亿元对赌电商份额，以2014年王健林的主动取消而告结束。形势比人强：线下店商无法阻挡线上电商对零售份额的瓜分。2013年，从李宁到好想你，百货商场的关店潮蔓延到品牌连锁店，已经充分说明，传统商业形态的

3、模式红利已经走到了尽头。提纲新经济模式及变革性大数据技术及其影响商业生态系统重塑虚拟与现实边界跨越数据生产力倍增效应产业业态的深度融合产业融合：是指由于技术进步和管制放松，发生在产业边界和交叉处的技术融合，改变了原有产业产品的特征和市场需求，导致产业的企业之间竞争合作关系发生改变，从而导致产业界限的模糊化甚至重划产业界限。产业融合带来传统产业边界的模糊化和产业服务化趋势，意味着产业间新型竞争协同关系的建立和更大的复合经济效应。产业融合具有全方位、跨行业、深层次、超国界的深远影响。组织模式的加速变革信息技术应用加速制造方式变革，通过网络协作彻底颠覆制造业组织模式。新材料、廉价机器人、智能软件、在

4、线服务和3D打印机等综合应用，将催生大量中小企业进行低成本、小批量生产，小作坊、在家里、车库都可以生产。新兴业态的快速兴起信息技术加速与传统产业融合端设备快速增长Number of hosts使用人数、时间增加大数据的来源大数据就是对多样化的海量数据进行快速处理与分析，从而获取巨大商业价值的理念、技术和服务。大数据爆发式增长全球新产生的数据年增40%，全球信息总量每两年就可以翻番！其中非结构化内容超过85%！大数据价值的供应链大数据指一切与大数据组织管理和价值发现相关的活动集合。包括用以搭建大数据平台、实现大数据存储、处理、分析、展示的相关IT基础设施与软件的销售和租赁活动，以及相关信息服务。

5、大数据四大特征海量化Volume全球数据量爆发式增长，从TB级别跃升到PB乃至EB级别全球可统计的数据存储量2015年将超过8ZB多样化Variety网络日志、音频、视频、图片、地理位置等非结构化数据非结构化数据占全部数据的80%90%非结构化数据的增长速度比结构化数据快10倍以上快速化elocity对数据的实时分析需求取代批量化分析需求实时分析、实时洞察、快速响应价值化Value蕴含巨大价值，成为企业的新型资产价值密度低，需要深度挖掘分析大数据变革性影响大数据三个方面的应用1.拓展传统的商业智能（BI）领域。以前针对大数据量的统计、关联分析、趋势预测由抽样变成全量分析、将数据回流到各种报表。

6、2.业务流程改进。对各种数据进行聚合分析，用来做业务流程改进和考核的依据。3.数据商品化。通过对已有数据或数据处理能力进行服务化或产品化包装，形成数据产品或数据服务。1.智能分析（BI）实现精准营销在保险客户生命周期（包括：潜在客户获取、客户接触、客户成熟、客户价值衰退、客户流失）的不同阶段，企业选取不同的策略，基于大数据系统对客户进行细分（包含产品偏好、服务偏好、消费方式偏好、风险偏好）。试点结果：提升度1.935倍1.智能分析（BI）结果预测大数据助力奥马巴选举奥巴马竞选团队有数千名志愿者，通过社交网络和微博数据，挖掘团队能利用这个数据库来进行分析，针对不同类型的选民测试采取不同的宣传策略

7、；运行66000个计算机分析舆情数据并建立选民档案，实施提供相关舆情报告。棱镜门“棱镜”项目2007年启动。国安局的电话记录数据库至少已有7年。项目年度成本2000万美元，自奥巴马上任后日益受重视。2012年，作为总统每日简报的一部分，项目数据被引用1477次，国安局至少有1/7的报告使用项目数据。大数据成功预测选举结果微软纽约研究院的经济学家David Rothschild根据网络舆情在2012年预测美国总统选举结果，对51个选区预测命中其中50个，准确率达到98%。在2013年奥斯卡奖项的预测中，全部猜中 。同时运行66000个计算机分析数据并建立选民档案，例如某个选民在或者上的大部分帖子

8、都是关于环保和医疗成本，就可通过电子邮件发一条源自奥巴马专门谈论环境问题的信息，让该选民有理由支持总统连任。2.业务流程改进攻防战略调整2.业务流程改进互联网金融三大变革性影响支付革命第三方支付（250多家，每年100%增长）移动支付（4.5亿移动用户，2012年1500亿）网络借贷（300余家P2P，12年总额超600亿）众筹投资（人人贷，去经营化革命）碎片化理财（余额宝，几天超过200亿）服务模式从“以产品为中心”转向“以客户为中心”从“尊重客户”转向“尊重客户体验”从“以金融”转向“技术+金融”结合从“关注大企业”转向“服务小微企业”盈利手段主要盈利手段：一是利息收入二是支付手续费；渠道

9、被分流，客户在流失，去中介化明显1.第三方支付。银行的两大功能，在支付领域发展得非常快，第三方支付现在已经批了250家了差不多，他们的这个增长，牌照200多家还在批，他们增长几乎是每年100%以上，现在超过2万亿，很快就4万亿，说到2016年就十几万亿，这个量非常大，但是这些正像晓灵说的，有它存在的必然性，它是大量的小的频繁发生的，非常快捷的这种淘宝网上发生的，这些说实在的银行真的没人家方便。2.移动支付。第二个就是移动支付也是基于互联网的业务，移动支付发展也非常快，因为现在移动支付，现在中国的移动支付手机都4.5亿了，去年的交易量是1500亿，可能到2013年就超过1万亿，爆炸式的增长。3.

10、网络借贷。网络借贷的风波是2007年从上海登陆，现在到2012年我们的P2P的网络平台已经超过300家，在中国，整个贷款总额大约超过600亿，现在数额不是很大。但是这件事儿它是呈燎原之势，发展非常快。4.众筹投资。一个是人人贷，这个是纯属的互联网金融，众筹投资掀起了一个去经营化的这样一个大众融资革命，但是在中国好像还受到很多限制，在美国发展比较快，特别是预消费成为一种新的潮流的时候，众筹投资的消费不仅仅是拿出一个项目来吸引投资，针对音乐、游戏、初创企业、应用程序、时尚设计，包括你设计一个影片的创意，都可以筹资。5.余额宝带来的碎片化理财模式。再有一个刚才讲到理财，过去银行都是拿手的，但是现在余

11、额宝推出以后，刚才讲到，通过网络销售基金产品，这个就可以把现在大额理财变成一个碎片化的理财，最小10块钱，我觉得这个可能将来对于广大老百姓，可能会有一点影响，喜欢碎片的理财，因为余额宝才几天就200亿了，而且现在还有很多的在继续申请余额宝这样的一个产品，你既然放开了，那就不是一家了。所以我想现在通过网络做金融，这几方面发展比较快。那么就这几方面，就足够提醒商业银行不可轻视了，一个是商业银行面临金融中介角色的弱化问题。因为过去商业银行他也是信息流、资金流的集中。商业银行获取信息，现在远没有互联网企业这么宽泛、这么快，而且互联网企业的开放性决定他对信息的集成要比商业银行更敏感，这是互联网的优势。2

12、.业务流程改进阿里金融阿里巴巴领先的b2b电子商务公司。淘宝是其重要子品牌，截至2009年底，淘宝拥有注册会员1.7亿，交易额为2083亿人民币，2010年交易额达4000亿元人民币。是亚洲最大的网络零售商圈。今年双十一1分钟内交易额突破1亿；1小时内突破67亿，成交超2500万单。阿里公司根据在淘宝网上中小企业的交易状况进行数据分析和筛选，实施阿里互联网金融。小额贷：累计服务25万家企业，贷款总额过800亿，户均6万，不良率1.02%（银行小微企业为5.5%6%）；余额宝：最低转入为1元，1600万用户，七日年化收益率为4.54%；众安保险：注册资本10亿元，是一家基于大数据的创新型互联网保

13、险公司。阿里金融核心：量化之路依托自身在网络体系内的巨大客户数据，进行一系列数据分析挖掘和风险评估；内部数据：交易，评价、货运、口碑等；外部数据：海关、税务、电力、水力等；2.业务流程改进智能交通系统3.数据商品化数据魔方自2006年第一位会员登录麦包包官网，麦包包至今共卖出箱包1974万余个，遍布全国596个城市；数据魔方主页的“包包中国地图”，标识每个地区人群购包特征。例如：华东消费者喜欢“高价比”；华南地区最钟爱复古风；浙江人最爱牛皮包；江苏MM喜欢追随日韩风。麦八卦 你不知道的箱包小秘密北京驴友多：月购入旅行包4592个；上海摄影师多：月购入摄影包1654个；四川大学男生以15.4%购

14、买女包比例荣获最浪漫男生榜第一名；浙江大学的女生以15.6%的购包比例成为最爱美女生。大数据技术的挑战（一）数据管理数据来自不同地方和不同标准，数据量大小、结构形式、实时性等要求不同，增加采集、编索与整合的困难，需要对传统的数据传输工具ETL（提取、转换和加载）流程进行重新设计。数据存储传统的集中式数据库、数据仓库系统已经不能有效的处理大数据的存储和分析，需要分布式处理，Hadoop就是分布式结构化数据存储方案。数据计算大量的仿真和计算任务必须协调数百个参数，大多数数据挖掘算法有很高的计算复杂度（N2 ），而不是Nlog（N）或N，需要实时操控超量和耗时的计算任务或者能够可视化中间的计算结果。当前主要是采用以GPU硬件架构与以谷歌MapReduce为基础的软件并行处理框架。大数据技术的挑战（二）数据挖掘为了处理具有高维特征的图像等多媒体数据，将高维数据看成位于一个相对低维子流形（局部具有欧氏空间性质的空间）上，利