世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学,从政府到艺术,这种影响⽆处不在。科学家和计算机⼯程师们给这种现象创造了⼀个新
名词:“⼤数据”。⼤数据时代什么意思?⼤数据概念什么意思?⼤数据分析什么意思?所谓⼤数据,那到底什么是⼤数据,他的来源在哪⾥,定义
究竟是什么呢?⼀:⼤数据的定义。1、⼤数据,⼜称巨量资料,指的是所涉及的数据资料量规模巨⼤到⽆法通过⼈脑甚⾄主流软件⼯具,在合理
时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极⽬的的资讯。2、⼤数据技术,是指从各种各样类型的⼤数据中,快速获得有价
值信息的技术的能⼒,包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适⽤于⼤数据的技术,包括⼤规模并⾏处理(MPP)数据
库,数据挖掘电⽹,分布式⽂件系统,分布式数据库,云计算平台,互联⽹,和可扩展的存储系统。3、⼤数据应⽤,是指对特定的⼤数据集合,
集成应⽤⼤数据技术,获得有价值信息的⾏为。对于不同领域、不同企业的不同业务,甚⾄同⼀领域不同企业的相同业务来说,由于其业务需求、数
据集合和分析挖掘⽬标存在差异,所运⽤的⼤数据技术和⼤数据信息系统也可能有着相当⼤的不同。惟有坚持“对象、技术、应⽤”三位⼀体同步发
展,才能充分实现⼤数据的价值。当你的技术达到极限时,也就是数据的极限”。⼤数据不是关于如何定义,最重要的是如何使⽤。最⼤的挑战在于
哪些技术能更好的使⽤数据以及⼤数据的应⽤情况如何。这与传统的数据库相⽐,开源的⼤数据分析⼯具的如Hadoop的崛起,这些⾮结构化的
数据服务的价值在哪⾥。??⼆:⼤数据的类型和价值挖掘⽅法1、⼤数据的类型⼤致可分为三类:1)传统企业数据(Traditionale
nterprisedata):包括CRMsystems的消费者数据,传统的ERP数据,库存数据以及账⽬数据等。2)机器和传感器
数据(Machine-generated/sensordata):包括呼叫记(CallDetailRecords),智能仪表,⼯
业设备传感器,设备⽇志(通常是Digitalexhaust),交易数据等。3)社交数据(Socialdata):包括⽤户⾏为记录
,反馈数据等。如Twitter,Facebook这样的社交媒体平台。2、⼤数据挖掘商业价值的⽅法主要分为四种:1)客户群体细分,然
后为每个群体量定制特别的服务。2)模拟现实环境,发掘新的需求同时提⾼投资的回报率。3)加强部门联系,提⾼整条管理链条和产业链条的效
率。4)降低服务成本,发现隐藏线索进⾏产品和服务的创新。??三:⼤数据的特点业界通常⽤4个V(即Volume、Variety、Va
lue、Velocity)来概括⼤数据的特征。具体来说,⼤数据具有4个基本特征:1、是数据体量巨⼤数据体量(volumes)⼤,指
代⼤型数据集,⼀般在10TB规模左右,但在实际应⽤中,很多企业⽤户把多个数据集放在⼀起,已经形成了PB级的数据量;百度资料表明,其
新⾸页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到⽬前为
⽌,⼈类⽣产的所有印刷材料的数据量仅为200PB。2、是数据类别⼤和类型多样数据类别(variety)⼤,数据来⾃多种数据源,数据
种类和格式⽇渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和⾮结构化数据。现在的数据类型不仅是⽂本形式,更多的是图⽚
、视频、⾳频、地理位置信息等多类型的数据,个性化数据占绝对多数。3、是处理速度快在数据量⾮常庞⼤的情况下,也能够做到数据的实时处理
。数据处理遵循“1秒定律”,可从各种类型的数据中快速获得⾼价值的信息。4、是价值真实性⾼和密度低数据真实性(Veracity)⾼,
随着社交数据、企业内容、交易与应⽤数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之⼒以确保其真实性及安全性。
以视频为例,⼀⼩时的视频,在不间断的监控过程中,可能有⽤的数据仅仅只有⼀两秒。?四:⼤数据的作⽤1、对⼤数据的处理分析正成为新⼀代
信息技术融合应⽤的结点移动互联⽹、物联⽹、社交⽹络、数字家庭、电⼦商务等是新⼀代信息技术的应⽤形态,这些应⽤不断产⽣⼤数据。云计算
为这些海量、多样化的⼤数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应⽤中,将创造出巨⼤的经
济和社会价值。⼤数据具有催⽣社会变⾰的能量。但释放这种能量,需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramay
yaKrishnan,卡内基·梅隆⼤学海因兹学院院长)。2、⼤数据是信息产业持续⾼速增长的新引擎⾯向⼤数据市场的新技术、新产品、
新服务、新业态会不断涌现。在硬件与集成设备领域,⼤数据将对芯⽚、存储产业产⽣重要影响,还将催⽣⼀体化数据存储处理服务器、内存计算等
市场。在软件与服务领域,⼤数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。3、⼤数据利⽤将成为提⾼核⼼竞争⼒的关键因素各
⾏各业的决策正在从“业务驱动”?转变“数据驱动”。对⼤数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准
有效的营销策略提供决策⽀持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域,可提⾼诊断准确性和药物有效性;在公共事业领
域,⼤数据也开始发挥促进经济发展、维护社会稳定等⽅⾯的重要作⽤。4、⼤数据时代科学研究的⽅法⼿段将发⽣重⼤改变例如,抽样调查是社会
科学的基本研究⽅法。在⼤数据时代,可通过实时监测、跟踪研究对象在互联⽹上产⽣的海量⾏为数据,进⾏挖掘分析,揭⽰出规律性的东西,提出
研究结论和对策。?五:⼤数据的商业价值1、对顾客群体细分“⼤数据”可以对顾客群体细分,然后对每个群体量体裁⾐般的采取独特的⾏动。
瞄准特定的顾客群体来进⾏营销和服务是商家⼀直以来的追求。云存储的海量数据和“⼤数据”的分析技术使得对消费者的实时和极端的细分有了成
本效率极⾼的可能。2、模拟实境运⽤“⼤数据”模拟实境,发掘新的需求和提⾼投⼊的回报率。现在越来越多的产品中都装有传感器,汽车和智能
⼿机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交⽹络也在产⽣着海量的数据。云计算和“
⼤数据”分析技术使得商家可以在成本效率较⾼的情况下,实时地把这些数据连同交易⾏为的数据进⾏储存和分析。交易过程、产品使⽤和⼈类⾏为
都可以数据化。“⼤数据”技术可以把这些数据整合起来进⾏数据挖掘,从⽽在某些情况下通过模型模拟来判断不同变量(⽐如不同地区不同促销⽅
案)的情况下何种⽅案投⼊回报最⾼。3、提⾼投⼊回报率提⾼“⼤数据”成果在各相关部门的分享程度,提⾼整个管理链条和产业链条的投⼊回报
率。“⼤数据”能⼒强的部门可以通过云计算、互联⽹和内部搜索引擎把”⼤数据”成果和“⼤数据”能⼒⽐较薄弱的部门分享,帮助他们利⽤“⼤
数据”创造商业价值。4、数据存储空间出租企业和个⼈有着海量信息存储的需求,只有将数据妥善存储,才有可能进⼀步挖掘其潜在价值。具体⽽
⾔,这块业务模式⼜可以细分为针对个⼈⽂件存储和针对企业⽤户两⼤类。主要是通过易于使⽤的API,⽤户可以⽅便地将各种数据对象放在云端
,然后再像使⽤⽔、电⼀样按⽤量收费。⽬前已有多个公司推出相应服务,如亚马逊、⽹易、诺基亚等。运营商也推出了相应的服务,如中国移动的
彩云业务。5、管理客户关系客户管理应⽤的⽬的是根据客户的属性(包括⾃然属性和⾏为属性),从不同⾓度深层次分析客户、了解客户,以此增
加新的客户、提⾼客户的忠诚度、降低客户流失率、提⾼客户消费等。对中⼩客户来说,专门的CRM显然⼤⽽贵。不少中⼩商家将飞信作为初级C
RM来使⽤。⽐如把⽼客户加到飞信群⾥,在群朋友圈⾥发布新产品预告、特价销售通知,完成售前售后服务等。6、个性化精准推荐在运营商内部
,根据⽤户喜好推荐各类业务或应⽤是常见的,⽐如应⽤商店软件推荐、IPTV视频节⽬推荐等,⽽通过关联算法、⽂本摘要抽取、情感分析等智
能分析算法后,可以将之延伸到商⽤化服务,利⽤数据挖掘技术帮助客户进⾏精准营销,今后盈利可以来⾃于客户增值部分的分成。以⽇常的“垃圾
短信”为例,信息并不都是“垃圾”,因为收到的⼈并不需要⽽被视为垃圾。通过⽤户⾏为数据进⾏分析后,可以给需要的⼈发送需要的信息,这样
“垃圾短信”就成了有价值的信息。在⽇本的麦当劳,⽤户在⼿机上下载优惠券,再去餐厅⽤运营商DoCoMo的⼿机钱包优惠⽀付。运营商和麦
当劳搜集相关消费信息,例如经常买什么汉堡,去哪个店消费,消费频次多少,然后精准推送优惠券给⽤户。7、数据搜索数据搜索是⼀个并不新鲜
的应⽤,随着“⼤数据”时代的到来,实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交⽹络、⽤户⾏为等数据。其商业应
⽤价值是将实时的数据处理与分析和⼴告联系起来,即实时⼴告业务和应⽤内移动⼴告的社交服务。运营商掌握的⽤户⽹上⾏为信息,使得所获取的
数据“具备更全⾯维度”,更具商业价值。典??六:⼤数据对经济社会的重要影响1、能够推动实现巨⼤经济效益⽐如对中国零售业净利润增长
的贡献,降低制造业产品开发、组装成本等。预计2013年全球⼤数据直接和间接拉动信息技术⽀出将达1200亿美元。2、能够推动增强社会
管理⽔平⼤数据在公共服务领域的应⽤,可有效推动相关⼯作开展,提⾼相关部门的决策⽔平、服务效率和社会管理⽔平,产⽣巨⼤社会价值。欧洲
多个城市通过分析实时采集的交通流量数据,指导驾车出⾏者选择最佳路径,从⽽改善城市交通状况。3、如果没有⾼性能的分析⼯具,⼤数据的价
值就得不到释放对⼤数据应⽤必须保持清醒认识,既不能迷信其分析结果,也不能因为其不完全准确⽽否定其重要作⽤。1)由于各种原因,所分析
处理的数据对象中不可避免地会包括各种错误数据、⽆⽤数据,加之作为⼤数据技术核⼼的数据分析、⼈⼯智能等技术尚未完全成熟,所以对计算机
完成的⼤数据分析处理的结果,⽆法要求其完全准确。例如,⾕歌通过分析亿万⽤户搜索内容能够⽐专业机构更快地预测流感暴发,但由于微博上⽆
⽤信息的⼲扰,这种预测也曾多次出现不准确的情况。2)必须清楚定位的是,⼤数据作⽤与价值的重点在于能够引导和启发⼤数据应⽤者的创新思
维,辅助决策。简单⽽⾔,若是处理⼀个问题,通常⼈能够想到⼀种⽅法,⽽⼤数据能够提供⼗种参考⽅法,哪怕其中只有三种可⾏,也将解决问题
的思路拓展了三倍。所以,客观认识和发挥⼤数据的作⽤,不夸⼤、不缩⼩,是准确认知和应⽤⼤数据的前提。??七:最后北京开运联合给您总结
⼀下不管⼤数据的核⼼价值是不是预测,但是基于⼤数据形成决策的模式已经为不少的企业带来了盈利和声誉。1、从⼤数据的价值链条来分析,存
在三种模式:1)⼿握⼤数据,但是没有利⽤好;⽐较典型的是⾦融机构,电信⾏业,政府机构等。2)没有数据,但是知道如何帮助有数据的⼈利
⽤它;⽐较典型的是IT咨询和服务企业,⽐如,埃森哲,IBM,开运联合等。3)既有数据,⼜有⼤数据思维;⽐较典型的是Google,A
mazon,Mastercard等。2、未来在⼤数据领域最具有价值的是两种事物:1)拥有⼤数据思维的⼈,这种⼈可以将⼤数据的潜在价值转化为实际利益;2)还未有被⼤数据触及过的业务领域。这些是还未被挖掘的油井,⾦矿,是所谓的蓝海。⼤数据是信息技术与专业技术、信息技术产业与各⾏业领域紧密融合的典型领域,有着旺盛的应⽤需求、⼴阔的应⽤前景。为把握这⼀新兴领域带来的新机遇,需要不断跟踪研究⼤数据,不断提升对⼤数据的认知和理解,坚持技术创新与应⽤创新的协同共进,加快经济社会各领域的⼤数据开发与利⽤,推动国家、⾏业、企业对于数据的应⽤需求和应⽤⽔平进⼊新的阶段。
因篇幅问题不能全部显示,请点此查看更多更全内容