以大数据时代为题写一篇年终总结

可参考下文

9个关键字 写写大数据行业2015年年终总结

2015年，大数据市场的发展迅猛，放眼国际，总体市场规模持续增加，随着人工智能、物联网的发展，几乎所有人将目光瞄准了“数据”产生的价值。行业厂商 Cloudera、DataStax 以及 DataGravity 等大数据公司已经投入大量资金研发相关技术，Hadoop 供应商 Hortonworks 与数据分析公司 New Relic 甚至已经上市。而国内，国家也将大数据纳入国策。

我们邀请数梦工场的专家妹子和你来聊聊 2015 年大数据行业九大关键词，管窥这一年行业内的发展。

战略：国家政策

今年中国政府对于大数据发展不断发文并推进，这标志着大数据已被国家政府纳入创新战略层面，成为国家战略计划的核心任务之一：

2015年9月，国务院发布《促进大数据发展行动纲要》，大力促进中国数据技术的发展，数据将被作为战略性资源加以重视；

2015年10月26日，在国家“十三五”规划中具体提到实施国家大数据战略。

挑战：BI（商业智能）

2015年对于商业智能（BI）分析市场来说，正由传统的商业智能分析快速进入到敏捷型商业智能时代。以 QlikView、Tableau和 SpotView 为代表的敏捷商业智能产品正在挑战传统的 IBM Cognos、SAP Business Objects 等以 IT 为中心的 BI 分析平台。敏捷商业智能产品也正在进一步细化功能以达到更敏捷、更方便、适用范围更广的目的。

崛起：深度学习/机器学习

人工智能如今已变得异常火热，作为机器学习中最接近 AI（人工智能）的一个领域，深度学习在2015年不再高高在上，很多创新企业已经将其实用化：Facebook 开源深度学习工具“Torch”、PayPal 使用深度学习监测并对抗诈骗、亚马逊启动机器学习平台、苹果收购机器学习公司 Perceptio ……同时在国内，百度、阿里，科大讯飞也在迅速布局和发展深度学习领域的技术。

共存：Spark/Hadoop

Spark 近几年来越来越受人关注，2015年6月15日，IBM 宣布投入超过3500名研究和开发人员在全球十余个实验室开展与 Spark 相关的项目。

与 Hadoop 相比，Spark 具有速度方面的优势，但是它本身没有一个分布式存储系统，因此越来越多的企业选择 Hadoop 做大数据平台，而 Spark 是运行于 Hadoop 顶层的内存处理方案。Hadoop 最大的用户（包括 eBay 和雅虎）都在 Hadoop 集群中运行着 Spark。Cloudera 和 Hortonworks 将 Spark 列为他们 Hadoop 发行的一部分。Spark 对于 Hadoop 来说不是挑战和取代相反，Hadoop 是 Spark 成长发展的基础。

火爆：DBaaS

随着 Oracle 12c R2 的推出，甲骨文以全新的多租户架构开启了 DBaaS （数据库即服务Database-as-a-Service）新时代，新的数据库让企业可以在单一实体机器中部署多个数据库。在2015年，除了趋势火爆，12c 多租户也在运营商、电信等行业投入生产应用。

据分析机构 Gartner 预测，2012年至2016年公有数据库云的年复合增长率将高达86%，而到2019年数据库云市场规模将达到140亿美元。与传统数据库相比，DBaaS 能提供低成本、高敏捷性和高可扩展性等云计算特有的优点。

以大数据时代为题写一篇年终总结

可参考下文9个关键字 写写大数据行业2015年年终总结 2015年，大数据市场的发展迅猛，放眼国际，总体市场规模持续增加，随着人工智能、物联网的发展，几乎所有人将目光瞄准了“数据”产生的价值。

行业厂商 Cloudera、DataStax 以及 DataGravity 等大数据公司已经投入大量资金研发相关技术，Hadoop 供应商 Hortonworks 与数据分析公司 New Relic 甚至已经上市。而国内，国家也将大数据纳入国策。

我们邀请数梦工场的专家妹子和你来聊聊 2015 年大数据行业九大关键词，管窥这一年行业内的发展。 战略：国家政策 今年中国政府对于大数据发展不断发文并推进，这标志着大数据已被国家政府纳入创新战略层面，成为国家战略计划的核心任务之一： 2015年9月，国务院发布《促进大数据发展行动纲要》，大力促进中国数据技术的发展，数据将被作为战略性资源加以重视； 2015年10月26日，在国家“十三五”规划中具体提到实施国家大数据战略。

挑战：BI（商业智能） 2015年对于商业智能（BI）分析市场来说，正由传统的商业智能分析快速进入到敏捷型商业智能时代。以 QlikView、Tableau和 SpotView 为代表的敏捷商业智能产品正在挑战传统的 IBM Cognos、SAP Business Objects 等以 IT 为中心的 BI 分析平台。

敏捷商业智能产品也正在进一步细化功能以达到更敏捷、更方便、适用范围更广的目的。 崛起：深度学习/机器学习 人工智能如今已变得异常火热，作为机器学习中最接近 AI（人工智能）的一个领域，深度学习在2015年不再高高在上，很多创新企业已经将其实用化：Facebook 开源深度学习工具“Torch”、PayPal 使用深度学习监测并对抗诈骗、亚马逊启动机器学习平台、苹果收购机器学习公司 Perceptio ……同时在国内，百度、阿里，科大讯飞也在迅速布局和发展深度学习领域的技术。

共存：Spark/Hadoop Spark 近几年来越来越受人关注，2015年6月15日，IBM 宣布投入超过3500名研究和开发人员在全球十余个实验室开展与 Spark 相关的项目。 与 Hadoop 相比，Spark 具有速度方面的优势，但是它本身没有一个分布式存储系统，因此越来越多的企业选择 Hadoop 做大数据平台，而 Spark 是运行于 Hadoop 顶层的内存处理方案。

Hadoop 最大的用户（包括 eBay 和雅虎）都在 Hadoop 集群中运行着 Spark。Cloudera 和 Hortonworks 将 Spark 列为他们 Hadoop 发行的一部分。

Spark 对于 Hadoop 来说不是挑战和取代相反，Hadoop 是 Spark 成长发展的基础。 火爆：DBaaS 随着 Oracle 12c R2 的推出，甲骨文以全新的多租户架构开启了 DBaaS （数据库即服务Database-as-a-Service）新时代，新的数据库让企业可以在单一实体机器中部署多个数据库。

在2015年，除了趋势火爆，12c 多租户也在运营商、电信等行业投入生产应用。 据分析机构 Gartner 预测，2012年至2016年公有数据库云的年复合增长率将高达86%，而到2019年数据库云市场规模将达到140亿美元。

与传统数据库相比，DBaaS 能提供低成本、高敏捷性和高可扩展性等云计算特有的优点。

大数据用一句话总结

数据（big data）指承受间范围内用规软件工具进行捕捉、管理处理数据集合

数据比喻蕴 藏能量煤矿煤炭按照性质焦煤、烟煤、肥煤、贫煤等类露煤矿、深山煤矿挖掘本与类似数据并于用价值含量、挖掘本比数量更重要于行业言何利用些规模数据赢竞争关键

数据价值体现几面：

1）量消费者提供产品或服务企业利用数据进行精准营销；

2） 做美模式尾企业利用数据做服务转型；

3） 面临互联网压力必须转型传统企业需要与俱进充利用数据价值

如何用好大数据报告

对已收集到的大数据进行分析

许多公司都收集了大量的数据，他们感觉这些数据存在着商业价值，但并不知道怎样从这些弄出来的值大的数据。不同行业的数据集有所不同，比如，如果你处于网络营销行业，你可能会有大量Web站点的日志数据集，这可以把数据按会话进行划分，进行分析以了解网站访客的行为并提升网站的访问体验。同样，来自制造业的质量保证数据将有助于公司生产出更可靠的产品和选择更好的供应商，而通过RFID数据可以帮助你更深入地供应链中产品的运动轨迹。

重点分析对你的行业有价值的大数据

大数据的类型和内容因行业而异，每一类数据对于每个行业的价值是不一样的。比如电信行业的呼叫详细记录（CDR），零售业、制造业或其他以产品为中心的行业的RFID数据，以及制造业（特别是汽车和消费电子）中机器人的传感器数据等等，这些都是各个行业中非常重要的数据。

理解非结构化的大数据

非结构化的信息主要指的是是使用文字表达的人类语言，这与大多数关系型数据有着很大的不同，你需要使用一些新的工具来进行自然语言处理、搜索和文本分析。把基于文本内容的业务流程进行可视化展示，比如，保险索赔过程，医疗病历记录，各个行业的呼叫中心和帮助台应用程序，以及以客户为导向的企业情感分析等内容均可以在进行处理后以可视化的形式表现出来。

使用社交媒体数据来扩展现有的客户分析

客户的各种行为比如评论品牌、评价产品、参与营销活动或表示他们的喜好等等，会在客户中相互影响。社交大数据可以来自社交媒体网站，以及自有的客户能够表达意见及事实的渠道。我们可以使用预测性分析发现规律和预测产品或服务的问题。我们也可以利用这些数据来评估市场知名度、品牌美誉度、用户情绪变动和新的客户群。

把客户的意见整合到大数据中

通过运用大数据（与原有的企业资源集成），我们可以对客户或其他商业实体（产品，供应商，合作伙伴）实现360度全景分析，分析的维度属性从几百个扩展到几千个。新增的粒状细节带来更准确的客户群细分，直销策略和客户分析。

整合大数据以改善原有的分析应用

对于原有的分析应用，大数据可以扩大和扩展其数据样本。尤其在依赖于大样本的分析技术的情况下，比如统计或数据挖掘；而在欺诈检测、风险管理或精确计算的情况下同样也得用上大样本的数据。（摘自：中国客户关系网）

有谁能总结一下大数据的特征呢

第一个特征是大数据的来源往往是机器自动的结果。人工不会干涉到新数据的产生过程，完全是机器自动的结果。如果拿传统数据源进行分析的话，就会发现它们的形成过程中会有人工的痕迹，像是零售业和银行交易、电话呼叫记录、产品发票等等，和某个人做的事情都有关系，无论什么情形，都会有人参与到新数据的形成过程中。可是大数据不是这样产生的，它不会在产生过程中与人互动，像是引擎中内置的传感器，即便没有人干预周围数据也会自动生成。

第二个特征是大数据作为一个全新的数据源，不仅仅是已有数据的收集扩展，比如在互联网中，顾客与银行、零售商之间可以直接在线交易。事实上这种交易方式和传统交易差异不大，不过是换一种渠道而已。企业通过收集网络交易数据就会发现这样情形下的数据和多年来他们得到的传统数据差异不大，不过是数量增加了而已。如果收集的是客户浏览行为的数据，那就会产生本质上全然不同的数据。

第三个特征是大数据中的大多数设计并非友好。实际上这些数据并未经过设计。就拿社交媒体网站上的文本流举例，用户不一定会被要求用标准的语序、语法和词汇表。人们的信息一经发布，社交平台就能够获得数据。这些不太规范的数据处理起来还是有一定困难的。在设计之初，大多数的传统数据都尽量要友好一些，就比如收集交易信息的系统最早生成数据会以整洁或是预先规范的方式来操作，这样形成的数据就更有利于加载和使用。还有一部分原因是由于要对空间进行高效利用，以避免出现空间不够的局面。

最后的特征是海量数据并非有大量价值。实际的数据很多都是毫无价值的。在一篇网页日志当中，非常重要的数据就包含其中，当然也有好多没价值的数据也在其中。