原文地址

 

 

大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。麦肯锡研究表明，在医疗、零售和制造业领域，大数据每年可以提高劳动生产率0.5-1个百分点。物联网时代，大数据在核心领域的渗透速度有目共睹。大数据的产业链可分为标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维以及数据应用几个环节，覆盖了数据从产生到应用的整个生命周期。　

　 数据标准与规范
　　大数据标准体系是开展大数据应用的前提条件，没有统一的标准体系，数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面，参与单位主要包括中国电子技术标准化研究院、各个数据库公司、数据拥有部门以及各个行业的标准化组织。
　　 数据安全
　　随着海量数据的不断增加，对数据存储和访问的安全性要求越来越高，从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。另外，由于大数据处理主要采用分布式计算方法，这必然面临着数据传输、信息交互等环节，如何在这些环节中保护数据价值不泄露、信息不丢失，保护所有站点的安全是大数据发展面对的重大挑战。在大数据时代，传统的隐私数据内涵与外延有了巨大突破和延伸，数据的多元化与彼此的关联性进一步发展，使得对单一数据的隐私保护方法变得极其脆弱，需要针对多元数据融合的安全提出。在数据安全环节上主要参与单位包括中国电子科技集团公司第30研究所以及奇虎 360、瑞星等杀毒软件公司。
　　 数据采集
　　政府部门、以 BAT 为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外，利用网络爬虫或网站公开 API 等途径对网络数据进行采集也是大数据的主要来源。现实世界中的数据大多不完整或不一致，无法直接进行数据挖掘或挖掘结果不理想，需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作，并且往往需要大量的人工参与，因此数据采集和清洗成为大数据产业链的一个重要环节。
　　 数据存储与管理
　　大数据存储与管理的主要参与者以传统数据库企业为主，国际上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等; 国内主要有中兴、华为、用友、浪潮、托尔思、数据堂、九次方、亿赞普、达梦等。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究，形成针对具体领域的产品。
　　 数据分析与挖掘
　　大数据分析与挖掘的意图主要集中在两方面： 一是从大量的机构结构化和半结构化数据中分析出计算机可以理解的语义信息或知识，二是对隐性的知识，如关联情况、意图等进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。数据分析与挖掘的核心算法与软件主要掌握在大型数据库公司及高校的手里，国际上主要参与者包括 IBM、甲骨文、微软、谷歌、亚马逊、Facebook 等，国内主要参与单位包括数据库企业、高校、以 BAT 为代表的大型互联网企业等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围，是大数据产业的核心。
　　 数据运维
　　由于数据的重要性得到普遍认可，除政府部门不具备数据运维服务条件外，数据的采集者通常就是数据运维者。各地政府方面则通常利用大数据平台建设来推动政府大数据的公开与共享，如云上贵州，吸引个人和企业用户开展创新与创业，积极推动大数据的增值服务。
　　 数据应用
大数据对传统信息技术带来革命性挑战，正在重构信息技术体系和产业格局。国内以阿里巴巴、百度、腾讯、人大金仓、浪潮、曙光、南大通用为代表的互联网企业、云计算和数据库厂商纷纷加大应用推广力度，在国际先进的开源大数据技术基础上，形成独自的大数据平台构建和应用服务解决方案，以支撑不同行业不同领域的专业化应用。虽然这些企业在平台构建上有着得天独厚的优势，但是在某些具体业务领域，并不擅长或者关切。物联网解决方案提供商航大物联（www.leadtorch.com）发现传统企业以及从事大数据的微型企业是具体业务领域上大数据应用的主力军。应用是大数据价值的体现，是大数据发展的原始推动力。当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变，在转变思维过程中需要积极转变思维，明确出数据共享的方式是什么，数据拥有者的利益如何平衡，商业模式如何开展等等。

在大数据时代背景下，让人们越发认识到，比掌握庞大的数据信息更重要的是掌握对含有意义的数据进行专业化处理的技术。如果将大数据比作一种产业，那么这产业盈利的关键点在于，提高对数据的“加工能力”，通过“加工”实现数据的“增值”，这便是大数据关键技术发挥的能力。

 

原文地址