平台架构

基础硬件层

基础硬件层是由一组低廉的PC或服务器组合构建而成。基础硬件层主要承载着数据的存储、运算、容错、调度和通信等任务，对基础应用层下达的指令进行执行和反馈。

数据集成

大数据特征表现在实时、交互、海量等方面，并且以半结构化、非结构化数据为主，价值密度低，为了更好地“让数据说话”，并充分发挥大数据价值效应，应坚持“能采尽采”的原则，数据源的涵盖范围要尽量大。

数据计算与分析挖掘

大数据平台涵盖了大数据场景下常用的计算场景，包含离线计算、实时计算、流式计算、数据挖掘与机器学习等。可以更容易、更方便地构建全生命周期的数据湖，使数据的加工、处理、创新过程更加丰富，从而实现数据的更大价值。

数据安全

大数据平台通过一系列的认证授权和资源隔离机制，实现数据资源的安全性、可维护性、可用性、可信性。提供统一认证服务负责对使用者的身份进行验证；提供统一授权服务负责对用户的资源访问权限进行控制；提供统一资源调度负责对用户使用的底层资源进行隔离。

服务器集群

服务器集群是将很多服务器集中起来一起进行同一种服务，集群可以获得更高的计算速度，也可以用作备份，任何一个服务器损坏整个系统都能正常运行。群集化操作可以减少单点故障数量，实现群集化资源的高可用性。

大数据技术标准</