spark和kafka主要通过Scala实现,Hadoop和HBase主要基于java实现。
通过该项目,主要达到以下目的:
(1)通用的数据处理流程,入门大数据领域
(2)真实体验大数据开发工程师的工作
(3)企业级的项目,利用这个思路可以做二次拓展开发
(4)从0到有,数据抽取、数据存储、数据处理、展现
大数据平台架构图:
大数据没有事务的概念,需要不间断完整地把流程跑完,没有事务回滚的概念。
spark和kafka主要通过Scala实现,Hadoop和HBase主要基于java实现。
通过该项目,主要达到以下目的:
(1)通用的数据处理流程,入门大数据领域
(2)真实体验大数据开发工程师的工作
(3)企业级的项目,利用这个思路可以做二次拓展开发
(4)从0到有,数据抽取、数据存储、数据处理、展现
大数据平台架构图:
大数据没有事务的概念,需要不间断完整地把流程跑完,没有事务回滚的概念。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/22204.html
如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!