大家好，我是独孤风。10年的时间我通过自学从港口工人转型成为了国企的大数据负责人。并注册大数据流动公众号，持续的进行文章创作，很高兴能在这里与大家相识~

    昨天的朋友圈相信大家都被这条振奋人心的消息刷屏了。

    组建国家数据局！

    视频号相关新闻整理

    大数据发展了这么多年，已经在很多领域得到了非常多的应用。并且逐渐的成为了基础设施，就像互联网刚刚兴起的时候一样。数据已经成为了一种资产，影响到经济的发展，也影响了大家的生活。

       国家数据局的要务就是要推进数字经济的发展，组织实施国家大数据战略，推进数据要素基础制度建设，推进数字基础设施布局建设等等。

    国家数据局的成立只是开始，后续还会有更多的好消息传来。那么，这次巨大变革将会带来哪些变化趋势呢？

        对于我们这些数据从业者，以及想转行投身大数据的朋友又有哪些机会呢？

1、大数据人才缺口的进一步扩大

    有人会说现在的程序员已经越来越多，大学也在不断的培养，互联网相关岗位已经越来越饱和了。可能部分技术岗位存在饱和的情况，但是数据岗一直都是存在缺口的。

     大数据的发展经过了从膨胀到稳定的过程，2012年前后Hadoop相关大数据技术开始兴起，带来了巨大的技术革新。但是，很多企业更多的是将大数据当成了一个噱头。做大数据就是为了做一个炫酷的大屏展示，而事实收集处理的数据量并不大。这就导致大量的大数据工作还是由后台开发人员和前端完成，大量大数据从业者根本没有机会接触到大的数据量，没有大数据量的洗礼是理解不了大数据的本质的。

      在之后的几年中，大数据平台，数据中台等概念层出不穷，很多企业都在完全没有大数据经验的情况，凭空凿车，然后忽悠其他的企业来达到盈利的目的。但随着时间的推移，大浪淘金，海浪过后就知道谁在裸泳了~

       所以，在企业中，能够应对大数据量挑战，建立大数据架构，洞悉大数据本质的人才依然是很稀有的。2017年前后，部分高校成立了 大数据科学与技术 等大数据相关专业，开始进行大数据专业人才的培养，但熟悉近几年高考的朋友都知道，这类专业的分数线非常高，招生人数也并不多，能为企业提供的人才还是很少的。

        随着大数据的进一步落地，大数据的专业人才的缺口只会越来越大，相信也将会有更多的人员转行到大数据行业来，但是大家也知道我的经历，转行的路非常艰难，机会与挑战将会并存~

2、数据治理相关岗位需求激增

    对数据的缺乏管理将引发一系列问题，数据质量变差，数据安全问题等等。而且很多企业急功近利，妄图找一两个大数据研发就把大数据系统搞定，但其实是给自己挖了一个大坑，不一定做出什么成果，反而会留下隐患。

    近几年来，国家制定了一系列的法规文件来约束企业对数据的使用，去年对于不合规的企业也开出了巨额罚单，这次国家数据局的成立，会让相关监管工作更加的落地，特别是金融行业，和涉及个人信息安全的行业，要更加注意自身数据的使用问题。

    对于数据从业者而言，也要意识到趋势所在，数据治理的大方向不可逆转。目前来说，大数据技术人员比例要远大于数据治理人员，但是这个比例会不断的缩小，掌握数据治理相关知识不仅会让大数据的日常工作变得更有章法，也会给自己带来更多的岗位机会。

    目前国家级别的数据治理认证还未出台，但是国际数据治理相关认证和知识还是可以学习的，这也会对以后的认证有很大的帮助。

3、大数据与AI融合加速

    这次ChatGPT的爆火是很多人没有想到的，更有大批人站出来说人工智能的时代来了。

       但是了解底层原理的应该都知道，ChatGPT之所以如此好用，什么问题都能回答，根源在于其大数据量的积累，大数据量对模型进行的训练才导致其越来越智能，几乎无所不知。

    在相当长的一段时间里，大家认为大数据和人工智能关系不大，大数据天天做数据ETL，人工智能用Python写算法。但是当真正需要落地的时候，才发现大数据和人工智能必须融合在一起。近几年有很多公司成立了数据智能部门，大数据和人工智能逐渐走到了一起，没有大数据支撑的人工智能是难以落地的，巧妇难为无米之炊。

4、国产开源数据软件将大放异彩

    昨天消息一出，很多人已经去搜索大数据相关股票了，准备开始新一轮的炒作。当然A股的市场也一定，咱们不做评论。

      但是大数据领域的商用软件，我们不得不承认，我们和国外是存在差距的，国外的开源技术氛围更浓，诞生了非常多的优秀的软件。包括我最近研究的元数据管理工具，数据可视化工具等等，都是国外的领先一些。

      但一直依赖国外必然是不行，但是我们特别振奋看到是国内的部分开源项目已经开始大放异彩，并成为了Apache顶级项目。比如开源调度工具DolphinScheduler，流处理开发框架StreamPark等等。

        这些优秀的开源项目，以及他们背后的大数据优秀开发人员，才是国内大数据的未来！

        我是独孤风，如果您喜欢我的文章，希望可以转发，点赞，在看支持我，我们下一篇再见！

大数据流动热门文章推荐

    从港口煤炭工人，到国企大数据负责人：曾经的网瘾少年是怎么做到的？

    大数据 数据治理  |  微信交流群~

    5000字详解数据治理如何入门（附国际数据治理认证考试-CDMP学习群）

    到底什么是CDMP——数据治理国际认证超全面介绍

    开源数据质量解决方案——Apache Griffin入门宝典

    一站式元数据治理平台——Datahub入门宝典

    数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis

    万字长文——Datahub离线安装手册

    元数据管理平台Datahub2022年度回顾

大数据流动：大数据、实时计算、数据治理，数据可视化实践类自媒体。定期发布数据治理，元数据管理落地技术实践文章，分享数据治理实践落地相关技术与资料。

提供大数据入门，数据治理，Superset，Atlas，Datahub等学习交流群。

大数据流动，对大数据技术学习永不止步。