10月24日,由华为技术有限公司与福建鲲鹏生态创新中心联合主办的“1024鲲鹏开发者技术沙龙”在福州顺利举行。
在沙龙上,来自福建鲲鹏生态创新中心运营总监宋宗佑为活动进行致辞,福建鲲鹏生态创新中心生态总监朱晓彤对鲲鹏生态创业中心进行介绍,加深了大家对于鲲鹏产业的理解。
宋宗佑:这是一个万亿级的市场,也是非常庞大的生态体系
福建鲲鹏生态创新中心运营总监宋宗佑
创新引领未来,代码改变世界。鲲鹏积极参与发展战略,各省也积极拥抱出台鲲鹏产业。与此同时,各地方政府现在已经是把鲲鹏计算产业放在战略布局中,今年,福州市政府出台了77号文件《关于构建鲲鹏产业生态的实施意见》帮助本地鲲鹏产业和鲲鹏伙伴共同发展。鲲鹏生态是华为开放自主的鲲鹏处理器主板、部件,以及联合伙伴打造,拓展到虚拟化、大数据平台、中间件零服务等上层应用软件,这是一个万亿级的市场,也是非常庞大的生态体系。现在,华为在各地区打造鲲鹏产业生态基地,联合伙伴开展应用示范,培养产业人才,孵化产业标准。我们的目标就是要构筑一个鲲鹏生态圈,激活商业市场。在今天的开发者日上,希望大家能够结识新朋友,对鲲鹏生态有更深的了解,与鲲鹏生态一起成长!
朱晓彤:鹏计算产业已成燎原之势,产业生态逐步走向快车道
福建鲲鹏生态创新中心生态总监朱晓彤
我来对鲲鹏生态创业中心做个介绍。当前全球进入了数据为关键生产要素的数字经济时代,数字应用多样性促使数据资源发生变化。鲲鹏计算产业致力打造全球竞争力计算产业集群,通过业界提供基于鲲鹏处理器的软硬件基础设施,满足市场对新计算的需求,支撑全社会的的数字化转型。当前,自动驾驶、人工智能、云游戏、智能制造、物联网等应用场景的多样化,传统单一的架构难以满足现在市场的数据处理和用户体验的要求,因此对计算平台提出新的要求。
新计算发展的成功关键在于完善整个生态体系,鲲鹏生态基于鲲鹏处理器的基础软硬件设施、行业应用以及服务,涵盖了从底层硬件、基础软件到上层应用的全产业链。纵观全景,从硬件上,鲲鹏生态围绕昇腾AI芯片、存储控制芯片、网络控制芯片等主要部件,以及它构成的PC、服务器、存储等整机产品;从上层基础软件上,鲲鹏包括数据库、操作系统中间键等软件,如欧拉和高斯系统与数据库;基于行业应用,鲲鹏主要涵盖了金融、制造、政府、交通、农林电力等各个行业,并且提供数字化的行业应用解决方案。
华为公司对鲲鹏的投入也在持续,2019年华为发布了面向所有开发者的破土计划2.0,未来5年会投入15亿美元用于发展鲲鹏生态。
福建鲲鹏生态创新中心目前可以为开发者和企业伙伴提供服务器资源,鲲鹏创新中心的主要运营职责,包括产业服务、人才培养、生态培育等,可以发放华为的认证考试券。
如今,鲲鹏计算产业一年多来发展已成燎原之势,聚集了1000多家软硬件企业,形成了基于鲲鹏的软硬件产品3000多款,产业生态逐步走向快车道。
接下来,华为的技术专家对鲲鹏云平台和大数据平台展开了详细介绍,并通过实践讲解了平台解决方案。
鲲鹏云平台解决方案
鲲鹏云平台解决方案工程师刘继周
我今天主要对鲲鹏生态做介绍,加深大家对于鲲鹏在虚拟化方面所做的事情的理解。
首先从当前业界的趋势,也就是虚拟化云计算开始。从PC时代到移动互联网时代,再到AI+5G的云时代,不断变化扩展的新场景需要多样性的计算,云平台也随之出现云化和虚拟化的趋势。
传统行业市场基于KVM技术构筑成熟、稳定的IaaS平台,互联网行业基于Docker容器技术构筑灵活、标准化、轻量化PaaS平台。在这样的背景下,华为鲲鹏计算云平台应运而生。
鲲鹏的优化方向主要是两大主线,一个是KVM,一个是docker技术的虚拟化。现在,鲲鹏推出的OpenStack+KVM是主流,上图中可以看到OpenStack+KVM开发框架虚拟化管理平面,是基于虚拟化之上。最底层为鲲鹏平台。
目前,鲲鹏在虚拟化开源上已支持Qemu,KVM,并基于KVM进行调优,在硬件、虚拟化和操作系统上做了优化。
鲲鹏还支持Kubernetes+Docker云平台。
目前,鲲鹏主要部署在金融、政府、运营商、政府网。
鲲鹏一个很大的优点是核多,64核+多核计算架构,资源池大,整机性能高。虚拟机基于物理核构建,VM隔离性好,性能更稳定。
另外,鲲鹏还支持混合部署,新的OpenStack+KVM把原有的作为计算节点,混合不同的云,基于原有的X86AZ,可以把鲲鹏平台作为计算平台进行扩容。
鲲鹏很多虚拟化方案代码和调优手段都是开源的,希望大家能够共同参与到虚拟化共建中来。
鲲鹏计算大数据解决方案
鲲鹏大数据研发工程师王登阳
首先从整体架构上介绍一下鲲鹏大数据解决方案,它主要由硬件基础、操作系统、中间件,以及大数据平台等多个部分组成。
硬件基础方面,鲲鹏大数据解决方案提供了基于鲲鹏处理器的泰山服务器,在高速缓存的情况下,同时支持SSD用于加速。
操作系统方面,支持当前主流的商用开源操作系统和国产化操作系统,比如华为自研的欧拉等。中间件JDK、GCC等大数据编译器中间件目前也都是支持鲲鹏产业生态的。
加速特性方面,支持EC编解码指令加速,同时提供了基于指令与算法优化的KAL机器学习库等。除此之外,也支持常见的Hbase等众多大数据组件,和华为自研的FusionLnsight、开源的Apache、CDh/HDP和星环等平台。
目前,鲲鹏生态基础逐渐完善,技术成熟,也支持更多的合作伙伴进行大数据平台的移植。
大数据对应的典型配置方案主要是针对实时流处理、实时检索、离线分析/数据挖掘和冷数据存储进行数据处理的优化。
离线分析以HDFS为数据底座,常见的计算引擎以Hive/Spark为主。在离线分析上,推荐的典型配置是鲲鹏5220搭配12块SATA数据盘。实时检索,主要是针对海量数据,进行实时查询,其对查询响应时间要求比较高,一般采用的是2P的鲲鹏5250和24块1.2GSAS数据盘。最后是实时流处理,一般通过Kafka将数据传输给Stom和Flink,完成数据处理后,上传到Redis进行存储。这同样对查询响应时间要求较高,通常采用2P的鲲鹏5220和12块1.2G的SAS盘。
此外,鲲鹏大数据还做了一些适配和开源的实践。在大数据的适配上,常见的大数据组件移植主要是针对包含移植内容有JAr包、SO文件和可执行二进制文件等。鲲鹏大数据还在大数据上进行了特性开发并开源,包括SM4的国密加速,通过内置加解密加速引擎,明文数据通过总线传输,来有效保证数据的安全性,目前支持SM3/SM4的国密算法。
目前,鲲鹏大数据开源生态发展迅速,在Hbase等几个核心组件上开源社区都支持ARM、最新的ES和Hadoop。后期,鲲鹏大数据将继续完善社区对应的ARM构建,保证不同版本的软件对应的编译流程打包,甚至是测试流程能力完整和完备,确保代码在ARM上的质量。
围绕生态建设,鲲鹏大数据也有了一些进展。比如2019年在HC大会上,鲲鹏四个开发套件亮相,包括分析扫描、代码迁移工具、编译器和性能优化工具。而且,随着鲲鹏影响力与日俱增,鲲鹏社区也应运而生,现已涵盖了10+的软件领域,包括中间件、操作系统等,同时提供200+主流软件和丰富的产品技术支持和解决方案。另外,鲲鹏大数据还打通了自己的Maven仓库和RPM仓库,提供含有SO文件空文档的jar包。
总结起来,鲲鹏大数据有以下几大优势:
高性能:鲲鹏多核实现高并发IO
平滑扩容:支持鲲鹏与x86混合部署,实现现网集群平滑扩容 • 安全加解密:基于芯片内置硬件加解密,支持国密算法
丰富生态:支持主流开源软件和国产化商业软件,软硬件解耦
鲲鹏展翅,未来可期,希望后期鲲鹏发展道路上,可以看到在座各位的身影。
想要了解沙龙上还发生了哪些有趣的互动吗?
图片直播:
https://www.pailixiang.com/album_ia883432105.html
点击阅读全文,即可查看