基因大数据分析的云计算实践

基因测序有着广泛的行业应用,在预防出生缺陷、检测遗传性疾病与肿瘤用药指导等领域,能提供极大帮助。近年来基因组学研究进展飞速,华大基因也凭借强大的研发实力,成为全球最大的基因组学研究中心,其研究成果在全球都有广泛的影响力。

在基因组学行业迅速发展的当下,基因测序成本已实现快速下降,从过去的天价一跃进入大众也能轻松负担的“千元”时代。同时,多项杀手级临床应用均引入基因测序,拉动覆盖用户数量成倍攀升。随着高通量测序仪的发展,需要存储计算的基因数据量,呈指数级增长。基因测序已进入爆发式的阶段,用户和应用量级的爆发,带来了数据计算的爆发。

随着生命科学领域数据爆炸式的增长,如何及时获取、快速分析、安全储存这些庞大的数据是研究者们急需解决的问题,包括华大基因都面临的挑战。2017年11月22日的广州云栖大会服务专场上,华大基因 BGI Online 产品总监黄泽辉,分享了华大基因在这个问题上面临的挑战与解决方案。

1

24小时,完成千人基因数据分析?

人一生的基因数据的管理和存储数据量相当庞大,而华大基因提供的基因快速检索和查询,涉及到基因数据在数据分析中的降维过程。过程中数据密集型和CPU密集型的计算分析任务,计算能力要求高,结果文件种类繁多,数据非结构化,不利于数据挖掘和可视化。目前使用了多地测序中心,用户分布广泛,数据共享和传输困难。

传统方案是基于大型计算设备和存储设备购买来解决,出于成本和服务器跟进速度的考量,华大基因 BGI Online 则搬到了云上,并且在分析层面上给用户定制化和个性化体验。不仅降低了数据分析门槛,用户也可直接在线上简单操作即可完成启动分析。

全面拥抱云计算,解决数据存储、传输、分析、安全问题

BGI Online作为大规模生物信息的分析平台,堪称基因行业的“应用市场”。依托部署在阿里云计算平台的服务,BGI Online更轻松地拥有了处理大规模基因组数据分析的能力。

2

基于BGI Online的基因数据分析需求,华大基因在阿里云平台上,设计了计算资源弹性伸缩、多级存储、海量存储计算与数据安全的云平台架构。

通过专线接入,来传输测序中心几十TB/day的数据;通过平台多数据中心部署,计算能力放至数据所在地,为美国、欧洲与中国等提供测序;混合使用阿里云的多种计算服务,数据通过OSS来互通。通过ECS在线上高灵活度地输出基因测序、利用批量计算测序可大规模降低成本、MaxCompute实现MapReduce小时级测序。

合作过程中,阿里云为华大基因提供了企业级支持服务和专家服务,保障华大基因的云上业务搭建与运转。包括指导产品选型与使用技术、提供APM报告及相应性能的分析优化;排查整改系统安全隐患、对生产高峰的任务支持进行专门保障。从曾经三四天才能输出一人基因分析,到如今实现了22小时内达成千人基因组分析的人类梦想。

3

生命的价值值得我们为之努力

基因组学数据是“天然”的大数据,计算分析的价值会超过测序本身,与云计算和大数据技术的结合是行业的需要。华大基因股份有限公司CEO尹烨说过,“基因测序为生物技术带来的改变,为生命创造的价值,值得我们为之努力。”

4

多年来,华大基因积累了来自制药、科研、临床和个人等多样且丰富的客户,对市场需求有了更深的理解。未来,华大基因将利用积累的技术与经验,继续研发不同层次结构组成,专注于生物信息分析流程开发和基因数据的挖掘的平台。未来应用应该可跨平台共享,由云计算服务持续提供底层数据存储、压缩的优化。 如此,势必能为中国在未来数十年在生命科学、生物产业提供持续增长的强劲动力。

了解更多请微博关注阿里云客户满意中心
__8

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/28665.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

用Python绘制一朵玫瑰花,送给特别的她

前言 哈喽哈喽,跨年倒计时三天九小时 上次发了烟花的文章,看来还是蛮多人需要代码的 今天就来搞一朵唯一的花吧~(送给你喜欢的那个她) 效果 话不多说 咱先直接看看效果,毕竟搞的不好看我也拿不出手 提前先说 我尽…

【情人节用Compose给女神写个爱心动画APP】

情人节用Compose给女神写个爱心动画APP 前言涉及知识点实现思路实现过程绘制爱心创建动画效果Preview预览效果 完整源码彩蛋 前言 前一阵子看电视里的学霸用代码写了个炫酷的爱心,网上有很多js和python的源码,复制粘贴就能拥有,但是Android的…

python表白玫瑰花绘制——情人节表白

python表白玫瑰花绘制——情人节表白 搬运不易,路过的各位大佬请点个赞 python表白玫瑰花绘制——情人节表白 python表白玫瑰花绘制——情人节表白一、玫瑰花绘制—深红色二、玫瑰花绘制—五颜六色三、玫瑰花绘制—粉红色四、玫瑰花绘制—红色五、桃花绘制 一、玫瑰…

用HTML给对象送玫瑰花

文章目录 一、复制以下代码,粘贴到文本文档,把后缀改成.html二、效果 我是廖志伟,一名Java开发工程师、幕后大佬社区创始人、Java领域优质创作者、CSDN博客专家。拥有多年一线研发经验,研究过各种常见框架及中间件的底层源码&…

鲜花在线销售平台的设计与实现/鲜花商城/网上花店管理系统

摘 要 为了解决客户便捷地在网上购物,本文设计和开发了一个鲜花在线销售平台。本系统是基于web架构设计,SSM框架,javascript技术的前台页面设计与实现,使用Mysql数据库管理,综合采用java模式来完成系统的相关功能。主…

求职干货,泄露太多我担心HR封杀我(附带简历模板)

一、前言 “生活如水,时而浑浊,时而清澈”,找工作面对挫折我们可以短暂的迷失,但不要忘记最初的梦想。 找工作我投过几十份简历,由于是12月年底(推荐秋招或春招),很多公司都不招人…

东南亚的招聘骗局,程序员请注意!

阅读本文大概需要 5.2 分钟。 总有些我认为是常识的事情,在别人看来都是第一次接触。很多骗局都是如此,圈内人不上当,圈外人不警惕。毕竟骗子吃的就是信息不对称的生意。关于东南亚的招聘骗局,便是如此。 他们当前主力针对的是程…

简历模板哪里找?这几个免费网站一定要收藏

分享5个简历模板网站,免费下载,职场必备,建议收藏! 1、菜鸟图库 个人简历模板|WORD文档模板免费下载 - 菜鸟图库 网站主要以设计类素材为主,办公类素材也非常多,分类很清晰。简历模板风格类型多&#xff…

代购工作简历如何写得高大上?

蓝豹职业辅导:专业简历制作,就业辅导,模拟面试,职业规划专家! 代购工作简历如何写得高大上? 话不多说,直接上案例,简历范文,简历修改前: 简历负责代购工作,通过对接亲朋好友代购需求…

cesium primitive api 修改模型矩阵实现平移效果

cesium 图元 api Cesium是一个基于WebGL的开源虚拟地球软件开发库,提供了丰富的API,其中包括图元 API和实体API。 异同点: 相同点:图元API和实体API都是用来绘制三维场景中的对象,包括点、线、面等各种形状。 不同点&…

SSM之SpringMVC day01

今日内容 理解SpringMVC相关概念完成SpringMVC的入门案例学会使用PostMan工具发送请求和数据掌握SpringMVC如何接收请求、数据和响应结果掌握RESTful风格及其使用完成基于RESTful的案例编写 SpringMVC是隶属于Spring框架的一部分,主要是用来进行Web开发,…

20230316英语学习

篇目1 Why We Forget Most of the Books We Read 为啥读过的书我们大多都会忘记? Pamela Paul’s memories of reading are less about words and more about the experience.“I almost always remember where I wasand I remember the book itself.I remember th…

20230320英语学习

篇目1 The Myth of Sustainable Fashion 时尚行业,能否实现可持续发展? Few industries tout their sustainability credentials more forcefully than the fashion industry.Products ranging from swimsuits to wedding dresses are marketed as carb…

雷军入局ChatGPT大战...

14号,小米CEO雷军在微博宣布,正在研发一些“有趣的技术和产品”。 雷军称,此前曾多次被问及对于大模型和AIGC的看法。 此次,雷军正式对这些问题公开进行回应,表示“在AI领域已经耕耘多年”,对大模型“当然会…

MiniGPT4,开源了!

梦晨 发自 凹非寺量子位 | 公众号 QbitAI GPT-4识图功能迟迟不开放,终于有人忍不住自己动手做了一个。 MiniGPT-4来了,Demo开放在线可玩。 传一张海鲜大餐照片上去,就能直接获得菜谱。 传一张商品效果图,就可以让AI写一篇带货文案…

别再纠结 GPT-4 了,最强平替 MiniGPT4 开源了,完全免费!

ChatGPT狂飙160天,世界已经不是之前的样子。 我新建了人工智能中文站https://ai.weoknow.com 每天给大家更新可用的国内可用chatGPT资源 GPT-4识图功能迟迟不开放,终于有人忍不住自己动手做了一个。 MiniGPT-4来了,Demo开放在线可玩。 传一…

Midjourney最新「平移扩图」玩法,自定义无限延展,轻松创造超长画卷

尚恩 发自 凹非寺量子位 | 公众号 QbitAI 玩扩图,Midjourney是认真的。 现在只要几个指令,就能轻松创造超长画卷。 我们先来看一张图,这张是原来的图: 这是经过自定义扩充后的效果,是酱婶儿: 这就是Midjour…

文心一言APP国区可下载!免费体验120+玩法,超多新花样!

编辑 | 量子位 点击下方卡片,关注“自动驾驶之心”公众号 ADAS巨卷干货,即可获取 本文只做学术分享,如有侵权,联系删文 终于,正版百度文心一言APP上架苹果商店了! (此前百度因为盗版文心一言APP…

掌握Tampermonkey,让网页玩出新花样

掌握Tampermonkey,让网页玩出新花样 何为Tampermonkey?Tampermonkey有何神通?操作示例 今天我要向朋友们介绍一个超酷的浏览器插件,Tampermonkey。我把它称之为一根神奇的魔法棒,可以让你对网页的玩法、样式和功能实现自定义。 熟…

歌神影帝:搞过数据库的人,职业宽度超乎你的想象

人工智能时代,AI 会取代很多工种,数据处理、数据库运维等等,都会慢慢的演进到自动化时代,ChatGPT 已经为行业带来了深刻影响。 而我们如果不做数据库,还能从事什么岗位的工作呢? 答案可以有:歌神…