华大基因BGI Online的云计算实践

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 华大基因是全球最大的基因测序服务公司之一,随着基因产业的迅猛发展,加之基因大数据的爆炸性增长,催生了云计算的应用。华大基因与阿里云强强联手,打造出一款强大的基因云平台——BGI Online,希望通过利用云计算、大数据分析等技术对基因数据进行深度挖掘,从而不断加速精准医疗的发展。

本文正在参加“最佳上云实践”评选,来给我们投票吧:https://yq.aliyun.com/activity/158(编号13)

基因测序为生命科学领域带来机遇,随着测序技术的发展和测序成本的降低,基因测序在生物信息与医疗健康等领域得到广泛应用。但同时,基因测序行业也面临着处理及分析海量数据的全新挑战。传统的硬盘已无法满足大数据的存储,而大数据处理和分析解读工作存在复杂性和不可预测性,因此需要极强的计算能力。

 

我们的产品生物信息分析云平台BGI Online正是为了解决这个难题而诞生。BGI Online是由华大基因开发的一款基于“云”的生物信息数据云平台。2014年,BGI Online项目启动;2015年,我们在评估了数据存储与计算的需求后,决定与阿里云合作,选择其作为我们产品的主要计算资源供应商。通过在云计算、大数据领域的长期技术积累,阿里云具备支撑这个世界最大基因中心核心业务系统的能力,满足我们在数据处理、隐私安全保护以及传输方面极为严苛的要求。

 

1. 架构解析/优化

任何系统架构的搭建和新技术的应用都是由业务需求催生的。生物信息分析面对的基因数据动则数十G乃至上百G,大文件的传输、存储、计算对平台的IO吞吐、扩展性、伸缩性都有很高的要求。生物信息分析是对大文件的精细分析,同时属于数据密集型、计算密集型、IO密集型应用。大量基因数据的持久化和流动,要求文件管理系统的大容量、高伸缩、高通量;大量的计算需求要求计算资源的高性能、高时效、经济性。

 

为了满足用户基因数据的存、管、算、传,BGI Online系统设计了多个架构组件,分别为前端、后端、任务管理引擎、存储管理、文件传输五大部分。前端通过WEB服务呈现系统业务和提供用户操作,WEB请求通过SLB做负载均衡,并在阿里云提供的VPC和云盾的防护下提供高可用的服务。后端管理系统的业务数据和处理业务逻辑,后端服务部署在多台ECS上,并采用RDS服务存储业务数据。任务管理引擎接受前端请求,管理计算资源实现生物信息数据的分析,阿里云提供了海量的ECS节点,并对每个ECS节点提供了完整、详细的API文档,通过对接ECS节点实现了计算资源的弹性伸缩和强大的分布式计算能力。存储管理负责基因数据的存储和管理,运用OSS和OAS实现了基因数据的冷热存储,除了OSS和OAS本身提供的加密存储外,还对接OSS服务实现数据的去身份化,大大提高了平台的安全性。文件传输通过部署在ECS上的服务提供,庞大的基因数据上云是数据流的起始端和瓶颈,阿里云通过铺设阿里机房到华大集群的专线,显著提升了数据传输的速度。BGI Online的架构见下图:

64643f5ac7d76e78e4ed79846c3590c1ad033f6b


2. 上云前后分析对比

阿里云服务让我们从繁重的基础设施购置与维护中解放出来,从而专注于平台的开发和运营。BGI Online在阿里云上的稳定存储量已经超过400TB,阿里云提供安全、海量的存储服务保障了基因数据的安全和业务需求,促进了我们业务的发展。通过与阿里云的深度合作和研究实践,在双方的共同努力下,将生物信息分析在云上的计算时效一步步向前推进,在21小时47分12秒内完成了1000例人类全外显子组数据的分析,效率提升了400%。阿里云作为中国最大的公有云服务提供商,连接各行各业广大的用户群体,任何用户都可以通过网路享受阿里云上的服务,在保障安全的前提下最大化地连接了用户。BGI Online平台依托开放的阿里云服务提供在线协作功能,不同角色的用户可以在平台上完成数据交付、生物信息分析、项目管理、生物信息工具开发等一系列业务功能,整合了行业的多种分工,建立起了一个完整的行业生态。

 

2016年8月30日,BGI Online国内版正式在公司内部上线内测,此后陆续完成了十几个大型项目的流程部署与测试,如24小时内完成储存峰值超10T、计算任务超1000个的87个遗传病家系基因组分析,和成功部署由开发者自主研发的单细胞基因组分析等项目,并取得突破性成果,阿里云的云服务在这些项目中起到了关键性的作用。

 

总结

BGI Online平台利用阿里云的云技术服务实现了在医学研究、疾病筛查及临床医疗等不同应用场景、模式下的低成本及高效自动化的基因数据传输与存储,同时也解决了数据安全及计算资源的问题。我们团队相信,有了阿里云的核心力量支持,BGI Online平台必将不断创造生物云计算行业的“新纪录”!

 

相关实践学习
一小时快速掌握 SQL 语法
本实验带您学习SQL的基础语法,快速入门SQL。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
11天前
|
人工智能 安全 网络安全
云计算环境下的网络安全策略与实践
【4月更文挑战第30天】本文聚焦于当前快速发展的云计算环境中的网络安全问题。首先,分析了云服务模式对传统网络架构的冲击和安全挑战;然后,探讨了在多租户、资源共享的前提下,如何保障数据隔离、访问控制及传输安全等关键安全要素;进一步地,提出了一系列创新的安全机制,包括基于行为分析的入侵检测系统、加密技术的最新应用,以及利用人工智能进行安全事件预测和管理的策略。最后,结合案例分析,评估了这些策略在现实业务中的有效性,并展望了未来云计算与网络安全融合发展的趋势。
|
11天前
|
安全 网络安全 量子技术
网络安全与信息安全:保护数字世界的锁与钥构建安全防线:云计算环境中的网络安全策略与实践
【4月更文挑战第29天】在数字化时代,数据成为了新的石油,而网络安全则是保护这些宝贵资源的防线。本文深入探讨了网络安全漏洞的成因、加密技术的进展以及提升安全意识的重要性。通过对网络威胁的分析,我们揭示了安全漏洞的本质和它们如何被黑客利用。接着,文章详细解读了现代加密技术,包括对称加密、非对称加密和散列函数,并强调了量子计算对未来加密的潜在影响。最后,通过教育和技术实践的建议,我们强调了培养全民网络安全意识的必要性。 【4月更文挑战第29天】 在数字化转型的浪潮中,云计算作为支撑企业敏捷性与效率的关键基础设施,其安全性受到了前所未有的关注。本文深入探讨了云计算环境下所面临的独特安全挑战,并提出
|
1天前
|
监控 安全 网络安全
云端防御战线:云计算环境下的网络安全策略与实践
【5月更文挑战第10天】 在数字化转型的浪潮中,云计算作为支撑企业运营的骨干技术之一,其安全性问题备受关注。随着云服务模式的多样化和复杂化,传统的网络安全防护机制已难以完全适用于云环境。本文深入探讨了云计算环境中特有的安全威胁,分析了云计算服务模型(IaaS、PaaS、SaaS)的安全挑战,并提出了相应的安全策略与最佳实践。通过采用多层次防御架构、强化身份认证与访问控制、实施数据加密与隐私保护措施以及建立持续监控与响应机制,旨在为组织在享受云计算带来的便捷性的同时,确保其数据和服务的安全性。
|
3天前
|
监控 云计算 开发者
探索云计算中的无服务器架构:从概念到实践
无服务器架构作为云计算领域的新兴技术,正在以其高效、灵活的特性吸引着越来越多的开发者和企业。本文将深入探讨无服务器架构的概念及其在云计算中的应用,通过实际案例展示如何利用无服务器架构构建可靠、可扩展的应用系统。
|
5天前
|
存储 安全 网络安全
云端防御:云计算环境中的网络安全策略与实践
【5月更文挑战第6天】 随着企业和个人日益依赖云服务,数据存储、处理和流通的边界变得模糊。这种转变不仅带来了灵活性和成本效益,也引入了新的安全挑战。本文探讨了云计算环境下网络安全的关键问题,包括身份验证、数据加密、访问控制和威胁监测等。通过分析当前云安全的最佳实践和面临的挑战,我们提出了一系列战略性措施以增强云基础设施的安全性,并确保信息资产的保密性、完整性和可用性得到保护。
30 5
|
7天前
|
分布式计算 API 云计算
|
11天前
|
机器学习/深度学习 监控 安全
云端防御战线:云计算环境下的网络安全策略与实践
【4月更文挑战第30天】 随着企业纷纷将数据和服务迁移至云平台,云计算环境的安全性成为不容忽视的问题。本文针对当前云计算环境中存在的安全风险进行了深入剖析,并提出了一系列切实可行的安全策略与措施。文章首先概述了云计算服务模型及其固有的安全挑战,接着详细讨论了网络安全防护的最佳实践,包括身份验证、数据加密、入侵检测和安全事件管理等关键技术的应用。此外,文中还强调了制定综合安全政策、进行持续监控和评估的重要性。通过这些综合性策略的实施,旨在为云计算环境下的信息安全管理提供一套全面的解决框架。
|
11天前
|
云安全 人工智能 安全
构筑安全之盾:云计算环境下的网络安全策略与实践
【4月更文挑战第30天】 随着企业数字化转型的深入,云计算已成为支撑现代业务架构的关键基石。然而,伴随云服务带来的便利性、灵活性和成本效益,也产生了前所未有的安全挑战。本文针对当前云计算环境中的网络安全问题展开深入探讨,分析了云服务模型(IaaS, PaaS, SaaS)在安全防御上的不同要求,并提出了相应的安全策略和技术措施。文章不仅审视了传统的安全机制在云环境下的适用性,还探讨了新兴技术如区块链、人工智能在增强云安全方面的潜力。通过案例分析,本文旨在为读者提供一套综合性的云安全解决方案框架,以助力企业在享受云计算带来的优势的同时,有效防范和应对网络安全威胁。
|
11天前
|
云安全 安全 网络安全
云端守卫:云计算环境中的网络安全策略与实践
【4月更文挑战第30天】在数字化浪潮中,云计算以其弹性、可伸缩性和成本效率成为企业IT架构的核心。然而,随着数据和应用不断向云端迁移,网络安全威胁也随之增加。本文深入探讨了云计算环境下的网络安全挑战,并提出了综合性的安全策略和最佳实践。通过分析云服务模型的特点,我们讨论了公有云、私有云和混合云中存在的安全风险,并提出了相应的解决方案。同时,文章也强调了信息安全管理的重要性,包括数据加密、访问控制和持续监控。最后,我们概述了未来云计算安全发展的趋势,旨在为读者提供一套全面的云安全指南。
|
12天前
|
监控 安全 网络安全
构筑安全防线:云计算环境下的网络安全策略与实践
【4月更文挑战第29天】 随着企业数字化转型的深入,云计算已成为推动业务敏捷性、降低成本和创新的关键驱动力。然而,云服务的广泛采用也带来了前所未有的网络安全挑战。本文将探讨在复杂多变的云计算环境中,如何构建有效的网络安全框架,以保护数据和服务不受威胁。我们将重点讨论云服务的安全模型、关键安全控制措施以及信息安全管理的最佳实践,旨在为组织提供战略性的指导,以应对持续演进的网络威胁。