TGen 如何在 AWS 上使用 Nextflow
客户名称：转化基因组学研究所 (TGen)
所属行业：医疗
客户简介：美国转化基因组学研究所 (TGen) 是一家领先的，致力于通过基因组研究来改变生命的非营利组织。
“Memory Machine Cloud产品的WaveRider功能 会为 NextFlow 启动的数千个不同的作业分别选择最合适的虚拟机类型。这让我比以往任何时候都更有效率，简直太酷了。”
– Vince Pagano，TGen高级科学程序员
面临的挑战：大规模云成本优化并不容易
TGen 用户发现他们很难在 AWS公有云上经济、高效地运行其大规模 Nextflow 工作流。 如果使用按需 EC2 实例，则使得大规模作业的成本太高，尤其是对于高达需要数千个节点的超大型作业而言。而如果使用廉价的 Spot EC2 实例，成本上看起来能节省不少，但实际上由 Spot EC2 实例被回收带来的任务失败率可能高达 80%，导致完成时间更长，因为失败的作业必须多次重新启动，而且成本节省也难以预测。
我们的解决方案
MemVerge 认为，如需帮助科学家的科学研究给予有力的支撑，在IT平台层面，需要达成三点，第一，更高的可视化能力；第二，科研业务在IT平台上的效率和性能提升；第三，极致的成本优化。
TGen 利用 MemVerge公司开发的Memory Machine Cloud云平台，部署 在 AWS公有云上去执行他们的 Nextflow 工作流。 FLOAT、SpotSurfer、WaveRider 和 WaveWatcher 等 Memory Machine Cloud 的核心功能均可以与 Nextflow 无缝集成，更好支持业务在云端运行。
- 自动化云资源管理 (FLOAT)
- 深入洞察云资源利用率（WaveWatcher）
- 成本和性能优化（SpotSurfer + WaveRider）
改善云端 Nextflow 运行效率，提供高性价比体验
自从部署 Memory Machine Cloud 以来，TGen 现在能够在 AWS 上轻松、经济、高效地运行其工作流程，而无需支付按需 EC2 的高成本，也不会因完全在 Spot EC2 上运行大规模工作流而产生高故障率，。详细技术改善点如下：
- 作业级资源利用率报告和分析可视化
- 故障率从 80% 降为不到 1%
- 运行时自动调整EC2 实例大小
“我使用 Spot EC2 时批量失败率高达 80%，现在使用Memory Machine Cloud产品的 SpotSurfer功能，我们已经将因spot回收而导致的失败率降至 1% 以下。”
– Vince Pagano，TGen 高级科学程序员