从早期的仅面向公有云场景到现在实现混合云算力调度，过去一年，我们与越来越多的生信团队合作，他们作为“吃螃蟹的第一批人”，通过 MemVerge 的 MMCloud 平台，实现了降本 50%，提效 30% 的好成绩。

“我们在用广州、深圳这边的超算，经常在业务高峰的时候卡死，重新跑，再卡死，再重新跑……”在深圳一个医疗论坛现场一个嘉宾这么说，类似的困扰还有很多：

- 初创团队，没有单独的IT，生信部门如何在完成业务的同时兼顾IT管理？
- 业务发展挺好，但老板说24年生信预算砍一半，如何承接越来越好的业务增长？
- 业务量时多时少，本地服务器经常不够用，接下来IT资源怎么配置才合适？

## 1. 自己体验过的产品才敢说好
MMCloud 是一个能帮助生信团队实现降本增效的平台，降本 50%，提效 30%，这个不是宣传话术，而是 2023 年我们所有客户运行下来的平均数值。

降本这个事儿，也没那么神秘。没有什么技术含量的降本逻辑是，和云厂商变成好朋友，拿到更低的折扣，再转手赚个差价，但这种方式既不稳定也拿不到特别低的折扣。

真正有效的降本办法是通过核心技术能力调度云平台公开的低折扣资源，同时保障业务运行过程中所使用的云资源和业务的高峰低谷量保持一致，不多花一分冤枉钱。

![](https://baywatch-api.memverge.com/media/upload/202401/240129061632140905.png)


**如何验证这个方式是否有效呢？**

MMCloud 提供 30 天免费体验，自己亲自尝试过才有话语权，同一个任务，自己用公有云和 MMCloud 分别跑一遍，最终的费用差距会是最好的产品说明书。

## 2. 为什么要做混合云算力调度？
我们接触的很多生信团队对于上云这件事有顾虑，一方面是没有懂云的人，需要从头开始了解各种云平台的技术能力和配置，特别是生信环境搭建起来复杂度又比较高；另一方面是觉得贵，有意思的是之前碰到一些企业，我们会先问一下：为什么不用云？对方总是很干脆利落的回答我们一个字：贵。

对于已经在本地有服务器或者正在使用超算的团队来说，我们提供的混合云算力调度解决方案可以让企业在不改变原有的资源配置、团队配置和使用习惯的基础上，对于业务突发带来的算力需求激增，通过公有云算力服务来解决。

![](https://baywatch-api.memverge.com/media/upload/202401/240129061712084903.png)


混合云是一种结合了本地和云端资源的架构，因为它具有很大的灵活性和可扩展性，所以在高性能计算（HPC）中变得很受欢迎。简单来说就是当你的计算需求超过了本地资源的限制时可以迅速地利用云端资源，MMCloud 允许用户使用熟悉的 HPC 作业管理器，比如 SLURM 和 PBS ，在云端启动作业，有效地扩展了本地 HPC 环境与公有云的结合。

## 3. 用官方话术总结一下平台的价值
- 大规模算力：支持主流公有云厂商（AWS、谷歌云、阿里云、腾讯云、百度云、火山云）
- 应用智能调度：支持主流调度系统（SLURM、LSF、PBS、SGE）；基于应用智能分配资源（SpotSurfer、 WaveRider）；基于应用智能迁移、断点续算
- 混合统一管理：支持本地与云端统一资源管理；本地与云端统一混合调度
- 降本增效：基于AI智能分析应用行为、合理分配应用资源，降低成本；基于AI 智能分析任务、优化任务workflow、提升业务效率

使用Memory Machine Cloud（简称MMCloud）的生信工程师们为什么工作效率比别人高呢？我们悄悄总结了MMCloud的三个核心优势——可观测性、资源适配与自动化。

### WaveWatcher：应用可观测性的重要性

想象一下，我们站在一座大楼外，想要了解其内部的运作情况。这时，应用可观测性就像一扇窗户，让我们通过分析日志、度量和追踪信息，深入了解软件应用的行为。这样的洞察力能帮助我们找出性能瓶颈，迅速解决问题，以及合理分配资源，为软件应用提供最佳运行环境。

在MMCloud中对应的功能叫做WaveWatcher，它通过追踪“作业”（可以是应用、工作流或流水线）使用的CPU、内存、网络、存储（大小、吞吐量和IO）来提升其性能。以下是Sentieon WGS的WaveWatcher结果示例：
![](https://baywatch-api.memverge.com/media/upload/202312/231219061332352988.png)

这个流程可以划分为不同的步骤，每个步骤都有相应的“行为”。下表显示了这些步骤所消耗的资源。
![](https://baywatch-api.memverge.com/media/upload/202312/231219061347018383.png)

### WaveRider：超越可观测性的智能助手

如果说WaveWatcher如同一位敏锐的观察者，收集关于应用行为的宝贵数据。那么WaveRider就是一个智能助手，利用这些数据自动调整资源规模，确保应用、流程和工作流始终保持在最佳状态。

同时，WaveRider还关注环保，致力于减少二氧化碳排放。通过避免欠配置和过度配置，WaveRider实现了资源的高效利用，让我们无需担心性能问题和浪费。

### 三大支柱构建完美云计算体验

Memory Machine Cloud的三大支柱——任务自动化（Float）、可观测性（WaveWatcher）和规模适配（WaveRider）——共同构建了一个完整的云自动化解决方案。就像三位默契的舞者，他们协同工作，消除了在多个解决方案之间进行集成的烦恼。

用户只需通过Float CLI或GUI提交作业，如生物信息学分析流水线，WaveWatcher和WaveRider便会默契配合，自动观察作业行为并调整资源规模，实现有状态作业的支持。

### 与其他解决方案的比较：一体化优势

与其他解决方案相比，MMCloud提供了一体化的解决方案，让云计算体验更加流畅、高效。就像一位全能的大厨，为我们准备了一道美味佳肴，无需我们在厨房里手忙脚乱地尝试各种食材和烹饪方法。
![](https://baywatch-api.memverge.com/media/upload/202312/231219061417833484.png)

想象一下，在云上运行有状态、非容错的工作负载或流水线如同驾驶一辆汽车。您是否希望拥有一辆能自动调整速度、避免拥堵，同时节能环保的汽车？MMCloud正是这样的理想工具，它能帮助您减少云成本和作业运行时间，让您专注于核心业务，无需担心在多个解决方案之间的集成问题。

传统的高性能计算（HPC）通常需要使用专门配置的计算服务器集群来部署。近年来，对规模和性能的需求推动了HPC从本地部署转向云端 - 这种转变既带来了新的机遇，也面临着重大的挑战。

从积极的一面来看，云端提供了几乎无限的计算和存储资源，因为云平台可以根据需要灵活增减容量。

然而，在公有云中运行应用程序也带来了新的挑战。每个云服务提供商都有一个庞大的服务目录，而每个服务都有各种各样的功能。如果没有配置和优化云服务所需的知识，研究人员可能会遇到应用程序性能不可预测或不令人满意、意外成本或不必要的安全风险。

在科学计算和数据科学领域，MemVerge的Memory Machine Cloud（简称MMCloud）正发挥着关键作用。MMCloud是一款设计简便的云自动化平台，旨在简化在云中部署数据密集型任务和交互式计算应用程序的过程，通过自动化和容器化技术实现。

容器技术是实现应用程序在云中灵活迁移和规模化部署的核心。容器包含了运行应用程序所需的全部软件依赖和运行时库，确保以可复制的方式运行应用程序。然而，要实现容器的部署，需要一个云编排平台来安排、实例化和管理这些容器。MMCloud提供了直观的GUI图形用户界面（还有CLI命令行界面），使非专业云从业者能够轻松地将复杂的工作流程转化为在云端以容器化形式运行的应用程序。

越来越多科学家们选择依赖MMCloud，以提高他们的研究效率。

**# 01 高性能计算在云端的无缝拓展**

混合云是一种结合了本地和云端资源的架构，因为它具有很大的灵活性和可扩展性，所以在高性能计算（HPC）中变得很受欢迎。当你的计算需求超过了本地资源的限制时，应用程序可以迅速地利用云端资源。
![](https://baywatch-api.memverge.com/media/upload/202312/231219032943830584.png)

MMCloud让科学家们可以在一个既高效又灵活的混合环境中工作。它允许用户使用熟悉的HPC作业管理器，比如SLURM和PBS，在云端启动作业，有效地扩展了本地HPC环境与公有云的结合。

此外，MMCloud的核心特性包括容器化和自动化。它可以自动将容器化应用程序部署到云中，并在作业完成后自动清理云资源，这样就不会出现未经监控的资源增加导致月度云费用上升的风险。交互式会话也可以休眠，并在需要时重新启动，使整个过程更加方便和高效。

# 02 云工作负载的深度监控

有些企业对于把工作负载移到云端还有些犹豫，因为他们担心在云中运行应用程序时可能会失去对运行方式的掌控。他们可能担心作业是否能够更快或更慢地完成，以及云中的资源是不是足够或者太多了。

在云中操作时，我们需要了解工作负载的性能和资源利用情况，这样我们才能做出明智的决策。虽然云服务提供商提供了一些监控工具，但它们可能难以使用，而且通常还要额外付费。

MMCloud解决了这个问题，它提供了先进的监控和计量功能，确保科学家们能够清楚地了解他们的工作负载在云中的表现。CostReporter告诉你在云中运行的作业花费了多少钱，WaveWatcher让你轻松查看实时资源消耗情况，包括CPU、内存、存储和网络传输速度。比如，你的应用程序可能因为超过存储限制或者缺少资源而崩溃。MMCloud可以帮你发现这些问题，使故障排除变得更加简单。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033134958462.png)

MMCloud还能生成作业和主机级别的事件和性能日志，你可以实时查看这些日志，追踪作业的执行进度，或者在作业完成后下载以识别问题或错误。这些监控功能让研究人员能够微调他们的环境，以实现最大效率。

# 03 可靠的抢占式实例

几乎所有的云服务提供商都支持抢占式实例，这是一种比按需实例便宜很多的实例（有时候可以省下高达90%）。但便宜是有条件的，因为这些实例的可用性是不确定的。云服务提供商有权在很短的通知时间内（通常是两分钟或更短）收回这些实例。

抢占式实例适合那些不需要保存状态的应用程序，也可以用在一些有状态的批处理流程上，只要工作流管理器能够重新安排失败的任务。但总的来说，直接使用抢占式实例会使总花费和任务完成时间变得不稳定和不可预测。

MMCloud的SpotSurfer功能让有状态的应用程序能够一直运行下去，即使底层的抢占式实例被回收了，它会像冲浪一样迁移到一个新的虚拟机（VM）实例上。这样，客户可以在不中断任务的情况下，享受抢占式实例带来的成本节省。

SpotSurfer背后的技术原理是MemVerge自研的AppCapsule。AppCapsule会创建内存状态和文件系统数据的快照。当云服务提供商发出要回收抢占式实例的信号时，AppCapsule就会自动启动。作业执行会暂停，然后在新的抢占式实例上继续。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033151899241.png)

对于那些需要交互的会话，MMCloud还有一个反向代理，这样每个会话对用户来说就好像是一个IP地址，就算会话移到了不同虚拟机上，也不会影响到用户的使用体验。

# 04 成本管理

对于研究人员来说，控制云成本是一个很大的问题，因为预算非常有限。虽然使用云服务可能会更划算，但如果不小心管理，费用可能会变得不可预测。为了确保云支出和预算一致，在使用云服务的规模较大时，需要不断监控云资源的使用，以避免费用失控。

MMCloud提供的作业成本报告工具可以帮助准确预算，而SurfZone功能则可以实时限制云支出。

在控制成本方面，管理云基础架构工作负载的整个生命周期也很重要。MMCloud可以通过控制资源的使用，例如设定自动启动和关闭时间表，以及设置最大作业执行时间来实现这一点。在团队环境中，这种程度的控制对于管理成本至关重要，因为可能有多个用户同时在运行实验。

对于个别用户，还可以采取一些操作，比如取消作业、将作业迁移到更小（更便宜）的实例，或者暂停交互式会话，以帮助节省成本，避免不必要的闲置费用。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033207575957.png)

此外，性能也对成本控制非常重要。当作业在抢占式实例上运行时，一些作业可能更容易受到抢占，而重新开始的时间和费用可能会很大。MMCloud通过与第三方高性能文件系统的集成，提高了文件操作的效率，并在Nextflow工作流中展现了显著的优势。

# 05 调整云资源大小

云服务商提供的计算实例有各种各样，小到只有一个vCPU和500 MB内存，大到有192个vCPU和1.5 TB内存（有些专业实例甚至更大）。选择最适合进行科学工作的云资源大小是一项复杂的任务。

调整资源大小以适应负载高峰是比较安全但效率较低的方法，而调整以适应平均负载可以降低成本，但可能会导致性能不佳，甚至可能出现内存溢出错误（OOM）。

MMCloud的WaveRider功能使这个过程变得简单易行，无需手动为每个任务选择实例。WaveRider能够根据任务实时的资源利用情况，智能地将正在运行的作业迁移到最适合的虚拟机。

作业迁移有三种方式：手动、根据策略自动、或以编程方式。您可以随时手动将作业迁移到特定类型的实例，或者迁移到您定义了容量的实例。通过基于规则的策略，WaveRider监测您工作负载的资源利用情况。如果CPU或内存利用率在指定的时间内超过上限，作业将迁移到具有更多虚拟CPU或更多内存的虚拟机。同样，如果下限被突破并在指定的时间内保持低水平，作业将迁移到较小的虚拟机。对于已知资源使用情况的作业，可以在作业脚本中编程迁移，使作业在执行的不同阶段迁移。

通过优化云资源的使用，我们可以对环境的可持续性产生深远的影响。那些能主动释放未被充分利用的资源的用户有助于提高云服务提供商服务器的使用率。较高使用率下运行较少的服务器不仅能减少运营成本，还能降低嵌入式排放。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033218905379.png)

在如今更加关注气候变化的社会中，优化云资源的使用是减少整个IT行业对环境影响的一步。MMCloud还提供了一个碳排放仪表板，帮助用户了解他们在云中运行作业对环境的实际影响。这就是说，通过合理使用云资源，我们可以在IT行业中减少碳足迹，对地球做出积极的贡献。

### 结论

将HPC工作负载迁移到云端，或在需要时将工作负载迁移到云端，不仅在成本、可扩展性、效率方面有好处，还对环境友好。尽管云中存在一些可操作性和成本控制的挑战，但这并不妨碍用户充分利用云计算或混合云架构的优势。

MMCloud是一个强大又容易上手的平台，为研究人员提供了使用云计算的便利。MMCloud可以用在AWS、Google Cloud和阿里云上，不受限制。

除了美味，中华绒螯蟹（俗称大闸蟹）仍有很多其他迷人之处。对养殖业者而言，它是一项重要的养殖品种，为其带来丰厚的收入。

这种螃蟹对生物学家而言是一种奇迹 —— 它竟然能在淡水和盐水中生存？还能断肢再生？对于遗传学家而言，挑战在于追溯物种典型行为与基因组、转录组水平之间的关系，探究这些行为的遗传基础。

🦀️

中华绒螯蟹原产于中国的湖泊和河流中，在欧洲和北美，它被视为一种入侵物种。中华绒螯蟹主要生活在淡水中，但当它们要繁殖时，会前往盐度较高的半咸水和海水区域（这种螯蟹属于逆溯洄游型）。为了适应这种环境的盐度变化，它们需要一种复杂的机制，叫做渗透调节，来保持体内的离子平衡。

1992年，在旧金山湾首次发现了中华绒螯蟹。之后，它们在切萨皮克湾、哈德逊河和五大湖中都留下了踪迹。它们的踪影遍布整个欧洲，从泰晤士河、泰加斯河、多瑙河一直到威尼斯泻湖都可以找到它们。

大闸蟹繁殖速度快，而且能够承受一些生理上的困扰，比如饥饿和脱水。这些特点让它们成为一种具有破坏河岸稳定性的强大入侵物种。

中华绒螯蟹不仅在烹饪、农业和环境中有影响，还因为它有一项很厉害的本领：能够在脱壳时再生整个肢体。在动物中，无脊椎动物的再生能力通常比脊椎动物更强，而脊椎动物中则似乎有所减弱。鸟类和哺乳动物也有一些细胞和组织再生的能力，这引发了人们对激发再生能力是否可行的医学研究的兴趣。

因此，中华绒螯蟹成为广泛研究的对象，尤其是为了找出支持它独特生理和行为特征的基因表达。关于这种螯蟹的基因组信息在2016年首次报道，而最新的研究成果则于2022年发布。中华绒螯蟹的基因组规模相当大，为1.27 Gb，单倍体染色体数为73，这在节肢动物中算是相对较高的水平，尽管其中包含大量的重复元素。与之对比，人类的单倍体染色体数为23，基因组大小约为3.1 Gb。这些数据为研究者提供了深入了解中华绒螯蟹基因背后的奥秘的工具。

🦀️🦀️

那么，这与Memory Machine Cloud（MMCloud）有什么关系呢？

RNA-seq是一种流行的计算流程，在对中华绒螯蟹的研究中常用于分析基因表达和转录激活，使用来自Illumina、PacBio、Oxford Nanopore Technologies等公司的下一代测序（NGS）机器生成的数据。而像RNA-seq这样的复杂流程需要一个工作流管理器，比如Nextflow，来安排和管理流程中的各个任务。

在使用Nextflow时，每个任务都被分配给一个称为“执行器”的东西，这个执行器提供了运行该任务所需的完整环境。现在，通过使用 nf-float 插件，你可以把 MMCloud 当作这个“执行器”来运行你的工作流程。从 MMCloud 的角度看，Nextflow 分配给它的任务就像是一个独立的作业，运行方式与其他批处理作业一样。对于使用 Nextflow 的用户而言，不需要额外的学习成本，体验基本不变，但可以享受 MMCloud 提供的所有功能，比如 SpotSurfer、WaveRider 和 WaveWatcher 等。

MMCloud 2.3.3 版本增加了一个符合POSIX标准的分布式文件系统，这就意味着现在 Nextflow 管道可以利用高容量存储服务（比如 AWS S3）作为高性能文件系统。这对于那些有个别任务需要在复杂流程中写入和读取中间数据的情况来说非常有用，因为文件系统的性能对这些任务的执行效率有显著的影响。

在MMCloud上运行Nextflow管道非常简单。本次演示我们使用了AWS EC2计算实例，并在来自欧洲核酸库和国家医学图书馆的中华绒螯蟹实验性序列数据上运行了nf-core/rnaseq。

要使用nf-float插件，您需要一个配置文件，并指定执行环境的参数。其中一个重要的参数是VM创建策略。在这个例子中，我们选择了“SpotFirst”，这表示MMCloud会尝试启动一个折扣实例。如果在三次尝试后没有成功启动折扣实例，MMCloud将会启动按需实例。如果AWS回收了正在运行作业的折扣实例，MMCloud会将作业迁移到新实例，并按照相同的策略进行 - 首先尝试折扣实例，如果失败则转向按需实例。

🦀️🦀️🦀️

在成功运行结束时，Nextflow显示了以下信息，显示共有170个任务（作业）完成，无失败。

nf-core/rnaseq的输出中包含了MultiQC，这是一个报告工具，以html格式汇总了从多个分析模块和数据集中获得的统计数据和质量指标。MultiQC在检查流程运行结果是否存在错误和异常方面非常有帮助。

以下是中华绒螯蟹运行的MultiQC输出的示例图。
![](https://baywatch-api.memverge.com/media/upload/202311/231130023438022927.png)
![](https://baywatch-api.memverge.com/media/upload/202311/231130023437356650.png)



🦀️🦀️🦀️🦀️

中华绒螯蟹是一个充满惊喜的迷人存在。毫无疑问，这个物种将继续受到关注 —— 出现在菜单上，出现在环境保护部门，成为各种组学研究（例如转录组学）的研究主题。随着研究人员意识到MMCloud的强大威力，许多Nextflow流程将在AWS、谷歌云或阿里云上运行。

博客 - Reduce Cloud Cost