据企查查的数据显示，2023年，平均每天有30家芯片企业在消失。

在政策、资本聚光灯下泡沫翻涌的半导体行业进入“冷静期”，2024年，有的项目已然退场，有的项目冉冉升起。

S半导体，一家位于中国上海的数字芯片创新企业，半年内连获两轮融资，第一款芯片也即将面世。在激烈的竞争中，他们率先卷出了“消费降级，体验升级”的新实践。

# 01 不能不面对的算力挑战

从上世纪五十年代手工绘制电路到如今的计算机辅助设计，集成电路（IC）设计的复杂性日益增加，芯片研发设计工具（EDA）对算力资源的精细化需求也逐渐凸显。

#### 算力波动
在芯片设计的各个阶段，对算力的需求呈现出显著的波动性。

> 初步设计与仿真 - 在这个阶段，设计师使用EDA工具进行初步的电路设计和功能仿真，这通常需要中等规模的计算资源。

> 详细设计与优化 - 这个阶段需要进行更为复杂的仿真和分析，如时序分析、功耗分析和信号完整性分析，这些任务对算力的需求显著增加。

> 验证与回归测试 - 芯片设计完成后，需要进行大量的验证和回归测试来确保设计的正确性。这包括功能验证、时序验证和综合验证等。由于需要处理大量的数据和执行复杂的算法，这个阶段对算力的需求非常高。

> 物理设计与布局布线 - 在物理设计阶段，EDA工具将电路设计转换为可以在硅片上制造的布局和布线。这个过程需要处理大量的几何数据和执行复杂的优化算法，对算力的需求达到顶峰。

#### 成本问题
算力的波动导致如果为了满足各阶段的算力需求而搭建更大的本地集群，前期的IT基础设施投入会很高，而且在算力低谷期还会存在大量的资源浪费。

#### 管理复杂性
如果为了省成本考虑使用本地集群+云端算力混合模式，算力资源的管理变得更加复杂，企业就需要精通本地和云端的IT架构，以确保资源的有效利用。


# 02 本地+云，能解决问题吗？


来自S半导体研发部门的Kris说：“我们在日常研发过程中，每次前端回归验证（regression），EDA软件会产生2000并发以上的短时计算任务。”

虽然S半导体自建了HPC集群，为EDA软件提供资源支持，在设计初期，算力资源充足，甚至有很多空闲，但随着项目推进，本地集群已无法满足突发算力需求，导致大量任务排队，影响研发效率。

在业内，本地集群算力不足时补充公有云算力资源并不是一种新的解决方案思路，S半导体的技术团队也想到了利用公有云的弹性和可扩展性。经过团队的探索及外部供应商的助力，芯片研发的效率得到了保障，但算力成本水涨船高。

于是，他们再次萌生了寻找新解决方案的念头。

# 03 不藏了，给你分析一下单月算力成本降了50%的秘密

MMCloud的效果让S半导体的研发团队感到满意：在运行MMCloud的第一个月，S半导体的算力成本就减少了50%。

每个产品在宣传的时候都喜欢用“降低XX成本，提高XX效率”这样的字眼，看得多了，这样的话就越来越像一句口号。所以，我们不如详细拆解一下S半导体算力降本50%背后的原因。

### 大规模集群管理，先降30%

在芯片研发工作中，时间线很重要。为了保证进度，研发工程师通常会选择比实际预估偏大的机型来运行作业，每个作业的运行时间不同，大量任务并发时，就会出现30%的时间已经运行完大部分作业，而剩下的70%长尾时间运行完的机器只能空置，造成了资源浪费。

MMCloud可以稳定调度大规模小机型集群，将任务分散在大规模小机型上，即便依然有70%的长尾时间，所需要的成本比之前降低了30%。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022250736575.png)


### 算力碎片整理，高并发小任务降20%

那70%长尾时间里空闲的算力资源是否还能再利用？既然要降本，就要做到极致节约。

MMCloud的WaveRider能力支持智能选配适合的资源，当工程师继续提交高并发小任务时，MMCloud能自动寻找当前空闲的机器来运行任务，这样70%长尾时间的碎片化算力资源也能被充分利用起来，将成本再次降低20%。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022321997763.png)


### 机型动态调整，大任务成本降50%

正如前面所说，大任务运行过程中会存在波峰低谷，工程师往往很难预估大任务所需的真实算力资源，为了保证任务顺利运行，他们通常会按照波峰算力资源来选择大机型，这样在算力低谷期就存在大量浪费。

MMCloud支持机型动态调整，通过对运行中的作业进行实时监控，及时发现算力的变化，并调整机型，哪怕是运行中的作业也可以随时封装成一个带时间戳的数据集，实现了迁移到更适配的机型上也可恢复、可回滚、可迁移、可复制的功能。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022333916124.jpeg)

# 04 通过精细化调度做到极致降本增效

随着半导体行业红利的逐渐消失，粗放式的研发模式已经落后于时代，对于S半导体来说，通过算力的“消费降级”实现了更精细化的调度管理，最终获得的是极致的性价比。

MMCloud深耕混合云算力调度，通过精细化调度提供本地集群与云端资源的统一管理、统一调度、统一展示，满足大规模突发算力需求，且算力弹性伸缩、按需使用。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022356396726.png)

拥抱新技术的团队已经拿起了新地图，向着新大陆前进了。

分享一个故事。

有一家名为“未来芯（名字来源于AI虚拟，如有雷同，纯属巧合）”的芯片研发公司，作为该公司的研发总监，Peter的芯片设计团队，由一群充满激情的工程师组成，他们每天都在与摩尔定律赛跑，试图在硅片上雕刻出智能的未来。

## 让我们一起来看一下Peter团队的故事：

我们使用的是业内先进的EDA工具，它们在本地HPC集群上运行，负责从RTL（寄存器传输级）设计到GDSII（图形数据系统II）输出的全过程。

**在芯片设计的初期**，我们进行架构规划和功能定义，这个阶段对算力的需求相对较低，**本地HPC集群足以应对**。

但随着设计的深入，尤其是进入RTL编码和仿真阶段，算力需求激增。我们的工程师们开始在本地集群上进行大规模的逻辑综合、时序分析和功耗优化，这时，集群的算力开始显得捉襟见肘。

**在后端设计阶段**，当我们开始进行物理设计，包括布局、布线和版图验证时，**算力需求达到了顶峰**。这时，我们的本地HPC集群几乎全天候运转，但仍然无法满足日益增长的计算需求。仿真周期的延长直接影响了产品的上市时间，这对于竞争激烈的芯片市场来说，无疑是致命的。

面对这一挑战，我们开始探索新的解决方案。**我们考虑过扩大本地集群，但高昂的硬件成本和维护费用让我们望而却步。这时，我们想到了云计算，通过将部分计算任务迁移到云端，我们可以实现算力的弹性扩展，同时降低硬件投资。**

然而，我们团队的工程师已经是满负荷状态，迁移上云需要团队花时间对云端算力进行更深入的分析、研究、测试，才能找到性能和成本的最佳平衡点。我们需要的不仅仅是云计算资源，更需要的是**一套能够无缝整合本地和云端资源的混合云算力调度解决方案。**

这个时候，MMCloud进入了我们的视野。MMCloud提供的不仅仅是云计算资源，更是一种全新的算力管理理念。

我们被MMCloud的“按需使用”模式所吸引。在业务闲时，云资源成本可以降至零，这大大降低了我们的运营成本。而且，MMCloud的自动化管理功能，可以在高并发大算力需求时自动将计算任务溢出到公有云上，任务结束后自动回收资源，这极大地提高了我们的工作效率。

我们决定采用MMCloud，将其作为我们混合云算力调度的解决方案。在MMCloud的帮助下，**我们成功地将本地HPC集群与云端算力相结合，实现了算力资源的最优配置**。我们的芯片设计流程变得更加高效，仿真周期缩短，设计质量得到提升，产品上市时间也得到了保障。

Peter团队的算力困境终于得到了解决，在芯片设计场景下，好的算力支持就是芯片企业和时间赛跑的最优助力。


## 芯片研发设计场景下面临的算力挑战

**成本问题**：芯片研发设计过程中，无论是依赖本地集群还是云端算力，都不可避免地面临高昂的IT成本。此外，资源的大量浪费进一步加剧了这一问题。

**算力波动**：在芯片设计的各个阶段，对算力的需求呈现出显著的波动性，这要求解决方案能够灵活应对不同阶段的算力需求。

**管理复杂性**：随着混合云架构的普及，算力资源的管理变得更加复杂。企业需要精通本地和云端的IT架构，以确保资源的有效利用。

## MMCloud芯片研发设计混合云算力解决方案

MMCloud通过提供本地和公有云资源的统一管理，为使用Synopsys、Cadence、Mentor等主流EDA软件的芯片研发设计企业提供全面的算力管理服务。我们的服务涵盖大规模弹性算力的供给、分发、调度、智能匹配以及资源回收等全生命周期管理。

![](https://baywatch-api.memverge.com/media/upload/202402/240229085631549113.png)

**按需弹性**：用户可以根据实际需求申请公有云资源，并实现计算需求的实时弹性伸缩。在业务闲时，云资源成本可降至零。

**自动化管理**：在高并发大算力需求时，MMCloud能够自动将计算任务溢出到公有云上；任务完成后，资源自动回收，无需人工干预。

**智能调度**：MMCloud采用应用级智能调度策略，根据作业运行时的负载情况，自动适配不同规格的云主机实例，以实现成本与性能的最佳平衡。

**零学习成本**：所有这些功能都是平台后台的自动化能力，对用户完全透明，无需额外学习成本。

通过MMCloud，芯片研发设计企业可以更加专注于创新，而将研发效率提升、算力管理的复杂性交给我们。

从早期的仅面向公有云场景到现在实现混合云算力调度，过去一年，我们与越来越多的生信团队合作，他们作为“吃螃蟹的第一批人”，通过 MemVerge 的 MMCloud 平台，实现了降本 50%，提效 30% 的好成绩。

“我们在用广州、深圳这边的超算，经常在业务高峰的时候卡死，重新跑，再卡死，再重新跑……”在深圳一个医疗论坛现场一个嘉宾这么说，类似的困扰还有很多：

- 初创团队，没有单独的IT，生信部门如何在完成业务的同时兼顾IT管理？
- 业务发展挺好，但老板说24年生信预算砍一半，如何承接越来越好的业务增长？
- 业务量时多时少，本地服务器经常不够用，接下来IT资源怎么配置才合适？

## 1. 自己体验过的产品才敢说好
MMCloud 是一个能帮助生信团队实现降本增效的平台，降本 50%，提效 30%，这个不是宣传话术，而是 2023 年我们所有客户运行下来的平均数值。

降本这个事儿，也没那么神秘。没有什么技术含量的降本逻辑是，和云厂商变成好朋友，拿到更低的折扣，再转手赚个差价，但这种方式既不稳定也拿不到特别低的折扣。

真正有效的降本办法是通过核心技术能力调度云平台公开的低折扣资源，同时保障业务运行过程中所使用的云资源和业务的高峰低谷量保持一致，不多花一分冤枉钱。

![](https://baywatch-api.memverge.com/media/upload/202401/240129061632140905.png)


**如何验证这个方式是否有效呢？**

MMCloud 提供 30 天免费体验，自己亲自尝试过才有话语权，同一个任务，自己用公有云和 MMCloud 分别跑一遍，最终的费用差距会是最好的产品说明书。

## 2. 为什么要做混合云算力调度？
我们接触的很多生信团队对于上云这件事有顾虑，一方面是没有懂云的人，需要从头开始了解各种云平台的技术能力和配置，特别是生信环境搭建起来复杂度又比较高；另一方面是觉得贵，有意思的是之前碰到一些企业，我们会先问一下：为什么不用云？对方总是很干脆利落的回答我们一个字：贵。

对于已经在本地有服务器或者正在使用超算的团队来说，我们提供的混合云算力调度解决方案可以让企业在不改变原有的资源配置、团队配置和使用习惯的基础上，对于业务突发带来的算力需求激增，通过公有云算力服务来解决。

![](https://baywatch-api.memverge.com/media/upload/202401/240129061712084903.png)


混合云是一种结合了本地和云端资源的架构，因为它具有很大的灵活性和可扩展性，所以在高性能计算（HPC）中变得很受欢迎。简单来说就是当你的计算需求超过了本地资源的限制时可以迅速地利用云端资源，MMCloud 允许用户使用熟悉的 HPC 作业管理器，比如 SLURM 和 PBS ，在云端启动作业，有效地扩展了本地 HPC 环境与公有云的结合。

## 3. 用官方话术总结一下平台的价值
- 大规模算力：支持主流公有云厂商（AWS、谷歌云、阿里云、腾讯云、百度云、火山云）
- 应用智能调度：支持主流调度系统（SLURM、LSF、PBS、SGE）；基于应用智能分配资源（SpotSurfer、 WaveRider）；基于应用智能迁移、断点续算
- 混合统一管理：支持本地与云端统一资源管理；本地与云端统一混合调度
- 降本增效：基于AI智能分析应用行为、合理分配应用资源，降低成本；基于AI 智能分析任务、优化任务workflow、提升业务效率

使用Memory Machine Cloud（简称MMCloud）的生信工程师们为什么工作效率比别人高呢？我们悄悄总结了MMCloud的三个核心优势——可观测性、资源适配与自动化。

### WaveWatcher：应用可观测性的重要性

想象一下，我们站在一座大楼外，想要了解其内部的运作情况。这时，应用可观测性就像一扇窗户，让我们通过分析日志、度量和追踪信息，深入了解软件应用的行为。这样的洞察力能帮助我们找出性能瓶颈，迅速解决问题，以及合理分配资源，为软件应用提供最佳运行环境。

在MMCloud中对应的功能叫做WaveWatcher，它通过追踪“作业”（可以是应用、工作流或流水线）使用的CPU、内存、网络、存储（大小、吞吐量和IO）来提升其性能。以下是Sentieon WGS的WaveWatcher结果示例：
![](https://baywatch-api.memverge.com/media/upload/202312/231219061332352988.png)

这个流程可以划分为不同的步骤，每个步骤都有相应的“行为”。下表显示了这些步骤所消耗的资源。
![](https://baywatch-api.memverge.com/media/upload/202312/231219061347018383.png)

### WaveRider：超越可观测性的智能助手

如果说WaveWatcher如同一位敏锐的观察者，收集关于应用行为的宝贵数据。那么WaveRider就是一个智能助手，利用这些数据自动调整资源规模，确保应用、流程和工作流始终保持在最佳状态。

同时，WaveRider还关注环保，致力于减少二氧化碳排放。通过避免欠配置和过度配置，WaveRider实现了资源的高效利用，让我们无需担心性能问题和浪费。

### 三大支柱构建完美云计算体验

Memory Machine Cloud的三大支柱——任务自动化（Float）、可观测性（WaveWatcher）和规模适配（WaveRider）——共同构建了一个完整的云自动化解决方案。就像三位默契的舞者，他们协同工作，消除了在多个解决方案之间进行集成的烦恼。

用户只需通过Float CLI或GUI提交作业，如生物信息学分析流水线，WaveWatcher和WaveRider便会默契配合，自动观察作业行为并调整资源规模，实现有状态作业的支持。

### 与其他解决方案的比较：一体化优势

与其他解决方案相比，MMCloud提供了一体化的解决方案，让云计算体验更加流畅、高效。就像一位全能的大厨，为我们准备了一道美味佳肴，无需我们在厨房里手忙脚乱地尝试各种食材和烹饪方法。
![](https://baywatch-api.memverge.com/media/upload/202312/231219061417833484.png)

想象一下，在云上运行有状态、非容错的工作负载或流水线如同驾驶一辆汽车。您是否希望拥有一辆能自动调整速度、避免拥堵，同时节能环保的汽车？MMCloud正是这样的理想工具，它能帮助您减少云成本和作业运行时间，让您专注于核心业务，无需担心在多个解决方案之间的集成问题。

传统的高性能计算（HPC）通常需要使用专门配置的计算服务器集群来部署。近年来，对规模和性能的需求推动了HPC从本地部署转向云端 - 这种转变既带来了新的机遇，也面临着重大的挑战。

从积极的一面来看，云端提供了几乎无限的计算和存储资源，因为云平台可以根据需要灵活增减容量。

然而，在公有云中运行应用程序也带来了新的挑战。每个云服务提供商都有一个庞大的服务目录，而每个服务都有各种各样的功能。如果没有配置和优化云服务所需的知识，研究人员可能会遇到应用程序性能不可预测或不令人满意、意外成本或不必要的安全风险。

在科学计算和数据科学领域，MemVerge的Memory Machine Cloud（简称MMCloud）正发挥着关键作用。MMCloud是一款设计简便的云自动化平台，旨在简化在云中部署数据密集型任务和交互式计算应用程序的过程，通过自动化和容器化技术实现。

容器技术是实现应用程序在云中灵活迁移和规模化部署的核心。容器包含了运行应用程序所需的全部软件依赖和运行时库，确保以可复制的方式运行应用程序。然而，要实现容器的部署，需要一个云编排平台来安排、实例化和管理这些容器。MMCloud提供了直观的GUI图形用户界面（还有CLI命令行界面），使非专业云从业者能够轻松地将复杂的工作流程转化为在云端以容器化形式运行的应用程序。

越来越多科学家们选择依赖MMCloud，以提高他们的研究效率。

**# 01 高性能计算在云端的无缝拓展**

混合云是一种结合了本地和云端资源的架构，因为它具有很大的灵活性和可扩展性，所以在高性能计算（HPC）中变得很受欢迎。当你的计算需求超过了本地资源的限制时，应用程序可以迅速地利用云端资源。
![](https://baywatch-api.memverge.com/media/upload/202312/231219032943830584.png)

MMCloud让科学家们可以在一个既高效又灵活的混合环境中工作。它允许用户使用熟悉的HPC作业管理器，比如SLURM和PBS，在云端启动作业，有效地扩展了本地HPC环境与公有云的结合。

此外，MMCloud的核心特性包括容器化和自动化。它可以自动将容器化应用程序部署到云中，并在作业完成后自动清理云资源，这样就不会出现未经监控的资源增加导致月度云费用上升的风险。交互式会话也可以休眠，并在需要时重新启动，使整个过程更加方便和高效。

# 02 云工作负载的深度监控

有些企业对于把工作负载移到云端还有些犹豫，因为他们担心在云中运行应用程序时可能会失去对运行方式的掌控。他们可能担心作业是否能够更快或更慢地完成，以及云中的资源是不是足够或者太多了。

在云中操作时，我们需要了解工作负载的性能和资源利用情况，这样我们才能做出明智的决策。虽然云服务提供商提供了一些监控工具，但它们可能难以使用，而且通常还要额外付费。

MMCloud解决了这个问题，它提供了先进的监控和计量功能，确保科学家们能够清楚地了解他们的工作负载在云中的表现。CostReporter告诉你在云中运行的作业花费了多少钱，WaveWatcher让你轻松查看实时资源消耗情况，包括CPU、内存、存储和网络传输速度。比如，你的应用程序可能因为超过存储限制或者缺少资源而崩溃。MMCloud可以帮你发现这些问题，使故障排除变得更加简单。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033134958462.png)

MMCloud还能生成作业和主机级别的事件和性能日志，你可以实时查看这些日志，追踪作业的执行进度，或者在作业完成后下载以识别问题或错误。这些监控功能让研究人员能够微调他们的环境，以实现最大效率。

# 03 可靠的抢占式实例

几乎所有的云服务提供商都支持抢占式实例，这是一种比按需实例便宜很多的实例（有时候可以省下高达90%）。但便宜是有条件的，因为这些实例的可用性是不确定的。云服务提供商有权在很短的通知时间内（通常是两分钟或更短）收回这些实例。

抢占式实例适合那些不需要保存状态的应用程序，也可以用在一些有状态的批处理流程上，只要工作流管理器能够重新安排失败的任务。但总的来说，直接使用抢占式实例会使总花费和任务完成时间变得不稳定和不可预测。

MMCloud的SpotSurfer功能让有状态的应用程序能够一直运行下去，即使底层的抢占式实例被回收了，它会像冲浪一样迁移到一个新的虚拟机（VM）实例上。这样，客户可以在不中断任务的情况下，享受抢占式实例带来的成本节省。

SpotSurfer背后的技术原理是MemVerge自研的AppCapsule。AppCapsule会创建内存状态和文件系统数据的快照。当云服务提供商发出要回收抢占式实例的信号时，AppCapsule就会自动启动。作业执行会暂停，然后在新的抢占式实例上继续。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033151899241.png)

对于那些需要交互的会话，MMCloud还有一个反向代理，这样每个会话对用户来说就好像是一个IP地址，就算会话移到了不同虚拟机上，也不会影响到用户的使用体验。

# 04 成本管理

对于研究人员来说，控制云成本是一个很大的问题，因为预算非常有限。虽然使用云服务可能会更划算，但如果不小心管理，费用可能会变得不可预测。为了确保云支出和预算一致，在使用云服务的规模较大时，需要不断监控云资源的使用，以避免费用失控。

MMCloud提供的作业成本报告工具可以帮助准确预算，而SurfZone功能则可以实时限制云支出。

在控制成本方面，管理云基础架构工作负载的整个生命周期也很重要。MMCloud可以通过控制资源的使用，例如设定自动启动和关闭时间表，以及设置最大作业执行时间来实现这一点。在团队环境中，这种程度的控制对于管理成本至关重要，因为可能有多个用户同时在运行实验。

对于个别用户，还可以采取一些操作，比如取消作业、将作业迁移到更小（更便宜）的实例，或者暂停交互式会话，以帮助节省成本，避免不必要的闲置费用。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033207575957.png)

此外，性能也对成本控制非常重要。当作业在抢占式实例上运行时，一些作业可能更容易受到抢占，而重新开始的时间和费用可能会很大。MMCloud通过与第三方高性能文件系统的集成，提高了文件操作的效率，并在Nextflow工作流中展现了显著的优势。

# 05 调整云资源大小

云服务商提供的计算实例有各种各样，小到只有一个vCPU和500 MB内存，大到有192个vCPU和1.5 TB内存（有些专业实例甚至更大）。选择最适合进行科学工作的云资源大小是一项复杂的任务。

调整资源大小以适应负载高峰是比较安全但效率较低的方法，而调整以适应平均负载可以降低成本，但可能会导致性能不佳，甚至可能出现内存溢出错误（OOM）。

MMCloud的WaveRider功能使这个过程变得简单易行，无需手动为每个任务选择实例。WaveRider能够根据任务实时的资源利用情况，智能地将正在运行的作业迁移到最适合的虚拟机。

作业迁移有三种方式：手动、根据策略自动、或以编程方式。您可以随时手动将作业迁移到特定类型的实例，或者迁移到您定义了容量的实例。通过基于规则的策略，WaveRider监测您工作负载的资源利用情况。如果CPU或内存利用率在指定的时间内超过上限，作业将迁移到具有更多虚拟CPU或更多内存的虚拟机。同样，如果下限被突破并在指定的时间内保持低水平，作业将迁移到较小的虚拟机。对于已知资源使用情况的作业，可以在作业脚本中编程迁移，使作业在执行的不同阶段迁移。

通过优化云资源的使用，我们可以对环境的可持续性产生深远的影响。那些能主动释放未被充分利用的资源的用户有助于提高云服务提供商服务器的使用率。较高使用率下运行较少的服务器不仅能减少运营成本，还能降低嵌入式排放。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033218905379.png)

在如今更加关注气候变化的社会中，优化云资源的使用是减少整个IT行业对环境影响的一步。MMCloud还提供了一个碳排放仪表板，帮助用户了解他们在云中运行作业对环境的实际影响。这就是说，通过合理使用云资源，我们可以在IT行业中减少碳足迹，对地球做出积极的贡献。

### 结论

将HPC工作负载迁移到云端，或在需要时将工作负载迁移到云端，不仅在成本、可扩展性、效率方面有好处，还对环境友好。尽管云中存在一些可操作性和成本控制的挑战，但这并不妨碍用户充分利用云计算或混合云架构的优势。

MMCloud是一个强大又容易上手的平台，为研究人员提供了使用云计算的便利。MMCloud可以用在AWS、Google Cloud和阿里云上，不受限制。

除了美味，中华绒螯蟹（俗称大闸蟹）仍有很多其他迷人之处。对养殖业者而言，它是一项重要的养殖品种，为其带来丰厚的收入。

这种螃蟹对生物学家而言是一种奇迹 —— 它竟然能在淡水和盐水中生存？还能断肢再生？对于遗传学家而言，挑战在于追溯物种典型行为与基因组、转录组水平之间的关系，探究这些行为的遗传基础。

🦀️

中华绒螯蟹原产于中国的湖泊和河流中，在欧洲和北美，它被视为一种入侵物种。中华绒螯蟹主要生活在淡水中，但当它们要繁殖时，会前往盐度较高的半咸水和海水区域（这种螯蟹属于逆溯洄游型）。为了适应这种环境的盐度变化，它们需要一种复杂的机制，叫做渗透调节，来保持体内的离子平衡。

1992年，在旧金山湾首次发现了中华绒螯蟹。之后，它们在切萨皮克湾、哈德逊河和五大湖中都留下了踪迹。它们的踪影遍布整个欧洲，从泰晤士河、泰加斯河、多瑙河一直到威尼斯泻湖都可以找到它们。

大闸蟹繁殖速度快，而且能够承受一些生理上的困扰，比如饥饿和脱水。这些特点让它们成为一种具有破坏河岸稳定性的强大入侵物种。

中华绒螯蟹不仅在烹饪、农业和环境中有影响，还因为它有一项很厉害的本领：能够在脱壳时再生整个肢体。在动物中，无脊椎动物的再生能力通常比脊椎动物更强，而脊椎动物中则似乎有所减弱。鸟类和哺乳动物也有一些细胞和组织再生的能力，这引发了人们对激发再生能力是否可行的医学研究的兴趣。

因此，中华绒螯蟹成为广泛研究的对象，尤其是为了找出支持它独特生理和行为特征的基因表达。关于这种螯蟹的基因组信息在2016年首次报道，而最新的研究成果则于2022年发布。中华绒螯蟹的基因组规模相当大，为1.27 Gb，单倍体染色体数为73，这在节肢动物中算是相对较高的水平，尽管其中包含大量的重复元素。与之对比，人类的单倍体染色体数为23，基因组大小约为3.1 Gb。这些数据为研究者提供了深入了解中华绒螯蟹基因背后的奥秘的工具。

🦀️🦀️

那么，这与Memory Machine Cloud（MMCloud）有什么关系呢？

RNA-seq是一种流行的计算流程，在对中华绒螯蟹的研究中常用于分析基因表达和转录激活，使用来自Illumina、PacBio、Oxford Nanopore Technologies等公司的下一代测序（NGS）机器生成的数据。而像RNA-seq这样的复杂流程需要一个工作流管理器，比如Nextflow，来安排和管理流程中的各个任务。

在使用Nextflow时，每个任务都被分配给一个称为“执行器”的东西，这个执行器提供了运行该任务所需的完整环境。现在，通过使用 nf-float 插件，你可以把 MMCloud 当作这个“执行器”来运行你的工作流程。从 MMCloud 的角度看，Nextflow 分配给它的任务就像是一个独立的作业，运行方式与其他批处理作业一样。对于使用 Nextflow 的用户而言，不需要额外的学习成本，体验基本不变，但可以享受 MMCloud 提供的所有功能，比如 SpotSurfer、WaveRider 和 WaveWatcher 等。

MMCloud 2.3.3 版本增加了一个符合POSIX标准的分布式文件系统，这就意味着现在 Nextflow 管道可以利用高容量存储服务（比如 AWS S3）作为高性能文件系统。这对于那些有个别任务需要在复杂流程中写入和读取中间数据的情况来说非常有用，因为文件系统的性能对这些任务的执行效率有显著的影响。

在MMCloud上运行Nextflow管道非常简单。本次演示我们使用了AWS EC2计算实例，并在来自欧洲核酸库和国家医学图书馆的中华绒螯蟹实验性序列数据上运行了nf-core/rnaseq。

要使用nf-float插件，您需要一个配置文件，并指定执行环境的参数。其中一个重要的参数是VM创建策略。在这个例子中，我们选择了“SpotFirst”，这表示MMCloud会尝试启动一个折扣实例。如果在三次尝试后没有成功启动折扣实例，MMCloud将会启动按需实例。如果AWS回收了正在运行作业的折扣实例，MMCloud会将作业迁移到新实例，并按照相同的策略进行 - 首先尝试折扣实例，如果失败则转向按需实例。

🦀️🦀️🦀️

在成功运行结束时，Nextflow显示了以下信息，显示共有170个任务（作业）完成，无失败。

nf-core/rnaseq的输出中包含了MultiQC，这是一个报告工具，以html格式汇总了从多个分析模块和数据集中获得的统计数据和质量指标。MultiQC在检查流程运行结果是否存在错误和异常方面非常有帮助。

以下是中华绒螯蟹运行的MultiQC输出的示例图。
![](https://baywatch-api.memverge.com/media/upload/202311/231130023438022927.png)
![](https://baywatch-api.memverge.com/media/upload/202311/231130023437356650.png)



🦀️🦀️🦀️🦀️

中华绒螯蟹是一个充满惊喜的迷人存在。毫无疑问，这个物种将继续受到关注 —— 出现在菜单上，出现在环境保护部门，成为各种组学研究（例如转录组学）的研究主题。随着研究人员意识到MMCloud的强大威力，许多Nextflow流程将在AWS、谷歌云或阿里云上运行。

<h2>概述</h2>Sentieon® 提供一套生物信息学二级分析工具，以高效率、准确性和一致性为重点处理基因组学数据。与同类开源软件相比，Sentieon Genomics工具在性能方面实现了5到10倍的提升。MemVerge的Memory MachineTM Cloud 是一个软件平台（简称MMCloud），用于简化云环境中容器化应用的部署。大部分生信分析的共同特征是，CPU 内核和内存访问的资源需求会随着不同执行步骤发生变化。MMCloud 的WaveRider特性通过高效的checkpoint/restore技术，可自动迁移正在运行的容器，而不会丢失执行状态。利用这一特性，可以在不中断运行的前提下，让作业在不同的资源需求阶段，自由切换匹配的机型，永远不会造成资源浪费或不足。当 Sentieon Genomics 工具与 WaveRider 结合使用时，性能会进一步提高，同时成本也会降低。根据不同配置云主机的按需实例定价模式，当 CPU 和/或内存利用率较高时，通过在短时间内运行较大的虚拟机，可同时优化成本和性能。而当 CPU 和/或内存利用率较低时，使用较小的虚拟机运行，实现成本最优。以全基因组测序（WGS）场景为例，Sentieon Genomics 工具和 Memory Machine TM Cloud的组合方案，可以使运行时间减少 40%、同时实现成本减少 34%。<h2>介绍</h2>对于广大生物信息学家来说，开源工具使测序数据分析技术变得随手可得。近些年，高通量测序技术使得测序效率大幅提升，随之产生的数据增长也越来越快，对测序后的生信分析效率提出了新的要求。Sentieon Genomics 工具对常用的生信流程进行了完全重写，强调计算效率、准确性和一致性，性能比开源软件（常用的如BWA、GATK等）提高了5到10倍。本文以全基因组测序（WGS）的生信分析为例，以单一配置机型运行Sentieon全流程作为基线，对比Sention+MMCloud 组合方案的性能和成本。WGS生信分析流程基准Sentieon 开发的 WGS 基准测试对应的是全基因组测序的生信分析流程，从加载原始数据（以 .fastq 文件）开始，以 .vcf 文件输出结束。WGS 流程包括五个步骤，如表中所示。<img src="https://baywatch-api.memverge.com/media/upload/202310/231020032824088748.png">Sentieon Genomics 工具用于单服务器应用程序，即单个脚本在一台机器涵盖多个数据处理步骤，不需要第三方工作流管理应用程序来驱动。我们将WGS流程分为三个计算阶段阶段（编号步骤请参阅上表）进行性能分析：<ol><li data-list="ordered">第 1 阶段：数据准备（步骤1）</li><li data-list="ordered">第 2 阶段：序列映射（步骤 2）</li><li data-list="ordered">第 3 阶段：GATK 流程（去重、矫正、异常检测）（步骤 3 至 5）</li></ol><h2> </h2><h2>测试基线</h2>我们配置了一台按需实例（32 个 vCPU 256 GB 内存），用于运行整个WGS分析流程。图1 所示的是运行WGS基准测试的CPU和内存使用情况。横轴为时间，纵轴是资源使用情况（CPU使用率和内存使用量）。CPU 使用率显示的是所有 vCPU 的总和，因此最大可能为 3200%。图上的注释显示阶段 1、阶段 2 和阶段 3 相对应的运行时间。表1中有详细的运行时长以及消耗的云资源成本。<img src="https://baywatch-api.memverge.com/media/upload/202310/231020032952287410.png">通过分析基线测试的3个不同运行阶段的数据，可观察到以下现象：<ol><li data-list="ordered">阶段1仅使用一个 vCPU – 与理论最大值 3200% 相比，CPU 利用率为 100% 或更低。内存利用率也很低。</li><li data-list="ordered">阶段2 通过使用多线程处理充分利用所有 32 个 vCPU。内存利用率远高于阶段1，尽管峰值（103 GB）仍远小于虚拟机实例的 256 GB 容量。</li><li data-list="ordered">阶段3也使用全部 32 个 vCPU，但内存利用率较低（与阶段2相比）</li></ol> 从CPU 和内存使用率可以看出性能和成本优化的点。峰值内存使用率与平均内存的比率很大，这意味着在运行过程中，即使 CPU 利用率很高，内存容量也存在过度配置的情况。但如果虚拟机只根据平均使用量来配置内存，又会将作业运行速度拖慢、甚至因内存不足 (OOM) 错误而失败。<h2>使用 Sentieon+MMCloud 进行 WGS分析</h2>MMCloud 的 WaveRider 特性可将正在运行的作业从一台虚拟机迁移到另一台虚拟机，而不会丢失状态。迁移可以通过手动（使用 CLI 或 Web 界面）、程序控制（将 CLI 命令插入作业脚本）、或基于策略（通过定义CPU或内存利用率的阈值）的方式被触发。迁移正在运行的作业的能力意味着可以在任务不同的执行阶段动态调整底层虚拟机的大小。为了研究 WaveRider 对 WGS分析指标的影响，我们在一个阶段结束和新阶段开始的交汇处以编程方式触发迁移事件。方案1：仅优化成本为了优化成本，在不影响运行时间的前提下，通过MMCloud对不同的运行阶段对云主机进行合理降配。<ol><li data-list="ordered">使用小机型（4 个 vCPU 和 32 GB 内存）开始第 1 阶段</li><li data-list="ordered">在第 2 阶段开始时，迁移到大型虚拟机（32 个 vCPU 和 256 GB 内存）</li><li data-list="ordered">在第 3 阶段开始时，迁移到具有相同 vCPU 数量但内存容量较小 (64 GB) 的虚拟机</li></ol> 运行结果如图2显示。运行时间已包含迁移到新虚拟机所需的时间。<img src="https://baywatch-api.memverge.com/media/upload/202310/231020033051717722.png">结果显示，使用MMCloud使得云资源成本降低了 16%。各阶段的运行时间在合理抖动范围内，可被视为与基线的各阶段持平。随着数据集大小的增长，完成阶段 1 所需的时间可能会比完成阶段 2 和 3 的时间更长。在这种情况下，如果使用小型虚拟机，则成本节省会增加更多（与基准相比）。图 3 就是这样一个例子。<img src="https://baywatch-api.memverge.com/media/upload/202310/231020033201682199.png">方案2：成本和性能的综合优化性能优化的关键手段之一是尽量减少计算任务因CPU/内存资源不足而排队或阻塞。Sentieon Genomics 工具提供了一个配置选项来指定最大进程线程数。每个线程会占用1个vCPU资源。如果线程数比vCPU数多，则会因频繁的线程切换（多个线程争抢1个vCPU）对性能产生负面影响。在基线测试中使用了32线程确保与计算资源匹配。在本次测试中，MMCloud对阶段2的虚拟机的配置做了动态升级，vCPU数量从阶段1的4个增加到72个，从而Sentieon的运行线程数也相应地增加到72个，是基线测试的2倍以上。以下是MMCloud对WGS基准测试做的动态调整：<ol><li data-list="ordered">使用小型虚拟机（4 个 vCPU 和 32 GB 内存）开始第 1 阶段</li><li data-list="ordered">在第 2 阶段开始时，迁移到64核以上的大型虚拟机（MMCloud实际选取了72 vCPU 144 GB 内存的机型）</li><li data-list="ordered">将最大线程数增加到与当前vCPU数匹配</li><li data-list="ordered">在第 3 阶段开始时，迁移到具有 至少32vCPU 64GB内存的虚拟机（MMCloud实际选取了36 vCPU 72 GB 内存的机型），将最大线程数减少与新虚机vCPU数匹配。</li></ol> 图4显示了调整后的各阶段的CPU和内存消耗情况，以及运行时长的变化。运行时长已包含迁移到新虚机的时间。表5从成本和运行时长两个维度，与基线数据进行对比。<img src="https://baywatch-api.memverge.com/media/upload/202310/231020033226993592.png">这里需要介绍2种向 MMCloud 提交作业时指定虚拟机大小的方法：<ol><li data-list="ordered">通过名称指定实例类型</li><li data-list="ordered">指定 vCPU 范围和内存容量范围，例如 vCPU（内存）数量必须至少为 32（128 GB）</li></ol> 对于第2种方法，MMCloud 选择满足 vCPU 和内存要求的价格最低的虚拟机实例。有时可以以较低的价格获得更大的虚拟机，有时则无法获得最低要求的虚拟机。例如，在本次测试中，MMCloud 搜索了至少具有 64 个 vCPU 和 128 GB 的虚拟机，并找到了一个具有 72 个 vCPU 和 144 GB 内存的虚拟机。借助功能更强大的虚拟机，第 2 阶段的完成时间不到一半，同时仍将第 2 阶段的成本降低了 30%（与基准相比）。最终结果显示，运行完整的WGS基准测试，相比基线运行时长缩短了40.5%，同时云资源成本减少了33.6%，实现了性能和成本的双赢。<h2>结论</h2>Sentieon Genomics 工具缩短了执行各种生信分析流程的运行时长，通过结合 MMCloud 的 WaveRider 功能来调整计算实例的大小，运行时间可以进一步减少 40%。在性能提高的同时，还伴随着显著的成本节省（34%），因为Sentieon软件可以利用额外的vCPU——功能更强大的虚拟机减少运行时长的幅度明显大于额外vCPU在单位时间成本上的增加幅度。同时，成本节省还取决于加载数据与计算所花费的相对时间。数据加载时间越长，MMCloud能带来的成本节省效果越明显。此外，MMCloud还可以使能 Spot 实例，进一步大幅缩减云资源的开销。

这次我们来深入了解一下NextFlow的软件架构、使用方法，以及与后端计算资源的对接方案。通过实际案例，帮助读者了解NextFlow的强大功能和灵活性。NextFlow是一个用于简化数据驱动计算流程的工具，可以在各种计算环境中轻松部署。它采用了分布式计算和容器技术，实现了高度模块化、可重复性和可扩展性。NextFlow的软件架构主要包括以下几个部分：<ol><li data-list="ordered">用户界面（前端）：NextFlow采用Web前端技术，为用户提供友好的交互界面。用户可以通过浏览器访问Tower系统 (tower.nf)，轻松管理和监控数据流程。</li><li data-list="ordered">任务调度（后端）：NextFlow后端采用groovy编写，具有高性能和灵活性，负责处理用户请求、调度任务、对接计算资源等功能。Nextflow后端模块以应用程序库的形式与业务程序共进程，无需独立部署运行额外服务。</li></ol> 我们以一个实际案例来介绍NextFlow的使用方法。假设我们需要对一组基因测序数据进行分析，包括质量控制、比对、变异检测等步骤。<ol><li data-list="bullet">首先，我们需要编写一个NextFlow脚本，定义数据流程和各个步骤。脚本中可以使用NextFlow的内置操作符，如split、map、join等，来描述数据处理过程。</li><li data-list="bullet">然后，在NextFlow系统中创建一个新的流程，并上传刚才编写的脚本。系统会自动解析脚本，生成可视化的流程图。</li><li data-list="bullet">接下来，我们可以为流程配置输入数据和计算资源。例如，选择一组FASTQ格式的测序数据作为输入，指定计算资源为一个拥有32核CPU和128GB内存的节点。</li><li data-list="bullet">最后，启动流程并监控运行状态。NextFlow会自动调度任务，将各个步骤分发到计算资源上执行。用户可以实时查看任务日志，了解流程运行情况。</li></ol> NextFlow具有高度灵活的计算资源管理能力，支持多种后端计算资源，如本地服务器、计算集群和云计算平台。用户可以根据实际需求选择合适的资源类型，并通过配置文件进行对接。<ol><li data-list="bullet">对于小规模的任务，用户可以在本地服务器上直接运行NextFlow。只需安装NextFlow软件，配置好环境变量即可。</li><li data-list="bullet">对于大规模的任务，用户可以将NextFlow部署到计算集群上。NextFlow支持多种调度系统，如Slurm、SGE、LSF等。用户需要在配置文件中指定调度系统和相关参数。</li></ol> 考虑到生信分析业务突发性的特点，NextFlow还支持与公有云平台对接，通过公有云的无限资源，实现算力灵活伸缩调配的目的。用户可以在云平台上创建虚拟机，并安装NextFlow软件。然后，在配置文件中指定云平台的认证信息、资源类型等参数。以AWS为例，我们介绍一下NextFlow与公有云的对接方案：<blockquote>Step 1：在AWS控制台上创建一个EC2实例，并安装NextFlow软件。</blockquote><blockquote>Step 2：创建一个S3存储桶，用于存放输入数据和输出结果。</blockquote><blockquote>Step 3：在NextFlow配置文件中，指定AWS的认证信息（如Access Key和Secret Key）、EC2实例类型、S3存储桶等参数。</blockquote><blockquote>Step 4：运行NextFlow流程。系统会自动在AWS上创建计算资源，并将任务分发到相应的实例上执行。流程完成后，结果会自动上传到S3存储桶。</blockquote> NextFlow官方社区目前只支持了AWS（亚马逊）和GCP（Google）云平台的对接。缺少对本土云的支持，对国内用户来讲是一个较大的遗憾。另一方面，对于不熟悉云资源使用和管理的生物企业而言，在云上使用NextFlow所需的前期配置和日常运维也是一个相对高门槛的事情。如何能够将NextFlow在国内本土公有云上用起来？是否可以简化云资源运维、甚至免运维？下一期我们将对此着重讲解，并为您介绍和对比几款公有云方案。

在当今的科学研究中，我们常常需要处理大量数据。这些数据可能来自基因组、蛋白质组、转录组等生物学领域，也可能来自其他领域。为了从这些数据中提取有用的信息，通常需要经过多个计算步骤，这些步骤需要按照特定顺序执行，并可能使用不同的软件工具和库，而手动分步调用不同软件来完成整个数据处理流程将非常繁琐。数据驱动的工作流编排可以使这项任务变得更加容易。它可以将数据处理任务与各种应用软件集成在一起，帮助研究人员将复杂的计算步骤组织成一个完整的工作流，管理各步骤之间的依赖关系，根据数据完成度动态决定最佳执行顺序，并最终完成各步骤的执行。通过自动化编排的工作流具有更好的灵活性和可扩展性，能够适应不同的数据集和计算环境，还可以使研究人员更容易地复用和共享。通过数据驱动的工作流编排，数据持有者可以更好地管理和分析大规模的数据集，更快地获得数据分析结果，显著提升分析效率和准确性。以下是当前生物信息分析领域常见的数据流编排工具：<ol><li data-list="number">Snakemake：这是一种基于Python语言的工作流编排工具，支持多种并行化方法，包括多线程、多进程和分布式计算。对于初学者来说，它相对容易上手，但在支持计算平台的多样性方面稍显不足，并且不支持分布式计算。</li><li data-list="number">Nextflow：这是一种基于Groovy语言的工作流编排工具，具有高度的可扩展性和可重复性，可以在不同的计算架构上运行，包括本地计算机、服务器集群、云计算和高性能计算（HPC）。Nextflow支持Docker和Singularity容器化，并且可以与slurm、PBS等高性能作业调度系统无缝集成。此外，其完备的文档系统和活跃的社区也是Nextflow受到国内外开发者追捧的重要原因之一。</li><li data-list="number">Galaxy：这是一种基于Web的生物信息学工作流编排平台，具有直观的用户界面和丰富的功能模块，支持多种数据格式和工具。</li><li data-list="number">CWL：这是一种基于JSON描述语言的工作流编排工具，易于理解和维护。CWL支持分布式计算，兼容Docker、Singularity等主流容器化技术。但由于描述性语言的先天不足，当编写复杂工作流时，语法通常会较为繁琐。同时，由于缺乏可视化界面，管理和调试起来不太方便。</li></ol> 下几期期技术分享，我们会将着重讲解如何使用NextFlow使能复杂生信分析、以及如何方便地与云计算资源集成，在享受云上云下统一体验的同时，也进一步达到降本增效的目的。

博客