据企查查的数据显示，2023年，平均每天有30家芯片企业在消失。

在政策、资本聚光灯下泡沫翻涌的半导体行业进入“冷静期”，2024年，有的项目已然退场，有的项目冉冉升起。

S半导体，一家位于中国上海的数字芯片创新企业，半年内连获两轮融资，第一款芯片也即将面世。在激烈的竞争中，他们率先卷出了“消费降级，体验升级”的新实践。

# 01 不能不面对的算力挑战

从上世纪五十年代手工绘制电路到如今的计算机辅助设计，集成电路（IC）设计的复杂性日益增加，芯片研发设计工具（EDA）对算力资源的精细化需求也逐渐凸显。

#### 算力波动
在芯片设计的各个阶段，对算力的需求呈现出显著的波动性。

> 初步设计与仿真 - 在这个阶段，设计师使用EDA工具进行初步的电路设计和功能仿真，这通常需要中等规模的计算资源。

> 详细设计与优化 - 这个阶段需要进行更为复杂的仿真和分析，如时序分析、功耗分析和信号完整性分析，这些任务对算力的需求显著增加。

> 验证与回归测试 - 芯片设计完成后，需要进行大量的验证和回归测试来确保设计的正确性。这包括功能验证、时序验证和综合验证等。由于需要处理大量的数据和执行复杂的算法，这个阶段对算力的需求非常高。

> 物理设计与布局布线 - 在物理设计阶段，EDA工具将电路设计转换为可以在硅片上制造的布局和布线。这个过程需要处理大量的几何数据和执行复杂的优化算法，对算力的需求达到顶峰。

#### 成本问题
算力的波动导致如果为了满足各阶段的算力需求而搭建更大的本地集群，前期的IT基础设施投入会很高，而且在算力低谷期还会存在大量的资源浪费。

#### 管理复杂性
如果为了省成本考虑使用本地集群+云端算力混合模式，算力资源的管理变得更加复杂，企业就需要精通本地和云端的IT架构，以确保资源的有效利用。


# 02 本地+云，能解决问题吗？


来自S半导体研发部门的Kris说：“我们在日常研发过程中，每次前端回归验证（regression），EDA软件会产生2000并发以上的短时计算任务。”

虽然S半导体自建了HPC集群，为EDA软件提供资源支持，在设计初期，算力资源充足，甚至有很多空闲，但随着项目推进，本地集群已无法满足突发算力需求，导致大量任务排队，影响研发效率。

在业内，本地集群算力不足时补充公有云算力资源并不是一种新的解决方案思路，S半导体的技术团队也想到了利用公有云的弹性和可扩展性。经过团队的探索及外部供应商的助力，芯片研发的效率得到了保障，但算力成本水涨船高。

于是，他们再次萌生了寻找新解决方案的念头。

# 03 不藏了，给你分析一下单月算力成本降了50%的秘密

MMCloud的效果让S半导体的研发团队感到满意：在运行MMCloud的第一个月，S半导体的算力成本就减少了50%。

每个产品在宣传的时候都喜欢用“降低XX成本，提高XX效率”这样的字眼，看得多了，这样的话就越来越像一句口号。所以，我们不如详细拆解一下S半导体算力降本50%背后的原因。

### 大规模集群管理，先降30%

在芯片研发工作中，时间线很重要。为了保证进度，研发工程师通常会选择比实际预估偏大的机型来运行作业，每个作业的运行时间不同，大量任务并发时，就会出现30%的时间已经运行完大部分作业，而剩下的70%长尾时间运行完的机器只能空置，造成了资源浪费。

MMCloud可以稳定调度大规模小机型集群，将任务分散在大规模小机型上，即便依然有70%的长尾时间，所需要的成本比之前降低了30%。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022250736575.png)


### 算力碎片整理，高并发小任务降20%

那70%长尾时间里空闲的算力资源是否还能再利用？既然要降本，就要做到极致节约。

MMCloud的WaveRider能力支持智能选配适合的资源，当工程师继续提交高并发小任务时，MMCloud能自动寻找当前空闲的机器来运行任务，这样70%长尾时间的碎片化算力资源也能被充分利用起来，将成本再次降低20%。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022321997763.png)


### 机型动态调整，大任务成本降50%

正如前面所说，大任务运行过程中会存在波峰低谷，工程师往往很难预估大任务所需的真实算力资源，为了保证任务顺利运行，他们通常会按照波峰算力资源来选择大机型，这样在算力低谷期就存在大量浪费。

MMCloud支持机型动态调整，通过对运行中的作业进行实时监控，及时发现算力的变化，并调整机型，哪怕是运行中的作业也可以随时封装成一个带时间戳的数据集，实现了迁移到更适配的机型上也可恢复、可回滚、可迁移、可复制的功能。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022333916124.jpeg)

# 04 通过精细化调度做到极致降本增效

随着半导体行业红利的逐渐消失，粗放式的研发模式已经落后于时代，对于S半导体来说，通过算力的“消费降级”实现了更精细化的调度管理，最终获得的是极致的性价比。

MMCloud深耕混合云算力调度，通过精细化调度提供本地集群与云端资源的统一管理、统一调度、统一展示，满足大规模突发算力需求，且算力弹性伸缩、按需使用。

![](https://baywatch-api.memverge.com/media/upload/202405/240517022356396726.png)

拥抱新技术的团队已经拿起了新地图，向着新大陆前进了。

分享一个故事。

有一家名为“未来芯（名字来源于AI虚拟，如有雷同，纯属巧合）”的芯片研发公司，作为该公司的研发总监，Peter的芯片设计团队，由一群充满激情的工程师组成，他们每天都在与摩尔定律赛跑，试图在硅片上雕刻出智能的未来。

## 让我们一起来看一下Peter团队的故事：

我们使用的是业内先进的EDA工具，它们在本地HPC集群上运行，负责从RTL（寄存器传输级）设计到GDSII（图形数据系统II）输出的全过程。

**在芯片设计的初期**，我们进行架构规划和功能定义，这个阶段对算力的需求相对较低，**本地HPC集群足以应对**。

但随着设计的深入，尤其是进入RTL编码和仿真阶段，算力需求激增。我们的工程师们开始在本地集群上进行大规模的逻辑综合、时序分析和功耗优化，这时，集群的算力开始显得捉襟见肘。

**在后端设计阶段**，当我们开始进行物理设计，包括布局、布线和版图验证时，**算力需求达到了顶峰**。这时，我们的本地HPC集群几乎全天候运转，但仍然无法满足日益增长的计算需求。仿真周期的延长直接影响了产品的上市时间，这对于竞争激烈的芯片市场来说，无疑是致命的。

面对这一挑战，我们开始探索新的解决方案。**我们考虑过扩大本地集群，但高昂的硬件成本和维护费用让我们望而却步。这时，我们想到了云计算，通过将部分计算任务迁移到云端，我们可以实现算力的弹性扩展，同时降低硬件投资。**

然而，我们团队的工程师已经是满负荷状态，迁移上云需要团队花时间对云端算力进行更深入的分析、研究、测试，才能找到性能和成本的最佳平衡点。我们需要的不仅仅是云计算资源，更需要的是**一套能够无缝整合本地和云端资源的混合云算力调度解决方案。**

这个时候，MMCloud进入了我们的视野。MMCloud提供的不仅仅是云计算资源，更是一种全新的算力管理理念。

我们被MMCloud的“按需使用”模式所吸引。在业务闲时，云资源成本可以降至零，这大大降低了我们的运营成本。而且，MMCloud的自动化管理功能，可以在高并发大算力需求时自动将计算任务溢出到公有云上，任务结束后自动回收资源，这极大地提高了我们的工作效率。

我们决定采用MMCloud，将其作为我们混合云算力调度的解决方案。在MMCloud的帮助下，**我们成功地将本地HPC集群与云端算力相结合，实现了算力资源的最优配置**。我们的芯片设计流程变得更加高效，仿真周期缩短，设计质量得到提升，产品上市时间也得到了保障。

Peter团队的算力困境终于得到了解决，在芯片设计场景下，好的算力支持就是芯片企业和时间赛跑的最优助力。


## 芯片研发设计场景下面临的算力挑战

**成本问题**：芯片研发设计过程中，无论是依赖本地集群还是云端算力，都不可避免地面临高昂的IT成本。此外，资源的大量浪费进一步加剧了这一问题。

**算力波动**：在芯片设计的各个阶段，对算力的需求呈现出显著的波动性，这要求解决方案能够灵活应对不同阶段的算力需求。

**管理复杂性**：随着混合云架构的普及，算力资源的管理变得更加复杂。企业需要精通本地和云端的IT架构，以确保资源的有效利用。

## MMCloud芯片研发设计混合云算力解决方案

MMCloud通过提供本地和公有云资源的统一管理，为使用Synopsys、Cadence、Mentor等主流EDA软件的芯片研发设计企业提供全面的算力管理服务。我们的服务涵盖大规模弹性算力的供给、分发、调度、智能匹配以及资源回收等全生命周期管理。

![](https://baywatch-api.memverge.com/media/upload/202402/240229085631549113.png)

**按需弹性**：用户可以根据实际需求申请公有云资源，并实现计算需求的实时弹性伸缩。在业务闲时，云资源成本可降至零。

**自动化管理**：在高并发大算力需求时，MMCloud能够自动将计算任务溢出到公有云上；任务完成后，资源自动回收，无需人工干预。

**智能调度**：MMCloud采用应用级智能调度策略，根据作业运行时的负载情况，自动适配不同规格的云主机实例，以实现成本与性能的最佳平衡。

**零学习成本**：所有这些功能都是平台后台的自动化能力，对用户完全透明，无需额外学习成本。

通过MMCloud，芯片研发设计企业可以更加专注于创新，而将研发效率提升、算力管理的复杂性交给我们。

从早期的仅面向公有云场景到现在实现混合云算力调度，过去一年，我们与越来越多的生信团队合作，他们作为“吃螃蟹的第一批人”，通过 MemVerge 的 MMCloud 平台，实现了降本 50%，提效 30% 的好成绩。

“我们在用广州、深圳这边的超算，经常在业务高峰的时候卡死，重新跑，再卡死，再重新跑……”在深圳一个医疗论坛现场一个嘉宾这么说，类似的困扰还有很多：

- 初创团队，没有单独的IT，生信部门如何在完成业务的同时兼顾IT管理？
- 业务发展挺好，但老板说24年生信预算砍一半，如何承接越来越好的业务增长？
- 业务量时多时少，本地服务器经常不够用，接下来IT资源怎么配置才合适？

## 1. 自己体验过的产品才敢说好
MMCloud 是一个能帮助生信团队实现降本增效的平台，降本 50%，提效 30%，这个不是宣传话术，而是 2023 年我们所有客户运行下来的平均数值。

降本这个事儿，也没那么神秘。没有什么技术含量的降本逻辑是，和云厂商变成好朋友，拿到更低的折扣，再转手赚个差价，但这种方式既不稳定也拿不到特别低的折扣。

真正有效的降本办法是通过核心技术能力调度云平台公开的低折扣资源，同时保障业务运行过程中所使用的云资源和业务的高峰低谷量保持一致，不多花一分冤枉钱。

![](https://baywatch-api.memverge.com/media/upload/202401/240129061632140905.png)


**如何验证这个方式是否有效呢？**

MMCloud 提供 30 天免费体验，自己亲自尝试过才有话语权，同一个任务，自己用公有云和 MMCloud 分别跑一遍，最终的费用差距会是最好的产品说明书。

## 2. 为什么要做混合云算力调度？
我们接触的很多生信团队对于上云这件事有顾虑，一方面是没有懂云的人，需要从头开始了解各种云平台的技术能力和配置，特别是生信环境搭建起来复杂度又比较高；另一方面是觉得贵，有意思的是之前碰到一些企业，我们会先问一下：为什么不用云？对方总是很干脆利落的回答我们一个字：贵。

对于已经在本地有服务器或者正在使用超算的团队来说，我们提供的混合云算力调度解决方案可以让企业在不改变原有的资源配置、团队配置和使用习惯的基础上，对于业务突发带来的算力需求激增，通过公有云算力服务来解决。

![](https://baywatch-api.memverge.com/media/upload/202401/240129061712084903.png)


混合云是一种结合了本地和云端资源的架构，因为它具有很大的灵活性和可扩展性，所以在高性能计算（HPC）中变得很受欢迎。简单来说就是当你的计算需求超过了本地资源的限制时可以迅速地利用云端资源，MMCloud 允许用户使用熟悉的 HPC 作业管理器，比如 SLURM 和 PBS ，在云端启动作业，有效地扩展了本地 HPC 环境与公有云的结合。

## 3. 用官方话术总结一下平台的价值
- 大规模算力：支持主流公有云厂商（AWS、谷歌云、阿里云、腾讯云、百度云、火山云）
- 应用智能调度：支持主流调度系统（SLURM、LSF、PBS、SGE）；基于应用智能分配资源（SpotSurfer、 WaveRider）；基于应用智能迁移、断点续算
- 混合统一管理：支持本地与云端统一资源管理；本地与云端统一混合调度
- 降本增效：基于AI智能分析应用行为、合理分配应用资源，降低成本；基于AI 智能分析任务、优化任务workflow、提升业务效率

使用Memory Machine Cloud（简称MMCloud）的生信工程师们为什么工作效率比别人高呢？我们悄悄总结了MMCloud的三个核心优势——可观测性、资源适配与自动化。

### WaveWatcher：应用可观测性的重要性

想象一下，我们站在一座大楼外，想要了解其内部的运作情况。这时，应用可观测性就像一扇窗户，让我们通过分析日志、度量和追踪信息，深入了解软件应用的行为。这样的洞察力能帮助我们找出性能瓶颈，迅速解决问题，以及合理分配资源，为软件应用提供最佳运行环境。

在MMCloud中对应的功能叫做WaveWatcher，它通过追踪“作业”（可以是应用、工作流或流水线）使用的CPU、内存、网络、存储（大小、吞吐量和IO）来提升其性能。以下是Sentieon WGS的WaveWatcher结果示例：
![](https://baywatch-api.memverge.com/media/upload/202312/231219061332352988.png)

这个流程可以划分为不同的步骤，每个步骤都有相应的“行为”。下表显示了这些步骤所消耗的资源。
![](https://baywatch-api.memverge.com/media/upload/202312/231219061347018383.png)

### WaveRider：超越可观测性的智能助手

如果说WaveWatcher如同一位敏锐的观察者，收集关于应用行为的宝贵数据。那么WaveRider就是一个智能助手，利用这些数据自动调整资源规模，确保应用、流程和工作流始终保持在最佳状态。

同时，WaveRider还关注环保，致力于减少二氧化碳排放。通过避免欠配置和过度配置，WaveRider实现了资源的高效利用，让我们无需担心性能问题和浪费。

### 三大支柱构建完美云计算体验

Memory Machine Cloud的三大支柱——任务自动化（Float）、可观测性（WaveWatcher）和规模适配（WaveRider）——共同构建了一个完整的云自动化解决方案。就像三位默契的舞者，他们协同工作，消除了在多个解决方案之间进行集成的烦恼。

用户只需通过Float CLI或GUI提交作业，如生物信息学分析流水线，WaveWatcher和WaveRider便会默契配合，自动观察作业行为并调整资源规模，实现有状态作业的支持。

### 与其他解决方案的比较：一体化优势

与其他解决方案相比，MMCloud提供了一体化的解决方案，让云计算体验更加流畅、高效。就像一位全能的大厨，为我们准备了一道美味佳肴，无需我们在厨房里手忙脚乱地尝试各种食材和烹饪方法。
![](https://baywatch-api.memverge.com/media/upload/202312/231219061417833484.png)

想象一下，在云上运行有状态、非容错的工作负载或流水线如同驾驶一辆汽车。您是否希望拥有一辆能自动调整速度、避免拥堵，同时节能环保的汽车？MMCloud正是这样的理想工具，它能帮助您减少云成本和作业运行时间，让您专注于核心业务，无需担心在多个解决方案之间的集成问题。

传统的高性能计算（HPC）通常需要使用专门配置的计算服务器集群来部署。近年来，对规模和性能的需求推动了HPC从本地部署转向云端 - 这种转变既带来了新的机遇，也面临着重大的挑战。

从积极的一面来看，云端提供了几乎无限的计算和存储资源，因为云平台可以根据需要灵活增减容量。

然而，在公有云中运行应用程序也带来了新的挑战。每个云服务提供商都有一个庞大的服务目录，而每个服务都有各种各样的功能。如果没有配置和优化云服务所需的知识，研究人员可能会遇到应用程序性能不可预测或不令人满意、意外成本或不必要的安全风险。

在科学计算和数据科学领域，MemVerge的Memory Machine Cloud（简称MMCloud）正发挥着关键作用。MMCloud是一款设计简便的云自动化平台，旨在简化在云中部署数据密集型任务和交互式计算应用程序的过程，通过自动化和容器化技术实现。

容器技术是实现应用程序在云中灵活迁移和规模化部署的核心。容器包含了运行应用程序所需的全部软件依赖和运行时库，确保以可复制的方式运行应用程序。然而，要实现容器的部署，需要一个云编排平台来安排、实例化和管理这些容器。MMCloud提供了直观的GUI图形用户界面（还有CLI命令行界面），使非专业云从业者能够轻松地将复杂的工作流程转化为在云端以容器化形式运行的应用程序。

越来越多科学家们选择依赖MMCloud，以提高他们的研究效率。

**# 01 高性能计算在云端的无缝拓展**

混合云是一种结合了本地和云端资源的架构，因为它具有很大的灵活性和可扩展性，所以在高性能计算（HPC）中变得很受欢迎。当你的计算需求超过了本地资源的限制时，应用程序可以迅速地利用云端资源。
![](https://baywatch-api.memverge.com/media/upload/202312/231219032943830584.png)

MMCloud让科学家们可以在一个既高效又灵活的混合环境中工作。它允许用户使用熟悉的HPC作业管理器，比如SLURM和PBS，在云端启动作业，有效地扩展了本地HPC环境与公有云的结合。

此外，MMCloud的核心特性包括容器化和自动化。它可以自动将容器化应用程序部署到云中，并在作业完成后自动清理云资源，这样就不会出现未经监控的资源增加导致月度云费用上升的风险。交互式会话也可以休眠，并在需要时重新启动，使整个过程更加方便和高效。

# 02 云工作负载的深度监控

有些企业对于把工作负载移到云端还有些犹豫，因为他们担心在云中运行应用程序时可能会失去对运行方式的掌控。他们可能担心作业是否能够更快或更慢地完成，以及云中的资源是不是足够或者太多了。

在云中操作时，我们需要了解工作负载的性能和资源利用情况，这样我们才能做出明智的决策。虽然云服务提供商提供了一些监控工具，但它们可能难以使用，而且通常还要额外付费。

MMCloud解决了这个问题，它提供了先进的监控和计量功能，确保科学家们能够清楚地了解他们的工作负载在云中的表现。CostReporter告诉你在云中运行的作业花费了多少钱，WaveWatcher让你轻松查看实时资源消耗情况，包括CPU、内存、存储和网络传输速度。比如，你的应用程序可能因为超过存储限制或者缺少资源而崩溃。MMCloud可以帮你发现这些问题，使故障排除变得更加简单。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033134958462.png)

MMCloud还能生成作业和主机级别的事件和性能日志，你可以实时查看这些日志，追踪作业的执行进度，或者在作业完成后下载以识别问题或错误。这些监控功能让研究人员能够微调他们的环境，以实现最大效率。

# 03 可靠的抢占式实例

几乎所有的云服务提供商都支持抢占式实例，这是一种比按需实例便宜很多的实例（有时候可以省下高达90%）。但便宜是有条件的，因为这些实例的可用性是不确定的。云服务提供商有权在很短的通知时间内（通常是两分钟或更短）收回这些实例。

抢占式实例适合那些不需要保存状态的应用程序，也可以用在一些有状态的批处理流程上，只要工作流管理器能够重新安排失败的任务。但总的来说，直接使用抢占式实例会使总花费和任务完成时间变得不稳定和不可预测。

MMCloud的SpotSurfer功能让有状态的应用程序能够一直运行下去，即使底层的抢占式实例被回收了，它会像冲浪一样迁移到一个新的虚拟机（VM）实例上。这样，客户可以在不中断任务的情况下，享受抢占式实例带来的成本节省。

SpotSurfer背后的技术原理是MemVerge自研的AppCapsule。AppCapsule会创建内存状态和文件系统数据的快照。当云服务提供商发出要回收抢占式实例的信号时，AppCapsule就会自动启动。作业执行会暂停，然后在新的抢占式实例上继续。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033151899241.png)

对于那些需要交互的会话，MMCloud还有一个反向代理，这样每个会话对用户来说就好像是一个IP地址，就算会话移到了不同虚拟机上，也不会影响到用户的使用体验。

# 04 成本管理

对于研究人员来说，控制云成本是一个很大的问题，因为预算非常有限。虽然使用云服务可能会更划算，但如果不小心管理，费用可能会变得不可预测。为了确保云支出和预算一致，在使用云服务的规模较大时，需要不断监控云资源的使用，以避免费用失控。

MMCloud提供的作业成本报告工具可以帮助准确预算，而SurfZone功能则可以实时限制云支出。

在控制成本方面，管理云基础架构工作负载的整个生命周期也很重要。MMCloud可以通过控制资源的使用，例如设定自动启动和关闭时间表，以及设置最大作业执行时间来实现这一点。在团队环境中，这种程度的控制对于管理成本至关重要，因为可能有多个用户同时在运行实验。

对于个别用户，还可以采取一些操作，比如取消作业、将作业迁移到更小（更便宜）的实例，或者暂停交互式会话，以帮助节省成本，避免不必要的闲置费用。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033207575957.png)

此外，性能也对成本控制非常重要。当作业在抢占式实例上运行时，一些作业可能更容易受到抢占，而重新开始的时间和费用可能会很大。MMCloud通过与第三方高性能文件系统的集成，提高了文件操作的效率，并在Nextflow工作流中展现了显著的优势。

# 05 调整云资源大小

云服务商提供的计算实例有各种各样，小到只有一个vCPU和500 MB内存，大到有192个vCPU和1.5 TB内存（有些专业实例甚至更大）。选择最适合进行科学工作的云资源大小是一项复杂的任务。

调整资源大小以适应负载高峰是比较安全但效率较低的方法，而调整以适应平均负载可以降低成本，但可能会导致性能不佳，甚至可能出现内存溢出错误（OOM）。

MMCloud的WaveRider功能使这个过程变得简单易行，无需手动为每个任务选择实例。WaveRider能够根据任务实时的资源利用情况，智能地将正在运行的作业迁移到最适合的虚拟机。

作业迁移有三种方式：手动、根据策略自动、或以编程方式。您可以随时手动将作业迁移到特定类型的实例，或者迁移到您定义了容量的实例。通过基于规则的策略，WaveRider监测您工作负载的资源利用情况。如果CPU或内存利用率在指定的时间内超过上限，作业将迁移到具有更多虚拟CPU或更多内存的虚拟机。同样，如果下限被突破并在指定的时间内保持低水平，作业将迁移到较小的虚拟机。对于已知资源使用情况的作业，可以在作业脚本中编程迁移，使作业在执行的不同阶段迁移。

通过优化云资源的使用，我们可以对环境的可持续性产生深远的影响。那些能主动释放未被充分利用的资源的用户有助于提高云服务提供商服务器的使用率。较高使用率下运行较少的服务器不仅能减少运营成本，还能降低嵌入式排放。
![](https://baywatch-api.memverge.com/media/upload/202312/231219033218905379.png)

在如今更加关注气候变化的社会中，优化云资源的使用是减少整个IT行业对环境影响的一步。MMCloud还提供了一个碳排放仪表板，帮助用户了解他们在云中运行作业对环境的实际影响。这就是说，通过合理使用云资源，我们可以在IT行业中减少碳足迹，对地球做出积极的贡献。

### 结论

将HPC工作负载迁移到云端，或在需要时将工作负载迁移到云端，不仅在成本、可扩展性、效率方面有好处，还对环境友好。尽管云中存在一些可操作性和成本控制的挑战，但这并不妨碍用户充分利用云计算或混合云架构的优势。

MMCloud是一个强大又容易上手的平台，为研究人员提供了使用云计算的便利。MMCloud可以用在AWS、Google Cloud和阿里云上，不受限制。

除了美味，中华绒螯蟹（俗称大闸蟹）仍有很多其他迷人之处。对养殖业者而言，它是一项重要的养殖品种，为其带来丰厚的收入。

这种螃蟹对生物学家而言是一种奇迹 —— 它竟然能在淡水和盐水中生存？还能断肢再生？对于遗传学家而言，挑战在于追溯物种典型行为与基因组、转录组水平之间的关系，探究这些行为的遗传基础。

🦀️

中华绒螯蟹原产于中国的湖泊和河流中，在欧洲和北美，它被视为一种入侵物种。中华绒螯蟹主要生活在淡水中，但当它们要繁殖时，会前往盐度较高的半咸水和海水区域（这种螯蟹属于逆溯洄游型）。为了适应这种环境的盐度变化，它们需要一种复杂的机制，叫做渗透调节，来保持体内的离子平衡。

1992年，在旧金山湾首次发现了中华绒螯蟹。之后，它们在切萨皮克湾、哈德逊河和五大湖中都留下了踪迹。它们的踪影遍布整个欧洲，从泰晤士河、泰加斯河、多瑙河一直到威尼斯泻湖都可以找到它们。

大闸蟹繁殖速度快，而且能够承受一些生理上的困扰，比如饥饿和脱水。这些特点让它们成为一种具有破坏河岸稳定性的强大入侵物种。

中华绒螯蟹不仅在烹饪、农业和环境中有影响，还因为它有一项很厉害的本领：能够在脱壳时再生整个肢体。在动物中，无脊椎动物的再生能力通常比脊椎动物更强，而脊椎动物中则似乎有所减弱。鸟类和哺乳动物也有一些细胞和组织再生的能力，这引发了人们对激发再生能力是否可行的医学研究的兴趣。

因此，中华绒螯蟹成为广泛研究的对象，尤其是为了找出支持它独特生理和行为特征的基因表达。关于这种螯蟹的基因组信息在2016年首次报道，而最新的研究成果则于2022年发布。中华绒螯蟹的基因组规模相当大，为1.27 Gb，单倍体染色体数为73，这在节肢动物中算是相对较高的水平，尽管其中包含大量的重复元素。与之对比，人类的单倍体染色体数为23，基因组大小约为3.1 Gb。这些数据为研究者提供了深入了解中华绒螯蟹基因背后的奥秘的工具。

🦀️🦀️

那么，这与Memory Machine Cloud（MMCloud）有什么关系呢？

RNA-seq是一种流行的计算流程，在对中华绒螯蟹的研究中常用于分析基因表达和转录激活，使用来自Illumina、PacBio、Oxford Nanopore Technologies等公司的下一代测序（NGS）机器生成的数据。而像RNA-seq这样的复杂流程需要一个工作流管理器，比如Nextflow，来安排和管理流程中的各个任务。

在使用Nextflow时，每个任务都被分配给一个称为“执行器”的东西，这个执行器提供了运行该任务所需的完整环境。现在，通过使用 nf-float 插件，你可以把 MMCloud 当作这个“执行器”来运行你的工作流程。从 MMCloud 的角度看，Nextflow 分配给它的任务就像是一个独立的作业，运行方式与其他批处理作业一样。对于使用 Nextflow 的用户而言，不需要额外的学习成本，体验基本不变，但可以享受 MMCloud 提供的所有功能，比如 SpotSurfer、WaveRider 和 WaveWatcher 等。

MMCloud 2.3.3 版本增加了一个符合POSIX标准的分布式文件系统，这就意味着现在 Nextflow 管道可以利用高容量存储服务（比如 AWS S3）作为高性能文件系统。这对于那些有个别任务需要在复杂流程中写入和读取中间数据的情况来说非常有用，因为文件系统的性能对这些任务的执行效率有显著的影响。

在MMCloud上运行Nextflow管道非常简单。本次演示我们使用了AWS EC2计算实例，并在来自欧洲核酸库和国家医学图书馆的中华绒螯蟹实验性序列数据上运行了nf-core/rnaseq。

要使用nf-float插件，您需要一个配置文件，并指定执行环境的参数。其中一个重要的参数是VM创建策略。在这个例子中，我们选择了“SpotFirst”，这表示MMCloud会尝试启动一个折扣实例。如果在三次尝试后没有成功启动折扣实例，MMCloud将会启动按需实例。如果AWS回收了正在运行作业的折扣实例，MMCloud会将作业迁移到新实例，并按照相同的策略进行 - 首先尝试折扣实例，如果失败则转向按需实例。

🦀️🦀️🦀️

在成功运行结束时，Nextflow显示了以下信息，显示共有170个任务（作业）完成，无失败。

nf-core/rnaseq的输出中包含了MultiQC，这是一个报告工具，以html格式汇总了从多个分析模块和数据集中获得的统计数据和质量指标。MultiQC在检查流程运行结果是否存在错误和异常方面非常有帮助。

以下是中华绒螯蟹运行的MultiQC输出的示例图。
![](https://baywatch-api.memverge.com/media/upload/202311/231130023438022927.png)
![](https://baywatch-api.memverge.com/media/upload/202311/231130023437356650.png)



🦀️🦀️🦀️🦀️

中华绒螯蟹是一个充满惊喜的迷人存在。毫无疑问，这个物种将继续受到关注 —— 出现在菜单上，出现在环境保护部门，成为各种组学研究（例如转录组学）的研究主题。随着研究人员意识到MMCloud的强大威力，许多Nextflow流程将在AWS、谷歌云或阿里云上运行。

博客 - Memory Machine Cloud