除了美味，中华绒螯蟹（俗称大闸蟹）仍有很多其他迷人之处。对养殖业者而言，它是一项重要的养殖品种，为其带来丰厚的收入。

这种螃蟹对生物学家而言是一种奇迹 —— 它竟然能在淡水和盐水中生存？还能断肢再生？对于遗传学家而言，挑战在于追溯物种典型行为与基因组、转录组水平之间的关系，探究这些行为的遗传基础。

🦀️

中华绒螯蟹原产于中国的湖泊和河流中，在欧洲和北美，它被视为一种入侵物种。中华绒螯蟹主要生活在淡水中，但当它们要繁殖时，会前往盐度较高的半咸水和海水区域（这种螯蟹属于逆溯洄游型）。为了适应这种环境的盐度变化，它们需要一种复杂的机制，叫做渗透调节，来保持体内的离子平衡。

1992年，在旧金山湾首次发现了中华绒螯蟹。之后，它们在切萨皮克湾、哈德逊河和五大湖中都留下了踪迹。它们的踪影遍布整个欧洲，从泰晤士河、泰加斯河、多瑙河一直到威尼斯泻湖都可以找到它们。

大闸蟹繁殖速度快，而且能够承受一些生理上的困扰，比如饥饿和脱水。这些特点让它们成为一种具有破坏河岸稳定性的强大入侵物种。

中华绒螯蟹不仅在烹饪、农业和环境中有影响，还因为它有一项很厉害的本领：能够在脱壳时再生整个肢体。在动物中，无脊椎动物的再生能力通常比脊椎动物更强，而脊椎动物中则似乎有所减弱。鸟类和哺乳动物也有一些细胞和组织再生的能力，这引发了人们对激发再生能力是否可行的医学研究的兴趣。

因此，中华绒螯蟹成为广泛研究的对象，尤其是为了找出支持它独特生理和行为特征的基因表达。关于这种螯蟹的基因组信息在2016年首次报道，而最新的研究成果则于2022年发布。中华绒螯蟹的基因组规模相当大，为1.27 Gb，单倍体染色体数为73，这在节肢动物中算是相对较高的水平，尽管其中包含大量的重复元素。与之对比，人类的单倍体染色体数为23，基因组大小约为3.1 Gb。这些数据为研究者提供了深入了解中华绒螯蟹基因背后的奥秘的工具。

🦀️🦀️

那么，这与Memory Machine Cloud（MMCloud）有什么关系呢？

RNA-seq是一种流行的计算流程，在对中华绒螯蟹的研究中常用于分析基因表达和转录激活，使用来自Illumina、PacBio、Oxford Nanopore Technologies等公司的下一代测序（NGS）机器生成的数据。而像RNA-seq这样的复杂流程需要一个工作流管理器，比如Nextflow，来安排和管理流程中的各个任务。

在使用Nextflow时，每个任务都被分配给一个称为“执行器”的东西，这个执行器提供了运行该任务所需的完整环境。现在，通过使用 nf-float 插件，你可以把 MMCloud 当作这个“执行器”来运行你的工作流程。从 MMCloud 的角度看，Nextflow 分配给它的任务就像是一个独立的作业，运行方式与其他批处理作业一样。对于使用 Nextflow 的用户而言，不需要额外的学习成本，体验基本不变，但可以享受 MMCloud 提供的所有功能，比如 SpotSurfer、WaveRider 和 WaveWatcher 等。

MMCloud 2.3.3 版本增加了一个符合POSIX标准的分布式文件系统，这就意味着现在 Nextflow 管道可以利用高容量存储服务（比如 AWS S3）作为高性能文件系统。这对于那些有个别任务需要在复杂流程中写入和读取中间数据的情况来说非常有用，因为文件系统的性能对这些任务的执行效率有显著的影响。

在MMCloud上运行Nextflow管道非常简单。本次演示我们使用了AWS EC2计算实例，并在来自欧洲核酸库和国家医学图书馆的中华绒螯蟹实验性序列数据上运行了nf-core/rnaseq。

要使用nf-float插件，您需要一个配置文件，并指定执行环境的参数。其中一个重要的参数是VM创建策略。在这个例子中，我们选择了“SpotFirst”，这表示MMCloud会尝试启动一个折扣实例。如果在三次尝试后没有成功启动折扣实例，MMCloud将会启动按需实例。如果AWS回收了正在运行作业的折扣实例，MMCloud会将作业迁移到新实例，并按照相同的策略进行 - 首先尝试折扣实例，如果失败则转向按需实例。

🦀️🦀️🦀️

在成功运行结束时，Nextflow显示了以下信息，显示共有170个任务（作业）完成，无失败。

nf-core/rnaseq的输出中包含了MultiQC，这是一个报告工具，以html格式汇总了从多个分析模块和数据集中获得的统计数据和质量指标。MultiQC在检查流程运行结果是否存在错误和异常方面非常有帮助。

以下是中华绒螯蟹运行的MultiQC输出的示例图。
![](https://baywatch-api.memverge.com/media/upload/202311/231130023438022927.png)
![](https://baywatch-api.memverge.com/media/upload/202311/231130023437356650.png)



🦀️🦀️🦀️🦀️

中华绒螯蟹是一个充满惊喜的迷人存在。毫无疑问，这个物种将继续受到关注 —— 出现在菜单上，出现在环境保护部门，成为各种组学研究（例如转录组学）的研究主题。随着研究人员意识到MMCloud的强大威力，许多Nextflow流程将在AWS、谷歌云或阿里云上运行。

这次我们来深入了解一下NextFlow的软件架构、使用方法，以及与后端计算资源的对接方案。通过实际案例，帮助读者了解NextFlow的强大功能和灵活性。NextFlow是一个用于简化数据驱动计算流程的工具，可以在各种计算环境中轻松部署。它采用了分布式计算和容器技术，实现了高度模块化、可重复性和可扩展性。NextFlow的软件架构主要包括以下几个部分：<ol><li data-list="ordered">用户界面（前端）：NextFlow采用Web前端技术，为用户提供友好的交互界面。用户可以通过浏览器访问Tower系统 (tower.nf)，轻松管理和监控数据流程。</li><li data-list="ordered">任务调度（后端）：NextFlow后端采用groovy编写，具有高性能和灵活性，负责处理用户请求、调度任务、对接计算资源等功能。Nextflow后端模块以应用程序库的形式与业务程序共进程，无需独立部署运行额外服务。</li></ol> 我们以一个实际案例来介绍NextFlow的使用方法。假设我们需要对一组基因测序数据进行分析，包括质量控制、比对、变异检测等步骤。<ol><li data-list="bullet">首先，我们需要编写一个NextFlow脚本，定义数据流程和各个步骤。脚本中可以使用NextFlow的内置操作符，如split、map、join等，来描述数据处理过程。</li><li data-list="bullet">然后，在NextFlow系统中创建一个新的流程，并上传刚才编写的脚本。系统会自动解析脚本，生成可视化的流程图。</li><li data-list="bullet">接下来，我们可以为流程配置输入数据和计算资源。例如，选择一组FASTQ格式的测序数据作为输入，指定计算资源为一个拥有32核CPU和128GB内存的节点。</li><li data-list="bullet">最后，启动流程并监控运行状态。NextFlow会自动调度任务，将各个步骤分发到计算资源上执行。用户可以实时查看任务日志，了解流程运行情况。</li></ol> NextFlow具有高度灵活的计算资源管理能力，支持多种后端计算资源，如本地服务器、计算集群和云计算平台。用户可以根据实际需求选择合适的资源类型，并通过配置文件进行对接。<ol><li data-list="bullet">对于小规模的任务，用户可以在本地服务器上直接运行NextFlow。只需安装NextFlow软件，配置好环境变量即可。</li><li data-list="bullet">对于大规模的任务，用户可以将NextFlow部署到计算集群上。NextFlow支持多种调度系统，如Slurm、SGE、LSF等。用户需要在配置文件中指定调度系统和相关参数。</li></ol> 考虑到生信分析业务突发性的特点，NextFlow还支持与公有云平台对接，通过公有云的无限资源，实现算力灵活伸缩调配的目的。用户可以在云平台上创建虚拟机，并安装NextFlow软件。然后，在配置文件中指定云平台的认证信息、资源类型等参数。以AWS为例，我们介绍一下NextFlow与公有云的对接方案：<blockquote>Step 1：在AWS控制台上创建一个EC2实例，并安装NextFlow软件。</blockquote><blockquote>Step 2：创建一个S3存储桶，用于存放输入数据和输出结果。</blockquote><blockquote>Step 3：在NextFlow配置文件中，指定AWS的认证信息（如Access Key和Secret Key）、EC2实例类型、S3存储桶等参数。</blockquote><blockquote>Step 4：运行NextFlow流程。系统会自动在AWS上创建计算资源，并将任务分发到相应的实例上执行。流程完成后，结果会自动上传到S3存储桶。</blockquote> NextFlow官方社区目前只支持了AWS（亚马逊）和GCP（Google）云平台的对接。缺少对本土云的支持，对国内用户来讲是一个较大的遗憾。另一方面，对于不熟悉云资源使用和管理的生物企业而言，在云上使用NextFlow所需的前期配置和日常运维也是一个相对高门槛的事情。如何能够将NextFlow在国内本土公有云上用起来？是否可以简化云资源运维、甚至免运维？下一期我们将对此着重讲解，并为您介绍和对比几款公有云方案。

在当今的科学研究中，我们常常需要处理大量数据。这些数据可能来自基因组、蛋白质组、转录组等生物学领域，也可能来自其他领域。为了从这些数据中提取有用的信息，通常需要经过多个计算步骤，这些步骤需要按照特定顺序执行，并可能使用不同的软件工具和库，而手动分步调用不同软件来完成整个数据处理流程将非常繁琐。数据驱动的工作流编排可以使这项任务变得更加容易。它可以将数据处理任务与各种应用软件集成在一起，帮助研究人员将复杂的计算步骤组织成一个完整的工作流，管理各步骤之间的依赖关系，根据数据完成度动态决定最佳执行顺序，并最终完成各步骤的执行。通过自动化编排的工作流具有更好的灵活性和可扩展性，能够适应不同的数据集和计算环境，还可以使研究人员更容易地复用和共享。通过数据驱动的工作流编排，数据持有者可以更好地管理和分析大规模的数据集，更快地获得数据分析结果，显著提升分析效率和准确性。以下是当前生物信息分析领域常见的数据流编排工具：<ol><li data-list="number">Snakemake：这是一种基于Python语言的工作流编排工具，支持多种并行化方法，包括多线程、多进程和分布式计算。对于初学者来说，它相对容易上手，但在支持计算平台的多样性方面稍显不足，并且不支持分布式计算。</li><li data-list="number">Nextflow：这是一种基于Groovy语言的工作流编排工具，具有高度的可扩展性和可重复性，可以在不同的计算架构上运行，包括本地计算机、服务器集群、云计算和高性能计算（HPC）。Nextflow支持Docker和Singularity容器化，并且可以与slurm、PBS等高性能作业调度系统无缝集成。此外，其完备的文档系统和活跃的社区也是Nextflow受到国内外开发者追捧的重要原因之一。</li><li data-list="number">Galaxy：这是一种基于Web的生物信息学工作流编排平台，具有直观的用户界面和丰富的功能模块，支持多种数据格式和工具。</li><li data-list="number">CWL：这是一种基于JSON描述语言的工作流编排工具，易于理解和维护。CWL支持分布式计算，兼容Docker、Singularity等主流容器化技术。但由于描述性语言的先天不足，当编写复杂工作流时，语法通常会较为繁琐。同时，由于缺乏可视化界面，管理和调试起来不太方便。</li></ol> 下几期期技术分享，我们会将着重讲解如何使用NextFlow使能复杂生信分析、以及如何方便地与云计算资源集成，在享受云上云下统一体验的同时，也进一步达到降本增效的目的。

博客 - NextFlow Plugin: nf-float