Fusion 文件系
https://nextflow.io/blog/2022/rethinking-containers-for-cloud-native-pipelines.html
实施 Wave 的主要动机之一是,我们希望能够轻松地将 Fusion 客户端打包到容器中,以便在 Nextflow 管道中随时提供这一重要功能。
Fusion 实现了一个虚拟分布式文件系统,并提供了一个瘦客户端,允许通过管道工具所需的标准 POSIX 文件系统接口访问托管在 AWS S3 存储桶中的数据。此客户端在任务容器中运行,并通过 Wave 增强功能自动添加。这使得 Fusion 功能可用于在运行时执行流水线。
这意味着 Nextflow 管道可以使用 AWS S3 存储桶作为工作目录,管道任务可以作为本地文件系统路径本地访问 S3 存储桶。这是一项重要的创新,因为它避免了将文件复制到对象存储中和从对象存储中复制文件的额外步骤。Fusion 利用 Nextflow 任务分离和幂等执行模型来优化和加速文件访问操作。