Cray 建议使用环回设备在具有 Lustre 文件系统的 HPC 集群上运行 Spark [1]。问题是大多数 HPC 集群不为其用户提供对环回设备的访问。所以我想知道是否有一个库可以在 Lustre 广告上只打开一个大文件,让我们将该大文件视为一个文件系统,然后我们可以利用并行文件访问该文件。
这样,我们可以在拥有适当分区和每个分区一个文件的同时拥有并行 IO。搜索没有显示任何东西。
[1] http://wiki.lustre.org/images/f/fb/LUG2016D2_Scaling-Apache-Spark-On-Lustre_Chaimov.pdf