问题标签 [lustre]

我正在尝试在 CentOS 7 上安装 Lustre。我点击了这个链接。当我尝试运行sh ./autogen.sh以生成配置脚本时，出现上述错误，如下图所示。

有谁知道我该如何解决这个问题？

有谁知道是否可以在具有内核 4+ 的 linux 机器上安装 luster 客户端软件？从我到目前为止的实验来看，所有的工作示例都在内核 3.10 上。如果我尝试在 4 台以上的机器上安装 kmod-luster-client，它会失败：

rpm -ivh kmod-lustre-client-2.10.5-1.el7.x86_64.rpm

错误：依赖项失败：
kmod-lustre-client-2.10.5-1.el7.x86_64 需要内核 < 3.10.0-863
内核（PDE_DATA）= kmod-lustre-client-2.10.5-1 需要 0x44f0d59d .el7.x86_64

我正在寻找影响/反映用户 I/O 性能的指标。到目前为止，我了解 OST 和 MDT 指标非常重要。但是在文件写入/读取操作期间是否有任何其他指标得到更新？主要是想知道LOV和LLITE指标在I/O方面的意义是什么。（由于 LOV 与客户有关，我认为它可能很重要，但不确定它表示什么）。

Cray 建议使用环回设备在具有 Lustre 文件系统的 HPC 集群上运行 Spark [1]。问题是大多数 HPC 集群不为其用户提供对环回设备的访问。所以我想知道是否有一个库可以在 Lustre 广告上只打开一个大文件，让我们将该大文件视为一个文件系统，然后我们可以利用并行文件访问该文件。

这样，我们可以在拥有适当分区和每个分区一个文件的同时拥有并行 IO。搜索没有显示任何东西。

[1] http://wiki.lustre.org/images/f/fb/LUG2016D2_Scaling-Apache-Spark-On-Lustre_Chaimov.pdf

我需要在 AWS 上部署 Lustre 文件系统。我不能使用 Amazon FSx for Lustre，而是需要创建在 EC2 实例上运行的所有节点。

我还需要一个 docker 配置来在本地模拟它。我想我需要为此使用一些 CentOS 映像。

我有点迷茫 - 我需要的解决方案是否可能？有人可以向我提供如何实现这一目标的步骤吗？

我正在尝试将光泽模块加载到运行 Linux 4.15.0-1040-aws 和 18.04 Ubuntu 磁盘映像（18.04 AMI）的 Linux 实例中。

我已经从Ubuntu 18.04 - Lustre 2.12.2下载并安装了（即 dpkg -i）18.04 的光泽客户端 debs ：

.ko 模块文件安装在 /lib/modules/4.15.0-45-generic/updates/fs/ 中，但默认情况下 modprobe 不会拾取它们，因为它们超出了我内核的默认查找路径：/库/模块/4.15.0-1040-aws。

有没有办法让它们加载，或者我的内核是否需要与 deb 提供的完全匹配？用户是否希望为 modprobe 编写自定义光泽 .conf 文件？

编辑

我认为答案可能是内核需要精确匹配模块——这可能需要重新编译模块源代码。我最终设法在 linux 4.14.123-111.109.amzn2.x86_64 上安装了 luster 客户端，但它运行在“Amazon Linux 2”映像（不是 ubuntu 18.04）上，我不得不使用命令amazon-linux-extras install -y lustre2.10。

我最初没有意识到的另一件事是，亚马逊的 Lustre FSx 仅与 Lustre 客户端 2.10.5 和 2.10.6 兼容（请参阅本页顶部的注释），以防万一。棘手。

如何确定我的代码正在读取或写入的文件是否在运行时从 C/C++ 代码中安装在 Lustre、GPFS 或 NFS 之上的路径上？

编辑：工作代码：

对半 C，半 C+​​+ 感到抱歉。

我正在运行 C++ 程序 STAR ( https://github.com/alexdobin/STAR )，这在我的研究领域中很常见。

当我在我的服务器上运行这个软件时，一切都很好。

当我在另一台服务器（FS= luster）上运行相同的软件时，程序冻结

我的命令行是：

我用strace看看发生了什么：

所以我认为它在这里冻结了（？）：https ://github.com/alexdobin/STAR/blob/bb207df0cb62560c9194247a0480182ccbe1dca5/source/Parameters_openReadsFiles.cpp#L38当软件gunzip -c为压缩的输入文件创建另一个进程时。

我还尝试使用将 tmp 目录指定为“/tmp”的选项，但得到了相同的结果。

什么可以解释这种行为，有没有办法解决它？

谢谢

我正在尝试在 BlueData 上运行的 docker 容器内设置一个光泽客户端（docs ）。

根据这篇文章，我修改了每个工作人员和控制器节点上的 BlueData 配置：

我添加了 SYS_ADMIN 功能：

并重新启动主机。

接下来，我在 BlueData 中配置了一个 Centos 7.x 集群：

• CentOS 7.x 没有预先打包的应用程序或软件
• 图片版本：2.2
• 发行版 ID：bluedata/centos7

然后我 ssh 进入 Centos 容器：

在容器内，我安装了光泽客户端：

但是，当我尝试加载 luster 模块时收到错误消息：

insmod /lib/modules/3.10.0-957.21.3.el7.x86_64/kernel/crypto/crct10dif_generic.ko.xz insmod /lib/modules/3.10.0-957.21.3.el7.x86_64/kernel/lib/crc -t10dif.ko.xz modprobe：错误：无法插入“光泽”：不允许操作

我检查了内核版本：

我安装的luster版本是2.12：

更新 1

dmesg 没有显示错误：

更新 2

输出：

更新 3

我尝试安装 kmod 包而不是 dkms：

然后我又试了一次sudo strace modprobe lustre：

更新 4

运行容器--privileged解决了原来的错误，但我现在遇到了一个新错误：

更新 5

错误信息提示我需要配置网络，所以我尝试了：

光泽现在加载没有错误：

我知道 SQLite 在具有多个客户端的共享文件系统上并不理想。但是，文档暗示多个阅读器应该没问题。

我的 SQLite 数据库驻留在 Lustre 卷上，并且数据库是“分区的”——尽管它是一个VIEW，而不是显式表，使用 ID 上的模运算符来定义分区——这样多个读取器是互斥的。这可行，但在（传闻中）大约 40% 的时间里，我在读取数据库时收到“磁盘 I/O 错误”（使用 Python 3.7.4 和 SQLite 3.30.0，使用 Python stdlib sqlite3）。

假设标准 Unix VFS 的假设不适用于 Lustre 文件系统（因为它们不适用于其他网络文件系统）是否安全？如果是这样，为什么它对读者很重要？

假设我只需要使用 Lustre 上的 SQLite，我能做些什么来缓解这种情况吗？例如，将数据物理分离到多个 SQLite 分片中，这些分片永远只有一个客户端，并且可能会将ATTACH它们发送到中央源？