0

我已经在 kubernetes 集群中部署了 ceph 集群,并尝试使用 CephFs 和 CephRbd typ 的卷挂载来 git 克隆 Pod 内的存储库。

尽管将所有文件写入卷需要大量时间。

git 存储库大约有 4GB 大小。

想知道这是否是正常行为?

眼镜:

4 个 kubernetes 节点 - 1 个主节点 + 3 个从节点 3 个 OSD 3 个 mon 1 个元数据服务器 1 个 mnager 守护进程

ceph 用作存储的 3 个节点是 100Gb 大小的第二个 ssd 驱动器。

4

1 回答 1

1

我们也在运行一个小型 ceph 集群(4 个节点,每个节点 2 个 OSD)。这些节点仅供 ceph 使用。它们与 10Gbit 以太网连接,具有三星服务器级 SSD(由于这种不兼容性,我建议谨慎使用三星 SSD )。尤其是服务器级 SSD 为我们带来了更高的吞吐量。减少延迟的每个部分都在为您带来更好的吞吐量和对高速率小文件创建的更好响应。

我们从每个 OSD 的三个节点和两个消费者 SSD 开始。那段时间非常繁重,因为有 30 个 VM 使用 ceph 作为后备存储,我们遇到了一些情况,ceph 无法快速跟上 IO。

拥有的 ceph 节点越多越好。添加第四个节点对我们来说有很大的不同。保持 ceph 节点独占 ceph。有足够的内存。不要让 OSD 交换。使用推荐的硬件。

我只能强烈推荐这本书:Mastering Ceph 2nd Edition。它充满了宝贵的信息。

于 2020-11-05T08:38:54.880 回答