Cloudera 文档说 Hadoop 不支持磁盘加密。是否可以在 Hadoop 中使用硬件加密硬盘驱动器?
4 回答
eCryptfs可用于在每个单独的 Hadoop 节点上执行每个文件的加密。设置起来相当繁琐,但肯定可以完成。
Gazzang提供建立在 eCryptfs 之上的交钥匙商业解决方案,以通过加密保护“大数据”,并与多家 Hadoop 和 NoSQL 供应商合作。
Gazzang 的基于云的大数据加密平台帮助组织透明地加密存储在云中或本地的数据,使用先进的密钥管理和基于流程的访问控制列表,并帮助满足安全性和合规性要求。
如果您在驱动器上安装了文件系统,则 Hadoop 可以使用该驱动器。HDFS 将其数据存储在正常的 OS 文件系统中。Hadoop 不会知道驱动器是否加密,它不会关心。
Hadoop 不直接支持加密,但可以使用压缩编解码器进行加密/解密。以下是有关加密和 HDFS 的更多详细信息。
关于基于硬件的加密,我认为 Hadoop 应该能够处理它。正如 Spike 所提到的,HDFS 与任何其他 Java 应用程序一样,并将其数据存储在正常的 OS 文件系统中。仅供参考,MapR 使用 Direct I/O 以获得更好的 HDFS 性能。
另请参阅英特尔的 Rhino。还没有开源...
https://github.com/intel-hadoop/project-rhino/ https://hadoop.intel.com/pdfs/IntelEncryptionforHadoopSolutionBrief.pdf