talend - 将本地文件复制到 HDFS 时出现 Talend 问题

Question

您好我想知道如何将文件从源文件系统（本地文件系统）复制到 HDFS，如果源文件已经复制到 HDFS，那么如何消除或忽略该文件以使用 Talend 在 HDFS 中再次复制。

谢谢文卡特

Answer 1

要将文件从本地文件系统复制到 HDFS，如果您有用于大数据的 Talend，则需要使用tHDFSPut组件。如果您使用 Talend 进行数据集成，您可以通过正确的命令轻松使用tSystem组件。

为避免重复文件，您需要在 RDBMS 中创建一个表并跟踪所有复制的文件。每次作业开始复制文件时，它应该检查它是否已经存在于表中。