就问题而言..是否可以通过 Hadoop 在本地安装/连接两个不同订阅上的两个 Azure Data Lake Store?我的目标是能够以编程方式将文件和文件夹从一个 DLS 复制到另一个 DLS。
我按照本指南展示了它如何仅与一个 ADL 一起工作,并且我设法实现了这一点。通过谷歌搜索,我没有找到任何东西,所以我尝试修改core-site.xml以使其能够从两个 DLS 中读取,如下所示:
<configuration>
<property>
<name>dfs.adls.oauth2.access.token.provider.type</name>
<value>ClientCredential</value>
</property>
<property>
<name>dfs.adls.oauth2.refresh.url</name>
<value>xxxx</value>
</property>
<property>
<name>dfs.adls.oauth2.refresh.url</name>
<value>xxxxx</value>
</property>
<property>
<name>dfs.adls.oauth2.client.id</name>
<value>yyyy</value>
</property>
<property>
<name>dfs.adls.oauth2.client.id</name>
<value>yyyyyyy</value>
</property>
<property>
<name>dfs.adls.oauth2.credential</name>
<value>xxyyxh</value>
</property>
<property>
<name>dfs.adls.oauth2.credential</name>
<value>gsgsdgsdg</value>
</property>
<property>
<name>fs.adl.impl</name>
<value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
</property>
<property>
<name>fs.AbstractFileSystem.adl.impl</name>
<value>org.apache.hadoop.fs.adl.Adl</value>
</property>
</configuration>
但通过这种方式,我仍然只能访问一个 DLS ......一个想法?