1

就问题而言..是否可以通过 Hadoop 在本地安装/连接两个不同订阅上的两个 Azure Data Lake Store?我的目标是能够以编程方式将文件和文件夹从一个 DLS 复制到另一个 DLS。

我按照本指南展示了它如何仅与一个 ADL 一起工作,并且我设法实现了这一点。通过谷歌搜索,我没有找到任何东西,所以我尝试修改core-site.xml以使其能够从两个 DLS 中读取,如下所示:

<configuration>
    <property>
        <name>dfs.adls.oauth2.access.token.provider.type</name>
        <value>ClientCredential</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>xxxx</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>xxxxx</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>yyyy</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>yyyyyyy</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>xxyyxh</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>gsgsdgsdg</value>
    </property>
    <property>
      <name>fs.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
    </property>
    <property>
      <name>fs.AbstractFileSystem.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.Adl</value>
    </property>
</configuration>

但通过这种方式,我仍然只能访问一个 DLS ......一个想法?

4

0 回答 0