0

我正在尝试使用我的 HDInsight 群集创建外部数据源。这样做时,我需要提供位置作为 Hadoop、名称、节点、IP 地址和端口号。

那么,在哪里可以找到 HDInsight 群集上两者的名称、节点、IP 地址、资源管理器位置、IP 地址和端口号?

我已经浏览了Core-site.xml&yarn-site.xml并没有找到任何 HDInsight。

--- 3:创建外部数据源的语法。

CREATE EXTERNAL DATA SOURCE MyHadoopCluster WITH (  
    TYPE = HADOOP,   
    LOCATION ='hdfs://10.xxx.xx.xxx:xxxx',   
    RESOURCE_MANAGER_LOCATION = '10.xxx.xx.xxx:xxxx',   
    CREDENTIAL = HadoopUser1        
); 

-- 位置(必需):Hadoop 名称节点 IP 地址和端口。
-- 资源管理器位置(可选):Hadoop 资源管理器位置以启用下推计算。
-- CREDENTIAL(可选):上面创建的数据库范围凭据。

谢谢。

4

1 回答 1

2

如果我正确理解您的问题,您已经拥有一个 HDInsight 群集,并且正试图让 Azure SQL DW 通过外部表与其对话。如果您在文档的语法部分中搜索“Azure SQL 数据仓库”的CREATE EXTERNAL DATA SOURCE,您将看到目前 Azure SQL DW 中 Polybase 的唯一工作方式是与 Azure Blob 存储和 Azure Data Lake Store 通信。(请继续关注该文档页面,因为随着时间的推移,Azure SQL DW 中的 Polybase 将变得更加灵活,因为他们会继续增强它。)

因此,现在您应该让 HDInsight 写入 Hive 中定义的外部表,然后让 Azure SQL DW 指向 blob 存储中的同一文件夹,并声明其自己的外部表来读取这些 blob。

于 2016-11-30T01:23:17.050 回答