-3

我正在尝试使用 spark sql 查询放置在 Data Lake Store 中的 csv 文件。当我查询时，我得到“java.lang.ClassNotFoundException: Class com.microsoft.azure.datalake.store.AdlFileSystem not found”。

如何使用 spark sql 查询放置在 Data Lake Store 中的文件？请帮我提供样品。

示例 csv：

Id     Name     Designation
1      aaa      bbb
2      ccc      ddd
3      eee      fff

提前致谢， 索旺达里亚

4

3 回答 3

1

目前 HDInsight-Spark 群集不适用于 Azure Data Lake Storage。一旦我们得到支持，它将无缝运行。同时，您可以尝试将 ADL Analytics 用于使用 U-SQL 查询的 ADLS 上的相同作业。如需参考，请访问链接：https ://azure.microsoft.com/en-us/documentation/articles/data-lake-analytics-get-started-portal/ 我们正在努力提供支持，目前针对某些2016 年夏季之前的时间。希望它有所帮助。

谢谢，苏拉布。

于 2016-02-23T05:05:25.590 回答
1

今天试了几个小时才弄明白……把它留在这里以防其他人需要帮助！

对于 Hadoop 3.0.1，确保在hadoop-env.sh文件中取消注释以下内容

export HADOOP_OPTIONAL_TOOLS

于 2018-08-20T05:40:24.690 回答
0

Cluster AAD Identity创建 HDInsight 群集时，您似乎没有配置Data Lake Store。

您可以尝试在 Azure 门户上使用 Data Lake Store 创建 HDInsight 的 Spark 集群，请参阅https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-hdinsight-hadoop-use-门户/。

于 2016-02-19T08:57:14.797 回答