我正在尝试使用 Python 将 CSV 从 1 个远程服务器加载到另一台服务器上的 Hive 客户端:
我在远程服务器上打开 CSV 文件:
with open("/path/to/csv/file/" +self.file_to_load, "rb") as file:
csv_file = file.read()
现在我正在寻找使用 pyhive connect 将该 csv_file 加载到 Hive(位于不同服务器上)的命令;
conn_h = hive.connect(host=self.hive_host, port=10000, auth='NONE',username=self.user)
query = "LOAD LOCAL DATA INPATH 'file://" + self.path_to_file + "' OVERWRITE INTO TABLE " + self.tgt_hive_table
conn_h.cursor.execute(query)
我正在寻找一种方法来加载 csv 文件而不将实际文件保存在服务器上