问题标签 [hive-partitions]

我有一个外部配置单元表员工，它由 extract_timestamp (yyyy-mm-dd hh:mm:ss) 分区，如下所示。

我正在尝试通过 extract_time 删除分区并将其更改为年、月和日分区。我正在遵循以下方法。

1. 新建表employee_new，分区年月日

2. 通过从员工表中选择数据将覆盖插入到employee_new

3. 删除employee 和employee_new 并在/user/emp/data/employee_new.txt 之上创建employee 表

请让我知道这种方法是否有效，以及是否有更好的方法可以做到这一点。

无法访问在日期列上创建分区的 Impala 中的配置单元表。使用动态分区列选项插入数据。现在 impala 不支持日期数据类型。我应该怎么做才能在 impala 中访问这个表。如果有，有什么方法可以在 hive 中创建时间戳分区？

我有一个带有如下分区的表：
TABLE logs PARTITION(year = 2019, month = 06, day = 18)

分区“年”、“月”和“日”为字符串格式。

我需要删除保留最后 7 天分区的分区。并且需要每周运行该作业，以便日志表在每周开始时有 7 天的日志。

我的要求是将现有的每小时分区合并到所有天的每日分区。

我的分区列是这样的：

假设我有两个蜂巢表，table_1并且table_2. 我用：

现在，table_2将table_1在col = val.

我想做的是扭转这个过程。我table_2不希望分区位于col=val，并且我希望 table_1 保留其原始数据。

我怎样才能做到这一点？

我在 HDFS 中有一个文件夹结构，如下所示。但是，实际上没有使用这些ALTER TABLE ADD PARTITION命令在表上创建分区，即使文件夹结构已设置为好像表具有分区一样。

如何自动将所有分区添加到 Hive 表？（Hive 1.0，外部表）

我想在“插入覆盖”之前检查某个分区是否已经存在。仅当该分区不存在时才需要插入。

如何修改此查询？

我有一个我想满足的要求。我需要将数据从 DB 转移到 Hive。我每天都在sqooping，因为这些数据每天都会更新。

此数据将用作来自 spark 消费者的查找数据以进行丰富。我们希望保留我们收到的所有数据的历史记录，但我们不需要所有数据来仅查找最新数据（同一天）。我正在考虑从历史表中创建一个配置单元视图，并且只显示当天插入的记录。有没有办法每天自动执行视图，以便视图查询始终拥有最新数据？

我有一个Student已经有一个分区列的分区表dept。我需要添加新的分区列gender

是否可以在已经分区的配置单元表中添加这个新的分区列。

表数据没有gender列。它是要添加到 hive 表中的新常量列。

我无法在配置单元表中删除分区。

但是分区没有被删除

以下是我检查表分区时得到的结果：

运行 Alter table db.table drop if exists 命令后，它实际上应该删除分区。但事实并非如此。

你能建议我吗？提前致谢。