我有一堆 csv 文件加载到 Azure blob 存储中,具有以下结构:
文件 1
日期,T1SensorFG1,T1SensorFG2,T1SensorFG3
2016 年 1 月 1 日、200、300、400
文件2
日期、T2SensorFG1、T2SensorFG2、T2SensorFG3
2016 年 1 月 1 日, 300,250, 345
因此,本质上,两组传感器(T1 和 T2)在一个时间点发出三个读数。
我需要读取这些数据并将列标题应用于行,以便在后续处理之前知道每个读数来自哪个银行。
理想情况下,管道的结果应该是这样的:
银行、日期、FG1、FG2、FG3
T1, 2016 年 1 月 1 日, 200, 300, 400
T2, 1/1/16, 300, 250, 345
如果这更容易,我会对旋转结果同样满意:
银行、日期、传感器、值
T1,2016 年 1 月 1 日,FG1,200
T1,1/1/16,FG2,300
T1,1/1/16,FG3,400
ETC
我想不通,我不敢相信这是不可能的。
Azure Blob 是源。Destination/Sink 可以是 blob 和/或 Azure SQL DB
请有人可以为我提供一些解决此问题的指示。
非常感谢
史蒂夫