SSIS 无疑是完成这项工作的工具。
您正在尝试做的事情听起来很像我最近完成的事情。我不得不将 4 次不同客人调查的结果整合到标准数据集中。例如,所有 4 个调查都有一些相似的数据,例如客人姓名、电子邮件地址、忠诚度编号等。然后每个调查都有自己独特的一组问题和相应的答案。
我们将数据分解为
四个单独的临时表来获取不同源文件的数据。从使用多个视图的源表中,我将数据分成块来填充合并数据结构。
帮助识别每项调查的调查表。
ID
Name
Description
调查发送表具有所有调查共有的数据,并标识每个已发送的调查。
ID
First Name
Last Name
Email
四个调查详细信息表,其中包含非问题的不常见客人信息
然后我们有一个任务表房子所有的问题。
ID
Question
Description
然后我们有一个表格,将每个问题与调查联系起来。
Quesiton_ID
Survey_ID
最后是保存每个问题的客人回答的键值表。
Survey_Sent_ID
Question_ID
Answer
一切都设置好了,如果一个新问题被添加到其中一个调查中,它可以在每个问题大约 5 分钟内添加到工作流中,并在另外 5 分钟内部署到生产环境中。
这些软件包在一分钟内以各种格式翻录 40 个左右的源文件。
我使用视图来转换 SQL 中的数据,然后 SSIS 只处理从源到目标的数据传输,更新已更改的数据并插入新数据。
如果您有任何具体问题发布,我会密切关注,我会尽我所能提供帮助。