问题标签 [flat-file]

我们正在评估 SSIS，看它是否适合即将推出的新项目。其中一个进程必须处理带有分隔记录的平面文件。该文件将包含订单。有一个标题行、一个（可选的）送货地址行和一个或多个详细信息行。每行的字段都有分隔，但格式不同。

我读了这个答案：

SSIS 事务数据（不同的记录类型，一个文件）

而且我可以使用 Conditional Split 任务拆分数据以产生多个输出，但不知道如何从那里开始。我有两个问题需要解决：

1. 订单标头应先插入，在地址和详细信息之前，因为地址和详细信息将引用订单记录，所以我想我需要先处理该输出，但我不确定在 SSIS 中如何制作该分支条件拆分任务在其他分支之前处理。理想情况下，我想处理订单标题，然后将订单 ID 存储在用户变量中，以便在处理详细信息时，我可以引用该变量。

2. 文件中会有多个订单，所以拆分比较复杂。

我总是可以用 C# 编写一个应用程序来预处理文件或将文件读入临时表，但我不确定我是否喜欢这种方法。

任何经历过这个过程的人都可以分享一些关于他们如何处理它的见解吗？

谢谢，

克里斯

我只是在想，将应用程序的实际数据存储在平面文件中会有多快。

现在，您不能只将所有内容存储在平面文件中……有时需要进行排序和搜索，并且递归地遍历目录和文件可能会很痛苦。

现在，想象一下，您将所有可搜索的数据存储在数据库中，并有一个指向数据文件的指针字段？

然而，这对于每个应用程序来说都是非常具体的——只要我所有的可搜索数据都存储在数据库中，我为什么要将实际数据存储在数据库中？

（锁定，数据完整性除外）它会更快，我敢肯定......但是多少，值得这样做吗？

我需要一种简单的方法让多个正在运行的 PHP 脚本共享数据。

我应该创建一个带有 RAM 存储引擎的 MySQL 数据库，并通过它共享数据（多个脚本可以同时连接到同一个数据库吗？）

或者每行包含一个数据的平面文件会更好吗？

我正在使用一个生成文本文件的系统（Maximo）。
我只需要删除文件的第一行。
这样做的方法应该是使用 XSLT。

任何想法？

我有一个平面文件连接，我只对前 10 行数据感兴趣。如何只导入前 10 行？行采样是随机的，所以我不能使用它。有什么方法可以让我拥有某种派生列，它是自动行号或其他东西，然后数据拆分以仅保留该 id <= 10 的行？

非常感谢任何帮助！

我已经从我拥有的 CSV 文件实例在 Visual Studio 中创建了一个平面文件架构，并且它验证得很好，并且我已经连接了一个编排来发送和接收设置为期望该架构文件的端口。当我发布编排并使用它来获取文件时，它立即被挂起，并出现以下错误：

无法路由已发布的消息，因为未找到订阅者。如果尚未征用订阅编排或发送端口，或者未提升订阅评估所需的某些消息属性，则会发生此错误。请使用 Biztalk 管理控制台解决此故障。

发送端口已登记，由于我没有根据内容进行任何处理，我认为我不需要宣传任何东西。我目前正在使用 PassthroughReceive 管道-其他三个管道我给了我关于无法反汇编文件的错误，因为它们似乎在期待 XML。

我在这里遗漏了一些明显的东西吗？或者，换句话说：

我可以在没有自定义管道的情况下将 CSV 文件的内容传递给我的编排吗？

我有一个文本文件，需要阅读它并更改一些文本并在新行中添加一些新文本。如何添加包含一些文本的新行？我现在使用脚本组件来读取现有行并对其进行更改，但我无法添加新行:-(

提前致谢

问候布尔诺

我在 Visual Studio 2005 中构建了一个 SSIS 作业，它访问一个平面文件并更新 SQL Server 2005 中的一个表。这非常有效。然后，我使用保护级别属性中的服务器存储选项将副本存储在 SQL Server 上。当我尝试运行它时，它找不到平面文件。平面文件位于服务器上，我使用 IP 地址访问它。我注意到，如果我删除到此服务器的映射并从 Visual Studio 运行作业，它也找不到它。我要从 SQL Server 2005 访问该文件吗？我打算安排这个作业在 SQL Server 上自动运行。非常感谢您提供的任何帮助。罗尼·卡林

我编写了自己的PageStatePersister类，基于该类SessionPageStatePersister将会话的最近 10Viewstate秒写入共享磁盘。我认为这将比保持Viewstate会话更好地扩展，因为所有 Web 服务器都可以访问它，它们不必处理过期问题，并且使用更少的内存。

当用户关闭浏览器时，它会通知服务器，服务器会删除两个小时未访问的文件。到目前为止一切都很好，但我想知道将其存储Viewstate在 SQL 服务器数据库中是否会更快、更有效。

1. 每个ViewState文件平均为 30k。 
2. 目前它只是读取一个隐藏字段来获取 Viewstate 键并直接访问文件并反序列化。无需排序或搜索。
3. 每小时将有大约 2000 个并发用户，保存最近的 20 个 Viewstate 会话将是每小时大约 20k 个临时视图文件。
4. 它必须定期遍历文件并删除最旧的文件。

那么在这种情况下哪个更好：平面文件系统还是数据库？

我正在 Android 上开发一个应用程序，它将从大量引用中随机挑选并显示鼓舞人心的引用（或诗句）。在 Android 上，我可以在平面文件和 SQLite 数据库之间进行选择。

该应用程序应满足以下条件：

1. 可扩展到 10^6 引文和/或诗句

2. 速度非常快（即检索并显示报价，只需按一下按钮即可）

3. 能够从外部来源加载新报价（以我尚未决定的格式）

我必须使用什么数据格式？谢谢。