我目前面临一个问题，还没有找到好的解决方案，所以希望得到大家的建议。
我的问题如图
核心数据库是所有客户端连接以管理实时数据的地方，这些实时数据一直非常庞大且忙碌。
Feature Database 使用频率不高，但它需要来自 Core Database 的部分实时数据（可能是 5%），但是到此服务器的请求任务将花费更长的时间和消耗大量资源。
我目前的解决方案是什么：
我在核心数据库和特征数据库之间使用了数据库复制，效果很好。但问题是我浪费了大量磁盘空间来存储不需要的数据。（在复制数据时过滤不适用于我的数据库模式）
使用排队系统不会使数据按时上线，因为对核心数据库的请求很多。
如果你遇到这个，请提出一些想法？
谢谢，
庞
If all you're worrying about is disk space, I would stick with the solution you have right now. 100GB of disk space is less than a dollar, these days - for that money, you can't really afford to bring a new solution into the system.
Logically, there's also a case to be made for keeping the filtering in the same application - keeping the responsibility for knowing which records are relevant inside the app itself, rather than in some mysterious integration layer will reduce overall solution complexity. Only accept the additional complexity of a special integration layer if you really need to.
您定义的是经典的数据集成任务。您可以使用任何数据集成工具从核心数据库中提取数据并加载到特色数据库中。您可以将数据集成作业从实时安排到任何时间范围。
我在我的中型 (10GB) 半科学 PostgreSQL 数据库集成项目中使用了Talend 。它工作得很好。
您还可以尝试SQL Server Integration Services (SSIS)。这个工具也很强大。它适用于所有一流的 RDBMS。