real-time - 大量数据的第三方数据交付

Question

有谁知道拥有大量数据实时馈送的网站是如何工作的？我指的是股票网站之类的东西，他们可以在其中实时告诉您（嗯，主要是 20 分钟的延迟，但仍然是实时的——据我所知是 20 分钟）。

他们每秒都有成千上万的数据块交付给他们，我想：MSFT 25.00 +.23 VOL 12000 ???? 对于在某个时间间隔内发生变化的每只股票。

那么，是否只有不断的小推动？还是您认为网站会从拥有真实数据的地方拉出并说“给我从 CST 12:23:45 到现在的所有更改”类型查询？

我问这个是因为在工作中我们可能会遇到这样的情况，我们需要在我们的应用程序的指尖获得这样的实时信息，并且每秒一遍又一遍地点击我们的第三方提供商是没有意义的......

score 4 · Accepted Answer

通常在两方之间定义了一个服务器/客户端协议。在我为之工作的公司里，这种联系始终保持着。

这是与您的股票示例一起使用的实时数据馈送信息

数据提供者通常还拥有包含（延迟）批处理数据的 FTP 站点。想到的一个是NWS EMWIN

score 1 · Accepted Answer

1

Twitter等网站通过XMPP（Wiki 链接）将数据实时馈送到某些已批准的网站。

于 2008-10-05T02:50:15.910 回答

score 1 · Accepted Answer

从广义上讲，推送模型将是实现“实时”传输的最佳方式，特别是在您谈论大量数据时。

但是，在使用纯推送模型来从丢失的数据中恢复时，您总是会遇到问题。

取决于您的数据的性质，这可能不是问题（将视频传输视为模拟，其中数据量很大，但有足够的冗余可以从丢失的数据中恢复）。而且，如果您对数据有任何控制权，则可以在其中构建一些冗余。例如，在每个更改事件上，您都可以提供绝对值而不是更改，或者以前的值和新的值。

score 0 · Accepted Answer

我已经这样做了，试图从源中检索股票报价，并在主源失败或超时时回退到报价的带时间戳的磁盘缓存。

4 回答 4