问题标签 [databricks-autoloader]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
11 问题
0
投票
1
回答
26
浏览
amazon-web-services - 在写入增量数据之前完成流式传输作业
我在使用 trigger.once 的流作业时遇到问题。当我第一次运行它时，它工作正常，将所有可用数据写入路径并完成。但是第二天，当原始路径中有新数据可用时，流看不到它并在写入任何数据之前完成查询。我正在使用自动加载器和 sqs 队列。检查点路径是正确的，并且有文件夹偏移，提交..