Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我们有一个 Apache Beam 管道,需要运行多个 BeamSql 查询。查询在管道构建时是未知的,但在管道运行时将是已知的。查询将定期更新。BeamSql可以做到这一点吗?我们正在使用 Google Dataflow 运行器。
恐怕这对于 Beam SQL 是不可能的。查询在构建时被转换为管道结构。
那么,您是否接收 SQL 语句作为管道的输入?一种可能性是从您的管道内启动“子”管道。