【FLINK】浅谈Flink中WaterMark在分布式环境下的传递
我们大多数的工作环境所搭建的都是分布式集群模式,那么从上一篇中我们了解了WaterMark的原理。现在在分布式的并行处理下,两个Task同时处理数据时他们所在Task的WaterMark是不相同的,Flink是如何保证WaterMark正常运行的呢。定义数据流及并行任务的数据流向,这里的延迟我们依然设置成3秒第一次处理数据第二次处理数据Watermark是用于处理乱序事件的,而正确的处理乱序事件,
·
更多推荐
我们大多数的工作环境所搭建的都是分布式集群模式,那么从上一篇中我们了解了WaterMark的原理。现在在分布式的并行处理下,两个Task同时处理数据时他们所在Task的WaterMark是不相同的,Flink是如何保证WaterMark正常运行的呢。定义数据流及并行任务的数据流向,这里的延迟我们依然设置成3秒第一次处理数据第二次处理数据Watermark是用于处理乱序事件的,而正确的处理乱序事件,
更多推荐
所有评论(0)