做的网站不能放视频,微信公众号上微做网站,wordpress跳转外链插件,wordpress h5主题背景
GenericWriteAheadSink是flink中提供的实现几乎精确一次输出的数据汇抽象类#xff0c;本文就来看一下使用GenericWriteAheadSink的优缺点
GenericWriteAheadSink的优缺点
先看一下GenericWriteAheadSink的原理图
优点#xff1a;
几乎可以精确一次的输出#xf…背景
GenericWriteAheadSink是flink中提供的实现几乎精确一次输出的数据汇抽象类本文就来看一下使用GenericWriteAheadSink的优缺点
GenericWriteAheadSink的优缺点
先看一下GenericWriteAheadSink的原理图
优点
几乎可以精确一次的输出也就是对于不是必须百分百保证精准一次输出的场景使用GenericWriteAheadSink是非常合适的基于GenericWriteAheadSink实现比较简单只需要实现其中的几个方法即可
缺点
1.严格来说只能做到至少一次的输出没法做到精准一次的输出 2.对于状态的大小会是一个很大的负担他会把两个或者可能两个以上检查点之间的记录都作为状态保存起来这对于检查点间隔比较长的应用来说状态大小会非常大可能会导致oom并且衡量所需的状态大小时不仅仅只通过两个检查点之间的间隔来估计极端情况下有可能有N个检查点之间的间隔的总和的消息都会被当成状态保存起来原因在于两个方面第一个方面是不是每个检查点都会触发检查点完成的通知第二个方面时在检查点完成的通知中事务提交可能失败这就意味着状态没法清除所以只能等下一个检查点或者下下个检查点的完成通知才能提交之前的事务并清理之前的状态
