网站建设各语言优点,4p营销理论,中国中铁建设集团门户网登录,做调查赚钱的网站有哪些背景
在flink基于事件的时间处理中#xff0c;水位线记录的生成是一个很重要的环节#xff0c;本文就来记录下几种水位线记录的生成方式的其中一种#xff1a;周期性水位线生成器
周期性水位线生成器
1.1 BoundedOutOfOrdernessTimeStampExtractor 他会接收一个表示最大延…背景
在flink基于事件的时间处理中水位线记录的生成是一个很重要的环节本文就来记录下几种水位线记录的生成方式的其中一种周期性水位线生成器
周期性水位线生成器
1.1 BoundedOutOfOrdernessTimeStampExtractor 他会接收一个表示最大延迟的参数比如1分钟意味着如果到达的元素的事件时间和之前到达的元素的最大时间戳小于1分钟那么还可以对这个元素进行正常的处理例如归入正常的窗口中等待处理等如果超过1分钟那么这个元素本应参与的计算已经完成并发出结果这个元素现在就是属于迟到元素。这个生成器的代码和下面代码类似
public class SelfAssigner extends AssignerWithPeriodicWaterMark{
public static long delay 60000; //1分钟
public long maxTs0;//已经到达的元素的最大时间戳public long extractTimeStamp(Event event){
maxTs Max(maxTs, event.getTimeStamp);
return event.getTimeStamp();
}public long getCurrentWaterMark(){return maxTs - delay;//具有1分钟容忍度的水位线
}
}1.2 直接使用assignAsendingTimeStamp分配器生成水位线它适用于输入的事件的时间戳是单调递增的他会使用当前的事件的时间戳生成水位线记录
注意事项
你是否有个疑问如果我一个自定义的水位线生成器发出一个比之前曾经发出的水位线记录的时间戳更小的水位线会有什么影响答案是 flink会忽略掉这就没有你想继续往下问的水位线回退所引发的一系列问题了
