34、Flink 的 DataStream API 名字和描述使用

34、Flink 的 DataStream API 名字和描述使用

码农世界 2024-05-23 前端 110 次浏览 0个评论
名字和描述

Flink里的算子和作业节点会有一个名字和一个描述;名字和描述都是用来介绍一个算子或者节点是在做什么操作,但是他们会被用在不同地方。

名字会用在用户界面、线程名、日志、指标等场景;节点的名字会根据节点中算子的名字来构建,名字需要尽可能的简洁,避免对外部系统产生大的压力。

描述主要用在执行计划展示,以及用户界面展示;节点的描述同样是根据节点中算子的描述来构建,描述可以包括详细的算子行为的信息,以便在运行时进行debug分析。

someStream.filter(...).name("filter").setDescription("x in (1, 2, 3, 4) and y > 1");

节点的描述默认是按照一个多行的树形结构来构建的,可以通过把pipeline.vertex-description-mode设为CASCADING, 实现将描述改为老版本的单行递归模式。

Flink SQL框架生成的算子默认会有一个由算子的类型以及id构成的名字,以及一个带有详细信息的描述;可以通过将table.exec.simplify-operator-name-enabled设为false,将名字改为和以前的版本一样的详细描述。

当一个作业的拓扑很复杂时,可以把pipeline.vertex-name-include-index-prefix设为true,在节点的名字前增加一个拓扑序的前缀,就可以很容易根据指标以及日志的信息快速找到拓扑图中对应节点。

转载请注明来自码农世界,本文标题:《34、Flink 的 DataStream API 名字和描述使用》

百度分享代码,如果开启HTTPS请参考李洋个人博客
每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

评论列表 (暂无评论,110人围观)参与讨论

还没有评论,来说两句吧...

Top