开发者社区> 问答> 正文

百问求答(3)Flink专场!回答问题赢行李箱等好礼

便宜云服务器开发者社区作为一个充满活力的技术社区,有许多技术同道在这里勤学好问。为了让这些用户的疑惑得到解答,我们举办了“百问求答”活动,本期为Flink专场,期待用你的技术知识储备帮助同行解决难题,赢取行李箱等好礼,还有机会成为便宜云服务器开发者社区“乘风问答官”,享受专属权益!赶快参与起来!

奖项设置:

image.png

注:问题如有回答,若你有其他解决方案也可作答,将记录在内;若回答雷同,将不计数。?

乘风问答官权益可点击/ask/469378进行查看。

活动流程

1、点击https://yida.alibaba-inc.com/o/wdg进行报名;

2、回答文末Flink问题

活动时间

2023年1月16日至1月31日14:00

获奖名单及奖品邮寄时间

获奖名单将于活动结束后7个工作日公布,奖品将于10个工作日内进行邮寄,节假日顺延。

活动规则及注意事项

1、本活动回答数据不记录问答官排位赛活动中;

2、?回答仅限文章链接中的问题,其他回答不计数;

3、?回答请解答能力范围之内的问题进行,充数回答将不计算在内,如111、等与问题无关的回答;

4、?问题及回答需为中文,英文不记录数据;

5、?回答发布后将进入审核状态,审核完成即可查看;

6、?标题党、黑稿、通稿、包含违法违规、未被许可的商业推广、外站链接、非原创内容、营销软文、抄袭嫌疑的文章审核将不予通过,同时取消参赛资格。

Flink问题链接:

1、flink有api可以像 spark那样批出 kafka数据吗?

2、flinksql可以用状态吗? 把一些数据存在状态里,然后根据后面数据来更新状态里的数据或者取出来输出sink

3、flink将checkpoint写入到hdfs中七天之后token过期,有大佬解决过这个问题吗?

4、大佬们,flink的日志你们怎么处理的,进一步写到了es里了吗?还是就在log文件里

5、什么job都没运行, flink堆内存一直慢慢增长(会到2G以上), 是flink本身问题还是?

6、flink1.13要使用2.3的话是要把guava30改成18再重新打包吗?

7、flink刚启动时通过sql创建任务时数据能复制到es,然后mongo里的数据就没了,再添加es也不同步cdc模拟一个mongo节点,是不是应该通过rs.status能查呢?我查着还是一个主节点,没有子节点,是不是监听有问题啊

8、请问flink有没有日志呢?按照文档搭建的测试,同步不成功,mongodb添加了数据es里没有同步

9、flink ml支持自己线下训练好的模型部署到流里面进行预测推理吗

10、大佬们,flink sql 连接便宜云服务器数据库报禁止,什么情况

11、我想问一下flink sql 如何读取一个小时之前的一条数据

12、flink_on_yarn ,Idea 能跑,咋提交到服务器就跑不起来

13、问下 flink-sql平台 写holo 怎么 做到宽表merge? 原理明白, 但是sql 写不通

14、flink里面的容器哪里可以调优

15、我的flinksql可以从doris中select到数据,但是还是无法insert,请问有遇到过类似事情的没flink版本1.14.4

16、Flink session 集群中我们怎么添加 lib下面的connector呢?

17、flink1.15的cdc需要自己编译吗

18、有大佬做native flink on k8s的部署方案吗,按照官网的配置,报这种异常,大佬帮忙瞅瞅

19、flink 托管内存 默认情况下是这样显示的 按一定比例分配大小,是不是代表这块内存都被rocksdb使用了,也不参与垃圾回收?

20、Flink 窗口计算流读iceberg(iceberg已经修改过支持水位线)这个错误如何解决呢?

21、有大佬搞过flink on k8s的案例吗?

22、我现在flink启动的实话,会提示这个语句失败,怎么回事呀

23、flinkcdc 采集的数据,如果是更新的话,op=d、c,如果新增的话 op=c,怎么判断是真正的新增呢?

24、flink checkpoint 保留机制问题 集群模式是 standlane模式 我设置参数state.checkpoints.num-retained 参数为2 清除策略设置 RETAIN_ON_CANCELLATION

25、大佬们 为啥有时候提交flink任务会这样

26、咨询一下,flink读取mysql的数据完成了,是否会自动停止服务?

27、这是flink内置的kafka包的错吧

28、flinksql能指定uid么

29、flink作业不是每个任务里面点进去都有各自的日志吗?

30、flink sql,1.14以后怎么流join mysql呢 官网文档显示不支持join了?

31、flink版本升级到1.15.2,能从link 1.13.2的保存点恢复吗,保存点是否兼容

32、flink lookup join 的proc_time可以出现在 sum这样的聚合函数里面吗?

33、flink运行参数有一个想动态变化,你们有方案吗

34、谁给说Flink链接doris 这个应该怎么操作

35、大佬们,现在FLink写入MySQL和oracle,是不是只有jdbc这种方式啊?

36、用的flink2.3.0得版本 报错这个 哪位同仁遇到过吗?

37、请教一下,flink1.14版本连接mysql cdc流时,debezium的String流转Row流时候,字段field都在f0里分不出来

38、flink cdc的sql实现方式能单独设定算子的并行么?现在flink sql 有几个算子背压很高,没办法解决

39、flink 支持计算列吗?建表的时候

40、flink跑流任务,pg作为维表每隔一段时间会出现ck超时失败的情况有谁碰到过这个问题吗

41、flinkSQL对于两条具有水位线join的流可以使用触发器吗

42、flink_streaming读hudi读不到数据这个是什么情况呢

43、有个问题 想咨询一下 filnk的自定义source 里不能用spring容器里的东西吗?因为好多类都没有实现序列化 ,所以flink和spring到底能一起用吗?

44、请各位大神指点一下,使用flink将数据写入到HIVE中,过几天之后token自动过期 导致执行不成功,有解决办法吗

45、大佬们 flinksql转datastream混用如何启动一个job

46、请教下,flink-sql client 如何获取到插入之后的主键值?

47、flink-cdc 跟踪postgresql库 但是表都是建的timescaledb 超表 跟踪不到新增数据 有人遇到过这种情况么?

48、flink 启动时报错怎么解决?

49、flink cdc(mysql) -> elasticsearch7, 任务每次持续跑了一段时间之后(elasticsearch connection reset by peer),就自动结束了,请问一下是啥原因呀?

50、请教大佬flink如何在代码逻辑更新升级时如何保留confimap,以便自动从检查点恢复吗?

51、flink-cdc 在抽取mysql binlog,运行一段时间 source 就报错

52、大佬们flink-format-changelog-json这个包在github上找不到源码了是怎么回事呢?

53、flink sql 窗口排序怎么做 按事件时间排序flink sql 窗口排序怎么做 按事件时间排序

54、有没有对flink 离线任务压缩 hudi表 增大一次压缩的commit个数,感觉默认的太慢了

55、大佬们,我想用flinksql 开10s的窗,根据这个dim 字段来分组 处理数据然后写入kafka里,现在有个问题 , 在第一个 10s窗扣造了 dim01字段值的数据,必须在第二个 10s窗里再造个 dim01字段值的数据 这样第一个10s窗口的dim01的数据才会输出, 有知道是什么原因的吗?

56、我今天准备把flink1.13.6升级到1.14.6,但是有几个jar在便宜云服务器仓库里没找到,哪位朋友方便提供一下么

57、flink 2.2.0 升级到2.2.1 switched from INITIALIZING to FAILED with failure cause: org.apache.flink.util.FlinkRuntimeException: Failed to deserialize value 这个是什么问题?

58、大佬们,请问个问题,flink 多个并行消费rabbitmq消息,怎么保证顺序消费

59、有大佬知道 flink1.11版本 提交参数 -Dyarn.provided.lib.dirs="hdfs://test-bigdata/flinkTestJar/dependencies/lib" 无法生效的原因吗,使用./bin/flink run -m yarn-cluster 提交的,是不是yarn-cluster 不支持呀

60、有大佬知道 flink1.11版本 提交参数 -Dyarn.provided.lib.dirs="hdfs://test-bigdata/flinkTestJar/dependencies/lib" 无法生效的原因吗,使用./bin/flink run -m yarn-cluster 提交的,是不是yarn-cluster 不支持呀

61、各位有遇到过这个错误的吗?依赖版本:flink 1.14.5flink-connector-mysql-cdc 2.2.0flink-connector-debezium 2.2.0flink-sql-connector-mysql-cdc 2.2.0,怎么办?

62、请问下Flink 用Map类型接收Kafka中的嵌套json,MySQL 用json类型接收,使用sql方式怎么写?

63、有没有大佬 flink写hudi 采用flink离线压缩出现过这个问题

64、大家有测试过 一个脚本采用flink cdc 同步mysql 能同时同步多少表吗 ?

65、请问下当flink集群重启之后 kafka消息还是重复 有什么办法解决吗 kafka sink 已设置 'sink.semantic' = 'exactly-once',

66、请问,flink sql 方式可以同步修改DDL语句吗?

67、想问下大佬们,如果flink设置了整体的并行度为2,cdc的source是不是会读取两次重复的binlog数据

68、这条flinksql,拉了全库的数据,where条件没有下推 怎么回事?

69、flink 有没有遇到这种情况?

70、flink1.15.1配置全局保存点(S3),启动时报错如图,到minio那里看目录是已经创建了的,哪位大佬知道怎么回事吗?

71、flink1.4 版本 使用的EmbeddedRocksDBStateBackend , Managed Memory 一直100% 这种情况正常吗

72、大佬们flink都是用的hivecatelog吗,hadoopcatelog有用过吗,这俩有撒区别吗

73、flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有遇到过这个问题么?除了加timeout还有啥其他可以尝试的办法么?

74、有人知道flinksql 客户端运行在flink on yarn 上配置jobmanager内存不生效,怎么办?每次都取最小的 该配的都配置了

75、flink cdc 同步mysql数据库时 全量阶段出现 读取快照失败 连接重置的异常

76、flink 有人遇到这个报错吗?

77、报ORA-04030 ,flink 任务能一直跑吗?

78、flink同步oracle报这个错,请问这是因为啥?

79、flink1.16不支持hive2.1了吗?

80、执行flinksql 能转化成datastream吗

81、flinkcdc同步对数据库 的性能有影响吗? 会影响业务的写入吗?

82、有碰到在编译完flink-doris-connector ,通过stream load 写入doris 时连接不上doris fe的问题吗?

83、这种错误大家遇到过嘛 ,过一段时间 flink taskmanager就异常推出

84、请问flink cdc支持mysql主从切换吗?

85、flink-connector-redis使用的是jedis,性能可以吗?有人用lettuce重写吗

86、请问一下flinkcdc 怎么配置能同步到mysql的truncate操作呢?现在源表truncate,目的表不会有反应。

87、flink对于自增ID为主键的MySQL表怎么处理一致性的

88、flinksql中没有 COLLECT_SET 函数吗?

89、请问,FlinkCDC的postgre connector,支持startup.positiion吗

90、flinksql 的source表是加了SASL_SSL的Kafka,作业跑在yarn上,这个jks这些文件怎么能放在hdfs上并能够使用啊,现在用这个配置 写hdfs路径 说不存在

91、flink消费rabbitmq,设置prefetch count不生效有人碰到过吗

92、请问下flink cdc有提供什么手段对比源端和目标端同步数据一致性的方案没?

93、flink怎么判断全量已经跑完了,开始走增量的数据处理逻辑呢?有没有什么api可以知道的或者怎么打个标记?

94、安装flink12版本 ,可以用 flink cdc 吗?

95、flink kafkasink sink一致初始化起不来 有什么好的解决或者检查的办法么?

96、在用便宜云服务器flink嘛 能知道上面的flink版本是15.几吗?

97、我通过Flink SQL 去读取kudu的数据报的这个错误可以给些建议嘛?

98、flink cdc 2.2.1 能同步mysql数据到clickhouse 一直报这些 是什么原因呢

99、Flink-MySQL-CDC多表关联怎么写入clickhouse?

100、flink版本1.14.0在k8s 部署出现上面的问题,有遇到过的吗

展开
收起
开发者小助手 2023-01-16 11:03:21 11195 4
6 条回答
写回答
取消 提交回答
  • 热爱技术

    本期活动获奖名单如下: image.png

    实物奖品的用户请前往/score兑换奖品,获得猫超卡请注意社区账号绑定的手机号短信

    2023-02-03 14:16:44
    赞同 1 展开评论 打赏
  • 冲冲冲

    2023-01-17 15:53:16
    赞同 1 展开评论 打赏
  • 必须参加,支持!!!

    2023-01-17 08:05:13
    赞同 展开评论 打赏
  • 支持支持

    2023-01-16 14:11:42
    赞同 展开评论 打赏
  • 收到

    2023-01-16 11:12:04
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    参加参加

    2023-01-16 11:10:01
    赞同 1 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
基于 Flink SQL + Paimon 构建流式湖仓新方 立即下载
基于 Flink CDC 打造 企业级实时数据集成方案 立即下载
李劲松|Flink Table Store 典型应用场景 立即下载
http://www.vxiaotou.com