从Demo入手,了解Paimon/Flink项目搭建的全过程。记录下采坑之旅。

创建Flink项目

在IDEA中创建Flink项目,由于没有Flink的archetype,因此需要手动创建一下。
参考:idea快速创建flink项目,至此Flink的项目框架就搭建起来了。
注意:必须注释掉pom文件中的provided;否则运行时会报错:
Error: A JNI error has occurred, please check your installation and try again

搭建Flink伪集群

在 Flink包地址 中,选择对应的版本,下载文件
解压后,其文件内容,如下

在bin目录下,运行start-cluster.bat脚本即可。打开浏览器访问:localhost:8081,就可以查看Flink的webui

高版本的Flink中已经没有bat脚本,可参考 flink新版本无bat启动文件的解决办法

补充缺失的依赖

Flink的框架搭建好之后,参考 新一代数据湖存储技术Apache Paimon入门Demo 写一个简单的Paimon程序。但在这个过程中,必须补充 缺失的POM依赖。而这些依赖在编译时并不会报错,一旦运行,各种各样的抛错:
java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
Unable to create catalog xxx
Unsupported SQL query! executeSql()
如下是所有需要的pom依赖:

  org.apache.flink  flink-streaming-java  ${flink.version}  <!--provided-->  org.apache.flink  flink-clients  ${flink.version}  <!--provided-->  org.apache.flink  flink-table-api-java-bridge  1.18.0  org.apache.paimon  paimon-flink-1.18  0.6.0-incubating  org.apache.flink  flink-table-planner-loader  ${flink.version}  org.apache.flink  flink-table-runtime  1.18.0  org.apache.flink  flink-connector-base  ${flink.version}<!-- Example:org.apache.flinkflink-connector-kafka3.0.0-1.17-->  org.apache.logging.log4j  log4j-slf4j-impl  ${log4j.version}  runtime  org.apache.logging.log4j  log4j-api  ${log4j.version}  runtime  org.apache.logging.log4j  log4j-core  ${log4j.version}  runtime  org.apache.hadoop  hadoop-common  3.2.3  org.apache.hadoop  hadoop-hdfs-client  3.2.3