从Demo入手,了解Paimon/Flink项目搭建的全过程。记录下采坑之旅。
创建Flink项目
在IDEA中创建Flink项目,由于没有Flink的archetype,因此需要手动创建一下。
参考:idea快速创建flink项目,至此Flink的项目框架就搭建起来了。
注意:必须注释掉pom文件中的provided;否则运行时会报错:Error: A JNI error has occurred, please check your installation and try again
搭建Flink伪集群
在 Flink包地址 中,选择对应的版本,下载文件
解压后,其文件内容,如下
在bin目录下,运行start-cluster.bat脚本即可。打开浏览器访问:localhost:8081,就可以查看Flink的webui
高版本的Flink中已经没有bat脚本,可参考 flink新版本无bat启动文件的解决办法
补充缺失的依赖
Flink的框架搭建好之后,参考 新一代数据湖存储技术Apache Paimon入门Demo 写一个简单的Paimon程序。但在这个过程中,必须补充 缺失的POM依赖。而这些依赖在编译时并不会报错,一旦运行,各种各样的抛错:java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
Unable to create catalog xxx
Unsupported SQL query! executeSql()
如下是所有需要的pom依赖:
org.apache.flink flink-streaming-java ${flink.version} <!--provided--> org.apache.flink flink-clients ${flink.version} <!--provided--> org.apache.flink flink-table-api-java-bridge 1.18.0 org.apache.paimon paimon-flink-1.18 0.6.0-incubating org.apache.flink flink-table-planner-loader ${flink.version} org.apache.flink flink-table-runtime 1.18.0 org.apache.flink flink-connector-base ${flink.version}<!-- Example:org.apache.flinkflink-connector-kafka3.0.0-1.17--> org.apache.logging.log4j log4j-slf4j-impl ${log4j.version} runtime org.apache.logging.log4j log4j-api ${log4j.version} runtime org.apache.logging.log4j log4j-core ${log4j.version} runtime org.apache.hadoop hadoop-common 3.2.3 org.apache.hadoop hadoop-hdfs-client 3.2.3