85 总结一下最近遇到的一些 jar发布 相关的知识

前言

呵呵 最近有一些构建服务, 发布服务的一些需求

我们这里的服务 一般来说是 java application, spring boot application

针对发布, 当然最好是 增量发布, 尽量的减少需要传递给 发布服务器 的资源的大小

比如 我的这个 java application, 可能会存在很多依赖, 常规有很多种做法

1. 吧 application 和其依赖绑定打成一个 fat jar, 然后传到发布服务器上面, java -jar $jar

2. 通过 classpath 来关联依赖的 jar, java -classpath $classpath -jar $appJar 或者 java -classpath $classpath:$appJar $mainClazz

假设依赖很多的话, 方式 显然会传递很多 大概率不会变化的依赖的数据, 造成一些 不必要的麻烦, 时间开销等等

我们这里会 介绍一些场景来尽可能的减少发布所需要的一些数据, 将一些稳定的数据 一直保存在发布服务器上面就好

但是依然会存在一些问题, 希望您看完之后 有所收获

1. 如何更加 轻量级 的发布 java application

1. 比如 $classpath 太长的情况下, 怎么处理, 命令行支持的命令的长度是有限的, 应该怎么处理 ?

2. spring boot 的包包括了依赖, 应该怎么 更加轻量级的发布 ?

java application 启动的一些方式

抽象的来说又如下几种启动方式

1.java -classpath $classpath $mainClazz

2.java -classpath $classpath -jar $jar

但是我们这里要讨论如下几种情况, 当然 都可以抽象为上面两种方式, 但是 在一些特殊的场景有一些特殊的使用, 因此我们单独拎出来

1. java -classpath $classpath $mainClazz2. java -jar $jar3. java-classpath $classpath -jar $jar4. java CommandlineRunner $classpathFile $mainClazz5. java -jar $shortenJar $mainClazz6. java -jar $springbootJar

1. java -classpath $classpath $mainClazz

这个就是我们最常见的了, 通过 -classpath 选项指定 classpath, 然后 $mainClazz 是启动类, 寻找 classpath 中的 $mainClazz, 然后调用 $mainClazz 的main 方法

不多赘述

2. java -jar $jar

这个就是 直接通过 jar 来启动, 清单文件中包含了需要的 $classpath 和 $mainClazz

寻找 classpath 中的 $mainClazz, 然后调用 $mainClazz 的main 方法

不多赘述

3. java -classpath $classpath -jar $jar

在 2 的基础上增加了 指定 -classpath

不多赘述

4. java CommandlineRunner $classpathFile $mainClazz

这个就是 idea 提供的缩短 classpath 的方案之一

通过CommandlineRunner 代理一次, 从外部读取 classpath, 放入 classloader, 然后再 查找$mainClazz, 调用 main 方法

具体的实现, 请参见 idea 的CommandlineRunner

然后启动的方式大致如下, 抽象的来说可以归类为java -classpath $classpath $mainClazz

/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/bin/java -Dfile.encoding=UTF-8 com.intellij.rt.execution.CommandLineWrapper /private/var/folders/pw/lb8dvl7d6474r5plrnwtcp180000gn/T/idea_classpath880125671 com.hx.test12.Test02WechatJson

然后 $claspathFile 中的内容大致如下

/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/jconsole.jar/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/packager.jar/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/sa-jdi.jar/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/tools.jar/Users/jerry/IdeaProjects/HelloWorld/target/classes/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar/Users/jerry/.m2/repository/com/hx/HXLog/0.0.2/HXLog-0.0.2.jar/Users/jerry/.m2/repository/com/hx/HXCommon/0.0.2/HXCommon-0.0.2.jar/Users/jerry/.m2/repository/com/hx/HXJson/0.0.2/HXJson-0.0.2.jar

5. java -jar $shortenJar $mainClazz

这个就是 idea 提供的缩短 classpath 的方案之一

idea 生成一个 $classpathJar 里面通过 清单文件 指定了所有的 classpath, 然后搜索 $mainClazz, 调用 main 方法

然后启动的方式大致如下, 抽象的来说可以归类为java -classpath $classpath $mainClazz

/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/bin/java -Dfile.encoding=UTF-8 -classpath /private/var/folders/pw/lb8dvl7d6474r5plrnwtcp180000gn/T/classpath298101813.jar com.hx.test12.Test02WechatJson

$shortenJar 里面仅仅包含一个 清单文件, 里面的 classpath 如下

注意清单文件是有规范的, 比如这里一行多少字符, 换行之后几个空格, 这些都是有约束的

6. java -jar $springbootJar

我们做 spring boot 项目, 打包的话 可以直接生成一个可执行的 jar

直接 java -jar $springbootJar 就可以启动服务了, 非常方便

当然 也是 spring 代理了一次, 后面将执行工作交给了我们的 XXXApplication

里面的查询 类 spring 自己封装了一套 seach 体系

如何更加 轻量级 的发布 java application

呵呵 这里主要介绍一些 我们平时项目中应该怎么更加轻量级的发布 普通的 java application

首先 打包只需要打包 我们经常变化的部分

其他的相对比较固定的依赖 等等, 可以直接上传到服务器 我们通过 classpath 来关联

$classpath 太长的情况我们应该怎么处理?, idea 提供了两种解决方式

但是 我们这里显然是更加适合CommandlineRunner 的处理方式, 因此 需要自己吧CommandlineRunner dump 出来, 可能需要稍微做一些调整, 原有的CommandlineRunner 在读取了 $classpathFile 之后就删除了该文件, 我们这里 显然是不想删除 $classpathFile

思路 大体就这些, 接下来 分享一些 发布相关脚本

总体分为三类文件, 一类是 common 脚本, 一类是应用脚本, 一类是CommandlineRunner 所在的包

common 这边主要是提供一些公共的服务, 比如 启动, 关闭, 备份 等等

应用这边主要提供 启动服务, 关闭服务, 备份服务, 重启服务, 发布服务 等等

CommandlineRunner 主要是提供 shorten $classpath 的服务

CommandlineRunner 我们这里就不多赘述了, 自己参见 idea 的CommandlineRunner 即可, 我这里也只是封装了一个 bootstrap/CommandlineRunner.jar 而已

common/backup.sh

echo " backup start ... "SCRIPT_DIR=$(cd $(dirname $0); pwd)MY_BASE_DEFAULT=$(cd $SCRIPT_DIR; cd ..; pwd)PWD=`pwd`MY_BASE=${MY_BASE-$MY_BASE_DEFAULT}project=$1mainClazz=$2echo -e " \env as follows \n \SCRIPT_DIR : $SCRIPT_DIR \n pwd : $PWD \n MY_BASE : $MY_BASE \n project : $project \n \mainClazz : $mainClazz \"if [ "$project" = "" ]; thenecho " please specify project at \$1 "exitfiif [ "$mainClazz" = "" ]; thenecho " please specify main clazz file at \$2 "exitfiprojectFolder=$MY_BASE/$projectif [ ! -d "$projectFolder" ]; thenecho " project folder $projectFolder does not exists, please check that "exitfi# do businesscurDate=$(date "+%Y-%m-%d")curTime=$(date "+%H-%M-%S")bakDir="$MY_BASE/bak/$curDate/$project/$curTime"mkdir -p "$bakDir"echo " backup project $project to $bakDir "# 1. zip dev/bak first, then transfer bak.zip zip -r $projectFolder/dev/bak.zip $projectFolder/dev/bak/* rm -rf $projectFolder/dev/bak/*mv $projectFolder/dev/bak.zip $projectFolder/dev/bak/bak.zipcp -r $projectFolder/dev/bak/* $bakDir/ 2>/dev/nullecho " copied /dev/bak/* in project $project to $bakDir "echo " backup end ... "

common/commandLineWrapperStartUp.sh

echo " startup start ... "SCRIPT_DIR=$(cd $(dirname $0); pwd)MY_BASE_DEFAULT=$(cd $SCRIPT_DIR; cd ..; pwd)PWD=`pwd`MY_BASE=${MY_BASE-$MY_BASE_DEFAULT}project=$1ideaClasspathFile=$2mainClazz=$3mainArgs=$4echo -e " \env as follows \n \SCRIPT_DIR : $SCRIPT_DIR \n pwd : $PWD \n MY_BASE : $MY_BASE \n project : $project \n \ideaClasspathFile : $ideaClasspathFile \n mainClazz : $mainClazz \n mainArgs : $mainArgs \"if [ "$project" = "" ]; thenecho " please specify project at \$1 "exitfiif [ "$ideaClasspathFile" = "" ]; thenecho " please specify idea classpath file at \$2 "exit fiif [ "$mainClazz" = "" ]; thenecho " please specify main clazz file at \$3 "exitfiprojectFolder=$MY_BASE/$projectideaClasspathFileFullpath=$MY_BASE/$project/$ideaClasspathFileif [ ! -d "$projectFolder" ]; thenecho " project folder $projectFolder does not exists, please check that "exitfiif [ ! -f "$ideaClasspathFileFullpath" ]; thenecho " idea classpath file $ideaClasspathFileFullpath does not exists, please check that "exitfiEXISTS_PID=`jps -lvm | grep $mainClazz | grep -v grep | awk '{print $1}'`if [ "$EXISTS_PID" = "" ]; then#nohup java -cp $MY_BASE/common/Bootstrap.jar com.hx.idea.CommandLineWrapper $ideaClasspathFile $mainClazz $mainArgs > ./logs/nohup.log 2>&1 &java -jar /meiya/bootstrap/CommandLineWrapper.jar $ideaClasspathFileFullpath $mainClazz $mainArgs > logs/nohup.log2>&1pwd)MY_BASE_DEFAULT=$(cd $SCRIPT_DIR; cd ..; pwd)PWD=`pwd`MY_BASE=${MY_BASE-$MY_BASE_DEFAULT}project=$1mainClazz=$2echo -e " \env as follows \n \SCRIPT_DIR : $SCRIPT_DIR \n pwd : $PWD \n MY_BASE : $MY_BASE \n project : $project \n \mainClazz : $mainClazz \"if [ "$project" = "" ]; thenecho " please specify project at \$1 "exitfiif [ "$mainClazz" = "" ]; thenecho " please specify main clazz file at \$2 "exitfiprojectFolder=$MY_BASE/$projectif [ ! -d "$projectFolder" ]; thenecho " project folder $projectFolder does not exists, please check that "exitfiEXISTS_PID=`jps -lvm | grep $mainClazz | grep -v grep | awk '{print $1}'`if [ "$EXISTS_PID" = "" ]; thenecho " the main class $mainClazz does not startup "elsekill -9 $EXISTS_PIDecho " the main class $mainClazz shutdown succeed, kill -9 $EXISTS_PID "fiecho " shutdown end ... "

$appHome/startUp.sh

../common/commandLineWrapperStartUp.sh $APP_NAME ./dev/conf/gen_idea_classpath.txt org.springframework.boot.loader.JarLauncher

$appHome/shutdown.sh

../common/commandLineWrapperShutdown.sh $APP_NAME org.springframework.boot.loader.JarLauncher

$appHome/restart.sh

# 1. shutdownecho ""./shutdown.shsleep 3s# 2. startupecho ""./startUp.sh

$appHome/backup.sh

bakDir="./dev/bak"rm -rf $bakDirmkdir -p $bakDirecho " prepare copy files to /dev/bak "cp *.properties $bakDir/ 2>/dev/nullecho " copied *.properties to $bakDir "cp *.txt $bakDir/ 2>/dev/nullecho " copied *.txt to $bakDir "cp *.jar $bakDir/ 2>/dev/nullecho " copied *.jar to $bakDir "cp *.xml $bakDir/ 2>/dev/nullecho " copied *.xml to $bakDir "cp *.sh $bakDir/ 2>/dev/nullecho " copied *.sh to $bakDir "cp -r resources $bakDir/ 2>/dev/nullecho " copied /resources to $bakDir "echo " copied files to /dev/bak "echo ""../common/backup.sh $APP_NAME org.springframework.boot.loader.JarLauncher

$appHome/release.sh

mainJar="$APP_NAME-0.0.1.jar"updatedMainJar="$APP_NAME-0.0.1.jar.0"# 0. sanity check# ifs update for filename with blankecho ""SAVED_IFS=$IFSIFS=$(echo -en "\n\b")if [ ! -f "$updatedMainJar" ]; thenecho " the newMainJar $updatedMainJar does not exists, please check that "exitfi# 1. backup first./backup.sh# 2. shutdownecho ""./shutdown.sh# 3. release jarecho ""rm -rf $mainJarecho " removed oldMainJar $mainJar "move $updatedMainJar $mainJarecho " rebuild $mainJar succeed "sleep 3s# 4. startupecho ""./startUp.sh# restore ifsIFS=$SAVED_IFS

新增一个项目, 需要拷贝一套 应用脚本, 然后需要调整一些配置

1. startUp.sh 需要调整$APP_NAME, $classpathFIle, $mainClazz

2. shutdown.sh 需要调整$APP_NAME, $mainClazz

3. restart.sh 不需要调整

4. backup.sh 需要调整 备份的业务, $APP_NAME, $mainClazz

5. release.sh 需要调整 $mainJar, $updatedMainJar, 发布的业务

spring boot 的包包括了依赖, 应该怎么 更加轻量级的发布 ?

这里的思路也很简单, 发布的服务器上面存放一份完整的 $springbootJar 的解压的版本 deflatedJar, 里面包含了 项目的 class, 配置文件, 依赖信息, spring 的代理信息 等等

然后我们通过 maven 打包 spring boot 项目之后, 清理掉较大的 依赖 这部分 jar, 这时候 整个 jar 包就比较小了

然后 上传到发布服务器, 然后 解压待发布的 jar, 覆盖deflatedJar 里面的已有的内容, 然后再重新打 jar 包, 然后替换掉之前的 发布包, 然后启动服务即可

主要是 release.sh 中的 发布的这一部分需要做一些调整

# 3. release jarecho ""rm -rf $mainJarecho " removed oldMainJar $mainJar "# unzip -o -d deflatedJar/ $APP_NAME-0.0.1.jar.0unzip -o -q -d deflatedJar/ $updatedMainJarecho " deflated lastest jar into defaltedJar/ "rm -rf $updatedMainJarecho " removed updatedMainJar $updatedMainJar "rm -rf deflatedJar/BOOT-INF/classes/application.ymlcp application.yml deflatedJar/BOOT-INF/classes/application.ymlecho " replace application.yml to BOOT-INF/classes/application.yml "cd deflatedJar# zip -r -0 ../$APP_NAME-0.0.1.jar .zip -r -q -0 ../$mainJar .cd .. echo " rebuild $mainJar succeed "

完