jenkins部署Maven和NodeJS项目

在 Java 项目开发中，项目的编译、测试、打包等是比较繁琐的，属于重复劳动的工作，浪费人力和时间成本。以往开发项目时，程序员往往需要花较多的精力在引用 jar 包搭建项目环境上，跨部门甚至跨人员之间的项目结构都有可能不一样。Maven 的仓库管理、依赖管理、继承和聚合等特性为项目的构建提供了一整套完善的解决方案。将 Maven 集成到 jenkins 环境中，为开发人员的编译、打包、部署，测试等工作，提供了高效率的集成环境。

一、开发相关概念

1.什么是 Maven

每一个开发工具(IDE)都有自己不同的项目结构，它们互相之间不通用。比如我再 eclipse 中创建的目录，无法在 idea 中进行使用，这就造成了很大的不方便。Maven 提供了一套标准化的项目结构，所有的 IDE 使用 Maven 构建的项目完全一样，所以 IDE 创建的 Maven 项目可以通用。

Maven 是 Apache 软件基金会组织维护的一款自动化构建工具，专注服务于 ava 平台的项目构建和依赖管理。Maven 这个单词的本意是:专家，内行。读音是['merv(ə)n]或['mevn]。

Maven 项目对象模型(POM)是可以通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

2.Maven的作用

(1)项目构建: Maven 自动化 Java项目的构建过程。它根据预定的生命周期并执行各个生命周期阶段的任务，实现编译、测试、打包等，并确保构建的一致性和可重复性。

(2)依赖管理: Maven 根据 pom.xml 文件的依赖信息自动下载和管理库和框架。它规范了依赖解析和库搜索过程，避免了版本冲突和传递问题。
(3)项目信息管理: Maven 利用 pom.xml 文件描述的项目信息生成报告和文档。这提高了项目的可读性和可维护性。
(4)插件及扩展: Maven 通过插件系统实现高度可扩展性。插件增强项目功能，如代码生成、代码质量检查、测试报告等。
(5)多模块项目支持: Maven 支持创建多模块项目，简化大型项目的组织和管理。多模块项目共享依赖、插件和属性配置，方便项目配置和维护。
(6)持续集成: Maven 与各种持续集成工具(如 Jenkins、Travis CI等)相结合，实现项目的自动化构建、测试和部署等，有助于提高项目的质量和交付速度。

3.什么是构建

构建就是以我们编写的 Java 代码、框架配置文件、其他资源文件、JSP 页面和图片等静态资源作为“原材料”，去“生产”出一个可以运行的项目的过程。

(1)构建过程的几个主要环节

清理:删除以前的编译结果，为重新编译做好准备
编译:将 Java 源程序编译为字节码文件。
测试:针对项目中的关键点进行测试，确保项目在迭代开发过程中关键点的正确性。
报告:在每一次测试后以标准的格式记录和展示测试结果。
打包:将一个包含诸多文件的工程封装为一个压缩文件用于安装或部署。Java 工程对应 jar 包，Web 工程对应 war 包。
安装:在 Maven 环境下特指将打包的结果-jar 包或 war 包安装到本地仓库中。
部署:将打包的结果部署到远程仓库或将war 包部署到服务器上运行。

(2)自动化构建

我们为什么要使用 Maven 这样的构建工具呢?我们来看一个程序员在某一天的工作:

托马斯像往常一样早早的来到了公司，冲好一杯咖啡，打开了自己的邮箱--很不幸，QA 小组发来了一封邮件，报告了他昨天提交的模块的测试结果--有 BUG。“好吧，反正也不是第一次”，托马斯摇摇头,进入 IDE，运行自己的程序，编译、打包、部署到服务器上，然后按照邮件中的操作路径进行测试。“嗯没错，这个地方确实有问题”，托马斯说道。于是托马斯开始尝试修复这个 BUG，当他差不多有眉目的时候已经到了午饭时间。
下午继续工作。BUG 很快被修正了，接着托马斯对模块重新进行了编译、打包、部署，测试之后确认没有问题了，回复了 OA 小组的邮件。
一天就这样过去了，然而第二天、第三天，基本都是这样度过的。

让我们来梳理一下托马斯这一天中的工作内容：.

从中我们发现，托马斯的很大一部分时间花在了“编译、打包、部署、测试”这些程序化的工作上面，而真正需要有人接介入实现的分析问题和编码环节其实只占了很少一部分，如下图所示:

能将这些程序化的工作交给机器自动完成么?当然是可以的，这就是自动化构建。这样一来，构建的流程就成了下图所示的过程:

此时 Maven 的意义就体现了出来，它可以自动的从构建过程的起点一致执行到终点:

4.Maven 核心--pod 文件

        Maven 能够实现自动化构建是和它的内部原理分不开的，而构建过程离不开一个关键对象，就是 pom文件。
        pom 全称为 project object model,意思为项目对象模型。通过 xml 表示 maven 项目,使用 pom.xml来实现。pom 文件是 Maven 项目的核心文件之一，它包含了 Maven 项目的所有配置信息。
        pom 文件是对项目描述:包括配置文件，开发者需要遵循的规则，组织和项目的 ur1，项目的依赖性,以及其他所有的项目相关因素。pom 文件是 Maven 的重要组成部分，可以帮助开发者管理和构建项目。在使用 Maven 进行项目构建时，需要根据项目的需要配置 pom 文件。Maven 借助于这个文件，就可以自动化构建、测试、打包和发布 Java 项目。

5.Maven 项目自动化部署流程

二、电子商城项目简介

作为后端开发人员，我们不仅需要开发项目，有时候还需要对项目进行部署，这时就少不了和 Linux和 Docker 打交道。在接下来的课程中我们将以 ma11 项目为例，学习 Linux、Docker 及Jenkins 自动化部署。

1.mall 商城项目简介

mall项目是一套电商系统，包括前台商城系统及后台管理系统，基于SpringBoot+MyBatis 实现，采用 Docker 容器化部署。前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。后台管理系统包含商品管理、订单管理、会员管理、促销管理、运营管理、内容管理、统计报表、财务管理、权限管理、设置等模块。

2.系统架构图

3.业务架构

4.设备清单

三、mall商城运行环境部署

1.docker环境的安装

(1)为mall 主机安装 docker 环境

步骤略(可以直接使用先有的 docker 环境)

(2)设置主机名

[root@localhost ~]# hostnamectl set-hostname mall
[root@localhost ~]# bash
bash

2.开启 Docker 的远程管理 API

因为 jenkins 在直接在 docker 主机中生成镜像，所以 docker 主机需要开启远程 API，以便能够实现镜像的远程推送。

[root@mall ~]# vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H t
cp://0.0.0.0:2375

3.重启docker进程

[root@mall ~]# systemctl daemon-reload
[root@mall ~]# systemctl restart docker

4.MySQL 安装

(1)下载 MySQL5.7 的 docker 镜像:

[root@mall ~]# docker pull mysql:5.7

(2)使用如下命令启动 MySQL 服务:

[root@mall ~]# docker run -p 3306:3306 --name mysql -v /mydata/mysql/log:/var/log/mysql -v /mydata/mysql/data:/var/lib/mysql -v /mydata/mysql/conf:/etc/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7

参数说明

-p 3306:3306:将容器的 3306 端口映射到主机的 3306 端口
-v /mydata/mysql/conf:/etc/mysql:将配置文件夹挂在到主机
-v/mydata/mysql/log:/var/log/mysql:将日志文件夹挂载到主机
-v /mydata/mysql/data:/var/lib/mysql/:将数据文件夹挂载到主机
-e MYSQL ROOT PASSWORD=root:初始化 root 用户的密码

(3)将mall.sql文件拷贝到 mysql容器的/目录下

上传数据库脚本 ma11.sq1 到当前工作目录

[root@mall ~]# docker cp mall.sql mysql:/

(4)进入运行MySQL 的 docker 容器

[root@mall ~]# docker exec-it mysql /bin/bash

(5)登录到 mysql

[root@mall ~]# mysql -uroot -proot--default-character-set=utf8

(6)创建 mall 数据库

create database mall character set utf8:

(7)将 sql 脚本文件导入到数据库

mysql> use mall;
mysql> source /mall.sql;

(8)设置授权

创建一个 reader:123456 帐号并修改权限，使得任何 ip 都能访问:

mysql> grant all privileges on *,* to 'reader'@'%' identified by '123456';
mysql> exit

退出容器

root@118ef491787f:/# exit

5.Elasticsearch安装

Elasticsearch 为 mall提供商品搜索功能，我们是使用数据库来实现的商品搜索功能的，考虑到中文分词和搜索数据并发量大的情况，真实环境中我们一般采用 Elasticsearch 来实现搜索功能。

(1)下载Elasticsearch7.17.3 的 docker 镜像:

[root@mall ~]# docker pull elasticsearch:7.17.3

(2)修改虚拟内存区域大小，否则会因为过小而无法启动:

[root@mall ~]# sysctl -w vm.max map count=262144

(3)启动Elasticsearch 服务

[root@mall ~]# docker run -p 9200:9200 -p 9300:9300 --name elasticsearch -e "discovery.type=single-node" -e "cluster.name=elasticsearch" -e "ES_JAVA_OPTS=-Xms512m -Xmx1024m" -v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins -v /mydata/elasticsearch/data:/usr/share/elasticsearch/data -d elasticsearch:7.17.3

备注:
内存小的服务器可以通过 ES JAVA OPTS 来设置占用内存大小:

(4)修改/mydata/elasticsearch/data目录的权限

[root@mall ~]# chmod 777 /mydata/elasticsearch/data

注意
/usr/share/elasticsearch/data目录没有访问权限，只需要修改/mydata/elasticsearch/data 目录的权限，再重新启动即可。

(5)下载中文分词器 IKAnalyzer(已有理想安装包，此步骤可跳过)

IKAnalyzer 是一个开源的，基于java 语言开发的轻量级的中文分词工具包，IK 是目前最为流行的中文分词器，它是一个基于 Maven 构建的项目，具有 60 万字/秒的高速处理能力;并且支持用户词典扩展定义。
注意下载与 Elasticsearch 对应的版本，下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases
注意对应好版本要使用 7.17.3 的版本，本案例的 Elasticsearch 版本为7.17.3,需要的 analysis-ik也是7.17.3

(6)安装分词器

将下载好的分词器上传到服务器的当前工作目录:
将其解压到/mydata/elasticsearch/plugins/analysis-ik/ 的目录中。

[root@mall ~]# yum -y install unzip
[root@mall ~]# unzip elasticsearch-analysis-ik-7.17.3.zip -d /mydata/elasticsearch/plugins/analysis-ik

[root@mall ~]# ll /mydata/elasticsearch/plugins/analysis-ik/
总用量 1432
-rw-r--r-- 1 root root 263965 1月  18 2022 commons-codec-1.9.jar
-rw-r--r-- 1 root root  61829 1月  18 2022 commons-logging-1.2.jar
drwxr-xr-x 2 root root   4096 1月  18 2022 config
-rw-r--r-- 1 root root  54931 4月  27 2022 elasticsearch-analysis-ik-7.17.3.jar
-rw-r--r-- 1 root root 736658 1月  18 2022 httpclient-4.5.2.jar
-rw-r--r-- 1 root root 326724 1月  18 2022 httpcore-4.4.4.jar
-rw-r--r-- 1 root root   1807 4月  27 2022 plugin-descriptor.properties
-rw-r--r-- 1 root root    125 4月  27 2022 plugin-security.policy

(7)重新启动服务:

[root@mall ~]# docker restart elasticsearch

6. Nginx安装

nginx 为 mall 电商平台的管理前端提供的访问入口。

(1)下载Nginx1.22 的 docker 镜像:

[root@mall ~]# docker pull nginx:1.22

(2)先运行一次容器(为了拷贝配置文件):

[root@mall ~]# docker run -p 80:80 --name nginx -v /mydata/nginx/html:/usr/share/nginx/html -v /mydata/nginx/log:/var/log/nginx -d nginx:1.22

(3)设置网站目录权限

[root@mall ~]# chmod -R 755 /mydata/nginx/html/

四、利用 jenkins 部署 mall 商城后台程序

1.为 Jenkins 安装 maven 环境(如果已经安装过，可以跳过此步)

(1)安装maven

[root@jenkins ~]# tar zxvf apache-maven-3.8.6-bin.tar.gz
[root@jenkins ~]# mv apache-maven-3.8.6 /usr/local/maven

(2)设置 java 和 maven 的环境变量

[root@jenkins ~l# vim /etc/profile
#在文件末尾添加:
export JAVA HOME=/usr/local/java/
export CLASSPATH=$JAVA HOME/lib:$CLASSPATH
export PATH=$JAVA HOME/bin:$PATH
export MAVEN HOME=/usr/local/maven
export PATH=$PATH:$MAVEN HOME/bin
[root@jenkins ~l# source /etc/profile

(3)查看maven 版本

[root@jenkins ~l# mvn -version

(4)修改 maven 更新源

[root@jenkins ~]# vim /usr/local/maven/conf/settings.xml
#修改 maven 的仓库:
<mirrors>
<mirror>
<id>aliyunmaven</id>
<mirrorOf>*</mirrorOf
<name>阿里云公共仓库</name>
<url>https://maven.aliyun.com/repository/public</url></mirror>
</mirrors>

备注:
阿里提供了 maven 更新源，可访问阿里官方网站査看详细信息。

https://maven.aliyun.com

2.为 Jenkins 配置 JDK 环境

在 Jenkins 首页中，单击“Manage Jenkins”→“System configuration”→“Tools”→“JDK安装”，点击“新增 JDK”，并取消勾选“Install automatically”。其中，JDK 别名设置为“jdk-11”JAVA HOME 设置为本案例中 JDK 实际安装路径“/usr/local/java”。

3.为 Jenkins 配置 Maven 环境

找到“Maven 安装”选项，然后单击“新增 Maven”，取消勾选“Install automatically”，并设置 Name(名称)为“maven”、MAVEN HOME 为“/usr/local/maven”。

以上各项配置完毕后，点击保存按钮，推荐重启下Jenkins 服务

提示:
可以在这里做个快照，方便后续的使用，

4.gitlab 中创建项目

(1)gitlab 中导入 gitee 中的 mall 项目

在 gitlab 中导入 mall 项目:https://gitee.com/kgc-wjq/mall.git

参数如下图所示:

(2)修改代码

直接在 gitlab 中修改项目文件 pom.xm1 的代码。将远程 docker 主机的 ip 地址设置为本案例中的docker 主机的 IP 地址:192.168.10.101。修改好后点击提交修改的按钮。

(3)获取 gitlab 仓库 URL

链接如下:
http://192.168.10.105/root/mall.git

5.在jenkins 中添加 SSH Server

“Manage Jenkins”-->“System”，添加“Publish over SsH”

点击 SSH Servers 的新增按钮，添加一个 SSH 的主机。参数如下图所示，并保存设置。

6.为Jenkins添加SSH remote hosts

在本案例中，我们要通过 Jenkins 在 docker 主机上执行命令，需要将 docker 添加为 Jenkins 的ssh 远程主机，操作步骤如下。

(1)为 docker 主机添加凭据

(2)添加SSH remote hosts

“Dashboard”-->“Manage Jenkins”-->“system”-->“SSH remote hosts”

7.新建Item

8.设置项目参数

(1)源码管理设置

在源码管理中，选中“Git”，并在仓库 URL 中填写 ma11 项目代码仓库的 URL 地址，在指定分支中将分支填写为“*/main”。

http://192.168.10.105/root/mall.git

(2)设置 maven 构建参数

选择“Build”模块，“Goals and options”填写“clean package”。

备注:
在 Build 下配置 Goals and options，即给 mvn 命令的参数

这里可以设置的 maven 参数如下:
mvn clean

清理环境，清除 target 文件夹。
mvn compile
编译，将 Java 源文件编译成 class 文件。
mvn test
执行 test 目录下的测试用例。
mvn package
打包，将 Java 工程打成 jar 包。
mvn clean package -Dmaven.test.skip=true跳过单元测试

(3)添加“Post steps”--“Execute shell”

在“Post steps”选项中，点击“Add post-build step”按钮，添加一个构建后的步骤“Executeshell”，这里需要将后台程序的启动脚本目录 mall-sh 上传到 Jenkins 主机的 root 家目录下，然后在下图界面中设置同步脚本:scp -r /root/mall-sh 192.168.10.101:/root。注意，此命令是在 Jenkins主机上执行的。

(4)添加“Post steps"--“Execute shell script on remote host using ssh”

点击“Add post-build step”按钮，选择“Execute shell script on remote host using ssh”,添加要在远程主机执行的脚本。此插件时利用 ssh 协议在远程主机上执行命令，因此，Jenkins 主机和远
程的 docker 主机之间需要有免密连接的环境。
注意这个脚本是放在远程主机上的。在上一步中，我们用 scp 的方法将脚本拷贝到了远程主机。在这个步骤中，就需要在远程主机中执行这些脚本。

设置如下:
chmod +x /root/mall-sh/*
/root/mall-sh/mall-admin.sh
/root/mall-sh/mall-search.sh

/root/mall-sh/mall-portal.sh

(5)设置免密连接

[root@jenkins ~]# ssh-keygen
[root@jenkins ~# ssh-copy-id 192.168.10.101

备注:
如果 Jenkins 主机已有 ssh 密钥对，可以不必生成，直接执行 ssh-copy-id 即可。

(6)保存并构建

保存设置后点击“Build Now”
第一次构建需要较长的时间。此步骤需要联网，注意网络状态。如果网络状态不好，会影响拉取 maven 更新源的 jar 包，最终导致构建失败。
构建过程需要利用 iava 镜像，需要在 docker 主机中提前拉取好 iava 的镜像

9.访问后台程序验证结果

(1)mall-admin 的后台系统 api 接口文档地址:

http://192.168.10.101:8080/swagger-ui/

(2)mall-search 的搜索系统 api 接口文档地址:

http://192.168.10.101:8081/swagger-ui/

(3)mall-portal 的前台 api 接口文档地址:

http://192.168.10.101:8085/swagger-ui/

五、使用 Jenkins 一键打包部署 NodeJs 前端应用

1.什么是 NodeJs

Javascript 诞生于 1995 年，几乎是和互联网同时出现;Node.js 诞生于 2009 年,比 Javascript 晚了 15 年左右。

在 Node.js 之前，Javascript 只能运行在浏览器中，作为网页脚本使用，为网页添加些特效，或者和服务器进行通信。有了 Node.js 以后，JavaScript 就可以脱离浏览器像其它编程语言一样直接在计算机上使用，想干什么就干什么，再也不受浏览器的限制了。
Node.js 并不是一门新的编程语言，也不是一个 Javascript 的框架，它是一套Javascript 运行环境,用来支持 Javascript 代码的执行。用编程术语来讲，Node.js 是一个 Javascript 运行时(Runtime)。

2.为 jenkins 安装 NodeJs(如果已装过，可以跳过此步)

在对 Node]s 项目进行构建的时候，需要 g++的编译环境，不同的项目 Node]s 的版本也不一样，在进行部署的时候要根据项目的依赖版本进行选择，

[root@jenkins ~]# yum -y install gcc automake autoconf libtool make
[root@jenkins ~]# yum -y install gcc gcc-c++
[root@jenkins ~]# tar zxvf node-v14.18.0-linux-x64.tar.gz
[root@jenkins ~]# mv node-v14.18.0-linux-x64 /usr/local/nodejs14
[root@jenkins ~]# ln-s /usr/local/nodejs14/bin/* /usr/local/bin

[root@jenkins ~]# node -v
v14.18.0
[root@jenkins ~]# npm -v
6.14.15

3.gitlab 添加项目

(1)gitlab 中创建项目

在 gitlab 中导入mall-admin-web 项目:
项目的 gitee 仓库链接为:https://gitee.com/kgc-wjq/mall-admin-web.git

参数如下所示:

(2)修改代码

修改 config 目录下“prod.env.js”文件。
将 BASE API 接口地址修改为“http://192.168.10.101:8080”，并提交修改。

(3)拷贝出项目的仓库 URL

http://192.168.10.105/root/mall-admin-web.git

4.构建NodeJS项目

(1)构建一个自由风格的软件项目

(2)设置源码管理

选中“Git”，并将 mall-admin-web 的项目仓库 URL 填写进去，修改分支为“*/main'

(3)添加一个执行shell的构建

在“Build Steps”中，点击增加构建步骤按钮，增加一个“Execute shell”

添加一个执行 shell 的构建，用于将我们的前端代码进行编译打包

脚本代码如下:

#查看版本信息
npm -v
#删除上一次构建数据
rm -rf node modules
rm package-lock.json
npm cache clear--force
#将镜像源替换为阿里的加速访问
npm config set registry http://mirrors.cloud.tencent.com/npm/
#安装依赖
npm install --unsafe-perm
#项目打包
npm run build
#拷贝前端程序到 docker 主机
scp -r /root/.jenkins/workspace/mall-admin-web/dist/*192.168.10.101:/mydata/nginx/html/

备注:
如果 npm 镜像站无法使用，会导致构建失败，可以替换为其他的镜像服务器。国内 npm 镜像站:
npm config set registry https://registry.npmmirror.com
npm config set registry http://mirrors.cloud.tencent.com/npm/
npm config set registry https://mirrors.huaweicloud.com/repository/npm,

(4)增加构建后操作

在“构建后操作”中，增加“Send build artifacts over SSH”，利用该插件在远程 docker 主机上执行命令，此处需要在 docker 主机上为网站目录授权，否则，当把项目推送到 docker 主机后，其网站目录的权限不足，页面会提示 483的错误。授权命令为:chmod-R755 /mydata/nginx/html/，如下图所小。