使用Maven对Java独立应用程序进行编译打包

一、安装Maven

1.解压，移动安装包

sudo tar -zxf ~/apache-maven-3.9.6-bin.tar.gz -C /usr/local/
cd /usr/local/
sudo mv apache-maven-3.9.6/ ./maven-3.9.6
sudo chown -R qiangzi ./maven-3.9.6

二、Java应用程序代码

1.版本信息：

Spark-2.1.0、Maven-3.9.6

（1）在终端执行命令创建文件夹sparkapp2作为应用程序根目录

cd ~ #进入用户主文件夹
mkdir -p ./sparkapp2/src/main/java

（2）在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件

cd ~
vim ./sparkapp2/src/main/java/SimpleApp.java

添加代码如下：

/*** SimpleApp.java ***/
import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.SparkConf;public class SimpleApp {                                                                                                    public static void main(String[] args) {String logFile = "file:///usr/local/spark-2.1.0/README.md"; // Should be some file on your systemSparkConf conf=new SparkConf().setMaster("local").setAppName("SimpleApp");JavaSparkContext sc=new JavaSparkContext(conf);JavaRDD<String> logData = sc.textFile(logFile).cache();long numAs = logData.filter(new Function<String, Boolean>() {public Boolean call(String s) { return s.contains("a"); }}).count();long numBs = logData.filter(new Function<String, Boolean>() {                                                               public Boolean call(String s) { return s.contains("b"); }                                                           }).count();                                                                                                             System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);                                          }                                                                                                                   }

（3）该程序依赖Spark Java API,通过Maven进行编译打包。在./sparkapp2目录中新建文件pom.xml，命令如下：

cd ~/sparkapp2
vim pom.xml

（4）在pom.xml文件中添加内容如下，声明该独立应用程序的信息以及与Spark的依赖关系：

<project><groupId>cn.edu.xmu</groupId><artifactId>simple-project</artifactId><modelVersion>4.0.0</modelVersion><name>Simple Project</name><packaging>jar</packaging><version>1.0</version><repositories><repository><id>jboss</id><name>JBoss Repository</name><url>http://repository.jboss.com/maven2/</url></repository></repositories><dependencies><dependency> <!-- Spark dependency --><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId> //这里是 Spark 的核心库，针对 Scala 2.11 版本。<version>2.1.0</version> //这里是 2.1.0 版本的 Spark</dependency></dependencies>
</project>

2. 使用Maven打Java程序

（1）为了保证maven能够正常运行，先执行如下命令检查整个应用程序的文件结构:

cd ~/sparkapp2
find .

（2）文件结构如下图：

（3）接着，我们可以通过如下代码将这整个应用程序打包成Jar(注意：电脑需要保持连接网络的状态，而且首次运行需要下载依赖包，时间消耗太长):

cd ~/sparkapp2
/usr/local/maven-3.9.6/bin/mvn package

（4）如出现下信息，说明生成Jar包成功：

（5）如果运行Maven编译打包过程很慢，是因为需要到国外网站下载很多的依赖包，国外网站速度很慢，可以更改为国内的仓库地址，修改Maven的配置文件，让Maven到国内的阿里云仓库下载相关依赖，提高打包的速度。

cd /usr/local/maven-3.9.6/conf
vim settings.xml

（6）将`settings.xml`中的文本改为以下内容：

<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0http://maven.apache.org/xsd/settings-1.0.0.xsd">
<mirrors><mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>阿里云公共仓库</name><url>https://maven.aliyun.com/repository/public</url></mirror><mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>阿里云谷歌仓库</name><url>https://maven.aliyun.com/repository/google</url></mirror><mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>阿里云阿帕奇仓库</name><url>https://maven.aliyun.com/repository/apache-snapshots</url></mirror><mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>阿里云spring仓库</name><url>https://maven.aliyun.com/repository/spring</url></mirror><mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>阿里云spring插件仓库</name><url>https://maven.aliyun.com/repository/spring-plugin</url></mirror>
</mirrors>
</settings>

3.通过spark-submit 运行程序

（1）最后，可以通过将生成的jar包通过spark-submit提交到Spark中运行，如下命令：

/usr/local/spark-2.1.0/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar
# 上面命令执行后会输出太多信息，使用下面命令查看想要的结果
/usr/local/spark-2.1.0/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a"