Apache Kylin 添加MSSQL等第三方数据源（MySQL 亦可）

Apache Kylin 添加MSSQL等数据源

Kylin 版本要求是3

PS：根据Kylin文档kylin 4.0和kylin 3.1的区别中所示：

Kylin 3.1.0 支持 Kafka/Hive/JDBC 作为数据源
Kylin 4.0 支持 Hive/CSV 作为数据源

官方文档请参考:Setup JDBC Data Source

第三方文档参考:Kylin设置JDBC配置greenplum数据源

我的环境是在Docker 容器中运行Apache Kylin
运行命令：

kylin4：

docker run -d \
-p 7070:7070 \
-p 8088:8088 \
-p 50071:50070 \
-p 8032:8032 \
-p 8042:8042 \
--name kylin-3.1.0 \
apachekylin/apache-kylin-standalone:3.1.0

kylin3：

docker run -d \-m 16G \-p 7070:7070 \-p 8088:8088 \-p 50071:50070 \-p 8032:8032 \-p 8042:8042 \-p 16010:16010 \--name kylin3 \apachekylin/apache-kylin-standalone:3.1.0

然后访问：http://hostname/kylin/login

进入kylin的Dashboard

安装 Sqoop

Apache Sqoop是用于在关系型数据库和Hadoop之间传输数据的开源工具。

Sqoop1最新的稳定版本是 1.4.7（下载、 文档）。
Sqoop2最新版本是1.99.7（下载、 文档）。请注意，1.99.7 与 1.4.7 不兼容，并且功能不完整，它不适用于生产部署。

安装参考的教程[大数据-数据集成] Apache Sqoop安装与运用

下载sqoop2安装包

我的Hadoop版本是2.8.5因此下载

https://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz

cd /tmp
wget https://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz
tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gz
mkdir -p /usr/hdp/current/sqoop-client
mv /tmp/sqoop-1.99.7-bin-hadoop200/* /usr/hdp/current/sqoop-client
mkdir -p /usr/hdp/current/sqoop-client/lib
export SQOOP_HOME=/usr/hdp/current/sqoop-client

下载SQL Server JDBC 程序包

请前往MSDN中进行下载

下载 Microsoft SQL Server JDBC 驱动程序

JDBC 驱动的jar包需要添加到 $KYLIN_HOME/ext 和 $SQOOP_HOME/lib 目录

cd /tmp
wget https://github.com/microsoft/mssql-jdbc/releases/download/v12.8.1/mssql-jdbc-12.8.1.jre8.jar
cp mssql-jdbc-12.8.1.jre8.jar $KYLIN_HOME/ext
cp mssql-jdbc-12.8.1.jre8.jar $SQOOP_HOME/lib

修改kylin的config

文件地址：$KYLIN_HOME/conf/kylin.properties ，在末尾追加下面的config

这里SQL Server 容器的地址是172.17.0.2

# SQL-Server
kylin.source.default=8
kylin.source.jdbc.connection-url=jdbc:sqlserver://172.17.0.2:1433;database=AdventureWorksDW2014;encrypt=false;trustServerCertificate=true
kylin.source.jdbc.driver=com.microsoft.sqlserver.jdbc.SQLServerDriver
kylin.source.jdbc.dialect=mssql
kylin.source.jdbc.user=SA
kylin.source.jdbc.pass=Admin@123456
kylin.source.jdbc.sqoop-home=/usr/hdp/current/sqoop-client
kylin.source.jdbc.filed-delimiter=|