Apache Hive安装部署详细图文教程

目录

一、Apache Hive 元数据

1.1 Hive Metadata

1.2 Hive Metastore 

二、Metastore 三种配置方式 

​2.1 内嵌模式

​2.2 本地模式 

​2.3 远程模式 

​三、Hive 部署实战

3.1 安装前准备  

3.2 Hadoop 与 Hive 整合

3.3 远程模式安装 

3.3.1 安装 MySQL

3.3.2 Hive 安装 

3.4 启动 Hive 服务 

3.4.1 前台启动（不推荐）

3.4.2 后台启动（推荐）

四、Apache Hive 客户端使用 

4.1 bin/hive、bin/beeline 

4.2 HiveServer、HiveServer2 服务 

4.3 关系梳理 

4.4 bin/hive 客户端使用 

4.5 bin/beeline 客户端使用

五、Apache Hive 初体验 

5.1 体验 1：Hive 使用起来和 MySQL 差不多吗？ 

5.1.1 背景 

5.1.2 过程 

5.1.3 验证 

​5.1.4 结论 

5.2 体验 2：Hive 如何才能将结构化数据映射成为表？ 

5.2.1 背景 

5.2.2 过程 

5.2.3 验证 

5.2.4 结论 

5.3 体验 3：使用 Hive 进行小数据分析如何？

5.3.1 背景 

5.3.2 过程 

5.3.3 验证 

5.3.5 结论 

 

一、Apache Hive 元数据

1.1 Hive Metadata

        元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

        Hive Metadata 即 Hive 的元数据。包含用 Hive 创建的 database、table、表的位置、类型、属性，字段顺序类型等元信息。元数据存储在关系型数据库中。如 hive 内置的 Derby、或者第三方如 MySQL 等。

1.2 Hive Metastore 

        Metastore 即元数据服务。Metastore 服务的作用是管理 metadata 元数据，对外暴露服务地址，让各种客户端通过连接 metastore 服务，由 metastore 再去连接 MySQL 数据库来存取元数据。

        有了 metastore 服务，就可以有多个客户端同时连接，而且这些客户端不需要知道 MySQL 数据库的用户名和密码，只需要连接 metastore 服务即可。某种程度上也保证了 hive 元数据的安全。

二、Metastore 三种配置方式 

        metastore 服务配置有 3 种模式：内嵌模式、本地模式、远程模式。区分 3 种配置方式的关键是弄清楚两个问题：

  1. Metastore 服务是否需要单独配置、单独启动？

  2. Metadata 是存储在内置的 derby 中，还是第三方 RDBMS，比如 MySQL。

本此使用企业推荐模式--远程模式部署。

2.1 内嵌模式

        内嵌模式（Embedded Metastore）是 metastore 默认部署模式。此种模式下，元数据存储在内置的 Derby 数据库，并且 Derby 数据库和 metastore 服务都嵌入在主 HiveServer 进程中，当启动 HiveServer 进程时，Derby 和 metastore 都会启动。不需要额外起 Metastore 服务。但是一次只能支持一个活动用户，适用于测试体验，不适用于生产环境。

2.2 本地模式 

        本地模式（Local Metastore）下，Metastore 服务与主 HiveServer 进程在同一进程中运行，但是存储元数据的数据库在单独的进程中运行，并且可以在单独的主机上。metastore 服务将通过 JDBC 与 metastore 数据库进行通信。

        本地模式采用外部数据库来存储元数据，推荐使用 MySQL。hive 根据 hive.metastore.uris 参数值来判断，如果为空，则为本地模式。缺点是：每启动一次 hive 服务，都内置启动了一个 metastore。

2.3 远程模式 

        远程模式（Remote Metastore）下，Metastore 服务在其自己的单独 JVM 上运行，而不在 HiveServer 的 JVM 中运行。如果其他进程希望与 Metastore 服务器通信，则可以使用 Thrift Network API 进行通信。

        远程模式下，需要配置 hive.metastore.uris 参数来指定 metastore 服务运行的机器 ip 和端口，并且需要单独手动启动 metastore 服务。元数据也采用外部数据库来存储元数据，推荐使用 MySQL。

        在生产环境中，建议用远程模式来配置 Hive Metastore。在这种情况下，其他依赖 hive 的软件都可以通过 Metastore 访问 hive。由于还可以完全屏蔽数据库层，因此这也带来了更好的可管理性/安全性。

三、Hive 部署实战

3.1 安装前准备  

        由于 Apache Hive 是一款基于 Hadoop 的数据仓库软件，通常部署运行在 Linux 系统之上。因此不管使用何种方式配置 Hive Metastore，必须要先保证服务器的基础环境正常，Hadoop 集群健康可用。

服务器基础环境：集群时间同步、防火墙关闭、主机 Host 映射、免密登录、JDK 安装等。

Hadoop 集群健康可用：启动 Hive 之前必须先启动 Hadoop 集群。特别要注意，需等待 HDFS 安全模式关闭之后再启动运行 Hive。

        Hive 不是分布式安装运行的软件，其分布式的特性主要借由 Hadoop 完成。包括分布式存储、分布式计算。

本次是基于该 Hadoop 集群上部署 Hive：Hadoop YARN HA 集群安装部署详细图文教程_Stars.Sky的博客-CSDN博客

3.2 Hadoop 与 Hive 整合

        因为 Hive 需要把数据存储在 HDFS 上，并且通过 MapReduce 作为执行引擎处理数据；因此需要在 Hadoop 中添加相关配置属性，以满足 Hive 在 Hadoop 上运行。修改 Hadoop 中 core-site.xml，并且 Hadoop 集群同步配置文件，重启生效。

(base) [root@hadoop01 ~]# cd /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop/
(base) [root@hadoop01 /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop]# vim core-site.xml
<!-- 整合 hive -->
<property><name>hadoop.proxyuser.root.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.root.groups</name><value>*</value>
</property>

3.3 远程模式安装 

远程模式最大的特点有两个：

  1. 需要安装 MySQL 来存储 Hive 元数据；

  2. 需要手动单独配置启动 Metastore 服务。

3.3.1 安装 MySQL

本次安装 MySQL 5.7 版本：Linux 部署 JDK+MySQL+Tomcat 详细过程_linux上 tomcat 连接mysql_Stars.Sky的博客-CSDN博客

3.3.2 Hive 安装 

Hive 官方下载地址：Index of /hive/hive-3.1.2 

mysql-connector-java-5.1.32.jar 官方下载地址：MySQL :: Download MySQL Connector/J (Archived Versions) 

第三方下载地址：mysql-connector-java-5.1.32.jar下载及Maven、Gradle引入代码，pom文件及包内class -时代Java

#1. 解压安装包
(base) [root@hadoop01 ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /bigdata/
(base) [root@hadoop01 ~]# mv /bigdata/apache-hive-3.1.2-bin/ /bigdata/apache-hive-3.1.2#2. 解决 hadoop、hive 之间 guava 版本差异
(base) [root@hadoop01 ~]# cd /bigdata/apache-hive-3.1.2/
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# rm -rf lib/guava-19.0.jar 
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# cp /bigdata/hadoop/server/hadoop-3.2.4/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/#3. 添加 mysql jdbc 驱动到 hive 安装包 lib/ 文件下
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2/lib]# pwd
/bigdata/apache-hive-3.1.2/lib
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2/lib]# mv mysql-connector-java-5.1.32-bin.jar mysql-connector-java-5.1.32.jar 
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2/lib]# ls mysql-connector-java-5.1.32.jar 
mysql-connector-java-5.1.32.jar#4. 修改 hive 环境变量文件，添加 Hadoop_HOME
(base) [root@hadoop01 ~]# cd /bigdata/apache-hive-3.1.2/conf/
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2/conf]# mv hive-env.sh.template hive-env.sh
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2/conf]# vim hive-env.sh
export HADOOP_HOME=/bigdata/hadoop/server/hadoop-3.2.4
export HIVE_CONF_DIR=/bigdata/apache-hive-3.1.2/conf
export HIVE_AUX_JARS_PATH=/bigdata/apache-hive-3.1.2/lib#5. 新增 hive-site.xml 配置 mysql 等相关信息
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2/conf]# vim hive-site.xml
<configuration><!-- 存储元数据 mysql 相关配置 --><property><name>javax.jdo.option.ConnectionURL</name><value> jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><!-- mysql 用户 --><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><!-- mysql 密码 --><property><name>javax.jdo.option.ConnectionPassword</name><value>qwe123456</value></property><!-- H2S 运行绑定 host --><property><name>hive.server2.thrift.bind.host</name><value>hadoop01</value></property><!-- 远程模式部署 metastore 服务地址 --><property><name>hive.metastore.uris</name><value>thrift://hadoop01:9083</value></property><!-- 关闭元数据存储授权  --><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><!-- 关闭元数据存储版本的验证 --><property><name>hive.metastore.schema.verification</name><value>false</value></property>
</configuration>#6. 初始化 metadata，初始化成功会在 mysql 中创建 74 张表
(base) [root@hadoop01 ~]# cd /bigdata/apache-hive-3.1.2/
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# bin/schematool -initSchema -dbType mysql -verbos

3.4 启动 Hive 服务 

提前启动 hadoop 集群！！！ 

3.4.1 前台启动（不推荐）

 关闭 ctrl+c 

(base) [root@hadoop01 ~]# /bigdata/apache-hive-3.1.2/bin/hive --service metastore# 前台启动开启 debug 日志
/bigdata/apache-hive-3.1.2/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console

3.4.2 后台启动（推荐）

关闭使用 jps + kill 

(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# nohup /bigdata/apache-hive-3.1.2/bin/hive --service metastore &(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# jps
3347 QuorumPeerMain
3830 DataNode
5018 NodeManager
3643 NameNode
4827 ResourceManager
4412 DFSZKFailoverController
5676 Jps
4157 JournalNode
5549 RunJar

四、Apache Hive 客户端使用 

4.1 bin/hive、bin/beeline 

Hive 发展至今，总共历经了两代客户端工具。

        第一代客户端（deprecated 不推荐使用）：$HIVE_HOME/bin/hive，是一个 shell Util。主要功能：一是可用于以交互或批处理模式运行 Hive 查询；二是用于 Hive 相关服务的启动，比如 metastore 服务。

        第二代客户端（recommended 推荐使用）：$HIVE_HOME/bin/beeline，是一个 JDBC 客户端，是官方强烈推荐使用的 Hive 命令行工具，和第一代客户端相比，性能加强安全性提高。

        Beeline 在嵌入式模式和远程模式下均可工作。在嵌入式模式下，它运行嵌入式 Hive(类似于Hive Client)；而远程模式下 beeline 通过 Thrift  连接到单独的 HiveServer2 服务上，这也是官方推荐在生产环境中使用的模式。那么问题来了，HiveServer2 是什么？HiveServer1 哪里去了？

4.2 HiveServer、HiveServer2 服务 

        HiveServer、HiveServer2 都是 Hive 自带的两种服务，允许客户端在不启动 CLI（命令行）的情况下对 Hive 中的数据进行操作，且两个都允许远程客户端使用多种编程语言如 java，python 等向 hive 提交请求，取回结果。

        但是，HiveServer 不能处理多于一个客户端的并发请求。因此在 Hive-0.11.0 版本中重写了 HiveServer 代码得到了 HiveServer2，进而解决了该问题。HiveServer 已经被废弃。HiveServer2 支持多客户端的并发和身份认证，旨在为开放 API 客户端如 JDBC、ODBC 提供更好的支持。

4.3 关系梳理 

        HiveServer2 通过 Metastore 服务读写元数据。所以在远程模式下，启动 HiveServer2 之前必须先首先启动 metastore 服务。

        特别注意：远程模式下，Beeline 客户端只能通过 HiveServer2 服务访问 Hive。而 bin/hive 是通过 Metastore 服务访问的。具体关系如下：

4.4 bin/hive 客户端使用 

        在 hive 安装包的 bin 目录下，有 hive 提供的第一代客户端 bin/hive。该客户端可以访问 hive的 metastore 服务，从而达到操作 hive 的目的。

        友情提示：如果您是远程模式部署，请手动启动运行 metastore 服务。如果是内嵌模式和本地模式，直接运行 bin/hive，metastore 服务会内嵌一起启动。可以直接在启动 Hive metastore 服务的机器上使用 bin/hive 客户端操作，此时不需要进行任何配置。

        如果需要在其他机器上通过 bin/hive 访问 hive metastore 服务，只需要把 hadoop01 上的 hive 安装目录 scp 发送到其他机器上，并在该机器的 hive-site.xml 配置中添加 metastore 服务地址即可。 

(base) [root@hadoop01 /bigdata]# scp -r apache-hive-3.1.2 hadoop02:$PWD# 到 hadoop02 上操作
(base) [root@hadoop02 ~]# vim /bigdata/apache-hive-3.1.2/conf/hive-site.xml 
<configuration>
<property><name>hive.metastore.uris</name><value>thrift://hadoop01:9083</value>
</property>
</configuration># 启动 metastore 服务
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# nohup /bigdata/apache-hive-3.1.2/bin/hive --service metastore &# hadoop02 上连接客户端
(base) [root@hadoop02 ~]# /bigdata/apache-hive-3.1.2/bin/hive

4.5 bin/beeline 客户端使用

        hive 经过发展，推出了第二代客户端 beeline，但是 beeline 客户端不是直接访问 metastore 服务的，而是需要单独启动 hiveserver2 服务。在 hive 安装的服务器上，首先启动 metastore 服务，然后启动 hiveserver2 服务。

# 先启动 metastore 服务然后启动 hiveserver2 服务
nohup /bigdata/apache-hive-3.1.2/bin/hive --service metastore &
nohup /bigdata/apache-hive-3.1.2/bin/hive --service hiveserver2 &

        在 hadoop02 上使用 beeline 客户端进行连接访问。需要注意 hiveserver2 服务启动之后需要稍等一会才可以对外提供服务。

        Beeline 是 JDBC 的客户端，通过 JDBC 协议和 Hiveserver2 服务进行通信，协议的地址是：jdbc:hive2://hadoop01:10000

(base) [root@hadoop02 ~]# /bigdata/apache-hive-3.1.2/bin/beeline 
beeline> ! connect jdbc:hive2://hadoop01:10000
Connecting to jdbc:hive2://hadoop01:10000
Enter username for jdbc:hive2://hadoop01:10000: root
Enter password for jdbc:hive2://hadoop01:10000:

五、Apache Hive 初体验 

5.1 体验 1：Hive 使用起来和 MySQL 差不多吗？ 

5.1.1 背景 

        对于初次接触 Apache Hive 的人来说，最大的疑惑就是：Hive 从数据模型看起来和关系型数据库 MySQL 等好像。包括 Hive SQL 也是一种类 SQL 语言。那么实际使用起来如何？  

5.1.2 过程 

        体验步骤：按照 mysql 的思维，在 hive 中创建、切换数据库，创建表并执行插入数据操作，最后查询是否插入成功。 

--创建数据库
create database test;
--列出所有数据库
show databases;
--切换数据库
use test;--建表
create table t_student(id int,name varchar(255));
--插入一条数据
insert into table t_student values(1,"allen");
--查询表数据
select * from t_student;

在执行插入数据的时候，发现插入速度极慢，sql 执行时间很长，为什么？ 

最终插入一条数据，历史 98 秒的时间。查询表数据，显示数据插入成功：

查询表数据，显示数据插入成功。

5.1.3 验证 

首先登陆 Hadoop YARN 上观察是否有 MapReduce 任务执行痕迹。 YARN Web UI：http://hadoop01:8088/cluster

        然后登陆 Hadoop HDFS 浏览文件系统，根据 Hive 的数据模型，表的数据最终是存储在 HDFS 和表对应的文件夹下的。

HDFS Web UI: http://hadoop01:9870/

5.1.4 结论 

  • Hive SQL 语法和标准 SQL 很类似，使得学习成本降低不少。
  • Hive 底层是通过 MapReduce 执行的数据插入动作，所以速度慢。
  • 如果大数据集这么一条一条插入的话是非常不现实的，成本极高。
  • Hive 应该具有自己特有的数据插入表方式，结构化文件映射成为表。

5.2 体验 2：Hive 如何才能将结构化数据映射成为表？ 

5.2.1 背景 

        在 Hive 中，使用 insert+values 语句插入数据，底层是通过 MapReduce 执行的，效率十分低下。此时回到 Hive 的本质上：可以将结构化的数据文件映射成为一张表，并提供基于表的 SQL 查询分析。

        假如，现在有一份结构化的数据文件，如何才能映射成功呢？在映射成功的过程中需要注意哪些问题？文件存储路径？字段类型？字段顺序？字段之间分隔符？

5.2.2 过程 

在 HDFS 根目录下创建一个结构化数据文件 user.txt，里面内容如下：

(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# vim user.txt
1,zhangsan,18,beijing
2,lisi,25,shanghai
3,allen,30,shanghai
4,woon,15,nanjing
5,james,45,hangzhou
6,tony,26,beijing(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# hadoop fs -put user.txt /

在 hive 中创建一张表 t_user。注意：字段的类型顺序要和文件中字段保持一致。 

create table t_user(id int,name varchar(255),age int,city varchar(255));

5.2.3 验证 

        执行数据查询操作，发现表中并没有数据。猜想 1：难道数据文件要放置在表对应的 HDFS 路径下才可以成功？使用 HDFS 命令将数据移动到表对应的路径下。

(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# hadoop fs -mv /user.txt /user/hive/warehouse/test.db/t_user
(base) [root@hadoop01 /bigdata/apache-hive-3.1.2]# hadoop fs -ls /user/hive/warehouse/test.db/t_user
Found 1 items
-rw-r--r--   3 root supergroup        117 2023-09-20 15:28 /user/hive/warehouse/test.db/t_user/user.txt

再次执行查询操作，显示如下，都是 null： 

        好像表感知到结构化文件的存在，但是并没有正确识别文件中的数据。猜想 2：还需要指定文件中字段之间的分隔符？重建张新表，指定分隔符。

--建表语句 增加分隔符指定语句
create table t_user_1(id int,name varchar(255),age int,city varchar(255))
row format delimited
fields terminated by ',';# 把 user.txt 文件从本地文件系统上传到 hdfs
hadoop fs -put user.txt /user/hive/warehouse/test.db/t_user_1/--执行查询操作
select * from t_user_1;

此时再创建一张表，保存分隔符语法，但是故意使得字段类型和文件中不一致。

--建表语句 增加分隔符指定语句
create table t_user_2(id int,name int,age varchar(255),city varchar(255))
row format delimited
fields terminated by ',';# 把 user.txt 文件从本地文件系统上传到hdfs
hadoop fs -put user.txt /user/hive/warehouse/test.db/t_user_2/--执行查询操作
select * from t_user_2;

        此时发现，有的列显示 null，有的列显示正常。name 字段本身是字符串，但是建表的时候指定 int，类型转换不成功；age 是数值类型，建表指定字符串类型，可以转换成功。说明 hive 中具有自带的类型转换功能，但是不一定保证转换成功。

5.2.4 结论 

要想在 hive 中创建表跟结构化文件映射成功，需要注意以下几个方面问题：

  • 创建表时，字段顺序、字段类型要和文件中保持一致。

  • 如果类型不一致，hive 会尝试转换，但是不保证转换成功。不成功显示 null。

  • 文件好像要放置在 Hive 表对应的 HDFS 目录下，其他路径可以吗？ 值得探讨。

  • 建表的时候好像要根据文件内容指定分隔符，不指定可以吗？值得探讨。

5.3 体验 3：使用 Hive 进行小数据分析如何？

5.3.1 背景 

        因为 Hive 是基于 HDFS 进行文件的存储，所以理论上能够支持的数据存储规模很大，天生适合大数据分析。假如 Hive 中的数据是小数据，再使用 Hive 开展分析效率如何呢？ 

5.3.2 过程 

之前我们创建好了一张表 t_user_1，现在通过 Hive SQL 找出当中年龄大于 20 岁的有几个。 

5.3.3 验证 

--执行查询操作
select count(*) from t_user_1 where age > 20;

发现又是通过 MapReduce 程序执行的数据查询功能。 

5.3.5 结论 

  • Hive 底层的确是通过 MapReduce 执行引擎来处理数据的。

  • 执行完一个 MapReduce 程序需要的时间不短。

  • 如果是小数据集，使用 hive 进行分析将得不偿失，延迟很高。

  • 如果是大数据集，使用 hive 进行分析，底层 MapReduce 分布式计算，会很爽。

上一篇文章：Apache Hive 入门_Stars.Sky的博客-CSDN博客 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/142740.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于Matlab求解2023华为杯研究生数学建模竞赛E题——出血性脑卒中临床智能诊疗建模实现步骤（附上源码+数据）

基于Matlab求解2023华为杯研究生数学建模竞赛E题——出血性脑卒中临床智能诊疗建模实现步骤（附上源码+数据）

文章目录&#xff0c;源码见文末下载 背景介绍准备工作&#xff1a;处理数据第一题&#xff1a;血肿扩张风险相关因素探索建模a&#xff09;问题b&#xff09;问题 第二题&#xff1a; 血肿周围水肿的发生及进展建模&#xff0c;并探索治疗干预和水肿进展的关联关系a&#xff0…
阅读更多...
【yolox训练过程中遇到的问题集合】

【yolox训练过程中遇到的问题集合】

这里写目录标题 深度学习遇到的一系列bugVScode无法激活conda1.vscode加载web 视图报错2.CUDA out of memory3.voc2007数据集中的txt文件4.object has no attribute ‘cache‘5.KeyError:model6.No module named loguru7.Python AttributeError: module ‘distutils‘ has no a…
阅读更多...
TensorFlow入门(五、指定GPU运算)

TensorFlow入门(五、指定GPU运算)

一般情况下,下载的TensorFlow版本如果是GPU版本,在运行过程中TensorFlow能自动检测。如果检测到GPU,TensorFlow会默认利用找到的第一个GPU来执行操作。如果机器上有超过一个可用的GPU,除第一个之外的其他GPU默认是不参与计算的。如果想让TensorFlow使用这些GPU执行操作,需要将运…
阅读更多...
R语言学习笔记

R语言学习笔记

R语言学习笔记 一.准备环境二.认识控制台三.R包四.数据结构1.向量Vector1.1创建向量1.2访问向量中的数据1.3向量的循环补齐 2.矩阵matrix2.1创建矩阵2.2访问矩阵中的数据 3数组Array3.1创建数组3.2访问数组中的数据 4.数据框Dataframe4.1创建数据框4.2访问数据框中的数据 5因子…
阅读更多...
大数据Flink（八十六）：DML：Group 聚合和Over 聚合

大数据Flink（八十六）：DML：Group 聚合和Over 聚合

文章目录 DML：Group 聚合和Over 聚合 一、DML：Group 聚合
阅读更多...
【Git】Deepin提示git remote: HTTP Basic: Access denied 错误解决办法

【Git】Deepin提示git remote: HTTP Basic: Access denied 错误解决办法

git remote: HTTP Basic: Access denied 错误解决办法 1.提交代码的时候提示2. 原因3.解决方案 1.提交代码的时候提示 git remote: HTTP Basic: Access denied 错误解决办法 2. 原因 本地git配置的用户名、密码与gitlabs上注册的用户名、密码不一致。 3.解决方案 如果账号…
阅读更多...
数据结构 - 泛型

数据结构 - 泛型

目录 前言 1. 什么是泛型? 2. 为什么需要泛型? 引入泛型之前 引入泛型之后 3.泛型类 4.泛型的界限 1.上下界 2.通配符 前言 今天给大家介绍一下泛型的使用 1. 什么是泛型? 一般的类和方法&#xff0c;只能使用具体的类型: 要么是基本类型&#xff0c;要么是自定义…
阅读更多...
Java高级应用——异常处理

Java高级应用——异常处理

文章目录 异常处理概念Java异常体系Error 和 Exception编译时异常和运行时异常Java异常处理的方式 异常处理 概念 异常处理是在程序执行过程中遇到错误或异常情况时的一种机制&#xff0c;它允许程序在错误发生时进行适当的处理&#xff0c;而不会导致程序崩溃或产生不可预测…
阅读更多...
【办公自动化】用Python将PDF文件转存为图片（文末送书）

【办公自动化】用Python将PDF文件转存为图片（文末送书）

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…
阅读更多...
【嵌入式】使用嵌入式芯片唯一ID进行程序加密实现

【嵌入式】使用嵌入式芯片唯一ID进行程序加密实现

目录 一 背景说明 二 原理介绍 三 设计实现 四 参考资料 一 背景说明 项目程序需要进行加密处理。 考虑利用嵌入式芯片的唯一UID&#xff0c;结合Flash读写来实现。 加密后的程序&#xff0c;可以使得从芯片Flash中读取出来的文件&#xff08;一般为HEX格式&#xff09;不能…
阅读更多...
rsync+inotify实时同步数据

rsync+inotify实时同步数据

一、相关简介 1、rsync&#xff08;remote synchronize&#xff09; rsync是 Liunx/Unix 下的一个远程数据同步工具&#xff0c;它可通过 LAN/WAN 快速同步多台主机间的文件和目录。 　　Linux 之间同步文件一般有两种方式&#xff0c;分别是 rsync 与 scp &#xff0c;scp 相…
阅读更多...
前端性能优化汇总

前端性能优化汇总

1.减少HTTP请求次数和请求的大小 &#xff08;三大类&#xff09; 文件的合并和压缩&#xff1a;&#xff08;1&#xff09;&#xff08;6&#xff09; 延迟加载&#xff1a;&#xff08;3&#xff09;&#xff08;4&#xff09; 用新的文件格式代替传统文件格式&#xff1a;&a…
阅读更多...
基于LQR算法的一阶倒立摆控制

基于LQR算法的一阶倒立摆控制

1. 一阶倒立摆建模 2. 数学模型 倒立摆的受力分析网上有很多&#xff0c;这里就不再叙述。直接放线性化后的方程&#xff1a; F (Mm)x″-mLφ″ (ImL)φ″ mLx″ mgLφ&#xff08;F为外力&#xff0c;x为物块位移&#xff0c;M&#xff0c;m为物块和摆杆的质量&#xff0c;…
阅读更多...
抽象轻松java

抽象轻松java

嗨嗨嗨&#xff01; 没想到吧&#xff0c;出现了抽象轻松第4种语言系列&#xff08;我也没想到&#xff09; 简单的java程序&#xff0c;看完就懂的简单逻辑——购物车系统 购物车&#xff0c;首先要有商品吧&#xff0c;现实中的商品有什么属性&#xff1f; 名字&#xff0…
阅读更多...
CSS详细基础（一）选择器基础

CSS详细基础（一）选择器基础

本帖开始&#xff0c;我们来介绍CSS——即&#xff0c;层叠样式表~ 层叠样式表是一种用来表现HTML&#xff08;标准通用标记语言的一个应用&#xff09;或XML&#xff08;标准通用标记语言的一个子集&#xff09;等文件样式的计算机语言。简单的说&#xff0c;层叠就是对一个元…
阅读更多...
PostgreSQL 查询某个属性相同内容出现的次数

PostgreSQL 查询某个属性相同内容出现的次数

查询某个数据库表属性 name 相同内容出现出现的次数&#xff0c;并按次数从大到小排序 SELECT name, COUNT(*) AS count FROM your_table GROUP BY name ORDER BY count DESC;示例 select project_id, COUNT(*) AS count from app_ads_positions group by project_id order b…
阅读更多...
认证-authentication 和授权-authorization

认证-authentication 和授权-authorization

就好比你可以刷卡进去xxx大厦&#xff08;认证是本公司职员&#xff09;&#xff0c;但无法刷卡进入金融部门&#xff0c;或 实验部门&#xff08;因为没有授权&#xff09;
阅读更多...
vite跨域proxy设置与开发、生产环境的接口配置，接口在生产环境下，还能使用proxy代理地址吗

vite跨域proxy设置与开发、生产环境的接口配置，接口在生产环境下，还能使用proxy代理地址吗

文章目录 vite的proxy开发环境设置如果后端没有提供可以替换的/mis等可替换的后缀的处理办法接口如何区分.env.development开发和.env.production生产环境接口在生产环境下&#xff0c;还能使用proxy代理地址吗&#xff1f; vite的proxy开发环境设置 环境&#xff1a; vite 4…
阅读更多...
玩转Mysql系列 - 第22篇：mysql索引原理详解

玩转Mysql系列 - 第22篇：mysql索引原理详解

这是Mysql系列第22篇。 背景 使用mysql最多的就是查询&#xff0c;我们迫切的希望mysql能查询的更快一些&#xff0c;我们经常用到的查询有&#xff1a; 按照id查询唯一一条记录 按照某些个字段查询对应的记录 查找某个范围的所有记录&#xff08;between and&#xff09; …
阅读更多...
忽视日志吃大亏，手把手教你玩转 SpringBoot 日志

忽视日志吃大亏，手把手教你玩转 SpringBoot 日志

一、日志重要吗 程序中的日志重要吗&#xff1f; 在回答这个问题前&#xff0c;笔者先说个事例&#xff1a; ❝ 笔者印象尤深的就是去年某个同事&#xff0c;收到了客户反馈的紧急bug。尽管申请到了日志文件&#xff0c;但因为很多关键步骤没有打印日志&#xff0c;导致排查进…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023