大数据实训项目(小麦种子)-03、大数据环境Hadoop、Mapreduce、Hive、Hbase、HDFS搭建服务及调试

文章目录

  • 前言
  • 一、Linux系统Centos7安装配置JDK8
  • 二、Linxu系统Centos7中搭建Hadoop3.1.0服务
    • 下载地址
    • 服务1：详细步骤（初始化与启动dfs服务）
      • 详细步骤
      • 配置环境变量
    • 服务2：Hadoop(YARN)环境搭建
  • 三、Linux系统搭建Hive3.1.2服务
    • 前提条件
    • 安装MySQL 5.7.27
    • Hive3.1.2详细安装配置步骤
      • 下载地址
      • 详细安装步骤
    • 启动Hive服务与配置环境变量
    • IDEA远程连接Hive服务
      • 前置准备
      • Java程序来连接Hive
  • 四、Linux系统搭建Hbase2.2.4
    • 说明
    • 下载Zookeeper3.4.5以及Hbase2.2.4
    • 安装Zookeeper3.4.5全流程（单机）
    • 安装Hbase2.2.4全流程（单机）
      • 详细安装流程
      • Java客户端连接Hbase
  • 五、Javaweb项目及lib包依赖
    • 功能描述
    • 测试服务快速命令
  • 六、快捷命令汇总
    • 快速关闭各个服务
    • 快速启动各个服务
  • 番外：极速搭建大数据配套环境（导入Virtualbox）
    • 导入提前搭建好的环境
      • ①配置静态ip地址
      • ②配置域名映射
    • 测试环境

前言

博主介绍：✌目前全网粉丝3W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

涵盖技术内容：Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。

博主所有博客文件目录索引：博客目录索引(持续更新)

视频平台：b站-Coder长路

本期大数据实战项目功能演示及环境搭建教程（b站）：https://www.bilibili.com/video/BV1F6421V7dY

一、Linux系统Centos7安装配置JDK8

下载地址：https://www.oracle.com/java/technologies/downloads/#java8

image-20240202213746480

安装步骤如下：

①将JDK8的安装上传到服务器上

mkdir /opt/toolsmkdir /opt/server

image-20240202213910639

②解压JDK8到指定目录

cd /opt/toolstar -zvxf jdk-8u221-linux-x64.tar.gz -C /opt/server

③编辑配置环境变量

vim /etc/profile# 文件末尾增加 指定jdk目录
# jdk
export JAVA_HOME=/opt/server/jdk1.8.0_221
export PATH=${JAVA_HOME}/bin:$PATH# 使配置生效
source /etc/profile

③测试JDK是否安装成功

java -version

image-20240202214100692

二、Linxu系统Centos7中搭建Hadoop3.1.0服务

下载地址

Hadoop下载地址：https://archive.apache.org/dist/hadoop/core/

image-20240202213248548

选择tar.gz压缩包下载：

image-20240202213309863

服务1：详细步骤（初始化与启动dfs服务）

详细步骤

步骤1：配置免密登录

Hadoop 组件之间需要基于 SSH 进行通讯，配置免密登录后不需要每次都输入密码，配置映射：

vim /etc/hosts# 文件末尾增加（之前增加过无需增加）
192.168.10.120 server

生成私钥：

# 不断回车即可
ssh-keygen -t rsa

授权，进入 ~/.ssh 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件：

cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys

步骤2：解压Hadoop

将文件上传/opt/tools：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

解压Hadoop压缩包到server目录：

cd /opt/toolstar -zvxf hadoop-3.1.0.tar.gz -C /opt/server/

步骤3：配置Hadoop

修改配置文件hadoop-env.sh文件，设置JDK的安装路径：

# 进入到hadoop的配置文件目录
cd /opt/server/hadoop-3.1.0/etc/hadoop# 打开hadoop的环境配置脚本
vim hadoop-env.sh# 配置一开始的Java环境变量
export JAVA_HOME=/opt/server/jdk1.8.0_221

修改core-site.xml文件，分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录（程序运行可自动创建）：

vim core-site.xml

<configuration><property><!--指定 namenode 的 hdfs 协议文件系统的通信地址这里server是域名 我们提前配置了hosts文件--><name>fs.defaultFS</name><value>hdfs://server:8020</value></property><property><!--指定 hadoop 数据文件存储目录--><name>hadoop.tmp.dir</name><value>/opt/server/hadoop-3.1.0/data</value></property><!--下面两个配置解决：idea远程连接hive失败问题--><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property><property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property>
</configuration>

修改hdfs-site.xml，指定 dfs 的副本系数：

vim hdfs-site.xml

<configuration><property><!--由于我们这里搭建是单机版本，所以指定 dfs 的副本系数为 1--><name>dfs.replication</name><value>1</value></property><property><!-- AccessControlException: Permission 报错解决 --><name>dfs.permissions.enabled</name><value>false</value></property>
</configuration>

修改workers文件，配置所有从属节点：

vim workers# 配置所有从属节点的主机名或 IP 地址，由于是单机版本，所以指定本机即可：
server

步骤4：初始化并启动HDFS

初始化,第一次启动 Hadoop 时需要进行初始化，进入 /opt/server/hadoop-3.1.0/bin目录下，执行以下命令：

cd /opt/server/hadoop-3.1.0/bin# 初始化
./hdfs namenode -format

步骤5：配置启动用户（Hadoop 3中不允许使用root用户来一键启动集群）

cd /opt/server/hadoop-3.1.0/sbin/# 编辑start-dfs.sh、stop-dfs.sh,在顶部加入以下内容
vim start-dfs.shvim stop-dfs.sh

# 文件顶部第二行位置加入内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

步骤6：启动HDFS

# 启动HDFS，进入/opt/server/hadoop-3.1.0/sbin/ 目录下，启动 HDFS
cd /opt/server/hadoop-3.1.0/sbin/# 启动HDFS
./start-dfs.sh

查看是否启动：

jps

若是有下面三个运行服务，那么就表示运行成功：

image-20240203091035430

此时我们也可以在本地访问虚拟机的9870端口：

http://192.168.10.120:9870/

image-20240203091134506

配置环境变量

# 编辑配置文件
vim /etc/profile# 在底部添加下面两行环境变量
# hadoop
export HADOOP_HOME=/opt/server/hadoop-3.1.0
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin# 使配置文件生效
source /etc/profile

服务2：Hadoop(YARN)环境搭建

步骤1：修改mapred-site.xml配置文件

cd /opt/server/hadoop-3.1.0/etc/hadoop# 编辑配置文件
vim mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value></property>
</configuration>

步骤2：修改yarn-site.xml文件，配置 NodeManager 上运行的附属服务

vim yarn-site.xml

<configuration><property><!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可
以在
Yarn 上运行 MapRedvimuce 程序。--><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

步骤3：配置启动用户（Hadoop 3中不允许使用root用户来一键启动集群）

cd /opt/server/hadoop-3.1.0/sbin/vim start-yarn.sh
vim stop-yarn.sh

# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

步骤4：启动服务

# 进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN：
cd ${HADOOP_HOME}/sbin/# 启动yarn服务
./start-yarn.sh

验证是否成功，我们输入JPS，若是有下面两个服务则启动成功：

jps

image-20240203091643523

查看 Web UI 界面，端口为 8088：

http://192.168.10.120:8088/

image-20240203091737531

三、Linux系统搭建Hive3.1.2服务

前提条件

安装Hadoop（基于Hadoop的数据仓库软件，通常部署运行在Linux系统之上）。

安装MySQL（MySQL作为Hive的元数据存储库）。

安装MySQL 5.7.27

选择MySQL5.7.27：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

安装步骤：

①卸载Centos7自带mariadb

# 查找
rpm -qa|grep mariadb
# mariadb-libs-5.5.52-1.el7.x86_64
# 卸载，根据指定名字
rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps

②上传MySQL安装压缩包

image-20240202204502312

# 创建mysql安装包存放点
mkdir /opt/server/mysql# 进入到上传目录
cd /opt/tools# 解压
tar xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar -C /opt/server/mysql/# 安装依赖
yum -y install libaio
yum -y install libncurses*
yum -y install perl perl-devel
yum -y install net-tools
# 切换到安装目录
cd /opt/server/mysql/
# 安装
rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm 
rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm 
rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm

③启动MySQL服务

#启动mysql
systemctl start mysqld.service
#查看生成的临时root密码（获取到密码之后）
cat /var/log/mysqld.log | grep password

④修改初始的随机密码，并进行授权

# 登录mysql
mysql -u root -p
Enter password:     #输入在日志中生成的临时密码# 更新root密码 设置为root
set global validate_password_policy=0;
set global validate_password_length=1;
set password=password('root');# 授权账户 root、root
grant all privileges on *.* to 'root' @'%' identified by 'root';
# 刷新
flush privileges;

⑤设置MySQL自启动

#mysql的启动和关闭 状态查看
systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld#建议设置为开机自启动服务
systemctl enable mysqld#查看是否已经设置自启动成功
systemctl list-unit-files | grep mysqld

Hive3.1.2详细安装配置步骤

下载地址

hive下载地址：https://archive.apache.org/dist/hive/

image-20240202213022029

详细安装步骤

同样上传到目录中/opt/tools：

image-20240202204846159

①解压hive压缩包：

# 切换到安装包目录
cd /opt/tools# 解压到/root/server目录
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/server/

②上传MySQL的驱动包

# 上传mysql-connector-java-5.1.38.jar
cd /opt/server/apache-hive-3.1.2-bin/lib

image-20240202204956773

image-20240202205041906

③修改hive环境变量文件，指定Hadoop的安装路径

# 进入到配置文件目录
cd /opt/server/apache-hive-3.1.2-bin/conf# 复制一份环境配置
cp hive-env.sh.template hive-env.shvim hive-env.sh
# 加入以下内容
HADOOP_HOME=/opt/server/hadoop-3.1.0

④新建 hive-site.xml 文件，配置存放元数据的 MySQL 的地址、驱动、用户名和密码等信息：

  • 需要修改用户名、密码，即20、24行。
  • 设置mysql的连接ip地址，这里是server，可改为相应的ip地址。
vim hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><!-- 存储元数据mysql相关配置 /etc/hosts 其中server为服务ip地址，我们这里配置了域名--><property><name>javax.jdo.option.ConnectionURL</name><value> jdbc:mysql://server:3306/hive?
createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;chara
cterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>root</value></property>
</configuration>

⑤将mysql对应的jdbc驱动包放入到hive的lib目录下：

image-20240607103707026

上传上去：

image-20240607103725743

放入到服务器中的lib目录下：/opt/server/apache-hive-3.1.2-bin/lib

⑥当使用的 hive 是 2以上版本时，必须手动初始化元数据库，初始化命令：

# 进入到bin目录
cd /opt/server/apache-hive-3.1.2-bin/bin# 初始化前先创建数据库hive
mysql -u root -proot
create database hive charset=utf8;# 执行初始化
./schematool -dbType mysql -initSchema

初始化成功后，我们可进入到mysql，看到hive数据库中，包含了74张表：

mysql -u root -prootshow databases;

image-20240202205703648

启动Hive服务与配置环境变量

①添加环境变量：

vim /etc/profile# 配置信息如hive的安装目录
# hive
export HIVE_HOME=/opt/server/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH# 刷新配置
source /etc/profile

②启动Hive

hive

若是我们在hive的交互命令行中输入查看所有数据库中，若是有default表示搭建成功：

show databases;

image-20240202205941843

IDEA远程连接Hive服务

前置准备

# 检查hive server2是否启动：若是有我们开启hive远程连接
netstat -anp |grep 10000# 开启远程连接（非后台运行）
hive --service hiveserver2

若是出现下面四个Hive Session：

image-20240203150044350

然后我们点击IDEA的测试即可，连接成功在Hive远程服务程序会显示OK：

jdbc:hive2://192.168.10.120:10000root、root

image-20240203150022121

我们也可以后台运行方式：

# 开启远程连接（后台运行）
# nohup: 忽略SIGHUP信号，使命令在终端关闭后继续运行。  hive --service hiveserver2: 启动HiveServer2服务。
# > hiveserver2.log: 将标准输出重定向到hiveserver2.log文件。
# 2>&1: 将标准错误输出重定向到与标准输出相同的文件。
# &: 将命令放入后台运行。
nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &# 关闭服务方式
ps aux | grep hiveserver2
kill -9 <PID>

Java程序来连接Hive

选择和Hive版本3.1.2的jar包，接着我们来测试程序：

public static void main(String[] args) throws Exception {String driver = "org.apache.hive.jdbc.HiveDriver";String url = "jdbc:hive2://192.168.10.120:10000/default";Class.forName(driver);Connection connection = DriverManager.getConnection(url, "root", "root");Statement statement = connection.createStatement();
}

image-20240203150814112

四、Linux系统搭建Hbase2.2.4

说明

Hbase基于hadoop、zookeeper、jdk。

下载Zookeeper3.4.5以及Hbase2.2.4

zookeeper下载地址：https://archive.apache.org/dist/zookeeper/

image-20240126190905360

Hbase下载地址：https://archive.apache.org/dist/hbase/

image-20240126190711526

下载好之后上传压缩包到服务器上：

/opt/tools

image-20240126191010915

安装Zookeeper3.4.5全流程（单机）

步骤1：解压zookeeper安装包

cd /opt/toolstar -zxvf zookeeper-3.4.5.tar.gz -C /opt/server

步骤2：修改zoo.cfg配置

  • 需要修改的是dataDir、server.0的ip地址
cd /opt/server/zookeeper-3.4.5/conf# 复制一份配置文件
cp zoo_sample.cfg zoo.cfg# 编辑配置文件
vim zoo.cfg# 修改配置内容如下
dataDir=/opt/server/zookeeper-3.4.5/data
clientPort=2181
server.0=server:2287:3387

步骤3：修改myid:

mkdir -p /opt/server/zookeeper-3.4.5/dataecho '0' > /opt/server/zookeeper-3.4.5/data/myid

配置环境变量：

vim /etc/profile# ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/server/zookeeper-3.4.5
export PATH=$PATH:$ZOOKEEPER_HOME/bin# 刷新配置
source /etc/profile

步骤4：启动服务

zkServer.sh start

输入jps显示当前运行进程，对于QuorumPeerMain即为zookeeper进程程序：

jps

image-20240126191950297

安装Hbase2.2.4全流程（单机）

详细安装流程

步骤1：解压Hbase2.2.4

# 首先进入到压缩包路径,
cd /opt/toolstar -zxvf hbase-2.2.4-bin.tar.gz -C /opt/server

步骤2：配置hbase-env.sh配置信息

cd /opt/server/hbase-2.2.4/confvim hbase-env.sh # 28行添加JDK环境
export JAVA_HOME=/opt/server/jdk1.8.0_221
# 126行关闭zookeeper管理,是否管理自己的zookeeper实例（不使用自带的）
export HBASE_MANAGES_ZK=false

步骤3：编辑hbase-site.xml配置信息:

  • hbase.rootdir：填写端口号一定要与hadoop初始核心的端口一致。
  • hbase.zookeeper.property.dataDir：与原本zookeeper的要一致。
  • hbase.zookeeper.quorum：指明的是服务地址。
  • hbase.tmp.dir：自定义hbase的tmp目录。
  • zookeeper.znode.parent：相对应zookeeper的节点。
# 编辑hbase-site.xml
vim hbase-site.xml
# 添加内容如下：
#    ①修改hdfs的ip地址，注意端口要与hadoop中的core-site.xml里的fs.defaultFS一致。！！！！！！！！
#    ②修改zookeeper的路径

<configuration><!--  Hbase数据在HDFS中的存放位置 --><property><name>hbase.rootdir</name><value>hdfs://server:8020/hbase</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/opt/server/zookeeper-3.4.5/data</value></property><!--  Hbased的运行模式,false为单机模式,true为分布式模式.若为false,Hbase和Zookeeper会运行在同一个JVM里 --><property><name>hbase.cluster.distributed</name><value>true</value></property><!--  zookeeper的服务地址 --><property><name>hbase.zookeeper.quorum</name><value>server</value><description>The directory shared by RegionServers.</description></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property><property><name>hbase.tmp.dir</name><value>/opt/server/hbase-2.2.4/tmp</value></property><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property><property><name>zookeeper.znode.parent</name><value>/hbase/master</value></property>
</configuration>

步骤4：配置服务名

# 修改服务
vim regionservers# 填写域名(默认localhost,我们也可不改)
# 若是没有绑定域名,可设置 vim /etc/hosts  文件末尾增加   192.168.80.100 server
server

步骤5：配置环境变量

vim /etc/profile# 添加
# HBASE_HOME
export HBASE_HOME=/opt/server/hbase-2.2.4
export PATH=$PATH:$HBASE_HOME/bin# 刷新配置
source /etc/profile

启动Hbase：

注意：启动前需要启动hadoop、zookeeper服务！

start-hbase.sh

输入jps查看服务是否启动：

jps

image-20240126192939944

有问题一定要看日志！！！

访问16010端口即可访问Hbase服务：http://192.168.10.120:16010/

image-20240129215520658

Java客户端连接Hbase

前提，我们需要配置域名映射，因为我们从zookeeper中取到的是服务名，自然我们应该去配置映射：

  • 路径位置：C:\Windows\System32\drivers\etc
  • 配置信息：192.168.10.120 server
# 刷新DNS解析缓存
ipconfig /flushdns

image-20240202005904861

Hbase连接我们只需要知道zookeeper的ip地址以及端口号即可：

public static void main(String[] args) {// 创建 HBase 配置对象Configuration conf = HBaseConfiguration.create();// 设置 ZooKeeper 地址和端口//        conf.set("hbase.zookeeper.quorum", ServerConfig.SERVER_IP);conf.set("hbase.zookeeper.quorum", "192.168.10.120");conf.set("hbase.zookeeper.property.clientPort", "2181");conf.set("zookeeper.znode.parent", "/hbase/master");// 建立 HBase 连接try (org.apache.hadoop.hbase.client.Connection connection = ConnectionFactory.createConnection(conf)) {System.out.println(connection);// 获取 HBase 管理对象Admin admin = connection.getAdmin();// 获取所有命名空间NamespaceDescriptor[] namespaces = admin.listNamespaceDescriptors();// 打印命名空间信息System.out.println("Available HBase namespaces:");for (NamespaceDescriptor namespace : namespaces) {System.out.println(namespace.getName());}} catch (IOException e) {e.printStackTrace();}
}

image-20240202010028052

五、Javaweb项目及lib包依赖

功能描述

需要导入的外部jar包：导入hadoop、hdfs、hbase、mapreduce的Jar包，主要是将hadoop解压的目录中的jar包导入，如下：

  • /usr/local/hadoop/share/hadoop/common
  • /usr/local/hadoop/share/hadoop/hdfs
  • /usr/local/hadoop/share/hadoop/hdfs/lib
  • /usr/local/hadoop/share/hadoop/mapreduce
  • /usr/local/hadoop/share/hadoop/yarn
  • /usr/local/hadoop/hbase/lib

image-20240203170541692

测试服务快速命令

Hbase命令：

# 进入Hbase命令行
hbase shell# hbase
# 查看default数据库
list_namespace_tables 'default'# 查看表结构
describe seeds_table# 查看表数据
scan "seeds_table"# 删除数据库表（只删除数据）
truncate 'seeds_table'
# 删除数据库表（数据与结构）
disable 'seeds_table'
drop 'seeds_table'

Hive命令：

# 进入Hive
hive# 查看所有数据库
show databases;# 使用数据库
USE default;# 查看所有表
show tables;# 查询表数据
select * from seeds;# 删除表（原数据和结构）
DROP TABLE IF EXISTS seeds;
-- 仅删除表中的数据，保留表结构
TRUNCATE TABLE seeds;

六、快捷命令汇总

快速关闭各个服务

# 1、关闭hadoop服务
# 进入hadoop目录
cd /opt/server/hadoop-3.1.0/sbin/
# 关闭
./stop-dfs.sh# 2、关闭yarn服务
cd ${HADOOP_HOME}/sbin/
./stop-yarn.sh# 3、关闭hive服务
ps aux | grep hiveserver2
kill -9 <PID># 4、关闭zookeeper
zkServer.sh stop# 5、关闭Hbase（关闭hdfs）
stop-hbase.sh# 查看java进程
jps

快速启动各个服务

# 1、开启hadoop服务
# 进入hadoop目录
cd /opt/server/hadoop-3.1.0/sbin/
# 开启
./start-dfs.sh# 2、开启yarn服务
cd ${HADOOP_HOME}/sbin/
./start-yarn.sh# 3、开启hive远程连接
nohup hive --service hiveserver2 > hiveserver2.log 2>&1 &# 4、开启zookeeper
zkServer.sh start# 5、开启Hbase（开启hdfs）
start-hbase.sh# 查看java进程
jps

image-20240607230256354

番外：极速搭建大数据配套环境（导入Virtualbox）

导入提前搭建好的环境

①配置静态ip地址

cd /etc/sysconfig/network-scripts/# 直接修改enp0s3配置文件
vi ifcfg-enp0s3

配置内容直接在ifcfg-enp0s3网卡文件修改（可自行根据主机cmd中的网关地址）：

image-20240607223451778

开启网络连接：

image-20240607012007519

配置DNS1：

DNS1: 8.8.8.8

②配置域名映射

Hadoop 组件之间需要基于 SSH 进行通讯，配置免密登录后不需要每次都输入密码，配置映射：

vim /etc/hosts# 文件末尾增加（之前增加过无需增加）
192.168.10.120 server

重启下网卡：

systemctl restart network

测试环境

1、windows环境配置hosts文件

前提，我们需要配置域名映射（Hbase会使用到），因为我们从zookeeper中取到的是服务名，自然我们应该去配置映射：

  • 路径位置：C:\Windows\System32\drivers\etc
  • 配置信息：192.168.10.126 server
# 刷新DNS解析缓存
ipconfig /flushdns

image-20240202005904861

2、finalshell测试连接

image-20240615141031015

3、访问HDFS：http://server:9870/dfshealth.html#tab-overview

image-20240615141039356

整理者：长路 时间：2024.2.3-6.7

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/353674.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SysTools MailXaminer: 电子邮件取证调查中的链接分析和时间线分析

SysTools MailXaminer: 电子邮件取证调查中的链接分析和时间线分析

天津鸿萌科贸发展有限公司是 SysTools 系列软件的授权代理商。 SysTools MailXaminer 电子邮件取证软件提供全面强大的解决方案&#xff0c;通过简化的操作&#xff0c;从电子邮件客户端、网络邮箱服务器、磁盘镜像、Skype 通讯工具中解密并搜索证据。软件对调查工作的每一阶段…
阅读更多...
基于 Transformer 的大语言模型

基于 Transformer 的大语言模型

语言建模作为语言模型&#xff08;LMs&#xff09;的基本功能&#xff0c;涉及对单词序列的建模以及预测后续单词的分布。 近年来&#xff0c;研究人员发现&#xff0c;扩大语言模型的规模不仅增强了它们的语言建模能力&#xff0c;而且还产生了处理传统NLP任务之外更复杂任务…
阅读更多...
这些已经死去的软件，依旧无可替代

这些已经死去的软件，依旧无可替代

互联网这条长河里&#xff0c;软件们就像流星一样&#xff0c;一闪而过。有的软件火过一段时间&#xff0c;然后就慢慢消失了。 说不定有些软件你以前天天用&#xff0c;但不知道从什么时候开始就不再用了。时间一天天过去&#xff0c;我们的热情、记忆都在消退&#xff0c;还…
阅读更多...
七、（正点原子）Linux并发与竞争

七、（正点原子）Linux并发与竞争

Linux是多任务操作系统&#xff0c;肯定会存在多个任务共同操作同一段内存或者设备的情况&#xff0c;多个任务甚至中断都能访问的资源叫做共享资源。在驱动开发中要注意对共享资源的保护&#xff0c;也就是要处理对共享资源的并发访问。 一、并发与竞争 1、简介 并发就是多个…
阅读更多...
计算机行业的现状与未来之2024

计算机行业的现状与未来之2024

年年都说编程好&#xff0c;编程工资涨不了。 人家骑车送外卖&#xff0c;月入两万好不好。 一、计算机专业的背景与现状 在过去几十年里&#xff0c;计算机科学相关专业一直是高考考生的热门选择。无论是计算机科学与技术、软件工程&#xff0c;还是人工智能与大数据&#xff…
阅读更多...
PR软件视频抠图换背景

PR软件视频抠图换背景

1 新建项目 2 新建序列 在项目的右下角有个图标&#xff0c;新建 序列 序列是视频的制作尺寸&#xff0c;根据自己的需要选择 3 新建颜色遮罩 在项目的右下角--新建颜色遮罩--选择黑色--确定 4 导入视频 把要导入视频的文件夹打开&#xff0c;把视频拖到 项目 里 把黑色遮罩拖…
阅读更多...
#QT(QCharts绘制曲线)

#QT(QCharts绘制曲线)

1.IDE&#xff1a;QTCreator 2.实验&#xff1a;绘制曲线图表 3.记录&#xff1a; 4.代码 pro QT core gui #加入以下代码引入charts QT charts greaterThan(QT_MAJOR_VERSION, 4): QT widgetsCONFIG c17# You can make your code fail to compile if it uses depre…
阅读更多...
jdk下载安装及电脑上同时安装多个jdk

jdk下载安装及电脑上同时安装多个jdk

一、jdk的下载 官方地址: Java Software | Oracle 系统环境变量配置 1、首先新建JDK1.8和17的JAVA_HOME&#xff0c;他们的变量名区分开&#xff0c;分别为JAVA17_HOME&#xff0c;JAVA8_HOME。分别指向他们的安装地址。 2、新建配置他们可变的地址&#xff0c;这个环境变量的值…
阅读更多...
Java实现一个解析CURL脚本小工具

Java实现一个解析CURL脚本小工具

该工具可以将CURL脚本中的Header解析为KV Map结构&#xff1b;获取URL路径、请求类型&#xff1b;解析URL参数列表&#xff1b;解析Body请求体&#xff1a;Form表单、Raw Body、KV Body、XML/JSON/TEXT结构体等。 使用示例 获取一个http curl脚本&#xff1a; curl --locatio…
阅读更多...
Blazor 中基于角色的授权

Blazor 中基于角色的授权

介绍 Blazor用于使用 .NET 代码库创建交互式客户端 Web UI。Microsoft 默认在 Blazor 应用程序中提供了一个用于身份验证和授权的身份框架。请注意&#xff0c;他们目前使用 MVC Core Razor 页面作为身份验证 UI。使用“Microsoft.AspNetCore.Identity.UI”包库来实现这一点。…
阅读更多...
学会python——制作一款天气查询工具（python实例七）

学会python——制作一款天气查询工具（python实例七）

目录 1、认识Python 2、环境与工具 2.1 python环境 2.2 Visual Studio Code编译 3、天气查询工具 3.1 代码构思 3.2 代码示例 3.3 运行结果 4、总结 1、认识Python Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的…
阅读更多...
奇怪的缓存一致性问题

奇怪的缓存一致性问题

天猫国际用户Push中心承接了国际用户触达相关的需求&#xff0c;比如短信、端内消息投放等等&#xff0c;并存在较高的并发场景。 该系统此前发现了一个查询投放计划plan为null的异常情况&#xff0c;在初期排查时有些丈二和尚摸不着头脑&#xff0c;后面突然灵光乍现——原来是…
阅读更多...
网络层 IP协议【计算机网络】【协议格式 || 分片 || 网段划分 || 子网掩码】

网络层 IP协议【计算机网络】【协议格式 || 分片 || 网段划分 || 子网掩码】

博客主页&#xff1a;花果山~程序猿-CSDN博客 文章分栏&#xff1a;Linux_花果山~程序猿的博客-CSDN博客 关注我一起学习&#xff0c;一起进步&#xff0c;一起探索编程的无限可能吧&#xff01;让我们一起努力&#xff0c;一起成长&#xff01; 目录 一&#xff0c;前提 二&…
阅读更多...
【Python】类和对象的深入解析

【Python】类和对象的深入解析

目录 前言 什么是类&#xff1f; 定义一个类 创建对象 访问和修改属性 方法 类的继承 多态 封装 特殊方法 属性装饰器 总结 前言 Python 是一种面向对象的编程语言&#xff0c;它允许程序员通过类和对象来组织和管理代码。面向对象编程&#xff08;OOP&#xff09…
阅读更多...
被腰斩的颍川郡守赵广汉

被腰斩的颍川郡守赵广汉

在颍川&#xff0c;他发明了举报箱&#xff0c;铁腕扫黑除恶。因为曾经在郡府所在地阳翟&#xff08;禹州&#xff09;当过县令&#xff0c;熟悉颍川社情民意&#xff0c;所以&#xff0c;任职郡守后雷厉风行&#xff0c;才不到一年&#xff0c;不但制服了骄横的豪门大族&#…
阅读更多...
1.0 Android中Activity的基础知识

1.0 Android中Activity的基础知识

一&#xff1a;Activity的定义 Activity是一个应用组件&#xff0c;它提供了一个用户界面&#xff0c;允许用户执行一个单一的、明确的操作&#xff0c;用户看的见的操作都是在activity中执行的。Activity的实现需要在manifest中进行定义&#xff0c;不让会造成程序报错。 1.…
阅读更多...
关机充电动画：流程与定制

关机充电动画：流程与定制

关机充电动画&#xff1a;流程与定制 基于MTK平台Android 11分析 生成logo.bin 关机充电动画是由一系列的bmp图片组成的&#xff0c;这些图片资源存在于vendor/mediatek/proprietary/bootable/bootloader/lk/dev/logo目录下&#xff08;当然不仅保护关机充电动画&#xff0c…
阅读更多...
中医药人工智能大模型正式启动

中医药人工智能大模型正式启动

6月15日&#xff0c;在横琴粤澳深度合作区举行的中医药广东省实验室&#xff08;以下简称横琴实验室&#xff09;第一届学术委员会第一次会议暨首届横琴中医药科技创新大会上&#xff0c;中医药横琴大模型、中药新药智能自动化融合创新平台同时启动。这也是该实验室揭牌半年来取…
阅读更多...
Stable Diffusion WebUI 使用ControlNet:IP-Adapter保持生图的角色一致性

Stable Diffusion WebUI 使用ControlNet:IP-Adapter保持生图的角色一致性

IP-Adapter-FaceID可以在保持人脸一致的条件下生成各种风格的图像。 下载 IP Adapter 需要的 Face ID 模型和 Lora 下载地址&#xff1a;https://huggingface.co/h94/IP-Adapter-FaceID/ 下载 ip-adapter-faceid-plusv2_sd15.bin 和 ip-adapter-faceid-plusv2_sd15_lora.saf…
阅读更多...
瑞典农业科学大学《Nature Geoscience》(IF=18)！揭示北方森林碳汇对干旱的响应机制！

瑞典农业科学大学《Nature Geoscience》(IF=18)！揭示北方森林碳汇对干旱的响应机制！

本文首发于“生态学者”微信公众号&#xff01; 北方森林覆盖了地球陆地面积的11%&#xff0c;储存了全球陆地碳储量的约三分之一。因此&#xff0c;它们被认为是减缓气候变化政策的一个重要因素。然而&#xff0c;环极寒带地区是气候变化速度最快的地区。这包括更频繁和更严重…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023