kafka3.X基本概念和使用

kafka基本概念和使用

文章目录
  • kafka基本概念和使用
      • kafka的概念
      • 基本概念
      • Kafka的使用
          • 首先kafka的安装
          • kafka的简单实用和理解
          • 搭建集群（3个节点）
          • windows版本
          • 环境搭建

本文"kafka的概念"部分是在[初谈Kafka][ https://juejin.im/post/5a8e7f296fb9a0635a6573e9]的基础上重新整理而成，看官自行选择阅读…

kafka的概念

kafka是一个分布式的、可区分的、可复制的、基于发布、订阅的**“消息系统”**。

主要应用领域：大数据，当然，在分布式的系统中也有应用。

市面流行的消息队列RocketMQ就是借鉴kafka原理，java开发得到的，可通过文章[RocketMQ原理&最佳实践][https://www.jianshu.com/p/2838890f3284]了解

kafka优势：适合离线、在线的消息消费

  • 消息保存位置：磁盘；
  • 以Topic为单位，进行消息归纳；
  • Producer：向 Topic 发送（Push）消息；
  • Cunsumer：消费（Pull）Topic里的消息。
基本概念

基本概念对于理解kafka本身，以及基于kafka原理的消息队列的理解，非常重要，理解基本概念之后，对于kafka的上手，以及使用，以及后续消息队列的使用，会更加得心应手。

  • Topic

适用于存储消息的逻辑概念，1个Topic，可以看做是消息的集合。

这个消息的集合（Topic），可以接收多个生产者（Producer）推送（Push）过来的消息，也可以让多个消费者（Consumer）从中消费（Pull）消息。

【这里的消费，是pull之后不保留在集合中，还是pull之后依然保留，待思考或者自行查找资料，目前我的理解是pull之后依然保留，这样多个消费者均可获取到同一条消息，同理，push应该可以push相同的消息，至于是否正确，我们慢慢看看吧】

  • 分区（Partition)

分区的概念，可以理解为Topic的子集：1个Topic可能只有1个分区，也可能有多个分区。这里说的多个分区，一个分区就代表磁盘的一块连续的位置，不同的分区也就是磁盘上不同的区域块。

分区存在的意义：

通过不同的区域块，kafka存储在Topic里的消息就可以在多个地方存储，也就是对kafka进行了水平扩展，这样可以增加kafka的并行处理能力。

对于不同区域块存储消息的理解：

同一个Topic下，多个区域块，这些不同的区域块，存储的消息是不同的，也就是说，A、B两个区域块，不会同时存储1类消息。

对于同一个区域内的消息：

在区域块A接收到消息x的时候，该消息x会被接收它的区域块A分配一个offset(代表它在这个区域块中的唯一编号)，这个offset使得kafka确定了这条消息x在这个区域块A内的顺序。
要注意的是：这个顺序仅适用于该区域块A，对于另一区域块B内另一条消息y，x和y的顺序是不能确定的。

Topic AND Partition

  • Log

分区在逻辑上，对应一个Log，当生产者将消息写入分区的时候，实际上就是写入一个log。

Log：一个逻辑概念，对应着磁盘上的一个文件夹。

Log的组成：由多个Segment组成，每1个Segment对应1个日志文件和一个索引文件。

  • Broker

说完了Topic，里面提到区域块A会给它接收的消息x分配一个offset，并且x会保存到A所在的磁盘区域上。而这个功能，就是由Broker完成的。

Broker：1个Broker就是一个单独的kafka server。

Broker的主要工作：接收生产者发送来的消息,分配offset,然后将包装过的数据保存到磁盘上。

Broker的其他作用：接收消费者Consumer和其他Broker的请求,根据请求的类型进行相应的处理然后返回响应。

这里引出集群（Cluster）的概念，1个Cluster是由多个Broker构成的，也就是说，1个Broker不会对外提供服务，而是通过Cluster的形式对外提供服务：

因为，一个Cluster里，需要1个Broker担任Controller，这个Broker就是这个集群的指挥中心，负责：

  • 管理各个分区（Partition)的状态；
  • 管理每个分区（Partition）的副本【这个副本暂时没找到出处】的状态；
  • 监听zookeeper的数据变化。

其他的Broker均是通过这个Controller进行指挥的，完成各自相应的功能。

关于Cluster的一主多从实现：

除了担任Controller的Broker会监听其他Broker的状态，其他Broker也会监听Controller的状态，当Controller出翔了故障，就会重新选取新的Broker担任Controller

  • 消息

Kafka中最基本的消息单元。有一串字节组成，主要由key和value构成（即key、value都是字节数组）

  • key：主要作用是 根据一定策略，将这个消息路由到制定分区中 ==> 这样就保障了，包含同一个key的消息全部写入一个分区A，不会写入另外一个分区。（即实现了Partition分区中提到的“不同分区存储的消息是不一样的”）
  • 副本

Kafkah会对消息进行冗余备份，每一个分区Partition，都可以有多个副本（每一个副本包含的消息是相同的，但是不能保证同一时刻下完全相同）。

副本类型：Leader、Follower。

副本选举策略（即选举1个Leader，其余为Follower）：

  • 当分区只有1个副本，这个副本就是Leader，没有Follower。
  • 在其他不同场景，会采取不同的选举策略。
  • Leader：处理Kafka中所有的读写请求
  • Follower：仅仅把数据从Leader中拉取到本地，同步更新到自己的Log中。

Broker-leader-follower

  • ISR集合

ISR集合：表示目前可用（alive）、且消息量与Leader相差不多的Follower集合，即ISR是整个副本集合的一个子集。

ISR集合中Follower：

  • 所在的节点都和ZooKeeper保持着连接；
  • 最后1条消息的offset和Leader中的最后一条消息的offset，差值不能超过指定的阈值

每一个分区Partition上的Leader，都会维护这个Partition的ISR集合。（也就是说，ISR集合内的Follower，都在同一个分区上，归属同一个Leader，那么上面的说法就说得通了）。

根据上面的说法，这个分区上的副本Leader，在进行了消息的写请求之后，副本Follower就会从Leader上拉取Leader写入的消息，同步到自己对应的Log中，这个过程也就说明同一时刻，Follower中的消息数量少于Leader的消息数量，只要这个差值少于指定的阈值（这个就说明了消息量与Leader差不多这一特征），那么这些Follower的集合就是ISR集合。

  • 生产者（Producer)**

产生消息的对象，产生消息之后，将消息按照一定的规则推送到Topic的分区中

  • 消费者（Consumer）

从Topic中拉取消息，并对消息进行消费。

  • Consumer：有一个作用，维护它消费到分区（Partition）上的什么位置（即offset的值）。
  • Consumer Group: 在kafka中，多个Consumer可以组成1个Consumer Group，1个Consumer只属于1个Consumer Group.

Consumer Group的作用：保证了这个Consumer Group订阅的Topic（Partition的集合）中的每一个分区（Partition），只被Consumer Group中的一个Consumer处理。

当然，如果要实现消息的广播消费，则将同1条消息放在多个不同的Consumer Group中即可。

就上述这个Consumer和Partition的关系可以理解下面的说法：

通过向Consumer Group中动态添加适量的Consumer， 可以触发kafka的Rebalance操作（重新分配Partition和Consumer的一一对应关系，结合Topic部分的理解，这样就实现了kafka的水平扩展能力）。

Kafka的使用
首先kafka的安装
  1. Kafka安装需要的环境准备：需要Java环境，centos 7自带java1.6版本，可以安装，如果觉得jdk太旧，可以安装新的jdk，比如1.8版本的https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
  2. 安装包下载地址：http://kafka.apache.org/downloads.html
  3. 下载好kafka安装包之后，解压到/usr/local目录（Linux，windows可自行决定)，删除压缩包
  4. 进入kafka目录进行操作
  5. 如果想搭建集群，可以参考一下文章[Kafka集群搭建的详细步骤][https://blog.csdn.net/zxy987872674/article/details/72466504]，我们在文章后面也有列举到搭建集群的步骤方法
  6. 注意kafka里的配置文件，应该在kafka文件夹下的config或conf文件夹下，叫server.properties.关于kafka配置的说明，可以参看文章[apache kafka系列之server.properties配置文件参数说明][https://blog.csdn.net/lizhitao/article/details/25667831]
kafka的简单实用和理解

我们抛开kakfa集群搭建什么的，先来简单使用，帮助理解即可。

Linux版本

进入kafka目录下的bin目录

启动zk

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &
或
nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &

nohup(不挂断地运行命令，可以自己百度一下看看，就是nohup 命令 &,让命令在后台执行)

启动kafka

nohup ./kafka-server-start.sh ../config/server.properties &
或
nohup ./bin/kafka-server-start.sh ./config/server.properties &

创建topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
或
./kafka-topics.sh --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test2 --create

列出topic

./kafka-topics.sh --list --zookeeper localhost:2181
或
./kafka-topic --zookeeper localhost:2181 --list

启动生产者并发送消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic zyl
输入消息:
nihao
china

另外开个终端，启动消费者接受消息

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic zyl --from-beginning
可以接收到:
nihao
china

另外开个终端，可以看到有4个进程（分别为zk、kafka、控制台消费者、控制台生产者）

[root[@aa](http://my.oschina.net/test2) bin]# jps | grep -v Jps
9802 QuorumPeerMain
10392 Kafka
10956 ConsoleConsumer
10887 ConsoleProducer
搭建集群（3个节点）

拷贝并修改配置文件

cp server.properties server1.properties
cp server.properties server2.properties
cp server.properties server3.properties

nohup ./kafka-server-start.sh …/config/server1.properties &
nohup ./kafka-server-start.sh …/config/server2.properties &
nohup ./kafka-server-start.sh …/config/server3.properties &

[root@aa bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic（注意，指定的是3）

Created topic “my-replicated-topic”.

[root@aa bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 2,3,0 Isr: 2,3,0

[root@aa bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 4 --partitions 1 --topic my-replicated-topic
Error while executing topic command Topic “my-replicated-topic” already exists.
kafka.common.TopicExistsException: Topic “my-replicated-topic” already exists.
at kafka.admin.AdminUtils . c r e a t e O r U p d a t e T o p i c P a r t i t i o n A s s i g n m e n t P a t h I n Z K ( A d m i n U t i l s . s c a l a : 171 ) a t k a f k a . a d m i n . A d m i n U t i l s .createOrUpdateTopicPartitionAssignmentPathInZK(AdminUtils.scala:171) at kafka.admin.AdminUtils .createOrUpdateTopicPartitionAssignmentPathInZK(AdminUtils.scala:171)atkafka.admin.AdminUtils.createTopic(AdminUtils.scala:156)
at kafka.admin.TopicCommand . c r e a t e T o p i c ( T o p i c C o m m a n d . s c a l a : 86 ) a t k a f k a . a d m i n . T o p i c C o m m a n d .createTopic(TopicCommand.scala:86) at kafka.admin.TopicCommand .createTopic(TopicCommand.scala:86)atkafka.admin.TopicCommand.main(TopicCommand.scala:50)
at kafka.admin.TopicCommand.main(TopicCommand.scala)

[root@aa bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 4 --partitions 1 --topic my-replicated-topic2
Created topic “my-replicated-topic2”.

[root@aa bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic2
Topic:my-replicated-topic2 PartitionCount:1 ReplicationFactor:4 Configs:
Topic: my-replicated-topic2 Partition: 0 Leader: 1 Replicas: 1,2,3,0 Isr: 1,2,3,0

[root@aa bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic zyl
Topic:zyl PartitionCount:1 ReplicationFactor:1 Configs:
Topic: zyl Partition: 0 Leader: 0 Replicas: 0 Isr: 0

启动生产者并发送消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

另外开个终端，启动消费者接受消息

./kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

另外开个终端，可以看到有9个进程（分别为1个zk、4个kafka、2个控制台消费者、2个控制台生产者）

  [root@aa ~]# jps | grep -v Jps9802 QuorumPeerMain10392 Kafka11547 Kafka12007 ConsoleProducer10956 ConsoleConsumer10887 ConsoleProducer11469 Kafka12054 ConsoleConsumer11710 Kafka

查看单独的进程：

  ps -ef | grep server.properties | grep -v grepps -ef | grep "server1.properties" | grep -v grep

测试leader

杀掉进程，然后–describe查看

  [root@aaa bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topicTopic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 2,3,0 Isr: 2,3,0可以看到leader是2.

[root@aa bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic2
Topic:my-replicated-topic2 PartitionCount:1 ReplicationFactor:4 Configs:
Topic: my-replicated-topic2 Partition: 0 Leader: 1 Replicas: 1,2,3,0 Isr: 1,2,3,0
可以看到leader是2.

[root@aa bin]# ps -ef | grep server1.properties | grep -v grep

杀掉某个kafka进程

  kill -9 11469

./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic2
Topic:my-replicated-topic2 PartitionCount:1 ReplicationFactor:4 Configs:
Topic: my-replicated-topic2 Partition: 0 Leader: 2 Replicas: 1,2,3,0 Isr: 2,3,0

[root@aa bin]# ./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 2,3,0 Isr: 2,3,0

可以看到my-replicated-topic2的leader变成了2。

问题：
1.zookeeper-shell.sh如何使用
2.能不能通过kafka-server-stop.sh停止某个kafka呢

Command must include exactly one action: --list, --describe, --create or --alter

OptionDescription
–alterAlter the configuration for the topic.
–config <name=value>A topic configuration override for the topic being created or altered.
–createCreate a new topic.
–deleteConfig A topic configuration override to be removed for an existing topic
–describeList details for the given topics.
–helpPrint usage information.
–listList all available topics.
–partitions <Integer: # of partitions>The number of partitions for the topic being created or altered (WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected
–replica-assignment <broker_id_for_part1_replica1 : broker_id_for_part1_replica2 , broker_id_for_part2_replica1 : broker_id_for_part2_replica2 , …>A list of manual partition-to-broker assignments for the topic being created or altered.
–replication-factor <Integer: replication factor>The replication factor for each partition in the topic being created.
–topic The topic to be create, alter or describe. Can also accept a regular expression except for --create option
–topics-with-overridesif set when describing topics, only show topics that have overridden configs
–unavailable-partitionsif set when describing topics, only show partitions whose leader is not available
–under-replicated-partitionsif set when describing topics, only show under replicated partitions
–zookeeper REQUIRED: The connection string for the zookeeper connection in the form host:port. Multiple URLS can be given to allow fail-over.
windows版本
环境搭建

  1. jdk环境，上文已经提到过，并配置环境变量，这里不讨论

  2. 安装zookeeper，这是运行kafka之前需要的环境(但是可以直接去第三步，因为，kafka有自带的zookeeper服务)
    2.1. 到http://mirror.bit.edu.cn/apache/zookeeper/下载一个版本的zookeeper即可
    2.2. 解压到一个文件夹下，可自己选择
    2.3. 将解压后的文件夹里，conf文件夹下zoo_sample.cfg 改名为 zoo.cfg
    2.4. 修改（如果没有则新增设置)
    dataDir和dataLogDir路径dataDir=D:/Program Files/zookeeper-3.4.13/data/logs
    dataLogDir=D:/Program Files/zookeeper-3.4.13/data/logs
    zoo.cfg配置
    2.5. 设置环境变量：
    新增ZOOKEEPERHOME：D:\Program Files\zookeeper-3.4.13
    Path添加：%ZOOKEEPERHOME%\bin;
    2.6. 检查安装成功与否：

    打开cmd窗口，输入zkserver，结果应该如下，则安装以及配置环境变量成功：

zkserver

  1. 安装kafka

    3.1 到http://kafka.apache.org/downloads.html下载

    3.2 解压到自己的文件夹路径（如D:\Program Files\kafka_2.11-1.1.0）

    3.3.1 修改配置文件在config文件夹下，D:\Program Files\kafka_2.11-1.1.0\server.properties

    3.3.2 由于kafka有自带的zookeeper服务，所以如果跳过第2步，可以直接使用自带zk服务，记得配置对应的配置文件/config/zookeeper.properties

    3.4.1 修改server.properties里的log.dirs:
    server.properties

    3.4.2 修改zookeeper.properties
    zookeeper.properties

    3.5 注意观察，bin目录下有一个window文件夹，windows文件夹下的文件内容和bin下的是一样的，只是文件后缀不同，bin目录下的.sh文件需要用shell执行，bat则通过cmd窗口即可执行，当然bat文件通过shell也是可以执行的，至于两者区别，就自行百度了。调出shell窗口的方法：按住shift键+在文件夹空白处单机鼠标右键，就可以看到“在此处打开powershell窗口"的选项。

    3.6 在bin目录下启动powerShell,然后入去一下命令，启动kafka：

    如果是先装了zookeeper，则可以直接执行：
./windows/kafka-server-start.bat "D:/Program Files/kafka_2.11-1.1.0/config/ser
ver.properties"[注意：bat 和 "D:/" 之间有一个空格]
(这里，由于路径名Programe Files里包含空格，如果不用双引号引用后面的参数，会报错)
当然，也可以到bin目录的上一层，也就是kafka_2.11-1.1.0目录下执行下面的语句，效果一样：
./bin/windows/kafka-server-start.bat ./config/ser
ver.properties"[注意：bat 和 "./config" 之间有一个空格]

如果没有装zookeeper，而是使用自带的，则先执行：
./windows/zookeeper-server-start.bat “D:/Program Files/kafka_2.11-1.1.0/config/zookeeper.properties”

启动自带zookeeper时，可以看到：

启动zoopkeeper

然后重新打开一个窗口，开启kafka服务（./windows/kafka-server-start.bat “D:/Program Files/kafka_2.11-1.1.0/config/ser
ver.properties”）时，可以看到：
启动kafka-server-start
说明成功了。

  • kafka的简单使用：

    4.1 创建一个名字为demo的topic,指定其分区数目为1,副本工厂数目为1：

    到bin/window目录下执行：

    ./kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo
输出：Created topic "demo".

  • create topic

    4.2 查看所有的topics:

    ./kafka-topics.bat --list --zookeeper localhost:2181

    look up list

    如果想删除topics, 可以参考文章：kafka如何彻底删除topic及数据

    4.3 向指定topic发送消息，首先打开2个新的powerShell或cmd窗口，一个生产者producer，一个消费者Consumer：

    设置生产者,设置端口号，并指定topic：
./kafka-console-producer.bat --broker-list localhost:9092 --topic demo
设置消费者，设置从哪一个端口号(2181)、哪个topic(demo)、什么位置(beginning)开始取出消息：
./kafka-console-consumer.bat --zookeeper localhost:2181 --topic demo --from-beginning

    在producer窗口里输入消息，就可以在对应的Consumer窗口看到对应的消息

    producer and consumer

    好了，大概就这些，应该可以让各位对kafka的概念和基本使用有了一个不错的理解，哈哈

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/172953.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python：使用Scikit-image对遥感影像进行形态学轮廓特征提取（contour）

python：使用Scikit-image对遥感影像进行形态学轮廓特征提取（contour）

作者：CSDN @ _养乐多_ 在本博客中，我们将介绍如何使用Scikit-Image来进行形态学轮廓特征提取（contour），并且提供一个示例代码，演示了如何在单波段遥感图像上应用这些方法。 形态学轮廓特征提取是一种用于图像处理和分析的技术，旨在检测和描述图像中的对象的边界或外围…
阅读更多...
Glide原理

Glide原理

本文基于Carson整理 1.简介 相比其他几种图片加载框架&#xff0c;Glide性能最好。这得益于其高效的图片缓存策略 其还有多样化的媒体格式加载&#xff1a;如GIF、Video&#xff0c;对于商城首页需展示丰富样式、信息的页面需求来说&#xff0c;也是必不可少的。 2.加载原理…
阅读更多...
【算法|动态规划No.32 | 完全背包问题】完全背包模板题

【算法|动态规划No.32 | 完全背包问题】完全背包模板题

个人主页&#xff1a;兜里有颗棉花糖 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 兜里有颗棉花糖 原创 收录于专栏【手撕算法系列专栏】【LeetCode】 &#x1f354;本专栏旨在提高自己算法能力的同时&#xff0c;记录一下自己的学习过程&#xff0c;希望…
阅读更多...
vue 内置指令-v-pre/v-memo

vue 内置指令-v-pre/v-memo

一、v-pre 使用了该指令的元素和子元素会被编译忽略&#xff0c;也就是不进行编译&#xff0c;其中包含的所有vue模版语法都会原样显示&#xff0c;作用加快vue的编译 例子&#xff1a; <p v-pre>{{不会被编译}}<span v-text"msg"></span></p&…
阅读更多...
Steger算法实现结构光光条中心提取(python版本)

Steger算法实现结构光光条中心提取(python版本)

Steger算法原理 对结构光进行光条中心提取时&#xff0c;Steger算法是以Hessian矩阵为基础的。它的基础步骤如下所示&#xff1a; 从Hessian矩阵中求出线激光条纹的法线方向在光条纹法线方向上将其灰度分布按照泰勒多项式展开&#xff0c;求取的极大值即为光条在该法线方向上…
阅读更多...
鸡尾酒学习——薄荷夏日

鸡尾酒学习——薄荷夏日

1、材料&#xff1a;冰块&#xff08;或者雪莲&#xff09;、牛奶、朗姆酒、绿薄荷糖浆&#xff1b; 2、口感&#xff1a;有点像是再吃薄荷奶糖口味的酒心奶糖。 3、视觉效果&#xff1a;白色加上一点点绿色&#xff1b; 4、步骤&#xff1a; &#xff08;1&#xff09;向摇壶内…
阅读更多...
【java学习—十】异常（1）

【java学习—十】异常（1）

文章目录 1. 概念1.1. 前言1.2. java中的异常 2. java运行时异常举例3. 总结 1. 概念 1.1. 前言 任何一种程序设计语言设计的程序在运行时都有可能出现错误&#xff0c;例如除数为 0 &#xff0c;数组下标越界&#xff0c;要读写的文件不存在等等。     捕获错误最理想的是…
阅读更多...
AWTK 液体流动效果控件发布

AWTK 液体流动效果控件发布

液体流动效果控件。 主要特色&#xff1a; 支持水平和垂直方向。支持正向和反向流动。支持设置头尾的图片。支持设置流动的图片。支持设置速度的快慢。支持启停操作。 准备 获取 awtk 并编译 git clone https://github.com/zlgopen/awtk.git cd awtk; scons; cd -运行 生成…
阅读更多...
不一样的网络协议-------KCP协议

不一样的网络协议-------KCP协议

1、kcp 的协议特点 1.1、RTO 不翻倍 RTO(Retransmission TimeOut)&#xff0c;重传超时时间。tcp x 2&#xff0c;kcp x 1.5&#xff0c;提高传输速度 1.2、选择重传 TCP丢包时会全部重传从该包开始以后的数据&#xff0c;而KCP选择性重传&#xff0c;只重传真正丢失的数据包…
阅读更多...
2-多媒体数据压缩国际标准

2-多媒体数据压缩国际标准

文章目录 多媒体数据压缩编码的重要性和分类为什么要压缩?计算: 未压缩音频的数据率简答: 环绕声系统-作业题9(简述7.4.3全景声)计算: 未压缩图像的数据量-作业题10(估计尺寸及容量)计算: 未压缩视频的数据率 为什么能压缩?数据压缩编码的两大类无损压缩算法: LZ77-作业题6-(…
阅读更多...
《动手学深度学习 Pytorch版》 10.3 注意力评分函数

《动手学深度学习 Pytorch版》 10.3 注意力评分函数

上一节使用的高斯核的指数部分可以视为注意力评分函数&#xff08;attention scoring function&#xff09;&#xff0c;简称评分函数&#xff08;scoring function&#xff09;。 后续把评分函数的输出结果输入到softmax函数中进行运算。最后&#xff0c;注意力汇聚的输出就是…
阅读更多...
表的约束【MySQL】

表的约束【MySQL】

文章目录 什么是约束DEFAULT&#xff08;默认约束&#xff09;NULL 与 NOT NULL&#xff08;非空约束&#xff09;COMMENT&#xff08;注释约束&#xff09;ZEROFILL&#xff08;零填充约束&#xff09;UNIQUE&#xff08;唯一键约束&#xff09;*PRIMARY KEY&#xff08;主键约…
阅读更多...
Linux常用命令——chown命令

Linux常用命令——chown命令

在线Linux命令查询工具 chown 用来变更文件或目录的拥有者或所属群组 补充说明 chown命令改变某个文件或目录的所有者和所属的组&#xff0c;该命令可以向某个用户授权&#xff0c;使该用户变成指定文件的所有者或者改变文件所属的组。用户可以是用户或者是用户D&#xff0…
阅读更多...
Vuex模块化（modules）与namespaced（命名空间）的搭配

Vuex模块化（modules）与namespaced（命名空间）的搭配

Vuex模块化&#xff08;modules&#xff09;与namespaced&#xff08;命名空间&#xff09;的搭配 Vuex模块化&#xff08;modules&#xff09;格式 原理&#xff1a;可以对Vuex的actions&#xff0c;mutations&#xff0c;state&#xff0c;getters四个属性综合成一个部分&a…
阅读更多...
对Happens-Before的理解

对Happens-Before的理解

Happens-Before Happens-Before 是一种可见性模型&#xff0c;也就是说&#xff0c;在多线程环境下。原本因为指令重排序的存在会导致数据的可见性问题&#xff0c;也就是 A 线程修改某个共享变量对 B 线程不可见。因此&#xff0c;JMM 通过 Happens-Before 关系向开发人员提供…
阅读更多...
2023年香水行业数据分析：国人用香需求升级，高端香水高速增长

2023年香水行业数据分析：国人用香需求升级，高端香水高速增长

在人口结构变迁的背景下&#xff0c;“Z世代”作为当下我国的消费主力&#xff0c;正在将“悦己”消费推动成为新潮流。具备经济基础的“Z世代”倡导“高颜值”、“个性化”、“精致主义”&#xff0c;这和香水、香氛为代表的“嗅觉经济”的特性充分契合&#xff0c;因此&#…
阅读更多...
【Docker从入门到入土 6】Consul详解+Docker https安全认证（附证书申请方式）

【Docker从入门到入土 6】Consul详解+Docker https安全认证（附证书申请方式）

Part 6 一、服务注册与发现的概念1.1 cmp问题1.2 服务注册与发现 二、Consul ----- 服务自动发现和注册2.1 简介2.2 为什么要用consul&#xff1f;2.3 consul的架构2.3 Consul-template 三、consul架构部署3.1 Consul服务器Step1 建立 Consul 服务Step2 查看集群信息Step3 通过…
阅读更多...
Flutter笔记：完全基于Flutter绘图技术绘制一个精美的Dash图标（中）

Flutter笔记：完全基于Flutter绘图技术绘制一个精美的Dash图标（中）

Flutter笔记 完全基于Flutter绘图技术绘制一个精美的Dart语言吉祥物Dash&#xff08;中&#xff09; 作者&#xff1a;李俊才 &#xff08;jcLee95&#xff09;&#xff1a;https://blog.csdn.net/qq_28550263 邮箱 &#xff1a;291148484163.com 本文地址&#xff1a;https://…
阅读更多...
Android framework服务命令行工具框架 - Android13

Android framework服务命令行工具框架 - Android13

Android framework服务命令行工具框架 - Android13 1、framework服务命令行工具简介2、cmd 执行程序2.1 目录和Android.bp2.2 cmdMain 执行入口2.3 cmd命令 3、am命令工具&#xff0c;实质脚本执行cmd activity3.1 sh脚本3.2 activity服务注册3.3 onShellCommand执行 4、简易时…
阅读更多...
《从零开始大模型开发与微调 ：基于PyTorch与ChatGLM》简介

《从零开始大模型开发与微调 ：基于PyTorch与ChatGLM》简介

内 容 简 介 大模型是深度学习自然语言处理皇冠上的一颗明珠&#xff0c;也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架&#xff0c;以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术&#xff0c;…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023