高性能消息中间件 - Kafka3.x（三）

文章目录

    • 高性能消息中间件 - Kafka3.x（三）
      • Kafka Broker ⭐
        • Kafka Broker概念
        • Zookeeper（新版本可以不使用zk了）⭐
          • Zookeeper的作用
        • Kafka的选举1：Broker选举Leader⭐
        • Broker核心参数⭐
        • 案例：服役新节点和退役旧节点（重要）⭐
          • 服役新节点⭐
          • 退役旧节点⭐
        • Kafka的副本⭐
          • 副本的基本概念⭐
          • Kafka的选举2：副本选举Leader⭐
          • 手动调整分区副本⭐
          • 分区自动再平衡机制
          • 增加kafka的副本⭐
        • Kafka的存储
          • 基本概念
          • 文件清理策略
        • Kafka高效读取数据⭐
          • 1：顺序写磁盘
          • 2：页缓存与零拷贝
      • Kafka消费者⭐
        • Kafka消费者的消费模式
        • 消费者组⭐
        • Kafka的选举3：消费者组选举Leader⭐
        • Java Api消费者的重要参数⭐
        • Java Api操作消费者⭐
          • 手动提交Offset⭐
        • 生产调优5：消息积压⭐

高性能消息中间件 - Kafka3.x（三）

Kafka Broker ⭐

Kafka Broker概念
  • kafka broker说白了就是kafka服务器。我们在生产环境下通常要搭建kafka broker集群。
  • partition（分区）和replica（副本）的区别：
    • 前提条件：假设我们的kafka集群数量（broker）为3。（也就是说我们集群只有3台kafka）。
      • 此时Partition分区可以指定的数量是（无限制）的（也就是说可以指定10、100）。
      • 但是replica副本数最多只能指定为3（3、2、1），否则就会报错。（因为我们的kafka broker数量就是3，replica不能超过这个值！！！！！）

大致图如下：（partition和replica和kafka broker的关系图）

在这里插入图片描述

Zookeeper（新版本可以不使用zk了）⭐
Zookeeper的作用
  • zookeeper的作用有：
    • 1：保存kafka元数据。
    • 2：保存broker注册信息。（有哪些broker可用）
    • 3：记录每一个分区副本有哪些？并且每一个分区副本的leader是谁？
    • 4：辅助选举leader。
    • 5：保存主题、分区信息，等等。
Kafka的选举1：Broker选举Leader⭐
  • broker选举leader规则：
    • 每一个broker都有一个唯一的broker id，broker在启动后会去zookeeper的controller节点中竞争注册，哪个broker先注册，那这个broker就是leader。
Broker核心参数⭐
参数描述
replica.lag.time.max.msISR 中，如果 Follower 长时间未向 Leader 发送通信请求或同步数据，则该 Follower 将被踢出 ISR，并移动到OSR。该时间阈值，默认 30s
auto.leader.rebalance.enable默认是 true。 自动 Leader Partition 平衡（再平衡）。
leader.imbalance.per.broker.percentage**默认是 10%。**每个 broker 允许的不平衡的 leader的比率。如果每个 broker 超过了这个值，控制器会触发 leader的平衡。
leader.imbalance.check.interval.seconds默认值 300 秒。检查 leader 负载是否平衡的间隔时间。
log.segment.bytesKafka 中 log 日志是分成一块块存储的，此配置是指 log日志划分 成块的大小，默认值 1G。
log.index.interval.bytes默认 4kb，kafka 里面每当写入了 4kb 大小的日志（.log），然后就往 index文件里面记录一个索引
log.retention.hoursKafka 中数据保存的时间，默认 7 天。
log.retention.minutesKafka 中数据保存的时间，分钟级别，默认关闭。
log.retention.msKafka 中数据保存的时间，毫秒级别，默认关闭。
log.retention.check.interval.ms检查数据是否保存超时的间隔，默认是 5 分钟。
log.retention.bytes默认等于-1，表示无穷大。超过设置的所有日志总大小，删除最早的 segment。
log.cleanup.policy默认是 delete，表示所有数据启用删除策略；如果设置值为 compact，表示所有数据启用压缩策略。
num.io.threads默认是 8。负责写磁盘的线程数。整个参数值要占总核数的 50%。
num.network.threads默认是 3。数据传输线程数，这个参数占总核数的50%的 2/3 。
num.replica.fetchers副本拉取线程数，这个参数占总核数的 50%的 1/3
案例：服役新节点和退役旧节点（重要）⭐
服役新节点⭐

先只启动kafka01和kafka02机器，然后创建topic，副本数设置为2。然后再启动kafka03机器，然后让这个kafka03节点服役到集群中。

  • 1：只启动kafka01和kafka02机器，并创建topic：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic001 --partitions=3 --replication-factor=2  --create
  • 2：查询mytopic001详情（发现副本只存在于kafka01和kafka02节点上）：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic001 --describe

在这里插入图片描述

  • 3：启动kafka03机器的zk和kafka，再次查询mytopic001详情（发现还是一样，副本只存在于kafka01和kafka02节点上，而不存在于kafka03节点上）：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic001 --describe

在这里插入图片描述

  • 4：开始服役新节点了！！
vim topics-to-move.json

内容如下：（topics下面的topic设置为想要服役的topic主题名称，其他不变）

{"topics": [{"topic": "mytopic001"}],"version": 1
}
  • 5：生成新的负载均衡计划：（并复制下面如图所示的计划）
    • –bootstrap-server：kafka集群地址
    • –topics-to-move-json-file：刚刚创建的json文件名
    • –broker-list：假如服役节点后的broker编号列表（3为kafka03的broker编号）
kafka-reassign-partitions.sh --bootstrap-server kafka01:9092 --topics-to-move-json-file topics-to-move.json --broker-list "1,2,3" --generate

在这里插入图片描述

  • 6：创建副本存储计划：
vim increase-replication-factor.json

内容如下：（就是刚刚复制的新的负载均衡计划）

{"version":1,"partitions":[{"topic":"mytopic001","partition":0,"replicas":[3,2],"log_dirs":["any","any"]},{"topic":"mytopic001","partition":1,"replicas":[1,3],"log_dirs":["any","any"]},{"topic":"mytopic001","partition":2,"replicas":[2,1],"log_dirs":["any","any"]}]}
  • 7：执行副本计划：（–reassignment-json-file负载均衡计划文件）
kafka-reassign-partitions.sh --bootstrap-server kafka01:9092 --reassignment-json-file increase-replication-factor.json --execute
  • 8：再次查看mytopic001详情：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic001 --describe

在这里插入图片描述

退役旧节点⭐
  • 1：经过上面的服役新节点，我们可以看到副本被分配到1、2、3号机器上了。下面我们要把kafka03节点删去。
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic001 --describe

在这里插入图片描述

  • 2：开始退役节点了！！
vim topics-to-move.json

内容如下：（topics下面的topic设置为想要退役的topic主题名称，其他不变）

{"topics": [{"topic": "mytopic001"}],"version": 1
}
  • 3：生成新的负载均衡计划：（并复制下面如图所示的计划）
    • –bootstrap-server：kafka集群地址
    • –topics-to-move-json-file：刚刚创建的json文件名
    • –broker-list：假如服役节点后的broker编号列表（1、2代表着kafka03节点要退役了）
kafka-reassign-partitions.sh --bootstrap-server kafka01:9092 --topics-to-move-json-file topics-to-move.json --broker-list "1,2" --generate

在这里插入图片描述

  • 6：创建副本存储计划：
vim decr-replication-factor.json

内容如下：（就是刚刚复制的新的负载均衡计划）

{"version":1,"partitions":[{"topic":"mytopic001","partition":0,"replicas":[1,2],"log_dirs":["any","any"]},{"topic":"mytopic001","partition":1,"replicas":[2,1],"log_dirs":["any","any"]},{"topic":"mytopic001","partition":2,"replicas":[1,2],"log_dirs":["any","any"]}]}
  • 7：执行副本计划：（–reassignment-json-file负载均衡计划文件）
kafka-reassign-partitions.sh --bootstrap-server kafka01:9092 --reassignment-json-file decr-replication-factor.json --execute
  • 8：再次查看mytopic001详情：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic001 --describe

在这里插入图片描述

Kafka的副本⭐
副本的基本概念⭐

  • replica（副本）：为了防止集群中机器故障导致数据丢失，所以副本出现了。kafka的每一个topic在每一个分区都可以有多个replica副本，副本分为leader副本和follower副本。

    • leader副本：生产者和消费者只于leader副本交互。每一个topic中的每一个分区都有一个leader副本。
    • follower副本：负责实时从leader副本同步数据，当leader副本故障了，则会重新选举，使follower副本变成leader副本。

  • AR:分区中的所有 Replica 统称为 AR = ISR +OSR

  • ISR:所有与 Leader 副本保持一定程度同步的Replica(包括 Leader 副本在内)组成 ISR

  • OSR:与 Leader 副本同步滞后过多的 Replica 组成了 OSR

Kafka的选举2：副本选举Leader⭐

  • 选举规则：以ISR队列存在为前提，选举AR队列中的第一个副本为leader副本。

  • 如果leader副本故障下线，则也会以ISR队列存在为前提，选举AR队列第一个为leader（第一个不行则第二个，一直轮询直到选出leader）。

手动调整分区副本⭐
  • 1：创建一个新的topic：（指定为3个分区1个副本）
kafka-topics.sh --bootstrap-server kafka01:9092  --create --partitions 3 --replication-factor 1 --topic mytopic002
  • 2：查看mytopic002详情：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic002 --describe

在这里插入图片描述

  • 3：创建副本存储计划：
vim increase-replication-factor.json

内容如下：（修改topic和replicas）

{
"version":1,
"partitions":[{"topic":"mytopic002","partition":0,"replicas":[1,2]},
{"topic":"mytopic002","partition":1,"replicas":[1,2]},
{"topic":"mytopic002","partition":2,"replicas":[1,2]} ]}
  • 4：执行副本存储计划：
kafka-reassign-partitions.sh --bootstrap-server kafka01:9092  --reassignment-json-file increase-replication-factor.json --execute
  • 5：再次查看mytopic002详情：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic002 --describe

在这里插入图片描述

分区自动再平衡机制

一般情况下，我们的分区都是平衡散落在broker的，随着一些broker故障，会慢慢出现leader集中在某台broker上的情况，造成集群负载不均衡，这时候就需要分区平衡。

  • 为了解决上述问题kafka出现了自动平衡的机制。kafka提供了下面几个参数进行控制：
    • auto.leader.rebalance.enable：自动leader parition平衡，默认是true;
    • leader.imbalance.per.broker.percentage：每个broker允许的不平衡的leader的比率，默认是10%，如果超过这个值，控制器将会触发leader的平衡
    • leader.imbalance.check.interval.seconds：检查leader负载是否平衡的时间间隔，默认是300秒
    • 但是在生产环境中是不开启这个自动平衡，因为触发leader partition的自动平衡会损耗性能，或者可以将触发自动平和的参数leader.imbalance.per.broker.percentage的值调大点。
增加kafka的副本⭐
  • 1：创建一个新的topic：（指定为3个分区1个副本）
kafka-topics.sh --bootstrap-server kafka01:9092  --create --partitions 3 --replication-factor 1 --topic mytopic002
  • 2：查看mytopic002详情：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic002 --describe

在这里插入图片描述

  • 3：创建副本存储计划：
vim increase-replication-factor.json

内容如下：（修改topic和replicas）

{
"version":1,
"partitions":[{"topic":"mytopic002","partition":0,"replicas":[1,2]},
{"topic":"mytopic002","partition":1,"replicas":[1,2]},
{"topic":"mytopic002","partition":2,"replicas":[1,2]} ]}
  • 4：执行副本存储计划：
kafka-reassign-partitions.sh --bootstrap-server kafka01:9092  --reassignment-json-file increase-replication-factor.json --execute
  • 5：再次查看mytopic002详情：
kafka-topics.sh --bootstrap-server=192.168.184.201:9092 --topic=mytopic002 --describe

在这里插入图片描述

Kafka的存储
基本概念

  • 每一个partition分区都对应着一个log文件。Producer生产的数据会被不断追加到该log文件末端

  • kafka为了提高效率，把每一个log文件拆分成多个segment（每个segment大小默认是1G），可以通过log.segment.bytes去修改。

  • 该文件命名规则为：topic名称+分区号

  • 当log文件写入4kb大小数据（这里可以通过log.index.interval.bytes设置），就会写入一条索引信息到index文件中，这样的index索引文件就是一个稀疏索引，它并不会每条日志都建立索引信息。

文件清理策略

  • 日志清理策略有两个：

    • 日志删除(delete) :按照一定的保留策略直接删除不符合条件的日志分段。
    • 日志压缩(compact) :针对每个消息的key进行整合，对于有相同key的不同value值，只保留最后一个版本。
    • 可以通过修改broker端参数 log.cleanup.policy 来进行配置

  • kafka中默认的日志保存时间为7天，可以通过调整如下参数修改保存时间。

    • log.retention.hours：最低优先级小时，默认7天
    • log.retention.minutes：分钟
    • log.retention.ms：最高优先级毫秒
    • log.retention.check.interval.ms：负责设置检查周期，默认5分钟
    • file.delete.delay.ms：延迟执行删除时间
    • log.retention.bytes：当设置为-1时表示运行保留日志最大值（相当于关闭）；当设置为1G时，表示日志文件最大值
Kafka高效读取数据⭐
  • kafka之所以读写性能高，是因为：
    • 1：kafka是一个分布式的中间件，采用了多分区架构、以及消费者集群（消费者组），有利于抗住高并发、大流量场景。
    • 2：kafka底层存储采用稀疏索引（每写入4kb数据才会加上1条索引），不仅能够节约索引占用的空间，也可以让我们快速定位数据。
    • 3：顺序写磁盘
    • 4：采用页缓存和零拷贝
1：顺序写磁盘
  • kafka底层写入log日志数据采用的就是末尾追加的方式写入数据（这种就是顺序写磁盘），顺序写磁盘的效率比随机写磁盘的效率高了很多。
2：页缓存与零拷贝

  • kafka大量使用了页缓存（PageCache），分为以下两个场景：

    • 1：读操作：当我们要读取数据的时候，首先会去页缓存里面找有没有该数据，如果有则返回，如果没有则会去磁盘中寻找，并把数据存到页缓存中。
    • 2：写操作：首先会判断如果页缓存没有该条数据，则会把数据写入页缓存。如果有这条数据则修改这个页缓存数据，此时这个页缓存中的数据页就是脏页，操作系统会在特定时间把脏页写入磁盘，保证了数据一致性。

  • 零拷贝并不是不需要拷贝，而是减少不必要的拷贝次数。

    • 当数据从磁盘经过DMA 拷贝到内核缓存（页缓存）后，为了减少CPU拷贝的性能损耗，操作系统会将该内核缓存与用户层进行共享，减少一次CPU copy过程，同时用户层的读写也会直接访问该共享存储，本身由用户层到Socket缓存的数据拷贝过程也变成了从内核到内核的CPU拷贝过程，更加的快速，这就是零拷贝。

Kafka消费者⭐

Kafka消费者的消费模式
  • 1：poll（拉）：消费者主动从kafka broker中拉取数据。（kafka默认采用）
  • 2：push（推）：kafka broker主动推送数据给消费者。
消费者组⭐

  • 一个相同消费者组的消费者，它们的groupid是相同的。

  • 一个分区只能由同一个消费者组的一个消费者所消费。

  • 消费者组之间互不影响。

Kafka的选举3：消费者组选举Leader⭐

  • 首先要选择出coordinator，如下：

    • groupid的hashcode值%50（-consumer_offsets的分区数）。
    • 比如groupid的hashcode值为2，则2%50=2，也就是说coordinator的2号分区在哪个kafka broker上就选择哪个节点的coordinator作为这个消费者组的boss，以后这个消费者组提交的所有offsets就往这个分区提交。

  • 后面由coordinator负责选出消费组中的Leader

Java Api消费者的重要参数⭐
参数描述
bootstrap.serversKafka集群地址列表。
key.deserializer 和value.deserialize反序列化类型。要写全类名
group.id消费者组id。标记消费者所属的消费者组
enable.auto.commit默认值为 true，消费者会自动周期性地向服务器提交偏移量
auto.commit.interval.ms如果设置了 enable.auto.commit 的值为 true， 则该值定义了消费者偏移量向 Kafka提交的频率，默认 5s。
auto.offset.resetearliest：自动重置偏移量到最早的偏移量。 latest：默认，自动重置偏移量为最新的偏移量。 none：如果消费组原来的（previous）偏移量不存在，则向消费者抛异常。 anything：向消费者抛异常
offsets.topic.num.partitions__consumer_offsets 的分区数，默认是 50 个分区。
heartbeat.interval.msKafka 消费者和 coordinator 之间的心跳时间，默认 3s。该条目的值必须小于 session.timeout.ms ，也不应该高于session.timeout.ms 的 1/3
session.timeout.msKafka 消费者和 coordinator 之间连接超时时间，默认 45s。超过该值，该消费者被移除，消费者组执行再平衡。
max.poll.interval.ms消费者处理消息的最大时长，默认是 5 分钟。超过该值，该消费者被移除，消费者组执行再平衡。
fetch.min.bytes默认 1 个字节。消费者获取服务器端一批消息最小的字节数。
fetch.max.wait.ms默认 500ms。如果没有从服务器端获取到一批数据的最小字节数。该时间到，仍然会返回数据。
fetch.max.bytes默认 Default: 52428800（50 m）。消费者获取服务器端一批
消息最大的字节数。
max.poll.records一次 poll拉取数据返回消息的最大条数，默认是 500 条
Java Api操作消费者⭐
  • 注意：指定消费者组id。注意指定my-consumer-group01会出现无反应现象。最好别加数字。例如：my-consumer-group 这个就可以运行
package com.kafka02.consumer;import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;import java.time.Duration;
import java.util.HashSet;
import java.util.Properties;
import java.util.Set;public class MyConsumer {public static void main(String[] args) {Properties properties = new Properties();//1：基本配置properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.184.201:9092");properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());//2：指定消费者组id。注意指定my-consumer-group01会出现无反应现象。最好别加数字。my-consumer-groupproperties.put(ConsumerConfig.GROUP_ID_CONFIG,"my-consumer-group");KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(properties);// 存放需要消费的topic名称Set<String> topicSet=new HashSet<>();topicSet.add("java-api-test");// 订阅这个topic集合kafkaConsumer.subscribe(topicSet);System.out.println("等待拉取数据------");//循环消费消息while (true){//kafka消费者的消费模式就是poll。指定1s拉取一次数据ConsumerRecords<String, String> consumerRecords =kafkaConsumer.poll(Duration.ofSeconds(1));//输出消息consumerRecords.forEach(record -> {System.out.println("--");System.out.println(record);});}}}
手动提交Offset⭐
  • 手动提交offset有两个方法：（二选一）
    • commitSync（同步提交）：必须等待offset提交完毕，再去消费下一批数据。 阻塞线程，一直到提交到成功，会进行失败重试
    • commitAsync（异步提交） ：发送完提交offset请求后，就开始消费下一批数据了。没有失败重试机制，会提交失败
package com.kafka02.consumer;import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;import java.time.Duration;
import java.util.HashSet;
import java.util.Properties;
import java.util.Set;public class MyConsumerCommit {public static void main(String[] args) {Properties properties = new Properties();//1：基本配置properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.184.201:9092");properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());//2：指定消费者组id。注意指定my-consumer-group01会出现无反应现象。最好别加数字。my-consumer-groupproperties.put(ConsumerConfig.GROUP_ID_CONFIG,"my-consumer-group");//3:关闭自动提交properties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG,false);KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(properties);// 存放需要消费的topic名称Set<String> topicSet=new HashSet<>();topicSet.add("java-api-test");// 订阅这个topic集合kafkaConsumer.subscribe(topicSet);System.out.println("等待拉取数据------");//循环消费消息while (true){//kafka消费者的消费模式就是poll。指定1s拉取一次数据ConsumerRecords<String, String> consumerRecords =kafkaConsumer.poll(Duration.ofSeconds(1));//消费消息consumerRecords.forEach(record -> {System.out.println("--");System.out.println(record);});//消费结束后手动提交offsetkafkaConsumer.commitSync(); //同步提交}}
}
生产调优5：消息积压⭐

  • 解决方案1：可以增加partition分区数和增加消费者组中的消费者数量，使partition分区数=消费者组中的消费者数量。

  • 解决方案2：提高每批次拉取消息的数量（max.poll.records），默认是500条，可以提高到1000条。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/176898.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SaaS可配置性设计要点

SaaS可配置性设计要点

1 引言 考虑到系统SaaS需求&#xff0c;就成熟的SaaS应用而言&#xff0c;元数据服务是为用户提供定制和配置应用、满足其特定需求的主要手段。 可配置能力主要反映在这4个方面&#xff1a;1 程序外观&#xff1b;2 工作流程与业务规则&#xff1b;3 数据模型&#xff1b…
阅读更多...
微信便利签怎么弄?微信中有便捷操作的便签小程序吗

微信便利签怎么弄?微信中有便捷操作的便签小程序吗

微信在日常办公及生活中比较重要的作用就是&#xff1a;聊天、视频会议、语音会议等&#xff0c;这是大家认知中的微信。除了这些功能以外&#xff0c;微信中还有很多小程序&#xff0c;小程序也能够辅助大家日常的办公。 比如&#xff0c;工作中我们需要制定工作计划&#xf…
阅读更多...
vscode开启emmet语法

vscode开启emmet语法

需要在setting.json中添加配置 首先进入设置&#xff0c;然后点击右上角 Vue项目添加如下配置 "emmet.syntaxProfiles": { "vue-html": "html", "vue": "html" },React项目添加如下配置 "emmet.includeLanguages&quo…
阅读更多...
一体化模型图像去雨+图像去噪+图像去模糊（图像处理-图像复原-代码+部署运行教程）

一体化模型图像去雨+图像去噪+图像去模糊（图像处理-图像复原-代码+部署运行教程）

本文主要讲述了一体化模型进行去噪、去雨、去模糊&#xff0c;也就是说&#xff0c;一个模型就可以完成上述三个任务。实现了良好的图像复原功能&#xff01; 先来看一下美女复原.jpg 具体的&#xff1a; 在图像恢复任务中&#xff0c;需要在恢复图像的过程中保持空间细节…
阅读更多...
transformers-Generation with LLMs

transformers-Generation with LLMs

https://huggingface.co/docs/transformers/main/en/llm_tutorialhttps://huggingface.co/docs/transformers/main/en/llm_tutorial停止条件是由模型决定的&#xff0c;模型应该能够学习何时输出一个序列结束&#xff08;EOS&#xff09;标记。如果不是这种情况&#xff0c;则在…
阅读更多...
Mybatis—基础操作

Mybatis—基础操作

mybatis入门后&#xff0c;继续学习mybatis基础操作。 目录 Mybatis基础操作准备工作删除操作日志输入预编译SQLSQL注入参数占位符 新增操作基本新增添加后返回主键 更新操作查询操作根据id查询数据封装条件查询条件查询 Mybatis基础操作 准备工作 根据下面页面原型及需求&am…
阅读更多...
vlc打开网络流（如rtmp），并查看媒体信息（如编码格式等编码信息）

vlc打开网络流（如rtmp），并查看媒体信息（如编码格式等编码信息）

打开vlc 选择媒体&#xff0c;打开网络串流 输入rtmp地址&#xff0c;点击播放 选择工具-编解码信息 可以查看节目的编码信息什么的
阅读更多...
SpringCloud 微服务全栈体系（九）

SpringCloud 微服务全栈体系（九）

第九章 Docker 三、Dockerfile 自定义镜像 常见的镜像在 DockerHub 就能找到&#xff0c;但是我们自己写的项目就必须自己构建镜像了。 而要自定义镜像&#xff0c;就必须先了解镜像的结构才行。 1. 镜像结构 镜像是将应用程序及其需要的系统函数库、环境、配置、依赖打包而…
阅读更多...
Reading：Deep dive into the OnPush change detection strategy in Angular

Reading：Deep dive into the OnPush change detection strategy in Angular

原文连接&#xff1a;IndepthApp 今天深入阅读并总结Angualr中onPush更新策略。 1. 两种策略 & whats Lview&#xff1f; Angular 实现了两种策略来控制各个组件级别的更改检测行为。这些策略定义为Default和OnPush&#xff1a; 被定义为枚举&#xff1a; export enum…
阅读更多...
Spring系统之IOC与AOP

Spring系统之IOC与AOP

前言 Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架。 IOC 1.IOC的概念 控制反转(IoCInversion of Control)IoC&#xff0c;用白话来讲&#xff0c;就是由容器控制程序之间的&#xff08;依赖&#xff09;关系&#xff0c;而非传统实现中&#xff0c;由程序代码…
阅读更多...
python manage.py createsuperuser运行错误

python manage.py createsuperuser运行错误

我把思念作笺&#xff0c;随风而去&#xff0c;落在你常路过的那个街角… 错误复现 PS D:\教学文件\Django\djangoProject\webDemo02> python manage.py createsuperuser System check identified some issues:WARNINGS: ?: (urls.W005) URL namespace admin isnt unique…
阅读更多...
Maven入门与开箱即用

Maven入门与开箱即用

一、初识 Maven&#xff08;了解&#xff09; 1、项目遇到的问题 构建&#xff1a;编译代码&#xff0c;运行测试&#xff0c;打包&#xff0c;部署应用&#xff0c;运行服务器等&#xff1b;依赖&#xff1a;项目依赖大量的第三方包&#xff0c;第三方包又依赖另外的包&…
阅读更多...
OpenSSL生成CA证书

OpenSSL生成CA证书

基本概念 证书类别 根证书&#xff1a;生成服务端证书&#xff0c;客户端证书的基础。自签名。服务端证书&#xff1a;由根证书签发。配置在服务器上。客户端证书&#xff1a;由根证书签发。配置在浏览器、移动APP等客户端上。 认证方式 单向认证&#xff08;Client鉴权Serv…
阅读更多...
2022最新版-李宏毅机器学习深度学习课程-P32 Transformer

2022最新版-李宏毅机器学习深度学习课程-P32 Transformer

一、 seq2seq 1. 含义 输入一个序列&#xff0c;机器输出另一个序列&#xff0c;输出序列长度由机器决定。 文本翻译&#xff1a;文本至文本&#xff1b;　　语音识别&#xff1a;语音至文本&#xff1b;　　语音合成&#xff1a;文本至语音&#xff1b;　　聊天机器人&#…
阅读更多...
HiQPdf Library for .NET - HTML to PDF Crack

HiQPdf Library for .NET - HTML to PDF Crack

HiQPdf Library for .NET - HTML 到 PDF 转换器 .NET Core&#xff0c;用于 .NET 的 HiQPdf HTML 到 PDF 转换器 &#xff1a;HiQPdf HTML to PDF Library for .NET C# 和 HTML to PDF .NET Core 为您提供了一个现代、快速、灵活且强大的工具&#xff0c;只需几行代码即可创建复…
阅读更多...
CSS标点符号换行问题

CSS标点符号换行问题

最近遇到一个奇怪的现象,元素中中文文本正常显示,但是加了一堆符号后中文文本居然换行了. div{width: 200px;border: 1px solid blue;word-break: break-all;} <div>文本</div>经过研究发现&#xff0c;因为标点符号不允许出现在行首和行尾&#xff0c;连带着符号…
阅读更多...
echarts 画散点图， x周，y周在指定位置标志一下

echarts 画散点图， x周，y周在指定位置标志一下

文章目录 echarts 画散点图&#xff0c; x周&#xff0c;y周在指定位置标志一下示例一例子二示例三 echarts 画散点图&#xff0c; x周&#xff0c;y周在指定位置标志一下 示例一 let scatterData {data: [[[-0.2, -0.6],[0.4, 0.3],[0.1, 0.4],[0.3, 0.5],[0.09, 0.1],[0.7,…
阅读更多...
安卓现代化开发系列——从生命周期到Lifecycle

安卓现代化开发系列——从生命周期到Lifecycle

由于安卓已经诞生快二十载&#xff0c;其最初的开发思想与现代的开发思想已经大相径庭&#xff0c;特别是Jetpack库诞生之后&#xff0c;项目中存在着新老思想混杂的情况&#xff0c;让许多的新手老手都措手不及&#xff0c;项目大步向屎山迈进。为了解决这个问题&#xff0c;开…
阅读更多...
NI USB-4431对标国产化4路同步采集卡解决方案

NI USB-4431对标国产化4路同步采集卡解决方案

102.4 kS/s , 100 dB , 0.8 Hz AC/DC耦合&#xff0c;4输入/单输出声音与振动设备 USB-4431专为声音和振动应用而设计。输入通道集成了用于加速度计和麦克风的集成电路压电式(IEPE)信号调理功能。四个USB-4431的输入通道可同步对输入信号进行数字化。模拟输出(AO)通道是激励响…
阅读更多...
成集云 | 钉钉集成用友T费用报销付款接口 |解决方案

成集云 | 钉钉集成用友T费用报销付款接口 |解决方案

源系统成集云目标系统 方案介绍 钉钉是一款免费沟通和协同的多端平台&#xff0c;提供PC版、Web版和手机版&#xff0c;支持手机和电脑间文件互传。钉钉帮助中国企业通过系统化的解决方案&#xff08;微应用&#xff09;&#xff0c;提升中国企业的沟通和协同效率。应用场景包…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023