小阿轩yx-Kubernertes日志收集

小阿轩yx-Kubernertes日志收集

前言

  • 在 Kubernetes 集群中如何通过不同的技术栈收集容器的日志，包括程序直接输出到控制台日志、自定义文件日志等

有哪些日志需要收集

  • 日志收集与分析很重要，为了更加方便的处理异常

简单总结一些比较重要的需要收集日志

  • 服务器系统日志
  • Kubernetes 组件日志
  • 应用程序日志

除了这些日志外，可能还存在其它很多需要采集的日志，比如网关日志、服务之间调用链日志

日志采集工具有哪些

ELK 和 EFK

传统的架构中

  • 比较成熟且流行的日志收集平台是 ELK（Elasticsearch+Logstash+Kibana），其中 Logstash 负责采集日志，并输出给 Elasticsearch，之后用 Kibana 进行展示。
  • 几乎所有的服务都可以进行容器化
  • ELK 技术栈同样可以部署到 Kubernetes 集群中，也可以进行相关的日志收集

但是由于 Logstash 比较消耗系统资源，并且配置稍微有点复杂，因此 Kubernetes 官方提出了 EFK（Elasticsearch+Fluentd+Kibana）的解决方案

相对于 ELK 中的 Logstash

  • Fluentd 采用一锅端的形式，可以直接将某些日志文件中的内容存储至 Elasticsearch，然后通过 Kibana进行展示。

Fluentd 缺陷

  • 它只能收集控制台日志（程序直接输出到控制台的日志），不能收集非控制台的日志，所以很难满足生产环境的需求
  • 因为大部分情况下，没有遵循云原生理念开发的程序，往往会输出很多日志文件，这些容器内的日志无法采集
  • 除非在每个 Pod 内添加一个 sidecar，将日志文件的内容进行 tail -f 转换成控制台日志，但这也是非常麻烦的。

另一个问题

  • 大部分公司内都有很成熟的 ELK 平台，如果再搭建一个 EFK 平台，属于重复，当然用来存储日志的 Elasticsearch 集群不建议搭建在 Kubernetes 集群中，因为会非常浪费 Kubernetes 集群的资源，所以大部分情况下通过 Fluentd 采集日志输出到外部的 Elasticsearch 集群中。

总结

  • Fluentd 功能有限，Logstash 太重，所以需要一个中和的工具进行日志的收集工作，此时就可以采用一个轻量化的收集工具：Filebeat。

Filebeat

早期的 ELK 架构中

  • 日志收集均以 Logstash 为主，Logstash 负责收集和解析日志，对内存、CPU、IO 资源的消耗比较高，但是 Filebeat 所占系统的 CPU 和内存几乎可以忽略不计。

由于 Filebeat 本身是比较轻量级的日志采集工具，因此 Filebeat 经常被用于以 Sidecar 的形式配置在 Pod 中，用来采集容器内冲虚输出的自定义日志文件。

  • Filebeat 同样可以采用 DaemonSet 的形式部署在 Kubernetes 集群中，用于采集系统日志和程序控制台输出的日志。
  • Fluentd 和 Logstash 可以将采集的日志输出到 Elasticsearch 集群，Filebeat 同样可以将日志直接存储到 Elasticsearch 中，但是为了更好的分析日志或者减轻 Elasticsearch 的压力，一般都是将日志先输出到 Kafka，再由 Logstash 进行简单的处理，最后输出到 Elasticsearch 中。

新贵 Loki

  • 上述讲的无论是 ELK、EFK 还是 Filebeat，都需要用到Elasticsearch 来存储数据

Elasticsearch

  • 本身就像一座大山，维护难度和资源使用都是偏高的。

对于很多公司而言，热别是创新公司，可能并不想大费周章的去搭建一个 ELK、EFK或者其他重量级的日志平台，刚开始的人力投入可能是大于收益的，所以就需要一个更轻量级的日志收集平台。

一个基于 Kubernetes 平台的原生日志收集平台 Loki stack 应运而生，解决了上述的问题和难点，一经推出，就受到了用户的青睐。

Loki

  • 是 Grafana Labs 开源的一个日志聚合系统。

优势

  • 支持水平扩展、高可用、多租户的

Loki 的架构图

Loki 主要包含的组件

  • Loki：主服务器，负责日志的存储和査询，参考了prometheus 服务发现机制，将标签添加到日志流，而不是想其他平台一样进行全文索引。
  • Promtail：负责收集日志并将其发送给 Loki，主要用于发现采集目标以及添加对应 Labe1，最终发送给 Loki。
  • Grafana：用来展示或查询相关日志，可以在页面査询指定标签 Pod 的日志。

和其他工具相比

  • 虽然 Loki 不如其他技术栈功能灵活，但是 Loki 不对日志进行全文索引，仅索引相关日志的元数据，所以 Loki 操作起来更简单、更省成本。
  • 而且 Loki 是基于 Kubernetes 进行设计的，可以很方便的部署在 Kubernetes 上，并且对集群的 Pod 进行日志采集，采集时会将 Kubernetes 集群中的一些元数据自动添加到日志中，让技术人员可以根据命名空间、标签字段进行日志的过滤，可以很快的定位到相关日志。

对于平台的选择，没有最好，只有最合适

  • 比如公司内已经有了很成熟的 ELK平台，那么我们可以直接采用 Fluentd 或 Filebeat，然后将 Kubernetes 的日志输出到已存在的 Elasticsearch集群中即可。
  • 如果公司并没有成熟的平台支持，又不想耗费很大的精力和成本去建立一个庞大的系统，那么 Loki stack 将会是一个很好的选择。

使用 EFK 收集控制台日志

  • 首先我们使用 EFK 收集 Kubernetes 集群中的日志
  • 本实验是在 Kubernetes 集群中启动一个 Elasticsearch 集群，如果企业已经有了 Elasticsearch 集群，可以直接将日志输出到已有的Elasticsearch集群中。

首先将 images-elk 镜像文件通过 Xftp 上传至 master、node01、node02（101、102、103）

将 efk-7.10.2 文件单独上传至 master（101）

这一步开启会话同步

进入镜像文件三个节点同时导入镜像 

主机一

[root@k8s-master ~]# cd images/
[root@k8s-master images]# bash imp_docker_img.sh

主机二

[root@k8s-node01 ~]# cd images/
[root@k8s-node01 images]# bash imp_docker_img.sh

主机三

[root@k8s-node02 ~]# cd images/
[root@k8s-node02 images]# bash imp_docker_img.sh

取消会话同步

部署 Elasticsearch+Fluentd+Kibana

下载需要的部署文档

https://github.com/dotbalo/k8s.git

  • get clone
  • 本案例已经下载好，可以直接使用

进入 ELK 目录

[root@k8s-master ~]# cd efk-7.10.2/

创建 EFK 所用的命名空间

[root@k8s-master efk-7.10.2]# kubectl create -f create-logging-namespace.yaml
namespace/logging created

创建 Elasticsearch 群集（已有该平台可以不创建）

[root@k8s-master efk-7.10.2]# kubectl create -f es-service.yaml
service/elasticsearch-logging created
  • 为 es 集群创建服务，以便为Fluentd 提供数据传入的端口

获取 SVC 状态信息

[root@k8s-master efk-7.10.2]# kubectl get svc -n logging
NAME                    TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)            AGE
elasticsearch-logging   ClusterIP   None         <none>        9200/TCP,9300/TCP  20s
  • 9200 端口：用于所有通过 HTTP 协议进行的 API 调用。包括搜索、聚合、监控、以及其他任何使用HTTP 协议的请求。所有的客户端库都会使用该端口与 Elasticsearch 进行交互。
  • 9300 端口：是一个自定义的二进制协议，用于集群中各节点之间的通信。用于诸如集群变更、主节点选举、节点加入/离开、分片分配等事项。

将文件创建出来

[root@k8s-master efk-7.10.2]# kubectl create -f es-statefulset.yaml
serviceaccount/elasticsearch-logging created
clusterrole,rbac.authorization.k8s.io/elasticsearch-logging created
clusterrolebinding.rbac.authorization.k8s.io/elasticsearch-logging created
statefulset.apps/elasticsearch-logging created
  • 创建 es 集群

获取 pod 的状态

[root@k8s-master efk-7.10.2]# kubectl get pod -n logging
NAME                       READY   STATUS     RESTARTS    AGE
elasticsearch-logging-0    1/1     Running    0           5m21s

创建 Kibana（已有该平台可以不创建）

[root@k8s-master efk-7.10.2]# kubectl create -f kibana-deployment.yaml -f kibana-service.yaml
deployment.apps/kibana-logging created
service/kibana-logging created

修改 Fluentd 的部署文件

  • 由于在 Kubernetes 集群中，可能不需要对所有的机器都采集日志，因此可以更改 Fluentd 的部署文件。

添加一个 NodeSelector，只部署至需要采集日志的主机即可。

[root@k8s-master efk-7.10.2]# grep "nodeSelector" fluentd-es-ds.yaml -A 3
nodeSelector:fluentd: "true"volumes:- name: varlog

为需要采集日志的服务器设置标签

[root@k8s-master efk-7.10.2]# kubectl label node k8s-node01 fluentd=true
node/k8s-node01 labeled
[root@k8s-master efk-7.10.2]# kubectl label node k8s-node02 fluentd=true
node/k8s-node02 labeled
[root@k8s-master efk-7.10.2]# kubectl label node k8s-master fluentd=true

获取 node 节点的标签信息

[root@k8s-master efk-7.10.2]# kubectl get node -l fluentd=true --show-labels
NAME         STATUS   ROLES     AGE   VERSION    LABELS
k8s-master   Ready    <none>    8d    v1.23.6    beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,fluentd=true,kubernetes.io/arch=amd64,kubernetes,io/hostname=k8s-master01,kubernetes,io/os=linux,node.kubernetes.io/node=
k8s-node01   Ready    <none>    8d    v1.23.6    beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,fluentd=true,kubernetes.io/arch=amd64,kubernetes,io/hostname=k8s-master01,kubernetes,io/os=linux,node.kubernetes.io/node=
k8s-node02   Ready    <none>    8d    v1.23.6    beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,fluentd=true,kubernetes.io/arch=amd64,kubernetes,io/hostname=k8s-master01,kubernetes,io/os=linux,node.kubernetes.io/node=

创建 Fluentd

[root@k8s-master efk-7.10.2]# kubectl create -f fluentd-es-ds.yaml -f fluentd-es-configmap.yaml
serviceaccount/fluentd-es created
clusterrole.rbac.authorization.k8s,io/fluentd-es created
clusterrolebinding.rbac.authorization.k8s,io/fluentd-es createddaemonset.apps/fluentd-es-v3.1.1 created
configmap/fluentd-es-config-v0.2.1 created

fluentd 的 ConfigMap 有一个字段需要注意，在 fluentd-es-configmap.yaml 文件的最后有一个output.conf:

host elasticsearch-logging
port 9200

此处的配置将收集到得数据输出到指定的 Elasticsearch 集群中，由于创建 Elasticsearch 集群时会自动创建一个名为 elasticsearch-logging 的 Service，因此默认 Fluentd 会将数据输出到前面创建的 Elasticsearch 集群中。

如果企业已经存在一个成熟的 ELK 平台，可以创建一个同名的 Service 指向该集群，然后就能输出到现有的 Elasticsearch 集群中。

例如

apiVersion: v1
kind: Service
metadata:name: elasticsearch-loggingnamespace: logging
spec:type: ExternalNameexternalName: www.es.com
  • externalName: www.es.com：指向了外部 es 主机的地址或域名
<match **>
...host elasticsearch-loggingport 9200logstash format true
...</match>
  • host elasticsearch-logging：指定 fluentd 获取的日志要发往的主机
  • port 9200：目标es 主机的端口号
  • logstash_format true：指定是否使用常规的 index 命名格式,(1ogstash-%.%m.%d)，默认为 false

Kibana 的使用

确认创建的 Pod 已经成功启动

[root@k8s-master efk-7.10.2]# kubectl get pod -n logging
NAME                               READY    STATUS    RESTARTS    AGE
elasticsearch-logging-0            1/1      Running   0           34m
fluentd-es-v3.1.1-7pm5p            1/1      Running   0           92s
fluentd-es-v3.1.1-wddc9            1/1      Running   0           15m
kibana-logging-7df48fb7b4-frfj6    1/1      Running   0           33m

查看 kibana 暴露的端口

[root@k8s-master efk-7.10.2]# kubectl get svc -n logging
NAME                    TYPE        CLUSTER-IP      EXTERNAL-IP    PORT(S)              AGE
elasticsearch-logging   ClusterIP   None            <none>         9200/TCP,9300/TCP    35m
kibana-logging          NodePort    10.104.162.209  <none>         5601:32734/TCP       34m

访问 kibana

  • 使用任意一个部署了 kube-proxy 服务的节点的 IP+32734 端口即可访问 kibana。

https://192.168.10.101:32734/kibana

创建一个 Pod 进行日志采集

编写 nginx 部署文件

[root@k8s-master efk-7.10.2]# cat nginx-service.yaml
apiVersion: v1
kind: Service
metadata:name: mynginxnamespace: defaultlabels:app: mynginx
spec:type: LoadBalancerports:- port: 80targetPort: httpprotocol: TCPname: httpselector:app: mynginx
---
apiVersion: apps/v1
kind: Deployment
metadata:name: mynginx-deploymentnamespace: defaultlabels:app: mynginx
spec:replicas: 2selector:matchLabels:app: mynginxtemplate:metadata:labels:app: mynginxspec:containers:- name: mynginximage: nginx:1.15.2ports:- name: httpcontainerPort: 80protocol: TCP

部署该 Dployment

[root@k8s-master efk-7.10.2]# kubectl create -f nginx-service.yaml

查看 pod 状态

[root@k8s-master efk-7.10.2]# kubectl get pod
NAME                                   READY    STATUS    RESTARTS    AGE
mynginx-deployment-86655474f9-74whc    1/1      Running   0           34m
mynginx-deployment-86655474f9-zc5xh    1/1      Running   0           92s

查看暴露的端口

[root@k8s-master efk-7.10.2]# kubectl get svc -n default
NAME         TYPE            CLUSTER-IP     EXTERNAL-IP    PORT(S)        AGE
kubernetes   ClusterIP       10.96.0.1      <none>         443/TCP        13d
mynginx      LoadBalancer    10.109.192.36  <none>         80:32019/TCP   12m

客户端访问测试

[root@k8s-master efk-7.10.2]# curl 192.168.10.101:32019

到 kibana 上查看

使用 Filebeat 收集自定义文件日志

基于云原生 12 要素开发的程序，一般会将日志直接输出到控制台，并非是指定一个文件存储日志，这一点和传统架构还是有区别的。

公司内的程序并非都是基于云原生要素开发

  • 一些年代已久的程序，这类程序如果部署至 Kubernetes 集群中，就需要考虑如何将输出至本地文件的日志采集到 Elasticsearch。

之前了解到 Filebeat 是一个非常轻量级的日志收集工具，可以将其和应用程序部署至一个 Pod中，通过 Volume 进行日志文件的共享，之后 Filebeat 就可以采集里面的数据，并推送到日志平台。

本案例为了减轻 Elasticsearch 的压力

  • 引入 Kafka 消息队列来缓存日志数据，之后通过Logstash 简单处理一下日志，最后再输出到 Elasticsearch 集群。
  • 这种架构在生产环境中也是常用的架构，因为日志数量可能比较多，同时也需要对其进行加工。
  • 当然 Fluentd 也可以将日志输出到 Kafka。

安装 helm 客户端（如果已有此工具，可跳过此步骤）

下载安装包

https://get.helm.sh/helm-v3.6.2-linux-amd64.atr.gzhttp://https://get.helm.sh/helm-v3.6.2-linux-amd64.atr.gz

解压

[root@k8s-master ~]# tar zxvf helm-v3.9.4-linux-amd64.tar.gz

查看版本

[root@k8s-master ~]# helm version
version.BuildInfo{Version:"v3.6.2",
GitCommit:"ee407bdf364942bcb8e8c665f82e15aa28009b71",GitTreestate:"clean",
GoVersion:"go1.16.5"}

创建 Kafka 和 Logstash

进入 filebeat 目录

[root@k8s-master ~]# cd elk-7.10.2/filebeat/

查看 zookeeper 状态

[root@k8s-master filebeat]# kubectl get pod -n logging -l app.kubernetes.io/name=zookeeper
  • -l：指定标签
  • 等一会，部署好显示状态为 Running

部署 kafka

[root@k8s-master filebeat]# helm install kafka kafka/ -n logging

查看 kafka 状态

[root@k8s-master filebeat]# kubectl get pod -n logging -l app.kubernetes.io/component=kafka
  • 等一会，部署好显示状态为 Running

创建 logstash 服务

[root@k8s-master filebeat]# kubectl create -f logstash-service.yaml -f logstash-cm.yaml -f logstash.yaml -n logging

注入 Filebeat Sidecar

创建一个模拟程序

[root@k8s-master filebeat]# kubectl create -f filebeat-cm.yaml -f app-filebeat.yaml -n logging

查看 pod 状态

[root@k8s-master filebeat]# kubectl get pod -n logging
[root@k8s-master filebeat]# kubectl get svc -n logging
[root@k8s-master filebeat]# kubectl get svc
  • 这个 mynginx 的 svc 是创建在了 default 的命名空间的。

查看日志中的内容

[root@k8s-master filebeat]# kubectl exec app-ddf4b6db9-thtbs -n logging -- tail /opt/date.log

最后返回主目录删除 EFK

[root@k8s-master ~]# rm -rf images-efk/
  • 最后删除整个 EFK 目录文件，不要影响后面的 Loki 实验

Loki

安装 Loki Stack（如果已安装，忽略此步骤）

首先将 images-loki 镜像文件通过 Xftp 上传至 master、node01、node02（101、102、103）

将 loki 文件单独上传至 master（101）

解压

[root@k8s-master ~]# tar zxvf helm-v3.9.4-linux-amd64.tar.gz

将文件拷贝到指定目录下

[root@k8s-master ~]# cp linux-amd64/helm /usr/bin

添加安装源

[root@k8s-master ~]# helm repo add grafana

下载 loki-stack（如已有离线包，忽略此步骤）

https://grafana.github.io/helm-charts

[root@k8s-master ~]# helm repo update
grafana" has been added to your repositories
Hang tight while we grab the latest from your chart repositories......Successfully got an update from the "grafana" chart repository

其他安装源
helm repo add loki https://grafana.github.io/loki/charts && helm repo update

查看列表

[root@k8s-master ~]# helm repo list

查看版本信息

[root@k8s-master ~]# helm search repo loki-stack
NAME                        CHART VERSION    APP VERSION    DESCRIPTION
grafana/loki-stack2.8.3     v2.6.1           loki: like Prometheus,but for logs.

拉取

[root@k8s-master ~]# helm pull grafana/loki-stack --version 2.8.3

创建 Loki 命名空间

[root@k8s-master ~]# kubectl create ns loki
namespace/loki created

解压 Loki 源码包

[root@k8s-master ~]# tar zxvf loki-stack-2.8.3.tgz

创建 Loki Stack

[root@k8s-master ~]# helm upgrade --install loki loki-stack --set grafana.enabled=true --set grafana.service.type=NodePOrt -n loki
Release "loki" does not exist. Installing it now.
W0903 18:20:24.050253
36913 warnings.go:70]policy/v1betal PodsecurityPolicy is deprecated in v1.21+,unavailable in v1.25+W0903 18:20:24.05224336913 warnings.go:70]policy/v1beta1 PodsecurityPolicy isdeprecated in v1.21+,unavailable in v1.25+36913 warnings.go:70]policy/v1betal PodsecurityPolicy isW0903 18:20:24.055204deprecated in v1.21+,unavailable in v1.25+
W0903 18:20:24.14278636913 warnings.go:70]policy/v1beta1 PodsecurityPolicy isdeprecated in v1.21+,unavailable in v1.25+
W0903 18:20:24.14297636913 warnings.go:70]policy/v1betal PodsecurityPolicy isdeprecated in v1.21+,unavailable in v1.25+
36913 warnings.go:70]policy/v1beta1 PodsecurityPolicy isW0903 18:20:24.143197deprecated in v1.21+,unavailable in v1.25+NAME: loki
LAST DEPLOYED:Sat sep 3 18:20:23 2022NAMESPACE: loki
STATUS:deployed
REVISION:1
NOTES :
The Loki stack has been deployed to your cluster. Loki can now be added as a datasourcein Grafana.
See http://docs.grafana.org/features/datasources/loki/ for more detail.

查看 Pod 状态

[root@k8s-master ~]# kubectl get pod -n loki
NAME                             READY    STATUS    RESTARTS    AGE
loki-0                           1/1      Running   0           2m12s
loki-grafana-64977c65f6-f26jk    1/1      Running   0           34m
loki-promtail-6bv2f              1/1      Running   0           92s
loki-promtail-xhlfc              1/1      Running   0           2m12s
loki-promtail-zscq9              1/1      Running   0           2m12s

查看暴露的端口

[root@k8s-master efk-7.10.2]# kubectl get svc -n loki
NAME             TYPE            CLUSTER-IP        EXTERNAL-IP    PORT(S)        AGE
loki             ClusterIP       10.111.100.11     <none>         3100/TCP       2m40s
loki-grafana     LoadBalancer    10.96.88.143      <none>         80:32734/TCP   2m40s
loki-headless    ClusterIP       None              <none>         3100/TCP       2m40s
loki-memberlist  ClusterIP       None              <none>         7946/TCP       2m40s

查看 grafana 的密码

[root@k8s-master ~]# kubectl get secret loki-grafana --namespace loki -o jsonpath="{.data.admin-password}" | base64 --decode;echo
AfA2tYlsaPdy6hk1DB0xYfB7YZLf0501JsGtwcBV

修改密码

[root@k8s-master ~]# kubectl exec -it loki-grafana-595d45d694-htg29 -n loki -c grafana grafana-cli admin reset-admin-password admin
  • 账号为：admin

登录

  • https://192.168.10.101:32734

创建一个 Pod 进行日志采集

（还是前面的 pod）

编写 nginx 部署文件

[root@k8s-master ~]# cat nginx-service.yaml
apiVersion: v1
kind: Service
metadata:name: mynginxnamespace: defaultlabels:app: mynginx
spec:type: LoadBalancerports:- port: 80targetPort: httpprotocol: TCPname: httpselector:app: mynginx
---
apiVersion: apps/v1
kind: Deployment
metadata:name: mynginx-deploymentnamespace: defaultlabels:app: mynginx
spec:replicas: 2selector:matchLabels:app: mynginxtemplate:metadata:labels:app: mynginxspec:containers:- name: mynginximage: nginx:1.15.2ports:- name: httpcontainerPort: 80protocol: TCP

部署该 Dployment

[root@k8s-master ~]# kubectl create -f nginx-service.yaml

查看 pod 状态

[root@k8s-master ~]# kubectl get pod
NAME                                 READY    STATUS    RESTARTS    AGE
mynginx-deployment-86655474f9-74whc  1/1      Running   0           2m12s
mynginx-deployment-86655474f9-zc5xh  1/1      Running   0           2m12s

查看暴露的端口

[root@k8s-master ~]# kubectl get svc -n default
NAME             TYPE            CLUSTER-IP        EXTERNAL-IP    PORT(S)        AGE
kubernetes       ClusterIP       10.96.0.1         <none>         443/TCP       13d
mynginx          LoadBalancer    10.109.192.36     <pending>      80:32019/TCP   12m

客户端访问测试

[root@k8s-master ~]# curl 192.168.10.101:32019

在 Loki 中查看此 Pod 的日志

{namespace="default",pod="mynginx-deployment-668d5454cb-lldng"}
{namespace="kube-system"}
{namespace="kube-system",pod="calico-node-gwtqw"}

小阿轩yx-Kubernertes日志收集

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/419036.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

无需更换摄像头，无需施工改造，降低智能化升级成本的智慧工业开源了

无需更换摄像头，无需施工改造，降低智能化升级成本的智慧工业开源了

智慧工业视觉监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒&#xff0c;省去繁琐重复的适配流程&#xff0c;实现芯片、算法、应用的全流程组合&#xff0c;从而大大减少企业级应用约95%的开发成本。用户只需在界面上…
阅读更多...
ffmpeg 视频编码及基本知识

ffmpeg 视频编码及基本知识

理论 H264编码原理&#xff08;简略&#xff09; 1. 视频为什么需要进行编码压缩 降低视频数据大小&#xff0c;方便存储和传输 2. 为什么压缩的原始数据采用YUV格式 彩色图像的格式是 RGB 的&#xff0c;但RGB 三个颜色是有相关性的。 采用YUV格式&#xff0c;利用人对图像的…
阅读更多...
网络安全入门教程（非常详细）从零基础入门到精通，看完这一篇你就是网络安全高手了。

网络安全入门教程（非常详细）从零基础入门到精通，看完这一篇你就是网络安全高手了。

关于我 我算是“入行”不久的一个新人安全工作者&#xff0c;为什么是引号呢&#xff0c;因为我是个“半个野路子”出身。早在13年的时候&#xff0c;我在初中时期就已经在90sec、wooyun等社区一直学习、报告漏洞。后来由于升学的压力&#xff0c;我逐渐淡出了安全圈子&#x…
阅读更多...
攻防世界---＞回复 1

攻防世界---＞回复 1

开学水题笔记(不是&#xff0c;水题。找点&#xff0c;自信心 T^T )。 下载解压查壳。 32ida打开。 进入main函数。 如下&#xff1a; 关键部分&#xff1a; v5的值未知&#xff0c;说明存在于内存中&#xff0c;直接动调就好了。 DUTCTF{We1c0met0DUTCTF}
阅读更多...
综合案例-数据可视化-折线图

综合案例-数据可视化-折线图

一、json数据格式 1.1 json数据格式的定义与功能 json是一种轻量级的数据交互格式&#xff0c;可以按照json指定的格式去组织和封装数据&#xff0c;json数据格式本质上是一个带有特定格式的字符串。 功能&#xff1a;json就是一种在各个编程语言中流通的数据格式&#xff0…
阅读更多...
MFC工控项目实例之十一板卡测试信号输入界面

MFC工控项目实例之十一板卡测试信号输入界面

承接专栏《MFC工控项目实例之十添加系统测试对话框》 相关代码 1、在BoardTest.h文件中添加代码 class CBoardTest : public CDialog { // Construction public:CBoardTest(CWnd* pParent NULL); // standard constructorCButtonST m_btnStart[16];CWinThread* pThread…
阅读更多...
深入FastAPI：掌握使用多个关联模型的高级用法[Union类型]

深入FastAPI：掌握使用多个关联模型的高级用法[Union类型]

在FastAPI中&#xff0c;响应模型可以声明为Union类型&#xff0c;这允许你为同一个端点定义多种可能的响应模型。这种灵活性使得API可以根据不同的情况返回不同类型的数据结构。 例如&#xff0c;根据请求中的查询参数或数据库中的数据&#xff0c;一个API端点可能有时返回一…
阅读更多...
数学建模_数据预处理流程（全）

数学建模_数据预处理流程（全）

数据预处理整体流程图 一般数据预处理流程 处理缺失值&#xff1a;填补或删除缺失值。处理异常值&#xff1a;检测并处理异常值。数据编码&#xff1a;将分类变量进行标签编码或独热编码。数据标准化/归一化&#xff1a;对数据进行标准化或归一化处理。连续变量离散化&#xff…
阅读更多...
微信小程序页面制作——个人信息

微信小程序页面制作——个人信息

✅作者简介&#xff1a;2022年博客新星 第八。热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏…
阅读更多...
在Unity环境中使用UTF-8编码

在Unity环境中使用UTF-8编码

为什么要讨论这个问题 为了避免乱码和更好的跨平台 我刚开始开发时是使用VS开发,Unity自身默认使用UTF-8 without BOM格式,但是在Unity中创建一个脚本,使用VS打开,VS自身默认使用GB2312(它应该是对应了你电脑的window版本默认选取了国标编码,或者是因为一些其他的原因)读取脚本…
阅读更多...
代码执行漏洞-Log4j2漏洞 vulhub CVE-2021-44228

代码执行漏洞-Log4j2漏洞 vulhub CVE-2021-44228

步骤一:执行以下命令启动靶场环境并在浏览器访问!!! 查看端口 浏览器访问 可以发现 /solr/admin/cores?action 这⾥有个参数可以传&#xff0c;可以按照上⾯的原理 先构造⼀个请求传过去存在JNDI注⼊那么ldap服务端会执⾏我们传上去的payload JDNI项⽬地址 https://github.com…
阅读更多...
git的使用和gdb工具

git的使用和gdb工具

1.git的使用 首先现在gitee上新建一个仓库 然后复制克隆链接到本地仓库 在本地仓库中&#xff0c;我们可以用git status查看仓库状态 我们要提交代码就是要三步 git add 文件名 git commit -m "写提交的日志" git push 将代码上传到远端仓库 然后你就完成一次提…
阅读更多...
uuid.js 使用

uuid.js 使用

相关代码 import { NIL } from "uuid";/** 验证UUID* 为空 则返回 false* param uuid* returns {boolean}*/ export function MyUUIDValidate(uuid: any): boolean {if (typeof uuid "string" && uuid ! NIL) { //uuid ! NIL 判断是否是默认值00…
阅读更多...
小白建立个人网站初步尝试

小白建立个人网站初步尝试

一、VScode 代码是在VScode上运行的&#xff0c;可以看作者另一篇文章&#xff1a;http://t.csdnimg.cn/mOmdF 二、代码基本框架 代码解释<!DOCTYPE html>声明为HTML5文档<html><head>头部元素&#xff0c;不显示在页面<meta charset"utf-8"…
阅读更多...
直击智博会，supOS加快发展新质生产力，赋能全球工厂数字化转型

直击智博会，supOS加快发展新质生产力，赋能全球工厂数字化转型

9月6日&#xff0c;第十四届智慧城市与智能经济博览会&#xff08;以下简称智博会&#xff09;开幕主题活动在宁波举办。本届智博会着重围绕“数字赋能新型工业化”主题&#xff0c;设置开幕活动、展览展示和前瞻研讨、产数合作、赛事赋能、开放活动等4大板块活动&#xff0c;旨…
阅读更多...
windows 环境下搭建mysql cluster 集群详细步骤

windows 环境下搭建mysql cluster 集群详细步骤

1、环境准备 下载mysql集群版本&#xff0c;我这里下载的是mysql-cluster-8.0.39-winx64 https://dev.mysql.com/downloads/cluster/ 2、创建配置文件 mysql集群版本下载以后解压后目录如下&#xff0c;创建配置文件 config.ini(集群配置文件&#xff0c;my.ini mysql配置…
阅读更多...
如何把自动获取的ip地址固定

如何把自动获取的ip地址固定

在大多数网络环境中&#xff0c;‌设备通常会自动从DHCP服务器获取IP地址。‌这种动态分配IP的方式虽然灵活方便&#xff0c;‌但在某些特定场景下&#xff0c;‌我们可能需要将设备的IP地址固定下来&#xff0c;‌以确保网络连接的稳定性和可访问性。‌本文将详细介绍如何把自…
阅读更多...
单GPU一分钟生成16K高清图像！新加坡国立发布LinFusion:无缝兼容Stable Diffusion插件

单GPU一分钟生成16K高清图像！新加坡国立发布LinFusion:无缝兼容Stable Diffusion插件

论文链接&#xff1a;https://arxiv.org/pdf/2409.02097 Git链接&#xff1a;https://lv-linfusion.github.io/ 亮点直击 本文研究了Mamba的非因果和归一化感知版本&#xff0c;并提出了一种新颖的线性注意力机制&#xff0c;解决了扩散模型在高分辨率视觉生成中的挑战。 本文…
阅读更多...
oracle数据库安装和配置

oracle数据库安装和配置

​ 大家好&#xff0c;我是程序员小羊&#xff01; 前言&#xff1a; Oracle 数据库的安装和配置是一个较为复杂的过程&#xff0c;涉及多个步骤和配置项。以下将详细介绍如何在 Linux 和 Windows 系统中安装 Oracle 数据库并进行基础配置。 一、Oracle 数据库安装前的准备 …
阅读更多...
如何使用微软的Copilot AI工具将Word文档转换为PowerPoint

如何使用微软的Copilot AI工具将Word文档转换为PowerPoint

Copilot 让你可以将 Word 文档转换为 PowerPoint 演示文稿&#xff0c;使你能够以最小的努力制作出有针对性的演示文稿。这个功能是微软AI工具包的一部分&#xff0c;对于那些曾经盯着空白幻灯片不知道从何开始的人来说&#xff0c;这是一个颠覆性的改变。要充分利用这个工具&a…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发