tensorrt plugin

自定义plugin

流程

  • 首先明确要开发的算子，最好是 CUDA 实现；
  • 继承 IPluginV2DynamicExt / IPluginV2IOExt类实现一个Plugin 类，在这里调用前面实现的算子；
  • 继承 IPluginCreator 类实现一个 PluginCreator 类，用于创建插件实例，然后注册该 Creator 类；
  • 编译插件项目，生成动态链接库；
  • 在构造 engine 之前，首先加载上一步编译出来的插件动态链接库，在构造 engine 时 TensorRT 会自动找到先前注册的插件创建器。

 注意事项

 

 Static Shape，用IPluginV2IOExt；Dynamic Shape，则使用IPluginV2DynamicExt。

IPluginV2只能支持 implicit mode,所以只能使用 execute 接口，并指定 batch:

builder->setMaxBatchSize(3);
.
.
.
context->execute(batch_size, buffers);

IPluginV2DynamicExt 支持动态shape，仅支持显示batch。

使用动态shape时，config中需要设置profile

IOptimizationProfile* profile = builder->createOptimizationProfile();
profile->setDimensions("input", OptProfileSelector::kMIN, Dims4(1, C, H, W));
profile->setDimensions("input", OptProfileSelector::kOPT, Dims4(2, C, H, W));
profile->setDimensions("input", OptProfileSelector::kMAX, Dims4(4, C, H, W));
config->addOptimizationProfile(profile);

 最后运行时，需要设置实际运行shape:

context->setBindingDimensions(inputIndex, Dims4(3, 4, 2, 2));

这和 IPluginV2 demo中的隐式batch机制很类似，隐式batch需要优化时设置最大batch数，运行时需要设置实际的batch数目。

写自定义plugin时，推荐使用 IPluginV2DynamicExt做基类。支持静态/动态shape，显示batch也更直观。
IPluginV2的隐式batch模式下，plugin内部只能看到三维的shape信息，batch信息在enqueue函数内才能看到（context->execute(batch)传入。 IPluginV2DynamicExt 显示batch模式下，可以看到四维shape信息.

​ 如果网络中有Plugin，则需要注意以下事项：

1）编写Plugin时需要注意的是：

（1）Enqueue函数要增加half版本；

（2）注意supportsFormatCombination函数。保证输入输出类型一致，并要求输入输出类型与mType一致。

2）fp16模型，输入设置为float类型还是half类型？

​ 都行，但建议是将输入设置成float。

3）模型要配合混合精度训练，否则可能会出现溢出问题。

代码示例：

https://github.com/NVIDIA/TensorRT/blob/7.2.1/plugin/skipLayerNormPlugin/skipLayerNormPlugin.cpp

测试：

1）使用了plugin，要写单元测试；

2）使用parser转换网络，使用dump API接口，查看网络结构是否对的上

3）通用方法，打印输出：

a）官方建议：将可疑层的输出设置为network output（比较累）；

b）自己写个debug plugin

函数解释

需要写2个类：

1）MyCustomPlugin，继承IPluginV2Ext/IPluginV2IOExt/IPluginV2DynamicExt，是插件类，用于写插件的具体实现；

2）MyCustomPluginCreator，继承BaseCreator， 负责创建和管理 MyCustomPlugin 实例，以及向TensorRT注册插件。

static Shape Plugin 

MyCustomPlugin(int in_channel, nvinfer1::Weights const& weight, nvinfer1::Weights const& bias);  // 构造函数，用于网络定义阶段MyCustomPlugin(void const* serialData, size_t serialLength);    // 构造函数，用于反序列化阶段int getNbOutputs() const;      // 获得layer的输出个数nvinfer1::Dims getOutputDimensions(int index, const nvinfer1::Dims* inputs, int nbInputDims);    // 获得layer的输出维度nvinfer1::DataType getOutputDataType(int index, const nvinfer1::DataType* inputTypes, int nbInputs) const;     // 获得输出数据类型size_t getSerializationSize() const;      //返回序列化时需要写多少字节到buffer中void serialize(void* buffer) const;      //序列化函数，将plugin的参数权值写入到buffer中const char* getPluginType() const;       // 获得plugin的type，用于反序列化使用const char* getPluginVersion() const;       //获得plugin的version，用于反序列化使用int initialize();          // 初始化函数，在这个插件准备开始run之前执行。一般申请权值显存空间并copy权值void terminate();         // terminate函数就是释放initialize开辟的一些显存空间void destroy();           // 释放整个plugin占用的资源void configurePlugin(const nvinfer1::PluginTensorDesc* in, int nbInput, const nvinfer1::PluginTensorDesc* out, int nbOutput);          // 判断输入是否符合标准bool supportsFormatCombination(int pos, const nvinfer1::PluginTensorDesc* inOut, int nbInputs, int nbOutputs) const;          // 判断输入、输出的格式size_t getworkspaceSize(int maxBatchSize) const;        // 获得plugin所需要的显存大小int enqueue(int batchSize, const void* const* inputs, void** outputs, void* * workspace, cudaStream_t stream);   // 推理函数const char* setPluginNamespace() const;            // 为这个插件设置namespace名字，每个plugin定义1个专属的Namespace，如果不设置则默认是""，需要注意的是同一个namespace下的plugin如果名字相同会产生冲突
const char* getPluginNamespace() const;   // 获取plugin的命名空间
const PluginFieldCollection *GridAnchorBasePluginCreator::getFieldNames();     // PluginFieldCollection的主要作用是传递插件op所需要的权重和参数
void attachToContext(cudnnContext* cudnnContext, cublasContext* cublasContext, IGpuAllocator* gpuAllocator);  // 将plugin附加到执行上下文，并授予plugin对某些上下文资源的访问权限
void detachFromContext();      // 将插件对象从其执行上下文中分离出来
构造函数和析构函数
构造函数

构造函数可以写1~3个，通常第一个对应def，第二个对应clone，第三个对应序列化的。

1、用于network definition阶段，PluginCreator创建该插件时调用的构造函数，需要传递权重信息以及参数。也可用于clone阶段，或者再写一个clone构造函数。

MyCustomPlugin(int in_channel, nvinfer1::Weights const& weight, nvinfer1::Weights const& bias);

​2、clone：顾名思义，就是克隆，将这个plugin对象克隆一份给TensorRT的builder、network或者engine。这个成员函数会调用下面的这个构造函数：
 

MyCustomPlugin(float in_channel, const std::vector<float>& weight, const std::vector<float>& bias);

 将要克隆的plugin的权重和参数传递给这个构造函数。

IPluginV2DynamicExt* MyCustomPlugin::clone() const{auto plugin = new MyCustomPlugin{_in_channel, _weight, _bias};plugin->setPluginNamespace(mPluginNamespace);return plugin;
}

clone成员函数主要用于传递不变的权重和参数，将plugin复制n多份，从而可以被不同engine、builder、network使用。

3、用于在deserialize阶段，用于将序列化好的权重和参数传入该plugin并创建。

MyCustomPlugin(void const* serialData, size_t serialLength);

   

注意需要把默认构造函数删掉；

MyCustomPlugin() = delete;
析构函数

析构函数则需要执行terminate，terminate函数就是释放这个op之前开辟的一些显存空间；

MyCustomPlugin::~MyCustomPlugin(){terminate();}
输出相关函数

1、获得layer的输出个数

int getNbOutputs() const;

 2、根据输入个数和输入维度，获得第index个输出的维度

nvinfer1::Dims getOutputDimensions(int index, const nvinfer1::Dims* inputs, int nbInputDims);
 

3、根据输入个数和输入类型，获得第index个输出的类型

nvinfer1::DataType getOutputDataType(int index, const nvinfer1::DataType* inputTypes, int nbInputs) const;
序列化和反序列化相关函数

1、用于查询本插件序列化需要的内存大小，实际上就是对所有当前类变量数据的字节大小求和。

size_t MyCustomPlugin::getSerializationSize() const
{return (serialized_size(_in_channel) + serialized_size(_weight) + serialized_size(_bias));
};

2、序列化函数，将plugin的参数权值写入到buffer中

void MyCustomPlugin::serialize(void* buffer) const
{serialize_value(&buffer, _in_channel);serialize_value(&buffer, _weight);serialize_value(&buffer, _bias);
};

3、如果这个op使用到了一些其他东西，例如cublas handle，可以直接借助TensorRT内部提供的cublas handle：

void MyCustomPlugin::attachToContext(cudnnContext* cudnnContext, cublasContext* cublasContext, IGpuAllocator* gpuAllocator){mCublas = cublasContext;
}

4、获得plugin的type和version，用于反序列化使用

const char* getPluginType() const;

const char* getPluginVersion() const;
 

初始化、配置、销毁函数
//初始化函数，在这个插件准备开始run之前执行。一般申请权值显存空间并copy权值int initialize();
//terminate函数就是释放initialize开辟的一些显存空间void terminate();
//释放整个plugin占用的资源void destroy();

​ 配置configurePlugin这个插件op，判断输入和输出类型数量是否正确。官方还提到通过这个配置信息可以告知TensorRT去选择合适的算法(algorithm)去调优这个模型。

该方法用于对插件配置输入输出相关参数，且在 engine 构建阶段和执行阶段都会被调用，原因是构建阶段和执行阶段输入输出张量的维度信息可能不同（因为是 dynamic shape 的），因此需要在每次执行前都重新配置一下。

void MyCustomPluginDynamic::configurePlugin(const nvinfer1::DynamicPluginTensorDesc* inputs, int nbInputs, const nvinfer1::DynamicPluginTensorDesc* outputs, int nbOutputs)
{assert(nbOutputs == 1);assert(nbInputs == 2);assert(mType == inputs[0].desc.type);
};

TensorRT 通过这个方法来查询 pos 所指定张量的 type 和 format 的组合是否是被当前插件所支持的。type 无非就单精度、半精度、整型等等，而 format 则是指张量的布局方式

  • pos 表示当前查询张量序号，注意这里输入和输出是合在一起排序的，也就是说 0 < pos < nbInputs + nbOutputs，其中 nbInputs 表示输入张量的个数，nbOutputs 表示输出张量的个数。当 pos < nbInputs 时，表示当前查询的是输入张量，否则表示当前查询的是输出张量。
  • inOut 表示输入或输出张量的描述信息，其中包含了张量的维度信息，数据类型type，数据布局格式format等。
bool MyCustomPlugin::supportsFormatCombination(int pos, const nvinfer1::PluginTensorDesc* inOut, int nbInputs, int nbOutputs) 
{// 假设有一个输入和一个输出assert(0 <= pos && pos < 2);const auto *in = inOut;const auto *out = inOut + nbInputs;switch(pos){case 0:return in[0].type == DataType::kFLOAT && in[0].format == nvinfer1::TensorFormat::kLINEAR;case 1:return out[0].type == in[0].type && out[0].format == nvinfer1::TensorFormat::kLINEAR;}
};
运行相关函数

1、获得plugin所需要的显存大小。最好不要在plugin enqueue中使用cudaMalloc申请显存。

size_t getWorkspaceSize(const nvinfer1::PluginTensorDesc* inputs, int nbInputs, const nvinfer1::PluginTensorDesc* outputs, int nbOutputs) const{// 计算这个op前向过程中需要的中间显存数量size_t need_num;return need_num * sizeof(float);
};

2、插件执行方法，在这里调用 CUDA 算子。

int enqueue(int batchSize, const void* const* inputs, void** outputs, void *workspace, cudaStream_t stream){// 假设这个fun是需要的中间变量，可以直接使用TensorRT开辟的显存空间fun = static_cast<float*>(workspace);
};

​ 需要注意的是，如果操作中需要一些分布在显存中的中间变量，可以通过传过来的指针参数workspace获取。默认写的.cu是fp32的，TensorRT在fp16运行模式下，运行到不支持fp16的插件op时，会自动切换到fp32模式，等插件op运行完再切换回来。

​ 可以设置max workspace，避免显存移除，并且可以显存复用。

lReluPlugin.cpp中的enqueue函数为例：

int LReLU::enqueue(int batchSize, const void* const* inputs, void* const* outputs, void* workspace, cudaStream_t stream) noexcept
{const void* inputData = inputs[0];void* outputData = outputs[0];pluginStatus_t status = lReLUInference(stream, mBatchDim * batchSize, mNegSlope, inputData, outputData);return status; 
}

其对应的CUDA内核函数在lReLU.cu

template <unsigned nthdsPerCTA>__launch_bounds__(nthdsPerCTA) __global__ void pReLUKernel(const int n, const float negativeSlope, const float* input, float* output)
{// blockIdx.x表示当前线程块在线程格里x维度上的索引；nthdsPerCTA即blockDim.x，表示当前线程块中x维度上所有线程的个数；// threadIdx.x表示当前线程在线程块里x维度上的索引；gridDim.x表示当前线程格中x维度上所有线程块的个数;// i += gridDim.x * nthdsPerCTA，代表步长为gridDim.x * nthdsPerCTA，即1个线程格里的所有线程数。for(int i = blockIdx.x * nthdsPerCTA + threadIdx.x; i < n; i += gridDim.x * nthdsPerCTA){//negativeSlope就是系数阿尔法output[i] = input[i] > 0 ? input[i] : input[i] * negativeSlope;}
}pluginStatus_t lReLUGPU(cudaStream_t stream, const int n, const float negativeSlope, const void* input, void* output)
{// 这个n就是控制leakyRelu输出个数的变量const int BS = 512;const int GS = (n + BS - 1) / BS;// <BS>是模板参数，表示使用的线程块大小，可以传给内核函数pReLUKernel()pReLUKernel<BS><<<GS, BS, 0, stream>>>(n, negativeSlope, (const float*) input, (float*) output);return STATUS_SUCCESS;
}pluginStatus_t lReLUInference(cudaStream_t stream, const int n, const float negativeSlope, const void* input, void* output)
{return lReLUGPU(stream, n, negativeSlope, (const float*) input, (float *) output);
}

static shape IPluginCreator

class MyCustomPluginCreator : public BaseCreator{
public:MyCustomPluginCreator();~MyCustomPluginCreator() override = default;const char* getPluginName() const override;const char* getPluginVersion() const override;const PluginFieldCollection* getFieldNames() override;
// 通过PluginFieldCollection去创建plugin,将所需的参数和权值取出,调用MyCustomPlugin(args ...)IPluginV2DynamicExt* createPlugin(const char* name, const nvinfer1::PluginFieldCollection* fc) override;
// 反序列化,调用MyCustomPlugin(const void* data, size_t length)来创建pluginIPluginV2DynamicExt* deserializePlugin(const char* name, const void* serialData, size_t serialLength) override;private:static PluginFieldCollection mFC;static std::vector<PluginField> mPluginAttributes;std::string mNamespace;
}

获得plugin name和version，用于辨识creator

const char* getPluginName() const;

const char* getPluginVersion() const;
 

通过PluginFieldCollection去创建plugin，将op需要的权重和参数一个一个取出来，然后调用上文提到的第一个构造函数：

const nvinfer1::PluginFieldCollection* getFieldNames();IPluginV2DynamicExt* MyCustomPlugin::createPlugin(const char* name, const nvinfer1::PluginFieldCollection* fc)
{int in_channel;std::vector<float> weight;std::vector<float> bias;const PluginField* fields = fc ->fields;for (int i = 0; i < fc ->nbFields; ++i){const char* attrName = fields[i].name;if (!strcmp(attrName, "in_channel")){ASSERT(fields[i].type == PluginFieldType::kINT32);in_channel = *(static_cast<const int32_t*>(fields[i].data));}else if (!strcmp(attrName, "weight")){ASSERT(fields[i].type == PluginFieldType::kFLOAT32);int size = fields[i].length;h_weight.reserve(size);const auto* w = static_cast<const float*>(fields[i].data);for (int j = 0; j < size; j++){h_weight.push_back(*w);w++;}}else if(！strcmp(attrName, "bias")){ASSERT(fields[i].type == PluginFieldType::kFLOAT32);int size = fields[i].length;h_bias.reserve(size);const auto* w = static_cast<const float*>(fields[i].data);for (int j = 0; j < size; j++){h_bias.push_back(*w);w++;}}}Weights weightWeights{DataType::kFLOAT, weights.data(), (int64_t) weight.size()};Weights biasWeights{DataType::kFLOAT, bias.data(), (int64_t) _bias.size()};MyCustomPlugin* obj = new MyCustomPlugin(in_channel, weightWeights, biasWeights);obj -> setPluginNamespace(mNamespace.c_str());return obj;
}

​PluginFieldCollection是成员变量，也会作为getFieldNames成员函数的返回类型。PluginFieldCollection的主要作用是传递这个插件op所需要的权重和参数，在实际的engine推理过程中并不使用，而在parse中会用到（例如caffe2trt、onnx2trt）

IPluginV2* createPlugin(const char* name, const PluginFieldCollection* fc) noexcept override;

这是创建插件的主要方法，其中 name 表示插件名称，fc 表示插件类的字段集合，通过 fc -> fields 方法我们可以拿到 PluginField 指针数组，每个 PluginField 对象包含了字段名称，字段类型，字段数据等信息，通过类型转换可以得到具体的字段数据并创建插件实例。

IPluginV2* deserializePlugin(const char* name, const void* serialData, size_t serialLength) noexcept override;

该方法用于反序列化插件，其中 name 表示插件名称，serialData 表示序列化数据，serialLength 表示序列化数据的字节大小

 

Dynamic Shape Plugin API

static implicit（隐式）batch vs dynamic explicit（显式） batch

1、根据输入个数和动态输入维度，获得第index个输出的动态维度

static

nvinfer1::Dims getOutputDimensions(int index, const nvinfer1::Dims* inputs, int nbInputDims);

 dynamic

nvinfer1::DimsExprs getOutputDimensions(int outputIndex, const nvinfer1::DimsExprs* inputs, int nbInputs, nvinfer1::IExprBuilder& exprBuilder);

2、enqueue和getWorkspaceSize多了输入输出的信息、维度类型等

static

int enqueue(int batchSize, const void* const* inputs, void** outputs, void *workspace, cudaStream_t stream);

dynamic

int enqueue(const nvinfer1::PluginTensorDesc* inputDesc, const nvinfer1::PluginTensorDesc* outputDesc, const void* const* inputs, void* const* outputs, void* workspace, cudaStream_t stream);

enqueue 在 TensorRT7 和 TensorRT8 中函数声明不同，升级 TRT 版本时注意调整

隐式和显式只会在plugin里面遇到。

静态shape的隐式batch意思是，这个batch的数值是enqueue传递进来的，剩下的维度都是确定，batch是动态的。静态shape中，TRT的推理中，batch是拿不到的，getOutputDimensions的inputs参数只会有CHW，是一个明确数值和维度的数组。对于enqueue函数，都是明确数值。

动态shape的显式batch是在getOutputDimensions函数中，inputs参数里面是NCHW，这几个维度的值都有。动态shape的输入维度数值都是不确定的，而输入输出之间的关系是通过exprBuilder来确定的，相当于一个四则运算器，做shape infer。对于enqueue函数，由于都是不确定的数值，需要输入输出的描述。

静态是shape信息是可以提前拿到的，而动态只有在运行的时候才能获得的。

PluginCreator注册

​ 在加载NvInferRuntimeCommon.h头文件时，会得到一个getPluginRegistry，这里类中包含了所有已经注册了的IPluginCreator，在使用的时候通过getPluginCreator函数得到相应的IPluginCreator。

REGISTER_TENSORRT_PLUGIN注册

your_Plugin.cpp

REGISTER_TENSORRT_PLUGIN(GeluPluginDynamicCreator);

API注册

需要在plugin/api/InferPlugin.cpp里添加初始化plugin的接口:

1) 添加头文件

2)添加初始化插件的接口

extern "C" {bool initLibNvInferPlugins(void* logger, const char* libNamespace){initializePlugin<nvinfer1::plugin::GridAnchorPluginCreator>(logger, libNamespace);initializePlugin<nvinfer1::plugin::NMSPluginCreator>(logger, libNamespace);initializePlugin<nvinfer1::plugin::ReorgPluginCreator>(logger, libNamespace);...return true;}
}

​ 其中initializePlugin函数执行了addPluginCreator函数：

template <typename CreatorType>
void initializePlugin(void* logger, const char* libNamespace)
{PluginCreatorRegistry::getInstance().addPluginCreator<CreatorType>(logger, libNamespace);
}

addPluginCreator函数又执行了getPluginRegistry() -> registerCreator对pluginCreator进行了注册，这样就完成注册任务了：

void addPluginCreator(void* logger, const char* libNamespace)
{...if(mRegistryList.find(pluginType) == mRegistryList.end()){bool status = getPluginRegistry()->registerCreator(*pluginCreator, libNamespace);if (status){mRegistry.push(std::move(pluginCreator));mRegistryList.insert(pluginType);verboseMsg = "Plugin creator registration succeeded - " + pluginType;}else{errorMsg = "Could not register plugin creator: " + pluginType;}}else{verboseMsg = "Plugin creator already registered - " + pluginType;}...
}

编译tensorrt

 htop

ranger

tensorrt文档

源码中 doc/pdf

 

plugin例子和原理

https://zhuanlan.zhihu.com/p/297002406

demo

TensorRT-8.0.1.6/samples/sampleUffPluginV2Ext

在每个函数里增加log printf()，程序运行时可以每个函数运行顺序

cd TensorRT-8.0.1.6/samples/sampleUffPluginV2Ext

make

cd ../../bin/

./sample_uff_plugin_v2_ext | tee log.txt

找不到动态库libnvinfer.so.6，export 动态库

没有序列化和反序列化

ctreator

补充

 build 时的log看出：

显性和隐性batch

TensorRT系列——explicit_batch vs implicit_batch_51CTO博客_tensorRt

显性batch

	// 动态维度，设置batch = 4context->setBindingDimensions(0, Dims4(4, 1, 112, 112));context->executeV2(buffers);

隐性batch

For implicit batch, use createNetwork or pass a 0 to createNetworkV2.

builder = trt.Builder(...)
builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/414878.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JeecgBoot积木报表AviatorScript表达式注入漏洞复现

JeecgBoot积木报表AviatorScript表达式注入漏洞复现

文章目录 漏洞信息漏洞复现环境搭建poc复现DNSLog验证 漏洞信息 影响组件&#xff1a;JimuReport积木报表 影响版本&#xff1a;v1.6.0 &#xff1c; JimuReport ≤ 1.7.8 漏洞名称&#xff1a;AviatorScript表达式注入漏洞 漏洞链接&#xff1a;积木报表软件存在AviatorSc…
阅读更多...
redis分布式是如何实现的（面试版）

redis分布式是如何实现的（面试版）

需要结合项目中的业务进行回答&#xff0c;通常情况下&#xff0c;分布式锁使用的场景&#xff1a;集群情况下的定时任务、抢单、幂等性场景。 下面先来看一个抢卷场景&#xff1a; 以下情况会出现超卖情况&#xff1a; 因为线程会交替执行&#xff0c;所以线程查询优惠价的数…
阅读更多...
在大语言模型中，生成文本的退出机制，受max_generate_tokens限制，并不是所有的问答都完整的跑完整个transformer模型

在大语言模型中，生成文本的退出机制，受max_generate_tokens限制，并不是所有的问答都完整的跑完整个transformer模型

目录 在大语言模型中，生成文本的退出机制，受max_generate_tokens限制，并不是所有的问答都完整的跑完整个transformer模型 1. max_generate_tokens的作用 2. 退出机制与Transformer模型 3. 实际应用中的影响 4. 结论 在大语言模型中，生成文本的退出机制，受max_genera…
阅读更多...
php法律事务综合管理系统Java律师事务所业务流程管理平台python法律服务与案件管理系统（源码、调试、LW、开题、PPT）

php法律事务综合管理系统Java律师事务所业务流程管理平台python法律服务与案件管理系统（源码、调试、LW、开题、PPT）

&#x1f495;&#x1f495;作者&#xff1a;计算机源码社 &#x1f495;&#x1f495;个人简介&#xff1a;本人 八年开发经验&#xff0c;擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等&#xff0c;大家有这一块的问题可以一起交流&…
阅读更多...
【解决方案】项目重构之如何使用 MySQL 替换原来的 MongoDB

【解决方案】项目重构之如何使用 MySQL 替换原来的 MongoDB

前言 在笔者 Java 后端开发的项目经历中&#xff0c;MySQL 和 MongoDB 都有使用过作为后端的数据库来对业务数据进行持久化&#xff0c;两者没有孰优孰劣之分&#xff0c;都可以在合适的场景下发挥出它们的优势。 今天要分享的是一个项目重构过程中如何将数据库选型由原来的 Mo…
阅读更多...
“线程池中线程异常后：销毁还是复用？”

“线程池中线程异常后：销毁还是复用？”

目录 一、验证execute提交线程池中 测试 结论 二、验证submit提交线程池中 测试 结论 三、源码解析 查看submit方法的执行逻辑 查看execute方法的执行逻辑 为什么submit方法&#xff0c;没有创建新的线程&#xff0c;而是继续复用原线程&#xff1f; 四、总结 需要说…
阅读更多...
【UML建模】时序图的那点事

【UML建模】时序图的那点事

【UML建模】时序图的那点事 开篇词&#xff1a;干货篇&#xff1a;1.概述2.时序图的组成元素2.1角色&#xff08;Actor&#xff09;&#xff1a;2.2生命线&#xff08;Lifeline&#xff09;&#xff1a;2.3消息&#xff08;Message&#xff09;&#xff1a;2.4激活条&#xff0…
阅读更多...
【Day07】

【Day07】

目录 MySQL-DQL- 基本查询 MySQL-DQL- 条件查询 MySQL-DQL- 聚合函数 MySQL-DQL- 分组查询 MySQL-DQL- 排序查询 MySQL-DQL- 分页查询 MySQL-DQL- 案例 MySQL-多表设计-一对多 MySQL-多表设计-一对多-外键约束 MySQL-多表设计-一对一&多对多 MySQL-多表设计-案例…
阅读更多...
学习日志8.30--防火墙NAT

学习日志8.30--防火墙NAT

目录 一、实验环境配置 二、配置防火墙静态NAT一对一 三、配置防火墙静态NAT多对多 四、配置防火墙NAT端口转换NAPT 五、防火墙smart-nat、easyip 六、防火墙三元组NAT 在学习过基于路由器的NAT网络地址转换&#xff0c;现在学习基于防火墙NAT的网络地址转换&#xff0c;…
阅读更多...
模型 7S分析法(麦肯锡)

模型 7S分析法(麦肯锡)

系列文章 分享 模型&#xff0c;了解更多&#x1f449; 模型_思维模型目录。组织全面诊断&#xff0c;战略协同优化。 1 7S分析法(麦肯锡)的应用 1.1 邮储银行的转型&#xff1a;基于麦肯锡7S模型的竞争力提升 中国邮储银行面临着激烈的金融行业竞争&#xff0c;为了迅速提升…
阅读更多...
# 利刃出鞘_Tomcat 核心原理解析（十一）-- Tomcat 附加功能 WebSocket -- 2

# 利刃出鞘_Tomcat 核心原理解析（十一）-- Tomcat 附加功能 WebSocket -- 2

利刃出鞘_Tomcat 核心原理解析&#xff08;十一&#xff09;-- Tomcat 附加功能 WebSocket – 2 一、Tomcat专题 - WebSocket - 案例 - 登录功能 1、在项目 dzs168_chat_room 中&#xff0c;导入 tomcat 项目依赖&#xff08; dzs168_chat_room/web/lib/ &#xff09; idea -…
阅读更多...
数据结构与算法---排序算法

数据结构与算法---排序算法

文章目录 排序选择排序冒泡排序插入排序 希尔排序归并排序快速排序桶排序计数排序基数排序堆排序 排序 排序是指将一组数据按照特定的规则或顺序进行排列&#xff0c;比如一个数组[1, 5, 2, 4, 3]按照从小到大的顺序排列后就是[1,2,3,4,5]。 排序算法&#xff08;Sorting alg…
阅读更多...
全球1km分辨率人口分布栅格数据

全球1km分辨率人口分布栅格数据

我们在《全国省市县三级“七普”人口数据分享》一文中&#xff0c;为你分享过全国人口数据。 现在再为你分享全球1km分辨率人口分布栅格数据&#xff0c;你可以在文末查看该数据的领取方法。 全球1km分辨率人口分布 人口空间分布数据是在各项研究中经常使用的数据&#xff0…
阅读更多...
新版IDEA配置前进和后退、打开资源管理器等快捷按钮

新版IDEA配置前进和后退、打开资源管理器等快捷按钮

新版IDEA&#xff0c;好像是IDEA2024版本开始就默认隐藏了工具条&#xff0c;这时一些很常用的快捷按钮&#xff0c;如前进、后退、打开资源管理器就无法使用。这里图文介绍&#xff0c;如何把这些配置出来。 具体操作如下&#xff1a; 1、选择 File / Settings(windows版)&am…
阅读更多...
解决jupyter notebook启动需要密码的问题

解决jupyter notebook启动需要密码的问题

解决方法 在运行界面输入 jupyter notebook list 之后运行界面会输出token值&#xff0c;将对应地址后的token复制到密码栏中即可
阅读更多...
14 大模型微调-KitTrain

14 大模型微调-KitTrain

1 介绍 如何降低占用的显存&#xff1a; 梯度累计&#xff1a;在一个完整的模型更新周期&#xff08;epoch&#xff09;中&#xff0c;将多个小批量&#xff08;mini-batches&#xff09;的数据的梯度进行累加&#xff0c;然后在一个较大的批量&#xff08;累积步数&#xff…
阅读更多...
测试框架到底是什么，如何定义？

测试框架到底是什么，如何定义？

测试框架的关键组件是什么&#xff1f; 测试执行引擎&#xff1a;协调测试的运行、管理序列和报告结果。 测试脚本存储库&#xff1a;存储将要执行的实际测试用例或脚本。 测试数据&#xff1a;测试执行所需的输入数据&#xff0c;可以是静态的、动态的或动态生成的。 存根…
阅读更多...
开店到经营，分贝通帮助连锁经营企业这样省钱

开店到经营，分贝通帮助连锁经营企业这样省钱

如果说大企业的经营核心是做好主营业务的大生意,那么对于连锁经营企业而言,线下门店的一个个小生意,其实也隐藏着“大学问”。费用支出方面,如何从细节处节流,让资金流呈现更良性循环,是连锁经营行业的重要课题。 1、开店前:选址BD全国跑,筐筐发票财务恼 2、日常经营:费用类目…
阅读更多...
PMP–冲刺–十大领域易考点三大项目流程敏捷中的角色职责与3个工件高频考点考试技巧

PMP–冲刺–十大领域易考点三大项目流程敏捷中的角色职责与3个工件高频考点考试技巧

文章目录 十大知识领域易考点--题干关键词一、整合管理二、范围管理三、进度管理四、成本管理五、质量管理六、资源管理七、沟通管理八、风险管理九、采购管理十、干系人管理 考试中的三大项目流程一 、变更流程二 、风险流程三 、收尾流程 敏捷中的角色职责与3个工件--题干关键…
阅读更多...
es映射配置（_mapping）

es映射配置（_mapping）

文章目录 1、创建映射字段2、查看映射关系 1、创建映射字段 PUT /索引库名/_mapping {"properties": {"字段名": {"type": "类型","index": true&#xff0c;"store": true&#xff0c;"analyzer": &q…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023