一、用法
torch.nn.ReLU
- 图像处理中的应用：在图像处理任务中，ReLU 激活函数能够增强特征提取的能力，使网络更好地捕捉图像的细节和边缘。这是因为 ReLU 对大部分负数响应为零，能在一定程度上减少网络计算量，并对特征层起到稀疏化的效果，避免信息的过度平滑。
torch.nn.Sigmoid
- 图像处理中的应用：在图像分类或二分类的场景中，Sigmoid 是常用的激活函数。尤其是在图像分割的二值掩膜生成中，Sigmoid 可以用于二分类（例如前景与背景的划分），以确定每个像素属于前景或背景的概率。
二、代码实现
对于inplace的解释（ inplace 默认为 False）：
ReLU 的简单使用
import torch
from torch import nn
from torch.nn import ReLUinput = torch.tensor([[-1,1],[-0.5,5]])
input = torch.reshape(input,(1,1,2,2))class Mary(nn.Module):def __init__(self):super(Mary,self).__init__()self.relu1 = ReLU()def forward(self,x):x = self.relu1(x)return x
Yorelee = Mary()output = Yorelee(input)
print(output)
输出：
tensor([[[[0., 1.],[0., 5.]]]])
Sigmoid 的简单使用
import torch
import torchvision
from torch import nn
from torch.nn import Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10("datasets",False,torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset,64)class Mary(nn.Module):def __init__(self):super(Mary,self).__init__()self.sigmoid1 = Sigmoid()def forward(self,x):x = self.sigmoid1(x)return x
Yorelee = Mary()writer = SummaryWriter("logs")step = 0
for data in dataloader:img,target = datawriter.add_images("input",img,step)output = Yorelee(img)writer.add_images("output",output,step)step += 1
writer.close()
输出：
