说实话网上很多关于叶子分类比赛的代码能取得的成绩都很好,但对于我这个业余人员太专业了，而且很多文章都有自己的想法，这让我这个仿写沐神代码的小菜鸡甚是头痛。
但好在我还是完成了，虽然结果并不是很好，但是如果跟着沐神走的同学在学习上应该没什么大问题。于是这篇文章的重点不是调参获得一个好成绩，而是把牵扯到的难点与思路好好的解释一下，方便同学们模仿。

竞赛地址:https://www.kaggle.com/c/classify-leaves

第一部分 加载并读取数据

难点:如何接受并处理图像数据–使用自定义函数进行处理

import os
import pandas as pd
import torch
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms
from PIL import Imageclass CustomDataset(Dataset):def __init__(self, csv_file, root_dir, transform=None):"""初始化数据集。Args:csv_file (str): 数据集的csv文件路径，其中包含图像的文件名和标签。root_dir (str): 图像文件的根目录路径。transform (callable, optional): 一个可选的转换函数，用来对图像进行处理。"""# 读取csv文件，并将数据存储到pandas DataFrame中。self.data_frame = pd.read_csv(csv_file)# 存储图像文件的根目录路径。self.root_dir = root_dir# 存储可选的图像转换函数。self.transform = transform# 将字符串类型的标签转换为整数索引，同时获取标签到整数索引的映射。self.data_frame['label'], self.label_mapping = pd.factorize(self.data_frame['label'])def __len__(self):"""返回数据集中的样本数。"""return len(self.data_frame)def __getitem__(self, idx):"""根据给定的索引idx获取对应的数据项。Args:idx (int): 数据项的索引。Returns:tuple: 包含图像和其对应标签的元组。"""# 如果idx是torch tensor类型，先转换为列表。if torch.is_tensor(idx):idx = idx.tolist()# 构建图像文件的完整路径。img_name = os.path.join(self.root_dir, self.data_frame.iloc[idx, 0])# 打开图像文件。image = Image.open(img_name)# 获取对应的标签（整数索引）。label = self.data_frame.iloc[idx, 1]# 如果有转换函数，应用之。if self.transform:image = self.transform(image)# 返回图像和标签。return image, labeldef get_num_classes(self):"""返回数据集中不同类别的总数。"""return len(self.label_mapping)transform = transforms.Compose([transforms.Resize(256),transforms.RandomRotation(20),transforms.RandomHorizontalFlip(),transforms.CenterCrop(224),transforms.ColorJitter(brightness=0.5, contrast=0.5, saturation=0.5),transforms.ToTensor(),transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])# 创建图像数据集实例
dataset = CustomDataset(csv_file='C:/Users/xiaox/pytorch/SucTest/train.csv',root_dir='C:/Users/xiaox/pytorch/SucTest',transform=transform)num_classes = dataset.get_num_classes()
print(f"Total number of classes: {num_classes}")# 数据加载和划分
from torch.utils.data import DataLoader, random_split
total_size = len(dataset)
train_size = int(total_size * 0.8)
test_size = total_size - train_size
train_dataset, test_dataset = random_split(dataset, [train_size, test_size])# 加载数据集
train_loader = DataLoader(train_dataset, batch_size=128, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=128, shuffle=True)

1.如何自定义Dataset以用来灵活处理图像数据[数据的变化]1.定义__init__函数(读取csv文件，图像文件，transform，标签编码) [相当于将csv文件读取到Dataframe数据类型中，将标签映射为整数] 2.定义__getitem__函数(获取图像并转换,与图像对应的标签的索引)[相当于返回一张被转换的图片 与图片对应的Label对应的整数索引]2.为什么使用类别索引将字符串映射成整数最重要的一点:神经网络中字符串无法转化为tensor类型，无法加入到net网络中3.为什么选择类别索引而不是独热编码[独热编码就是预测房价中对于各个字符串标签的处理方法]独热编码在交叉熵损失函数中不适用可拓展内容:
1.正常加载图像数据的其他方式(dataset,compose,data_loader的关系)
2.类别索引在做什么
3.train_iter迭代器在迭代时__getitem_在干什么

第二部分 定义网络

使用了Resnet50

from torch import nn
from d2l import torch as d2l
from torch.nn import functional as F
import torchvision.models as modelsmodel = models.resnet50(weights=None)  # 使用预训练的ResNet-50# 首先获取全连接层的输入特征数量
num_ftrs = model.fc.in_features# 使用Dropout层和新的全连接层创建一个新的Sequential模块
model.fc = nn.Sequential(nn.Dropout(0.5),nn.Linear(num_ftrs, 176)
)

第三部分 损失函数,验证函数,优化器

这里我使用了Adam作为优化器

#这是评估模型平均准确率的函数
def evaluate_accuracy_gpu(net, data_iter, device=None): #@save"""使用GPU计算模型在数据集上的精度"""if isinstance(net, nn.Module):#1net.eval()  # 设置为评估模式#2if not device:device = next(iter(net.parameters())).device# 正确预测的数量，总预测的数量#3metric = d2l.Accumulator(2)#4## 4.1with torch.no_grad():## 4.2for X, y in data_iter:### 4.2.1if isinstance(X, list):# BERT微调所需的（之后将介绍）X = [x.to(device) for x in X]else:X = X.to(device)### 4.2.2y = y.to(device)### 4.2.3 注意:d2l原有库可能表示:acc = d2l.accuracy(net(X), y) metric.add(acc * y.numel(), y.numel())print(d2l.accuracy(net(X), y))metric.add(d2l.accuracy(net(X), y), y.numel())#5return metric[0] / metric[1]#@save
def train_ch6(net, train_iter, test_iter, num_epochs, lr, device,weight_decay):"""用GPU训练模型(在第六章定义)"""#1def init_weights(m):if type(m) == nn.Linear or type(m) == nn.Conv2d:nn.init.xavier_uniform_(m.weight)net.apply(init_weights)print('training on', device)#2net.to(device)#更改了优化器#optimizer = torch.optim.SGD(net.parameters(), lr=lr)optimizer = torch.optim.Adam(net.parameters(), lr=lr, weight_decay=weight_decay)#4loss = nn.CrossEntropyLoss()#5animator = d2l.Animator(xlabel='epoch', xlim=[1, num_epochs],legend=['train loss', 'train acc', 'test acc'])#6timer, num_batches = d2l.Timer(), len(train_iter)#7for epoch in range(num_epochs):# 训练损失之和，训练准确率之和，样本数#7.1metric = d2l.Accumulator(3)#7.2net.train()#7.3for i, (X, y) in enumerate(train_iter):timer.start()optimizer.zero_grad()X, y = X.to(device), y.to(device)y_hat = net(X)l = loss(y_hat, y)l.backward()optimizer.step()with torch.no_grad():#7.4metric.add(l * X.shape[0], d2l.accuracy(y_hat, y), X.shape[0])timer.stop()#7.5train_l = metric[0] / metric[2]train_acc = metric[1] / metric[2]#7.6if (i + 1) % (num_batches // 5) == 0 or i == num_batches - 1:animator.add(epoch + (i + 1) / num_batches,(train_l, train_acc, None))test_acc = evaluate_accuracy_gpu(net, test_iter)animator.add(epoch + 1, (None, None, test_acc))print(f'loss {train_l:.3f}, train acc {train_acc:.3f}, 'f'test acc {test_acc:.3f}')print(f'{metric[2] * num_epochs / timer.sum():.1f} examples/sec 'f'on {str(device)}')

第四部分 训练

## 开始训练
lr = 1e-4
batch_size = 128
num_epochs = 20
weight_decay = 1e-3train_ch6(model, train_loader, test_loader, num_epochs, lr, d2l.try_gpu(),weight_decay)

可能出现的bug

CUDA错误
1.检查数据类型与形状是否合理(断言测试)
2.检查网络输出种类是否正常(获取类别个数)
3.检查网络是否正常(前向输出测试)
4.检查网络每一层是否正常(循环测试)首先:可以尝试重启,有可能是把内存用完了,重启试一下在进行下面的排查

拓展内容

正常加载图像数据的其他方式

#### 当图片所在文件夹代表一个标签时使用或数据集有对应的加载函数
import torch 
from torchvision import transforms,datasets
from torch import nn
from d2l import torch as d2l# 0.定义载入图像的格式 AlexNet的输入是227
transform = transforms.Compose([transforms.Resize(256),                    # 将图像缩放，使最短边为256像素transforms.CenterCrop(227),                # 从图像中心裁剪224x224大小的图像transforms.ToTensor(),                     # 将图像转换为PyTorch张量transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 归一化处理
])# 例子:读取图像数据(图片所在文件夹代表一个标签)
dataset = datasets.ImageFolder(root='C:\\Users\\xiaox\\pytorch\\SucTest\\img\\', transform=transform)# 例子：加载 CIFAR-10 数据集(数据集有对应的加载函数)
train_set = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)# 2.定义迭代器
train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

类别索引在做什么

## 标签编码定义
在处理分类问题时，尤其是在使用机器学习或深度学习模型时，通常需要将文本或字符串类型的标签（labels）转换成整数索引。这是因为大多数算法都优化以处理数值数据，而不是文本数据。在你的代码中，这个转换是通过 Pandas 的 `factorize` 函数实现的。### `pd.factorize()`
这个函数用于将一个具有重复值的数组转换为一个整数数组，其中每个唯一值都被分配一个整数标识符。它还返回一个包含原始数据中唯一值的数组，这可以作为标签到整数的映射。#### 示例解释假设你有一个CSV文件，其中包含如下的数据，其中每行代表一个样本，第一列是图像的文件名，第二列是图像的标签（如动物种类）：```
image_name, label
cat001.jpg, cat
dog001.jpg, dog
cat002.jpg, cat
bird001.jpg, bird
```使用 `pd.factorize()` 函数处理 `label` 列时，会发生以下操作：labels, label_mapping = pd.factorize(['cat', 'dog', 'cat', 'bird'])
```结果：
- `labels` 会是 `[0, 1, 0, 2]`。这里，'cat' 被映射为 0，'dog' 被映射为 1，'bird' 被映射为 2。注意，第一个出现的标签（'cat'）是第一个被赋予新索引的。
- `label_mapping` 会是 `['cat', 'dog', 'bird']`，这是一个数组，其中索引位置对应于在 `labels` 中分配给每个唯一标签的整数。通过这种方式，原始的字符串标签被转换为整数，使得它们可以更容易地被模型处理，同时你还保持了一个从整数索引回到原始标签的映射，这在模型预测结束后，将预测的整数标签转换回人类可读的标签时非常有用。

train_iter迭代器在迭代时__getitem_在干什么

for X,y in train_iter:做了什么DataLoader 创建一个迭代器。每次迭代时，从数据集（通过 Dataset 对象）中请求下一批数据。
(既向dataset对象随即指定batch_size个索引,来获取数据)数据集的 __getitem__ 方法按索引获取数据和标签，这通常是随机访问，支持数据的随机打乱和批处理。
(dataset通过idx与__getitem__获得指定的数据然后返回给dataloader直到所有的batch_size个数据都被返回)