项目概述
本项目旨在通过深度学习技术，特别是利用卷积神经网络（Convolutional Neural Networks, CNNs）中的ResNeXt50架构，实现对中医舌象图像的自动分类。该系统不仅能够识别不同的舌苔类型，还能够在PyQt5框架下提供一个直观的图形用户界面（GUI），使得医生或患者能够方便地上传舌象照片并获取分析结果。
技术栈
- 深度学习框架：采用PyTorch或其他支持ResNeXt50的框架来构建模型。
- 模型选择：使用ResNeXt50作为主干网络，这是一种改进版的残差网络（ResNet），具有更强大的特征提取能力和更高的准确率。
- 图形用户界面：使用PyQt5来开发应用程序的前端，提供一个易于使用的交互界面。
- 后端逻辑：通过Python实现图像预处理、模型加载、预测等功能。
主要功能
- 图像输入：用户可以通过界面上传舌象照片。
- 实时预测：上传后，系统会自动进行图像预处理，并使用训练好的ResNeXt50模型进行分类预测。
- 可视化结果：展示预测过程中的损失曲线、混淆矩阵以及准确率（Accuracy）、精确度（Precision）等评价指标。
- 分类解释：除了给出最终的分类结果外，系统还会根据预设的知识库提供相应的症状描述和可能的诊断建议。
训练过程
- 数据准备：收集大量的中医舌象图片，并根据舌苔的颜色、厚度等特征进行标签标注。
- 模型训练：使用标注好的数据集训练ResNeXt50模型，优化参数以提高分类性能。
- 评估指标：在验证集上评估模型的表现，调整超参数，直到达到满意的性能。
应用场景
- 医疗辅助：为中医诊所提供一种辅助诊断工具，帮助医生快速判断患者的舌象情况。
- 健康咨询：普通用户也可以利用此工具进行自我检查，了解自己的健康状况。
未来展望
- 多模态融合：考虑将舌象识别与其他生物特征识别技术相结合，以提供更加全面的健康评估。
- 移动端应用：开发移动应用程序版本，使得更多人能够随时随地使用这一服务。
项目目录结构
1project_root/
2├── src/
3│ ├── main.py
4│ ├── gui.py
5│ ├── model.py
6│ ├── utils.py
7├── data/
8│ ├── train/
9│ ├── test/
10├── checkpoints/
11├── requirements.txt
12└── README.md主程序 main.py
这是程序的入口点，负责初始化GUI并启动事件循环。
1from PyQt5.QtWidgets import QApplication
2from gui import MainWindow
3
4if __name__ == "__main__":
5 app = QApplication([])
6 window = MainWindow()
7 window.show()
8 app.exec_()图形用户界面 gui.py
使用PyQt5创建的应用程序窗口。
1from PyQt5.QtWidgets import QMainWindow, QPushButton, QLabel, QVBoxLayout, QWidget, QFileDialog
2from PyQt5.QtGui import QPixmap
3from model import load_model, predict_image
4import os
5
6class MainWindow(QMainWindow):
7 def __init__(self):
8 super().__init__()
9 self.setWindowTitle("中医舌苔分类系统")
10 self.setGeometry(100, 100, 600, 400)
11
12 # 初始化UI组件
13 self.image_label = QLabel(self)
14 self.load_button = QPushButton('选择图片', self)
15 self.result_label = QLabel(self)
16
17 layout = QVBoxLayout()
18 layout.addWidget(self.image_label)
19 layout.addWidget(self.load_button)
20 layout.addWidget(self.result_label)
21
22 container = QWidget()
23 container.setLayout(layout)
24 self.setCentralWidget(container)
25
26 # 按钮点击事件
27 self.load_button.clicked.connect(self.load_image)
28
29 def load_image(self):
30 options = QFileDialog.Options()
31 file_name, _ = QFileDialog.getOpenFileName(self,"QFileDialog.getOpenFileName()", "","Images (*.png *.jpg)", options=options)
32 if file_name:
33 pixmap = QPixmap(file_name)
34 self.image_label.setPixmap(pixmap)
35 result = predict_image(file_name)
36 self.result_label.setText(f"预测结果: {result}")模型定义 model.py
这里包含了模型加载和图像预测的逻辑。
1import torch
2import torchvision.transforms as transforms
3from PIL import Image
4import os
5
6def load_model():
7 # 加载预训练的ResNeXt50模型
8 model = torch.hub.load('pytorch/vision:v0.9.0', 'resnext50_32x4d', pretrained=True)
9 # 修改最后一层以适应分类任务
10 num_ftrs = model.fc.in_features
11 model.fc = torch.nn.Linear(num_ftrs, num_classes) # num_classes 是类别数
12 model.load_state_dict(torch.load(os.path.join('checkpoints', 'best_model.pth'), map_location=torch.device('cpu')))
13 return model
14
15def predict_image(image_path):
16 # 加载模型
17 model = load_model()
18 model.eval()
19
20 # 定义图像预处理步骤
21 preprocess = transforms.Compose([
22 transforms.Resize(256),
23 transforms.CenterCrop(224),
24 transforms.ToTensor(),
25 transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
26 ])
27
28 # 加载并预处理图像
29 image = Image.open(image_path)
30 input_tensor = preprocess(image)
31 input_batch = input_tensor.unsqueeze(0)
32
33 # 预测
34 with torch.no_grad():
35 output = model(input_batch)
36 _, predicted_idx = torch.max(output, 1)
37
38 # 返回预测类别
39 return predicted_idx.item()工具函数 utils.py
这里可以包含一些辅助函数，比如读取数据集、保存模型等。
1import torch
2import os
3
4def save_checkpoint(model, path):
5 torch.save(model.state_dict(), path)
6
7def load_data(data_dir):
8 # 加载数据集的代码
9 pass这个示例仅提供了一个基础框架，你需要根据实际情况填充更多的细节，比如添加更多的功能、处理异常情况、优化用户体验等。此外，还需要确保所有依赖项都已安装，并正确配置路径。
