【2023年MathorCup高校数学建模挑战赛-大数据竞赛】赛道A:基于计算机视觉的坑洼道路检测和识别 python 代码解析

【2023年MathorCup高校数学建模挑战赛-大数据竞赛】赛道A:基于计算机视觉的坑洼道路检测和识别 python 代码解析

1 题目

坑洼道路检测和识别是一种计算机视觉任务,旨在通过数字图像(通常是地表坑洼图像)识别出存在坑洼的道路。这对于地.质勘探、航天科学和自然灾害等领域的研究和应用具有重要意义。例如,它可以帮助在地球轨道上识别坑洼,以及分析和模拟地球表面的形态。

在坑洼道路检测任务中,传统的分类算法往往不能取得很好的效果,因为坑洼图像的特征往往是非常复杂和多变的。然而,近年来深度学习技术的发展,为坑洼道路检测提供了新的解决方案。

深度学习具有很强的特征提取和表示能力,可以从图像中自动提取出最重要的特征。在坑洼图像分类任务中,利用深度学习可以提取到坑洼的轮廓、纹理和形态等特征,并将其转换为更容易分类的表示形式。同时,还可以通过迁移学习和知识蒸馏等技术进一步提升分类性能。例如,一些研究者使用基于深度学习的方法对路图像进行分类,将其分为正常、坑洼两类;另外,一些研究者还使用基于迁移学习的方法,从通用的预训练模型中学习坑洼图像的特征,并利用这些特征来分类坑洼图像。

本赛题希望通过对已标记的道路图像进行分析、特征提取与建模,从而对于一张新的道路图像能够自动识别坑洼状态。具体任务如下:
初赛问题
问题1: 结合给出的图像文件,提取图像特征,建立一个识别率高、速度快、分类准确的模型,用于识别图像中的道路是正常或者坑洼。
问題2: 对问题1中构建的模型进行训练,并从不同维度进行模型评估。
问题3: 利用已训练的模型识别测试集中的坑洼图像,并将识别结果放在“test_result.csv’'中。(注:测试集将在竞赛结束前48小时公布下载链接,请及时关注报名网站)

附件说明:
附件1:data.zip;
训练数据集,文件中共包含301张图片。
文件名中包含“normal’'字符表示正常道路,否则为坑洼道路。

在这里插入图片描述

图1:正常道路示例

在这里插入图片描述

图2:坑洼道路示例

附件2:test_result.csv;
测试结果提交文件,文件中表头保持不变,数据仅做示例,提交的时候删除后重新填写,字段描述见下表。
表1:test_result表字段说明

字段说明
fnames测试图片的文件名
label分类标识:填写 1 和 0,1 表示正常道路 ;0 表示坑洼道路

附件3:test_data.zip

测试数据集,文件中包含几千张图片,具体数量以公布的数据为准。

测试数据集在竞赛结束前48小时公布下载链接,请及时关注报名网站。

2 思路分析

首先,训练集只有301张图片,说明这个一个小样本问题。按照以下流程去建立baseline,之后再在每个部分,逐步优化。

(1)数据预处理:

  • 对图像进行尺寸调整:由于深度学习模型对输入图像尺寸要求较为严格,可以使用图像处理算法(如OpenCV库中的resize函数)将图像统一缩放到固定的尺寸。以下例子,统一大小 为224*224。
  • 数据增强:可以使用图像增强算法(如OpenCV库中的平移、旋转、翻转等函数)对图像进行增强,以扩充样本数量和增加数据多样性。

(2)特征提取:

  • 基于传统计算机视觉算法的特征提取:可以使用传统的图像特征提取算法(如SIFT、HOG、LBP等)来提取图像的局部或全局特征,用于训练深度学习模型。
  • 基于深度学习模型的特征提取:可以使用预训练的卷积神经网络(如VGG、ResNet、Inception等)提取图像的高层特征,将这些特征作为输入,用于训练深度学习模型。以下是VGG提取特征为例,见3.3部分。

(3)可视化分析数据集:

  • 使用图像处理算法(如OpenCV库中的imshow函数)显示图像:可以随机选择一些正常道路和坑洼道路的样本图像,并使用图像处理算法将它们可视化显示出来,以了解数据集的特点和难点。
  • 绘制直方图、散点图等统计图表:可以通过统计学手段,如绘制正常道路和坑洼道路图像像素的直方图、颜色特征的散点图等,来观察数据集的分布情况,判断图像特征是否有区分度。

(4)建立深度学习模型:

  • baseline使用卷积神经网络(如VGG、ResNet、Inception等)、自编码器、循环神经网络等,并根据数据集的特点进行微调或迁移学习。
  • 其他前沿的图像分类技术包括
    • 迁移学习:将在大规模数据集上训练好的模型(如ImageNet)迁移到小样本问题上,通过微调或特征提取来解决分类问题。
    • 数据增强:使用图像增强算法(如旋转、平移、翻转、裁剪等)对样本进行扩充,增加样本数量和多样性。
    • 生成对抗网络(GAN):通过合成样本数据来增加样本数量,用GAN生成器生成逼真的样本来扩充数据。
    • 元学习(Meta Learning):学习如何从有限样本中较快地学习和泛化,通过学习到的先验知识来优化样本的利用效率。
    • 半监督学习:利用少量的有标签样本和大量的无标签样本进行训练,提升分类准确率。
    • 主动学习(Active Learning):利用主动选择和标注关键样本,以降低标注成本并提高模型性能。
    • 小样本学习方法:针对小样本问题提出专门的算法和方法,如Few-shot Learning、One-shot Learning、Zero-shot Learning等。
    • 增量学习(Incremental Learning):逐步学习和增量更新模型,以适应新样本的引入和旧样本的遗忘。
    • 模型压缩和量化:通过模型剪枝、量化和蒸馏等技术,减少模型参数和计算量,使其适应小样本问题。
    • 集成学习:将多个分类器的结果进行结合,提高分类准确率和鲁棒性,如bagging、boosting等。

(5)模型评估和优化:

  • 采用交叉验证方法对模型进行评估:可以使用k折交叉验证等方法对模型进行评估,得到准确率、召回率等指标,从而判断模型的性能。
  • 对模型进行调参和优化:可以尝试不同的损失函数、优化器、学习率等超参数,以及增加数据集规模、减少模型复杂度等方式来优化深度学习模型。

3 python代码实现

3.1 数据预处理

import os
import numpy as np
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Activation, Dropout, Flatten, Dense
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.layers import Convolution2D, MaxPooling2D, ZeroPadding2D
from tensorflow.keras import optimizers
from tensorflow.keras import applications
from tensorflow.keras.models import Model
from IPython.display import Image
from tensorflow.keras.preprocessing.image import ImageDataGenerator, array_to_img, img_to_array, load_img
import os
from sklearn.model_selection import train_test_split
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import pandas as pd
from PIL import Image
import os
# 将图片统一像素格式,并分别存储到文件夹中# 创建文件夹
processed_normal_dir = "data/processed_normal"
processed_wavy_dir = "data/processed_wavy"
os.makedirs(processed_normal_dir, exist_ok=True)
os.makedirs(processed_wavy_dir, exist_ok=True)# 处理图像
data_dir = "data"
for filename in os.listdir(data_dir):img_path = os.path.join(data_dir, filename)img = Image.open(img_path)# 对图像进行缩放img = img.resize((224, 224))# 决定图像应该存储在哪个文件夹中if "normal" in filename:save_dir = processed_normal_direlse:save_dir = processed_wavy_dir# 保存图像save_path = os.path.join(save_dir, filename)img.save(save_path)

(2)数据加载

总共301张图片,选择30张图片作为测试集,1张图片单独拿出来测试,否则不好整数划分。

img_width, img_height = 224, 224
num_classes = 2
batch_size = 10datagen = ImageDataGenerator(rescale=1./255)X = []
y = []
normal_dir = "data/processed_normal"
wavy_dir = "data/processed_wavy"for img_name in os.listdir(normal_dir):img_path = os.path.join(normal_dir, img_name)X.append(img_path)y.append('0')
for img_name in os.listdir(wavy_dir):img_path = os.path.join(wavy_dir, img_name)X.append(img_path)y.append('1')X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.1, random_state=42)
train_df = pd.DataFrame(data={'filename': X_train, 'class': y_train})
val_df = pd.DataFrame(data={'filename': X_val, 'class': y_val})train_generator = datagen.flow_from_dataframe(...略validation_generator = datagen.flow_from_dataframe(...

Found 270 validated image filenames belonging to 2 classes.
Found 30 validated image filenames belonging to 2 classes.

3.2 卷积模型训练

(1)定义卷积网络

model = Sequential()
model.add(Convolution2D(32, (3, 3), input_shape=(img_width, img_height,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))model.add(Convolution2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))model.add(Convolution2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))model.compile(loss='binary_crossentropy',optimizer='rmsprop',metrics=['accuracy'])

(2)模型训练

epochs = 20
train_samples = 270
validation_samples = 30
batch_size =10
model.fit_generator(train_generator,steps_per_epoch=train_samples // batch_size,epochs=epochs,validation_data=validation_generator,validation_steps=validation_samples// batch_size,)model.save_weights('models/basic_cnn_20_epochs.h5')
model.load_weights('models_trained/basic_cnn_30_epochs.h5')

在这里插入图片描述

(3)模型验证

# 将多余出来的一张图片拿出来预测
img = load_img('data/normal1.jpg')
x = img_to_array(img)
prediction = model.predict(x.reshape((1,img_width, img_height,3)),batch_size=10, verbose=0)
print(prediction)

0

model.evaluate_generator(validation_generator, validation_samples)

[0.7280968427658081, 0.8999999761581421]

3.3 数据增强训练

(1)数据增强

通过对训练集应用随机变换,用新的未见过的图像人为地增强了的数据集。减少过拟合,并为我们的网络提供更好的泛化能力。

train_datagen_augmented = ImageDataGenerator(rescale=1./255,        # normalize pixel values to [0,1]shear_range=0.2,       # randomly applies shearing transformationzoom_range=0.2,        # randomly applies shearing transformationhorizontal_flip=True)  # randomly flip the imagestrain_generator_augmented = train_datagen_augmented.flow_from_dataframe(...

(2)模型训练

model.fit_generator(train_generator_augmented,steps_per_epoch=train_samples // batch_size,epochs=epochs,validation_data=validation_generator,validation_steps=validation_samples // batch_size,)

在这里插入图片描述

(3)模型评估

model.save_weights('models/augmented_20_epochs.h5')
#model.load_weights('models_trained/augmented_30_epochs.h5')model.evaluate_generator(validation_generator, validation_samples)

[0.2453145980834961, 0.8666666746139526]

3.4 预训练模型

通过使用通用的、预训练的图像分类器,可以在性能和效率方面超越以前的模型。这个例子使用了VGG16,一个在ImageNet数据集上训练的模型,该数据集包含了被分类为1000个类别的数百万张图像。

(1)加载VGG模型的权重

model_vgg =

train_generator_bottleneck = datagen.flow_from_dataframe(dataframe=train_df,directory=None,x_col='filename',y_col='class',target_size=(img_width, img_height),batch_size=batch_size,class_mode='binary')validation_generator_bottleneck = datagen.flow_from_dataframe(dataframe=val_df,directory=None,x_col='filename',y_col='class',target_size=(img_width, img_height),batch_size=batch_size,class_mode='binary')

(2)用模型提取特征

bottleneck_features_train = model_vgg.predict_generator(train_generator_bottleneck, train_samples // batch_size)
np.save(open('models/bottleneck_features_train.npy', 'wb'), bottleneck_features_train)bottleneck_features_validation = model_vgg.predict_generator(validation_generator_bottleneck, validation_samples // batch_size)
np.save(open('models/bottleneck_features_validation.npy', 'wb'), bottleneck_features_validation)

(3)读取预处理的数据

train_data = np.load(open('models/bottleneck_features_train.npy', 'rb'))
train_labels = np.array([0] * (train_samples // 2) + [1] * (train_samples // 2))validation_data = np.load(open('models/bottleneck_features_validation.npy', 'rb'))
validation_labels = np.array([0] * (validation_samples // 2) + [1] * (validation_samples // 2))

(4)全连接网络模型训练

model_top = Sequential()
model_top.add(Flatten(input_shape=train_data.shape[1:]))
model_top.add(Dense(256, activation='relu'))
model_top.add(Dropout(0.5))
model_top.add(Dense(1, activation='sigmoid'))model_top.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy'])model_top.fit(train_data, train_labels,epochs=epochs, batch_size=batch_size,validation_data=(validation_data, validation_labels))model_top.save_weights('models/bottleneck_20_epochs.h5')

在这里插入图片描述

(5)模型评估

model_top.evaluate(validation_data, validation_labels)

[2.3494818210601807, 0.4333333373069763]

3.5 微调预训练模型

在卷积模型之上建立一个分类器模型。为了进行微调,从一个经过充分训练的分类器开始。将使用早期模型中的权重。然后把这个模型加到卷积基上

weights_path = 'weight/vgg16_weights_tf_dim_ordering_tf_kernels_notop.h5'
model_vgg = applications.VGG16(include_top=False, weights=weights_path, input_shape=(224, 224, 3))top_model = Sequential()
top_model.add(Flatten(input_shape=model_vgg.output_shape[1:]))
top_model.add(Dense(256, activation='relu'))
top_model.add(Dropout(0.5))
top_model.add(Dense(1, activation='sigmoid'))top_model.load_weights('models/bottleneck_20_epochs.h5')#model_vgg.add(top_model)
model = Model(inputs = model_vgg.input, outputs = top_model(model_vgg.output))
# 微调,只需要训练几层。这一行将设置前25层(直到conv块)为不可训练的。for layer in model_vgg.layers[:15]:layer.trainable = Falsemodel.compile(loss='binary_crossentropy',optimizer=optimizers.SGD(lr=1e-4, momentum=0.9),metrics=['accuracy'])

数据增强

# 数据增强
train_datagen = ImageDataGenerator(rescale=1./255,shear_range=0.2,zoom_range=0.2,horizontal_flip=True)test_datagen = ImageDataGenerator(rescale=1./255)train_generator = datagen.flow_from_dataframe(...略validation_generator = datagen.flow_from_dataframe(...

模型微调

# 微调模型
model.fit_generator(train_generator,steps_per_epoch=train_samples // batch_size,epochs=epochs,validation_data=validation_generator,validation_steps=validation_samples // batch_size)model.save_weights('models/finetuning_20epochs_vgg.h5')
model.load_weights('models/finetuning_20epochs_vgg.h5')

在这里插入图片描述

模型评估

model.evaluate_generator(validation_generator, validation_samples)

[nan, 0.8666666746139526]

最后这种方式模型不收敛,说明这个网络设置过程中存在不合理的地方,比如冻结参数的层数,使用的网络模型,是否需要数据增强等因素都会影响。提供这种方式,有待同学们去改进。

4 下载完整程序

以上代码是不完整的,需要完整的请下载后源文件
包括训练好的模型和权重文件

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/178674.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

框架安全-CVE 复现Apache ShiroApache Solr漏洞复现

文章目录 服务攻防-框架安全&CVE 复现&Apache Shiro&Apache Solr漏洞复现中间件列表常见开发框架Apache Shiro-组件框架安全暴露的安全问题漏洞复现Apache Shiro认证绕过漏洞(CVE-2020-1957)CVE-2020-11989验证绕过漏洞CVE_2016_4437 Shiro-…

分享者 - 携程旅游创作者搬砖项目图文教程

大家好!携程这个出行旅游平台相信大家都不陌生吧。 每天都有大量的旅客在里面浏览攻略,寻找灵感和旅游建议。 那么,我们的项目就是把一些优质的小红书平台上的旅游攻略或作品,经过处理后搬运到携程平台上发布。 这个项目如何操作呢…

06_es分布式搜索引擎2

一、DSL查询文档 1.DSL查询分类 ①查询所有:match_all ②全文检索:利用分词器对用户输入的内容分词,倒排索引去匹配 match_query multi_match_query ③精确查询:根据精确词条查找数据,查找的是keyword,数值,日期,b…

掌握口才与演讲技巧,让你职场中脱颖而出

在职场竞争日趋激烈的今天,口才和演讲能力已经成为一个人成功的重要标志之一。掌握了优秀的口才与演讲技巧,不仅可以帮助你在工作中更好地表达自己和传达信息,同时也可以让你在同事和上级心中留下深刻印象,从而在职场中脱颖而出&a…

JVM修炼印记之初识

文章目录 JVM认识JVM的功能常见JVMHotSpot的发展历程 JVM认识 Java虚拟机(Java Virtual Machine,JVM)是一个用于执行Java字节码的虚拟计算机。它是Java语言的核心,可以在不同的操作系统和硬件平台上运行Java程序。 JVM负责将Java…

C++——类和对象(中)完结

赋值运算符重载 运算符重载 C 为了增强代码的可读性引入了运算符重载 , 运算符重载是具有特殊函数名的函数 ,也具有其 返回值类型,函数名字以及参数列表,其返回值类型与参数列表与普通的函数类似。 函数名字为:关键…

[GDOUCTF 2023]<ez_ze> SSTI 过滤数字 大括号{等

SSTI模板注入-中括号、args、下划线、单双引号、os、request、花括号、数字被过滤绕过(ctfshow web入门370)-CSDN博客 ssti板块注入 正好不会 {%%}的内容 学习一下 经过测试 发现过滤了 {{}} 那么我们就开始吧 我们可以通过这个语句来查询是否存在ss…

【实战Flask API项目指南】之六 数据库集成 SQLAlchemy

实战Flask API项目指南之 数据库集成 本系列文章将带你深入探索实战Flask API项目指南,通过跟随小菜的学习之旅,你将逐步掌握 Flask 在实际项目中的应用。让我们一起踏上这个精彩的学习之旅吧! 前言 在上一篇文章中,我们实现了…

【Linux笔记】Linux进程概念与进程状态

【Linux笔记】Linux进程概念与进程状态 一、什么是进程1.1、进程的概念1.2、进程的描述 二、关于进程的一些基本操作2.1、查看进程2.2、杀进程2.3、获取进程id2.4、创建进程 三、进程状态3.1、普适操作系统中的进程状态3.2、具体到Linux操作系统中的进程状态 四、僵尸进程和孤儿…

SpringMVC简单介绍与使用

目录 一、SpringMVC介绍 二、SpringMVC作用 三、SpringMVC核心组件 四、SpringMVC快速体验 一、SpringMVC介绍 Spring Web MVC是基于Servlet API构建的原始Web框架,从一开始就包含在Spring Framework中。正式名称“Spring Web MVC”来自其源模块的名称&#xff…

数据库概论

目录 什么是数据库数据库的概念模型层次模型网状模型关系模型 为什么要使用关系型数据库完整性约束结构化查询语言SQL基本语句 什么是数据库 考虑这些问题:当用户使用软件计算时,如果想要保存计算结果或者想选择不同的题目,是否要保存、读取…

多特征线性回归模型

一、预测目标和原始数据展示 (一)预测目标: 通过Economy..GDP.per.Capita.(GDP)和Freedom预测Happiness.Score (二)部分数据展示: 特征有很多,本文研究Economy..GDP.per.Capita.(GDP)和Freedom,也就是用Economy..GDP.per.Capita.(GDP)和Freedom预测Happ…

[计算机提升] Windows系统软件:娱乐类

3.3 系统软件:娱乐类 3.3.1 Windows Media Player:dvdplay Windows Media Player是Windows操作系统自带的多媒体播放软件,用于播放和管理电脑中的音频和视频文件。它提供了以下功能: 播放音频和视频文件:Windows Med…

OpenGL_Learn04

我这边并不是教程&#xff0c;只是学习记录&#xff0c;方便后面回顾&#xff0c;代码均是100%可以运行成功的。 1. 渐变三角形 #include <glad/glad.h> #include <GLFW/glfw3.h>#include <iostream> #include <cmath>void framebuffer_size_callba…

修改element组件库的el-input-number的图标

官方样式&#xff1a; 我希望组件的图标改成一对上下是三角形的图标&#xff1a; 直接复制以下代码&#xff1a; ::v-deep .el-icon-arrow-down:before {content: "\e790"; } ::v-deep .el-icon-arrow-up:before {content: "\e78f"; } 完成&#xff01…

2021-arxiv-GPT Understands, Too

2021-arxiv-GPT Understands, Too Paper&#xff1a; https://arxiv.org/abs/2103.10385 Code&#xff1a; https://github.com/THUDM/P-tuning Prompt 简单理解 举例来讲&#xff0c;今天如果有这样两句评论&#xff1a; 1. 什么苹果啊&#xff0c;都没有苹果味&#xff0c…

ViT Vision Transformer超详细解析,网络构建,可视化,数据预处理,全流程实例教程

关于ViT的分析和教程&#xff0c;网上又虚又空的东西比较多&#xff0c;本文通过一个实例&#xff0c;将ViT全解析。 包括三部分内容&#xff0c;网络构建&#xff1b;orchview.draw_graph 将网络每一层的结构与输入输出可视化&#xff1b;数据预处理。附完整代码 网络构建 …

偶数矩阵判断【C语言作业】

题目 若一个布尔矩阵所有行和所有列的和都是偶数&#xff0c;则称为偶数矩阵。请编写一个程序&#xff0c;判断一个布尔矩阵是否是偶数矩阵。 要求&#xff1a; &#xff08;1&#xff09;输入:首先输入一个正整数n(n<100),代表该矩阵的大小&#xff0c;接下来是n行n列的矩…

第5天:基础入门-资产架构amp;端口amp;应用amp;CDNamp;WAFamp;站库分离amp;负载均衡

第5天&#xff1a;基础入门-资产架构&端口&应用&CDN&WAF&站库分离&负载均衡 #知识点&#xff1a;1. 资产架构-端口&目录&插件接口&多站点&多应用 2. 番外安全-域名&服务器本身&服务厂商&管理人员 3. 考虑阻碍-站库分离&am…

c++-AVL树

文章目录 前言一、AVL树1、AVL树概念2、AVL树模拟实现3、AVL树的旋转操作3.1 左单旋3.2 左单旋代码实现3.3 右单旋3.4 右单旋代码实现。3.5 什么时候调用左单旋和右单旋3.6 左右双旋3.7 左右双旋代码实现3.8 右左双旋3.9 右左双旋代码实现3.10 什么时候调用左右双旋和右左双旋 …