【PyTorch】（基础三）---- 图像读取和展示

图像读取和展示

pytorch本身并不提供图像的读取和展示功能，利用pytorch执行计算机视觉任务的时候，通常是利用opencv等工具先进行图像处理，然后将结果转化成tensor类型传递给pytorch，在pytorch执行之后，也可以将tensor类型的数据转换为numpy等类型用于matplotlib进行可视化展示

图像格式转换

此处介绍一下常用的图像类型numpy数组（opencv读取）以及Image类型（PIL读取）二者与tensor类型的相互转换

我们先找一张示例图

在这里插入图片描述

使用opencv读取的图片类型为numpy格式，在虚拟环境中安装opencv的命令为：

pip install opencv-python

接下来读取示例图片并实现其类型的转换

# tensor 和 numpy数组的相互转换
import cv2# opencv读取示例图片
im_cv = cv2.imread('test.jpg')
print("-" * 30)
print(type(im_cv))  # 输出<class 'numpy.ndarray'>
# 因为opencv读取进来的图像按照BGR顺序存储，我们先将其改成RGB模式
im_cv = cv2.cvtColor(im_cv, cv2.COLOR_BGR2RGB)
# 利用torchvision中的transformer模块中的ToTensor类将numpy数组转换成tensor类型
import torchvision
my_totensor = torchvision.transforms.ToTensor()
im_tensor = my_totensor(im_cv)
print(type(im_tensor))  # 输出<class 'torch.Tensor'>
# 为了使用matplotlib，将tensor转换成为numpy数组
import matplotlib.pyplot as plt
im_numpy = im_tensor.numpy()
# 调整维度顺序
im_numpy = np.transpose(im_numpy, (1, 2, 0))
plt.imshow(im_numpy)
plt.axis('off')  # 关闭坐标轴
plt.show()

在计算机视觉中，除了opencv读取的numpy格式之外，使用PIL读取的Image类型也十分常用，其也可以和tensor类型进行转换

# tensor 和 Image数组的相互转换
from PIL import Image
im_pil = Image.open('test.jpg')
print("-" * 30)
print("PIL读取的图片类型为：",type(im_pil))  # 输出<class 'PIL.JpegImagePlugin.JpegImageFile'>
import torchvision
my_totensor = torchvision.transforms.ToTensor()
im_tensor = my_totensor(im_pil)
print(type(im_tensor))  # 输出<class 'torch.Tensor'>
# 将tensor转换成Image并可视化
my_toPIL = torchvision.transforms.ToPILImage()
im_pil = my_toPIL(im_tensor)
Image._show(im_pil)

tensorboard可视化

TensorBoard 是一个强大的可视化工具，它不仅可以用于普通图像tensor类型的展示，还可以用于监控在神经网络训练过程中的准确率、查看模型的计算图、显示图像和音频数据、分析嵌入向量（embeddings）等等参数，

tensorboard的可视化需要通过日志文件进行写入和读取，首先利用tensorboard.SummaryWriter工具类将图像数据写入到日志中，然后启动tensorboard服务指定对应的日志文件进行可视化展示

展示函数作图

【示例】在根目录下创建一个logs目录，在其中存放日志信息，然后创建一个log1作为本次实验的日志，写一个函数y=2x，将其图像可视化传递到log1日志中

from torch.utils.tensorboard import SummaryWriter# 创建SummaryWriter对象并指定对应的日志目录
mySummaryWriter = SummaryWriter("logs/log1")
for i in range(100):# 函数作图使用add_scalar方法mySummaryWriter.add_scalar("y=2x",2*i,i)
mySummaryWriter.close()

在终端命令行中启动TensorBoard服务：port指定端口

tensorboard --logdir=path/to/log_directory [--port=6006]

然后点击默认的端口链接，进入前端页面

在这里插入图片描述

在左上角选择SCALARS, 即可看到我们刚刚画的样例图

在这里插入图片描述

展示图像

在tensorboard中展示图像信息，使用tensor类型和numpy数组类型都可

from torch.utils.tensorboard import SummaryWriter
from PIL import Image
import torchvisionwriter = SummaryWriter("logs/log1")
img = Image.open("test.jpg")
myTotensor = torchvision.transforms.ToTensor()
img_tensor = myTotensor(img)writer.add_image("img_test",img_tensor)
writer.close()