一、说明
这个故事介绍了使用这种类型的数据来训练机器学习3D模型。特别是,我们讨论了Kaggle中可用的MNIST数据集的3D版本,以及如何使用Keras训练模型识别3D数字。
3D 数据无处不在。由于我们希望构建AI来与我们的物理世界进行交互,因此使用3D数据来训练我们的模型非常有意义。
二、3D 数据从何而来?
现在看看你周围的物体。它们是占据三维房间的三维实体,您 - 也是一个3D实体 - 此时此刻。如果这个房间里的所有东西都是静态的,我们可以将此环境建模为 3D 空间数据。
建筑扫描 — 来源
3D 数据有多种来源,例如 2D 图像序列和 3D 扫描仪数据。在这个故事中,我们开始使用来自流行MNIST数据集的合成生成的3D版本的点云来处理3D数据。
三、3D MNIST 数据集
以防万一您还不知道,MNIST是著名的2D手写数字图像集。MNIST 中的元素是小型 28x28 灰度图像。在这个故事中,我们将使用MNIST的3D版本:
MNIST 中的原始数字
修改后的3D版本
可以使用此 jupyter 笔记本生成此数据集。
增强型 MNIST 3D 中的 3D 图像是从 MNIST 中的原始 2D 图像中获得的,这些图像经过一组转换修改:
1 - 膨胀:这是堆叠 N 次相同数字图像以从 3D 数字获得 2D 身体的过程。
手写数字的放大版本 3
2 - 噪声:对每个 3D 点应用显著的高斯噪声
具有高斯噪声的相同图像
3 - 着色:MNIST 中的寄存器是灰度图像。为了使事情更具挑战性,让我们将它们转换为包含随机颜色
4 - 旋转:一旦它们是 3D 对象,我们就可以旋转它们,这就是我们要做的
具有不同旋转的相同图像
有关3D MNIST数据集的更多详细信息可以在Kaggle中找到。现在,让我们直接跳到分步过程:
四、获取和加载数据
首先要做的是:从Kaggle下载数据集文件。解压缩文件以获取 3d-mnist.h5。然后,加载数据集
简而言之,train_x 或 test_x 中的每个寄存器都是一个 16x16x16 的立方体。每个立方体保存一个 3D 数字的点云数据。您可以轻松地从数据集中提取任何寄存器:
结果如下:
事实上,这是MNIST中第3个元素的增强181D版本:
现在我们已经加载了数据集,我们可以使用它来训练我们的模型。
4.1 定义模型
我们希望训练一个模型来识别立方体中数字的 3D 表示。在规范 2D 版本的 MNIST 中用于识别手写数字的模型不适合 3D 数据集版本。因此,为了处理3D数据,有必要使用3D转换,例如卷积3D和3D最大池化。实际上,Keras支持这种类型的过滤器。
定义一个3D模型来处理我们的3D数据确实非常简单:
这是一个非常简单的模型,但可以完成这项工作。请记住,您可以在此处获取完整的源代码。
4.2 训练模型
让我们使用随机梯度下降来训练模型。随意使用您喜欢的另一个优化器(adam,RMSProp等):
model = define_model()
model.compile(loss=tensorflow.keras.losses.categorical_crossentropy,optimizer=tensorflow.keras.optimizers.SGD(learning_rate=0.01, momentum=0.9), metrics=['accuracy'])
history = model.fit(train_X_3D, train_y, batch_size=32, epochs=4, verbose=1, validation_split=0.2)
我刚刚运行了这段代码,这是我的输出:
4.3 训练结果
这是我们的第一次审判。仅经过 4 个 epoch,我们在验证集上获得了 96.34% 的准确率!当然,对混淆矩阵进行适当的分析可以更好地理解这种性能。但是,至少在第一次运行中,这些结果是鼓舞人心的!
请注意,验证损失在 4 个 epoch 中一直在减少。显然,这列火车比必要的时间更早完成。下一次,我们可能会设置更高的纪元数量并使用更详细的停止条件。
让我们看看它在测试数据上的表现如何!
4.4 评估模型
以下是我们将如何检查性能:
score = model.evaluate(test_X_3D, test_y, verbose=0)
print('Test accuracy: %.2f%% Test loss: %.3f' % (score[1]*100, score[0]))
这是我们目前的结果:
我不得不说我真的很惊讶。这个简单的模型实现了良好的性能,即使数据几乎没有被噪声、旋转和随机颜色映射所修改。
此外,考虑到数据量和不使用 GPU,训练速度太快了!凉!
我们可以调整超参数和训练优化器,以轻松获得更好的结果。然而,高性能并不是我们的目标。
我们学习了如何使用3D卷积,现在我们知道如何创建简单但功能强大的CNN网络来处理我们的3D数据。
五、下一步是
下一步是训练模型以识别从 4D 图像时间序列生成的 3D 数据中的事件。敬请期待!