基于AWS的3D模型搜索服务实现

3D模型广泛应用于计算机游戏、电影、工程、零售业、广告等许多领域。市场上有很多制作3D模型的工具，但几乎没有工具可以直观地搜索3D模型数据库以找到类似的3D模型因为开发好的 3D 模型搜索工具非常具有挑战性。它需要复杂的计算和 AI/ML 框架来创建模型描述符并提取特征向量、数据库来保存和索引大量形状数据以及在大型数据集上进行近实时模式匹配。

在这里插入图片描述

推荐：用 NSDT编辑器快速搭建可编程3D场景

1、要解决的业务问题

在这篇文章中，让我们了解 3D 模型业务中的实际业务问题，并了解如何在 AWS 云上实施该解决方案。

让我们从一个假设的业务问题开始。工程设计公司 X 在旧数据存储中存储了大量 3D 模型，他们希望开展一项新业务来在线销售其模型。公司希望提供使用照片、手绘或 3D 模型对象进行视觉搜索的服务，并找到匹配的 3D 模型，以便客户可以轻松选择和购买他们想要的模型。

在这里，X 公司在遗留数据库中拥有大量 3D 模型。第一步是将模型下载到云存储（最好是 S3）并提取这些模型的形状和特征数据，然后对数据建立索引，以便将相似的模型分组在一起并实现高效搜索。

2、特征生成和索引

下图说明了形状和特征数据生成和索引的架构。
在这里插入图片描述

以下是实施该解决方案所需采取的步骤。

配置提供无服务器批量计算平台的 AWS Batch 以运行连接到旧数据库并将 3D 模型文件下载到 S3 存储桶的服务。可以安排它每晚运行。
实施 AWS Lambda 函数来处理 S3 存储桶中下载的 3D 模型，并使用形状表示算法生成形状数据。生成的形状数据应存储在 Amazon DynamoDB 中。可以配置此 Lambda 函数以触发 S3 存储桶放置事件。
实施另一个 AWS Lambda 函数，以不同角度创建 3D 模型的多个快照，并将它们作为图像存储在 S3 存储桶中。
使用在众所周知的 ImageNet 数据集上预先训练的卷积神经网络 (CNN) 模型从生成的图像中提取特征，或者使用 Amazon SageMaker 训练和部署的模型
Amazon SageMaker 是一个完全托管的机器学习平台，允许创建、训练和部署在 AWS 云中快速部署机器学习模型。使用此模型，可以提取图像纹理、几何数据和元数据并将其存储在 Amazon DynamoDB 中。
创建另一个 lambda 函数，以使用步骤 4 中提取的特征数据来丰富步骤 2 中生成的形状数据。现在形状数据已使用特征数据来丰富。形状数据是一组浮点数。下一步是将相似的形状分组在一起。
使用 AWS lambda 函数，在 Amazon OpenSearch Service 上构建参考 k-NN 索引，这是一项完全托管的服务，可让你轻松、经济高效地大规模部署、保护和运行弹性搜索。 Amazon OpenSearch Service 提供 k-最近邻 (k-NN) 搜索，可以将形状数据存储为向量，并使用 k-NN 算法按欧几里得距离或余弦相似度对相似的形状数据进行分组。

现在，我们已经生成了富含特征的形状描述符，并使用 k 最近邻 (k-NN) 算法对它们进行了索引。接下来，展示 3D 模型或模型的 2D 视图（你可以使用工具绘制前视图、顶视图和侧视图）以查询应用程序，以从 Amazon OpenSearch 中的索引数据中查找类似模型。

3、3D模型搜索

下图描述了从模型存储库中查找相似模型的实时 3D 模型搜索的架构。
在这里插入图片描述

使用 S3 中托管的 Web 应用程序，你可以上传 3D 模型对象（如果有），也可以使用草图应用程序绘制模型的顶视图、前视图和侧视图，并将视图作为图像上传。如果从不同角度呈现更多视图图像，将获得更准确的结果。
上传的图像通过 Amazon API Gateway 发送到 AWS Lambda。
AWS Lambda 函数将为上传的模型/图像生成形状描述符，然后调用 Amazon SageMaker 实时端点来提取特征数据。
AWS Lambda 函数将利用特征数据丰富形状描述符。
AWS Lambda 函数将查询发送到 Amazon Elastic Search Service (Amazon OpenSearch Service) 索引中的 k 最近邻。它将返回 k 个相似模型数据的列表，并返回模型各自的 Amazon S3 URI。
AWS Lambda 函数生成预签名的 Amazon S3 URL 以返回到客户端 Web 应用程序以可视化类似的模型。

本文的目的是解释使用 AWS 服务在 AWS 云上进行 3D 模型搜索服务的架构和高级实现细节。添加了下面的常见问题解答部分以提供更多详细信息。