DiffusionDet: Diffusion Model for Object Detection
- 论文概述
- 不同之处
- 整体流程
论文题目:DiffusionDet: Diffusion Model for Object Detection
论文来源:arXiv preprint 2022
论文地址:https://arxiv.org/abs/2211.09788
论文代码:https://github.com/ShoufaChen/DiffusionDet
DDPM
DDIM
论文概述
传统方法根据经验设计region proposals/anchor boxes/queries等
本文可从随机初始化的boxes进行回归和分类
方法概述:
生成模型:从噪声到图像/从随机的框到精确的框
模型架构图
不同之处
整体流程
训练阶段:
- 初始化一组boxes,并逐渐加入高斯噪声,得到noisy boxes
- 使用ResNet/Swin Transformer作为encoder提取特征
- 用noisy boxes从2.得到的特征中裁剪出RoI
- 将3.中的RoI送入detection decoder,用于预测真值,计算损失
推理阶段:
- 随机初始化高斯噪声noisy boxes;用encoder提取特征
- 迭代多次:
将当前的noisy boxes送入decoder,预测目标框;
(DDIM)传入当前noisy boxes和预测的目标框,预测上一时刻分布;
(Box renewal)根据阈值筛去undesired框,再加入噪声