LoFTR关键点特征匹配算法环境构建与图像匹配测试Demo

0,LoFTR

CVPR 2021论文《LoFTR: Detector-Free Local Feature Matching with Transformers》开源代码

1,项目主页

LoFTR: Detector-Free Local Feature Matching with Transformers

2,GItHub主页

GitHub - zju3dv/LoFTR: Code for "LoFTR: Detector-Free Local Feature Matching with Transformers", CVPR 2021, T-PAMI 2022

3,配置环境

一键运行:

conda env create -f environment.yaml

 'environment.yaml'中内容如下,所以时间会比较久:

name: loftr
channels:# - https://dx-mirrors.sensetime.com/anaconda/cloud/pytorch- pytorch- conda-forge- defaults
dependencies:- python=3.8- cudatoolkit=10.2- pytorch=1.8.1- pip- pip:- -r requirements.txt

 4,下载模型

作者提供了数据下载链接,其中weights文件夹里是模型文件:

https://drive.google.com/drive/folders/1DOcOPZb3-5cWxLqn256AhwUVjBPifhuf?usp=sharing

模型文件下载后,将weights文件夹放在LoFTR目录中

5,设置数据

在LoFTR/demo文件夹下创建两个文件夹,命名为images和output

其中images需要放入进行特征匹配的照片

output用来存放输出结果

图片文件随便两张带有重叠景象的图片

6,测试demo

由于我测试的是室内拍摄的照片,所以使用的是indoor权重,程序如下:

import torch
import cv2
import numpy as np
import matplotlib.cm as cm
import osfrom src.utils.plotting import make_matching_figure
from src.loftr import LoFTR, default_cfgif __name__ == '__main__':# 根据图片拍摄场景和下载的预训练模型进行选择 可选:indoor(室内)、outdoor(室外)image_type = 'indoor'# 根据个人图片路径进行修改img0_pth = "demo/images/mouse (1).jpg"img1_pth = "demo/images/mouse (2).jpg"# img0_pth = "demo/images/1.png"# img1_pth = "demo/images/2.png"image_pair = [img0_pth, img1_pth]# 默认配置使用dual-softmax最大值。# 室外和室内模型使用相同的配置。# 你可以更改默认值,比如阈值和粗匹配类型。matcher = LoFTR(config=default_cfg)# 加载预训练模型if image_type == 'indoor':matcher.load_state_dict(torch.load("weights/indoor_ds.ckpt")['state_dict'])elif image_type == 'outdoor':matcher.load_state_dict(torch.load("weights/outdoor_ds.ckpt")['state_dict'])else:raise ValueError("给定的 image_type 错误。")matcher = matcher.eval().cuda()# 如果上传了新的图片对,重新运行此单元格(及以下单元格)。img0_raw = cv2.imread(image_pair[0], cv2.IMREAD_GRAYSCALE)img1_raw = cv2.imread(image_pair[1], cv2.IMREAD_GRAYSCALE)# 检查图像是否成功读取if img0_raw is None:raise FileNotFoundError(f"无法找到或读取路径 {image_pair[0]} 下的图像。")if img1_raw is None:raise FileNotFoundError(f"无法找到或读取路径 {image_pair[1]} 下的图像。")img0_raw = cv2.resize(img0_raw, (640, 480))img1_raw = cv2.resize(img1_raw, (640, 480))img0 = torch.from_numpy(img0_raw)[None][None].cuda() / 255.img1 = torch.from_numpy(img1_raw)[None][None].cuda() / 255.batch = {'image0': img0, 'image1': img1}# 使用 LoFTR 进行推理并获得预测with torch.no_grad():matcher(batch)mkpts0 = batch['mkpts0_f'].cpu().numpy()mkpts1 = batch['mkpts1_f'].cpu().numpy()mconf = batch['mconf'].cpu().numpy()# 绘图color = cm.jet(mconf, alpha=0.7)text = ['LoFTR','Matches: {}'.format(len(mkpts0)),]fig = make_matching_figure(img0_raw, img1_raw, mkpts0, mkpts1, color, mkpts0, mkpts1, text)# 也会自动下载高分辨率的PDF。make_matching_figure(img0_raw, img1_raw, mkpts0, mkpts1, color, mkpts0, mkpts1, text, path="demo/output/LoFTR-colab-demo.pdf")

7,运行结果

运行上面的程序,在demo/output文件夹中能找到PDF文件LoFTR-colab-demo.pdf

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/383392.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue 状态管理 Vue CLI

Vue 状态管理 & Vue CLI 1、状态管理2、集中状态管理2.1 Vuex2.1.1 Vuex核心概念2.1.2 Vuex Store实例2.1.3 Vuex Getter2.1.4 Vuex Mutation2.1.4 Vuex Actions2.1.4 Vuex Module 2.2 Pinia2.2.1功能增强 3、Vuex 实现原理4、Pinia 实现原理5、CLI5.1 实现 1、状态管理 将…

vue 搜索框

效果 创建搜索组件: 在Vue项目中,首先需要创建一个搜索组件。这个组件通常包含一个输入框和一个搜索按钮。使用v-model指令将输入框与组件的数据属性(如searchKeyword)进行双向绑定,以便获取用户输入的关键词。处理搜索…

MongoDB教程(二十一):MongoDB大文件存储GridFS

💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝你生活愉快! 文章目录 引言一、GridFS…

科技云报道:算网筑基AI注智,中国联通如何讲出AI时代的“新故事”?

科技云报道原创。 AI从未停止进化,也从未停止给人类带来惊喜。 从ChatGPT代表的文生文、Dall-E代表的文生图,到Sora代表的文生视频,Suno为代表的文生音乐,生成式AI的“暴力美学”持续突破内容生产的天花板,大模型技术…

【LLM】-07-提示工程-聊天机器人

目录 1、给定身份 1.1、基础代码 1.2、聊天机器人 2、构建上下文 3、订餐机器人 3.1、窗口可视化 3.2、构建机器人 3.3、创建JSON摘要 利用会话形式,与具有个性化特性(或专门为特定任务或行为设计)的聊天机器人进行深度对话。 在 Ch…

vue import from

vue import from 导入文件,从XXXX路径;引入文件 import xxxx from “./minins/resize” import xxxx from “./minins/resize.js” vue.config.js 定义 : resolve(src);就是指src 目录 import xxxx from “/utils/auth” im…

新版GPT-4omini上线!快!真TM快!

大半夜,OpenAI突然推出了GPT-4o mini版本。 当我看到这条消息时,正准备去睡觉。mini版本质上是GPT-4o模型的精简版本,没有什么革命性的创新,因此我并没有太在意。 结果今天早上一觉醒来发现伴随GPT-4o mini上线,官网和…

RAS--APEI 报错解析流程(2)

RAS--APEI 报错解析流程(1) 除了APEI 中除了GHES会记录错误,在Post过程中的错误通常是通过BERT Table汇报 1.BERT Boot Error Record Table is used to report unhandled errors that occurred in a previous boot,it is reported as a ‘one-time polle…

stats 监控 macOS 系统

Stats 监控 macOS 系统 CPU 利用率GPU 利用率内存使用情况磁盘利用率网络使用情况电池电量 brew install stats参考 stats github

Ansible的脚本-----playbook剧本【上】

目录 1.playbook剧本组成 2.playbook剧本实战演练 2.1 实战演练一:给被管理主机安装httpd服务 2.2 实战演练二:定义、引用变量 2.3 实战演练三:指定远程主机sudo切换用户 2.4 实战演练四:when条件判断 2.5 实战演练五&…

ElasticSearch(六)— 全文检索

一、match系列查询 前面讲到的query中的查询,都是精准查询。可以理解成跟在关系型数据库中的查询类似。match系列的查询,是全文检索的查询。会通过分词进行评分,匹配,再返回搜索结果。 1.1 match 查询 "query": {&qu…

.Net Core 微服务之Consul(三)-KV存储分布式锁

引言: 集合上两期.Net Core 微服务之Consul(一)(.Net Core 微服务之Consul(一)-CSDN博客) 。.Net Core 微服务之Consul(二)-集群搭建)(.Net Core 微服务之Consul(二)-集群搭建-CSDN博客) 目录 一. Consul KV 存储 1. KV 存储介绍 1.1 数据模型 1.2 一致性和…

Centos安装、迁移gitlab

Centos安装迁移gitlab 一、下载安装二、配置rb修改,起服务。三、访问web,个人偏好设置。四、数据迁移1、查看当前GitLab版本2、备份旧服务器的文件3、将上述备份文件拷贝到新服务器同一目录下,恢复GitLab4、停止新gitlab数据连接服务5、恢复备…

Docker、containerd、CRI-O 和 runc 之间的区别

容器与 Docker 这个名称并不紧密相关。你可以使用其他工具来运行容器 您可以使用 Docker 或一堆非Docker 的其他工具来运行容器。docker只是众多选项之一,Docker(公司)在生态系统中创建了一些很棒的工具,但不是全部。 容器方面有…

47.简易电压表的设计与验证(2)

(1)Verilog 代码: module adc_collect(input clk ,input reset_n ,input [7:0] adc_data ,output clk_adc );wire clk_adc_a ;…

大文件分片上传(前端TS实现)

大文件分片上传 内容 一般情况下,前端上传文件就是new FormData,然后把文件 append 进去,然后post发送给后端就完事了,但是文件越大,上传的文件也就越长,如果在上传过程中,突然网络故障,又或者…

【Linux操作系统】:进程间通信

目录 进程间通信介绍 1、进程间通信的概念 2、进程间通信的目的 3、进程间通信的本质 4、进程间通信的分类 管道 匿名管道 匿名管道的原理 pipe函数 创建匿名管道 管道的四种情况和五种特性 命名管道 使用命令创建命名管道 创建一个命名管道 命名管道的打开规则 …

【ROS2】高级:安全-理解安全密钥库

目标:探索位于 ROS 2 安全密钥库中的文件。 教程级别:高级 时间:15 分钟 内容 背景安全工件位置 公钥材料 私钥材料域治理政策 安全飞地 参加测验! 背景 在继续之前,请确保您已完成设置安全教程。 sros2 包可以用来创…

Qt自定义下拉列表-可为选项设置标题、可禁用选项

在Qt中,ComboBox(组合框)是一种常用的用户界面控件,它提供了一个下拉列表,允许用户从预定义的选项中选择一个。在项目开发中,如果简单的QComboBox无法满足需求,可以通过自定义QComboBox来实现更复杂的功能。本文介绍一个自定义的下…

Python研究生毕业设计,数据挖掘、情感分析、机器学习

最近在学校毕业了,其中有很多毕业论文使用到的代码,如数据挖掘、情感分析、机器学习、数据预测处理、划分数据集和测试集,绘制分类任务,词汇表示:使用TF-IDF向量化器,线性回归、多元线性回归、SVR回归模型&…