图像信号处理器(ISP)基础算法及处理流程

在这里插入图片描述

💪 专业从事且热爱图像处理,图像处理专栏更新如下👇:
📝《图像去噪》
📝《超分辨率重建》
📝《语义分割》
📝《风格迁移》
📝《目标检测》
📝《暗光增强》
📝《模型优化》
📝《模型实战部署》


在这里插入图片描述

传统的ISP(Image Signal Processing)图像处理算法涵盖了从图像传感器(通常是CMOS或CCD传感器)获取原始图像数据到生成最终显示图像的全过程。以下是一些常见的传统ISP图像处理算法处理步骤。

目录

  • 一、黑电平校正(Black Level Correction)
    • 1.1 代码
  • 二、去噪(Denoising)
    • 2.1 固定模式噪声校正
    • 2.2 随机噪声去除
    • 2.3 代码
  • 三、白平衡(White Balance)
    • 3.1 灰世界算法(Gray World Algorithm)
    • 3.2 完美反射算法(Perfect Reflector Algorithm)
    • 3.3 代码
  • 四、去马赛克(Demosaicing)
    • 4.1 代码
  • 五、伽玛校正(Gamma Correction)
    • 5.1 代码
  • 六、色彩校正(Color Correction)
    • 6.1 色彩空间转换
    • 6.2 色彩矩阵处理
    • 6.3 代码
  • 七、锐化(Sharpening)
    • 7.1 拉普拉斯锐化
    • 7.2 非线性锐化
    • 7.3 代码
  • 八、色彩空间转换(Color Space Conversion)
    • 8.1 代码
  • 九、色调映射(Tone Mapping)
    • 9.1 局部色调映射
    • 9.2 全局色调映射
    • 9.3 代码
  • 十、变换(Transformations)
    • 10.1 代码
  • 十一、校准和矫正(Calibration and Correction)
    • 11.1 镜头畸变校正
    • 11.2 色差校正
    • 11.3 遮光校正
    • 11.4 代码
  • 十二、自动对焦(Autofocus)
    • 12.1 对比度检测
    • 12.2 相位检测
    • 12.3 代码
  • 十三、曝光控制(Exposure Control)
    • 13.1 代码
  • 十四、自动增益控制(Auto Gain Control, AGC)
    • 14.1 代码
  • 十五、动态范围压缩(Dynamic Range Compression, DRC)
    • 15.1 局部动态范围压缩
    • 15.2 全局动态范围压缩
    • 15.3 代码
  • 十六、总结

一、黑电平校正(Black Level Correction)

目的:在图像传感器捕获的原始图像中,可能存在黑电平偏移。这一步校正这些偏移,使得黑电平值归零,从而提高图像的动态范围。

步骤:

传感器捕获的原始图像可能包含偏移的黑电平值。
计算或查找黑电平值。
从每个像素值中减去黑电平值,使得图像黑电平归零。

1.1 代码

def black_level_correction(image, black_level=16):return np.clip(image - black_level, 0, 255).astype(np.uint8)black_level_corrected_image = black_level_correction(image)
cv2.imwrite('black_level_corrected_image.jpg', black_level_corrected_image)

二、去噪(Denoising)

抑制图像中的各种噪声,如固定模式噪声(FPN)和随机噪声。

步骤:

2.1 固定模式噪声校正

固定模式噪声是由传感器中各像素的响应不均匀引起的。
使用暗帧(captured when no light is entering the sensor)来校正固定模式噪声。

2.2 随机噪声去除

随机噪声通常包括热噪声和读出噪声。
使用滤波技术(如中值滤波、均值滤波或高斯滤波)来抑制随机噪声。

2.3 代码

下面给出通过高斯模糊去噪的例子:

import cv2
import numpy as npdef denoise_image(image):return cv2.GaussianBlur(image, (5, 5), 0)image = cv2.imread('input_image.jpg')
denoised_image = denoise_image(image)
cv2.imwrite('denoised_image.jpg', denoised_image)

三、白平衡(White Balance)

白平衡算法调整图像的色温,以确保图像在各种照明条件下颜色的准确性。常见的白平衡方法包括灰世界算法(Gray World Algorithm)和完美反射算法(Perfect Reflector Algorithm)。

步骤:

3.1 灰世界算法(Gray World Algorithm)

假设图像中所有颜色的平均值应该是中性的灰色。
计算图像中红、绿、蓝三通道的平均值。
根据平均值的偏差,调整各通道的增益使其均衡。

3.2 完美反射算法(Perfect Reflector Algorithm)

假设图像中存在一个完美反射的白色物体。
使用该物体的颜色作为白平衡参考点,调整其他颜色的增益。

3.3 代码

def white_balance(image):result = cv2.cvtColor(image, cv2.COLOR_BGR2LAB)avg_a = np.average(result[:, :, 1])avg_b = np.average(result[:, :, 2])result[:, :, 1] = result[:, :, 1] - ((avg_a - 128) * (result[:, :, 0] / 255.0) * 1.1)result[:, :, 2] = result[:, :, 2] - ((avg_b - 128) * (result[:, :, 0] / 255.0) * 1.1)return cv2.cvtColor(result, cv2.COLOR_LAB2BGR)white_balanced_image = white_balance(denoised_image)
cv2.imwrite('white_balanced_image.jpg', white_balanced_image)

四、去马赛克(Demosaicing)

大多数图像传感器使用拜耳(Bayer)滤色器阵列,因此捕获的图像是单色图像(每个像素只记录一种颜色)。去马赛克算法将这些单色图像转换为全彩色图像。

步骤:

传感器使用拜耳滤色器阵列捕获图像,每个像素只记录一种颜色(红、绿或蓝)。

插值算法(Interpolation Algorithms):
最简单的方法是线性插值。
更复杂的方法包括双向插值、边缘方向插值和加权方向插值。

4.1 代码

去马赛克将拜耳阵列转换为RGB图像。

def demosaic(image):return cv2.cvtColor(image, cv2.COLOR_BAYER_BG2BGR)demosaiced_image = demosaic(black_level_corrected_image)
cv2.imwrite('demosaiced_image.jpg', demosaiced_image)

五、伽玛校正(Gamma Correction)

伽玛校正用于调整图像的亮度,以匹配显示设备的特性。它将线性传感器数据转换为非线性,以更好地反映人眼对亮度的感知。

步骤:

原始图像数据通常是线性响应的。
应用非线性伽玛曲线将线性数据转换为伽玛校正后的数据。
常见的伽玛值为2.2(对于sRGB显示设备)。

5.1 代码

加粗样式

def gamma_correction(image, gamma=1.0):invGamma = 1.0 / gammatable = np.array([((i / 255.0) ** invGamma) * 255 for i in np.arange(0, 256)]).astype("uint8")return cv2.LUT(image, table)gamma_corrected_image = gamma_correction(color_corrected_image, gamma=2.2)
cv2.imwrite('gamma_corrected_image.jpg', gamma_corrected_image)

六、色彩校正(Color Correction)

色彩校正包括色彩空间转换和色彩矩阵处理,以确保图像的颜色准确性。

步骤:

6.1 色彩空间转换

将原始RGB数据转换为目标色彩空间(如sRGB)。

6.2 色彩矩阵处理

应用色彩校正矩阵,调整图像的颜色分布。
该矩阵通常根据摄像头和显示设备的色彩特性预先计算。

6.3 代码

def color_correction(image, red_gain=1.0, green_gain=1.0, blue_gain=1.0):b, g, r = cv2.split(image)b = cv2.multiply(b, blue_gain)g = cv2.multiply(g, green_gain)r = cv2.multiply(r, red_gain)return cv2.merge([b, g, r])color_corrected_image = color_correction(white_balanced_image, red_gain=1.1, green_gain=1.0, blue_gain=1.2)
cv2.imwrite('color_corrected_image.jpg', color_corrected_image)

七、锐化(Sharpening)

锐化算法用于增强图像的细节和边缘,使图像看起来更加清晰。常用的方法包括拉普拉斯锐化和非线性锐化。

步骤:

7.1 拉普拉斯锐化

使用拉普拉斯算子计算图像的二阶导数,增强边缘。

7.2 非线性锐化

使用非线性滤波器,如高斯拉普拉斯(LoG)滤波器,增强细节。

7.3 代码

图像锐化可以通过卷积操作来实现。

def sharpen_image(image):kernel = np.array([[0, -1, 0],[-1, 5, -1],[0, -1, 0]])return cv2.filter2D(image, -1, kernel)sharpened_image = sharpen_image(gamma_corrected_image)
cv2.imwrite('sharpened_image.jpg', sharpened_image)

八、色彩空间转换(Color Space Conversion)

将图像从一种色彩空间转换到另一种色彩空间,例如从RGB到YCbCr,以便于压缩和显示。

步骤:

常见的色彩空间转换包括RGB到YCbCr。
这种转换有助于压缩和显示。
使用线性变换矩阵进行转换。

8.1 代码

色彩空间转换将图像从一种色彩空间转换到另一种。

def convert_color_space(image, conversion_code=cv2.COLOR_BGR2YCrCb):return cv2.cvtColor(image, conversion_code)color_converted_image = convert_color_space(demosaiced_image, cv2.COLOR_BGR2YCrCb)
cv2.imwrite('color_converted_image.jpg', color_converted_image)

九、色调映射(Tone Mapping)

色调映射用于处理高动态范围(HDR)图像,将其映射到低动态范围显示设备上,同时保留细节和对比度。

步骤:

9.1 局部色调映射

根据局部亮度调整色调,保留细节。

9.2 全局色调映射

根据整体亮度调整色调,压缩动态范围。

9.3 代码

def tone_mapping(image, gamma=2.2):invGamma = 1.0 / gammatable = np.array([((i / 255.0) ** invGamma) * 255 for i in np.arange(0, 256)]).astype("uint8")return cv2.LUT(image, table)tone_mapped_image = tone_mapping(color_converted_image)
cv2.imwrite('tone_mapped_image.jpg', tone_mapped_image)

十、变换(Transformations)

图像几何变换包括旋转、缩放、平移和镜像等,用于图像的对齐和校正。

步骤:

使用变换矩阵对图像进行几何变换。
常用的变换包括仿射变换、透视变换和投影变换。

10.1 代码

def transform_image(image, angle=0, scale=1.0):h, w = image.shape[:2]M = cv2.getRotationMatrix2D((w/2, h/2), angle, scale)return cv2.warpAffine(image, M, (w, h))transformed_image = transform_image(tone_mapped_image, angle=15, scale=1.1)
cv2.imwrite('transformed_image.jpg', transformed_image)

十一、校准和矫正(Calibration and Correction)

包括镜头畸变校正、色差校正、遮光校正等,以补偿镜头和传感器引入的各种失真和缺陷。

步骤:

11.1 镜头畸变校正

计算镜头畸变参数(如径向和切向畸变)。
应用畸变校正模型(如鱼眼校正)校正图像。

11.2 色差校正

校正由于不同波长的光在镜头中折射率不同引起的色差。

11.3 遮光校正

补偿由于镜头遮光引起的图像边缘变暗现象(渐晕)。

11.4 代码

def calibrate_and_correct(image, camera_matrix, dist_coeffs):h, w = image.shape[:2]new_camera_matrix, roi = cv2.getOptimalNewCameraMatrix(camera_matrix, dist_coeffs, (w, h), 1, (w, h))corrected_image = cv2.undistort(image, camera_matrix, dist_coeffs, None, new_camera_matrix)x, y, w, h = roireturn corrected_image[y:y+h, x:x+w]# 示例相机矩阵和畸变系数
camera_matrix = np.array([[800, 0, 320], [0, 800, 240], [0, 0, 1]], dtype=np.float32)
dist_coeffs = np.array([-0.2, 0.1, 0, 0], dtype=np.float32)calibrated_image = calibrate_and_correct(transformed_image, camera_matrix, dist_coeffs)
cv2.imwrite('calibrated_image.jpg', calibrated_image)

十二、自动对焦(Autofocus)

自动对焦算法根据图像内容调整镜头位置,以确保图像的清晰度。

步骤:

12.1 对比度检测

通过检测图像的对比度最大化来实现自动对焦。

12.2 相位检测

使用相位检测传感器快速确定对焦位置。

12.3 代码

def auto_focus(image):# 示例:评估图像的拉普拉斯变换的方差,作为对焦度的度量focus_measure = cv2.Laplacian(image, cv2.CV_64F).var()return focus_measurefocus_value = auto_focus(calibrated_image)
print(f"Focus measure: {focus_value}")

十三、曝光控制(Exposure Control)

根据场景亮度调整曝光时间和增益,以获得最佳亮度的图像。

步骤:

自动曝光(Auto Exposure, AE):
测量场景的整体亮度。
根据预设的曝光策略调整曝光参数(快门速度、光圈和ISO感光度)。

13.1 代码

def adjust_exposure(image, target_brightness=128):gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)current_brightness = np.mean(gray)correction_factor = target_brightness / current_brightnessreturn np.clip(image * correction_factor, 0, 255).astype(np.uint8)exposure_adjusted_image = adjust_exposure(calibrated_image)
cv2.imwrite('exposure_adjusted_image.jpg', exposure_adjusted_image)

十四、自动增益控制(Auto Gain Control, AGC)

调整图像传感器的增益,以确保在不同光照条件下图像的亮度。

步骤:

增益调整:
根据测量到的图像亮度,动态调整传感器的增益。

14.1 代码

自动增益控制用于调整图像的对比度。

def auto_gain_control(image, clip_limit=2.0, tile_grid_size=(8, 8)):lab = cv2.cvtColor(image, cv2.COLOR_BGR2LAB)lab_planes = cv2.split(lab)clahe = cv2.createCLAHE(clipLimit=clip_limit, tileGridSize=tile_grid_size)lab_planes[0] = clahe.apply(lab_planes[0])lab = cv2.merge(lab_planes)return cv2.cvtColor(lab, cv2.COLOR_LAB2BGR)gain_adjusted_image = auto_gain_control(exposure_adjusted_image)
cv2.imwrite('gain_adjusted_image.jpg', gain_adjusted_image)

十五、动态范围压缩(Dynamic Range Compression, DRC)

压缩图像的动态范围,以适应显示设备的能力。

步骤:

15.1 局部动态范围压缩

在保留细节的情况下压缩亮度范围。

15.2 全局动态范围压缩

调整图像的整体对比度,压缩高光和阴影部分的亮度。

15.3 代码

直方图均衡化对图像的亮度通道(L通道)进行处理,从而实现动态范围压缩。以下是代码的实现步骤:

将图像转换为LAB色彩空间:LAB色彩空间将亮度和色彩分离,便于单独处理亮度。

对L通道进行直方图均衡化:直方图均衡化是一种常见的动态范围压缩技术,通过调整图像亮度分布来增强图像的对比度和细节。

合并通道并转换回BGR色彩空间:处理完L通道后,重新合并LAB通道并转换回BGR色彩空间,以便显示和保存图像。

显示和保存结果图像:使用matplotlib库显示原始图像和处理后的图像,并将结果保存为JPEG文件。

import cv2
import numpy as np
from matplotlib import pyplot as pltdef dynamic_range_compression(image):# 将图像转换为LAB色彩空间lab = cv2.cvtColor(image, cv2.COLOR_BGR2LAB)l, a, b = cv2.split(lab)# 对L通道进行直方图均衡化l_eq = cv2.equalizeHist(l)# 合并通道并转换回BGR色彩空间lab_eq = cv2.merge((l_eq, a, b))compressed_image = cv2.cvtColor(lab_eq, cv2.COLOR_LAB2BGR)return compressed_image# 读取图像
image = cv2.imread('input_image.jpg')# 进行动态范围压缩
compressed_image = dynamic_range_compression(image)# 保存结果图像
cv2.imwrite('compressed_image.jpg', compressed_image)# 显示原图和处理后的图像
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.title('Original Image')
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.subplot(1, 2, 2)
plt.title('Compressed Image')
plt.imshow(cv2.cvtColor(compressed_image, cv2.COLOR_BGR2RGB))
plt.show()

十六、总结

通过以上步骤,ISP图像处理系统能够将传感器捕获的原始图像数据转换为高质量的可视图像,适用于各种应用和显示设备。以上算法只是基础算法,各个板块都可以衍生出独立领域研究,现在更多的研究引入深度学习(AI ISP),与传统方法相比,深度学习方法可以提供更高质量的图像处理效果,并且能够适应复杂多变的图像内容和拍摄环境。

感谢您阅读到最后!😊总结不易,多多支持呀🌹 点赞👍收藏⭐评论✍️,您的三连是我持续更新的动力💖

关注公众号「视觉研坊」,获取干货教程、实战案例、技术解答、行业资讯!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/368819.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

找不到msvcp120.dll无法继续执行的原因分析及解决方法

在计算机使用中,经常会遇到msvcp120.dll文件丢失的情况,很多人对这个文件不是很熟悉,今天就来给大家讲解一下msvcp120.dll文件的丢失以及这个文件的重要性,让大家更好地了解计算机,同时也可以帮助我们更好地掌握这个文…

SpringMVC 的工作流程和详细解释

Spring MVC(Model-View-Controller)框架是基于经典的 MVC 设计模式构建的,用于开发 Web 应用程序。下面是 Spring Boot MVC 的工作流程和详细解释: 1.客户端发起请求 1.客户端(通常是浏览器)发起 HTTP 请求…

技术周总结 2024.06.24~06.30(Python并发执行shell并发执行 Spring Bean)

文章目录 一、 06.26 周三1.1)问题01:怎么在mysql的命令行中查询出来 python能使用的元祖结果集1.2)问题02:python中 set()是什么,怎么使用 二、06.27 周四2.1)问题01:shell 并发执行2.2&#x…

MySQL表的练习

二、创建表 1、创建一个名称为db_system的数据库 create database db_system; 2、在该数据库下创建两张表,具体要求如下 员工表 user 字段 类型 约束 备注 id 整形 主键,自增长 id N…

第二十条:与抽象类相比,优先选择接口

要定义多种实现的类型:JAVA有两种机制:接口和抽象类。这两种机制都支持为某些实例方法提供实现,但二者有个重要的区别:要实现由抽象类定义的类型,这个类必须是抽象类的子类。因为Java只允许单继承,对抽象类…

盘点几款国产AI高效神器!打工人赶紧码住

在这个AI技术飞速发展的时代,国产AI工具正成为提升工作效率的得力助手。作为AI工具测评博主,米兔有幸体验了多款国产AI工具,今天要向大家介绍几款超级好用的AI工具。这些工具不仅功能强大,而且操作简便,是职场人士不可…

Jemeter--独立变参接口压测

Jemeter–独立不变参接口压测 Jemeter–独立变参接口压测 Jemeter–关联接口压测 从数据库获取变参数据源 1、压测计划处添加对应数据库驱动包 左键点击压测计划,进入压测计划页面,点击浏览添加数据库链接jar包 2、线程组添加 JDBC配置原件 填写数据…

代码随想录算法训练营第2天|LeetCode977,209,59

977.有序数组平方 题目链接: 977. 有序数组的平方 - 力扣(LeetCode) 文章讲解:代码随想录 视频讲解: 双指针法经典题目 | LeetCode:977.有序数组的平方_哔哩哔哩_bilibili 第一想法 暴力算法肯定是先将元素…

vienna整流器过零畸变原因分析

Vienna整流器是一种常见的三电平功率因数校正(PFC)整流器,广泛应用于电源和电能质量控制领域。由于其高效率、高功率密度和低谐波失真的特点,Vienna整流器在工业和电力电子应用中具有重要地位。然而,在实际应用中&…

初阶数据结构之二叉树

那么本篇文是初阶数据结构这个系列的最后一篇文章,那么闲话少叙,我们直接进入正题 在讲二叉树的一些之前知识点之前,我先给大家送个小礼物哈 手搓二叉树 typedef int BTDataType ; typedef struct BinaryTreeNode { BTDataType _data …

公用对象池

什么是对象池? 对象池顾名思义就是存放对象的池子,主要是为了重复利用对象。将不用的对象扔进池子里,需要用的时候再从池子中取出来。这样的一套机制我们称为对象池。 为什么用对象池? 其实从定义我们就可以看出来,…

AI免费英语学习在线工具:Pi;gpt;其他大模型AI 英语学习智能体工具

1、pi(强烈推荐:可以安卓下载使用) https://pi.ai/talk (网络国内使用方便) 支持实时聊天与语音对话 2、chatgpt(强烈推荐:可以安卓下载使用) https://chat.openai.com/ (网络国内使用不方便&#xf…

2024年显著性检测部分论文及代码汇总(3)

ICML Size-invariance Matters: Rethinking Metrics and Losses for Imbalanced Multi-object Salient Object Detection code Abstacrt:本文探讨了显著性检测中评价指标的尺寸不变性,尤其是当图像中存在多个大小不同的目标时。作者观察到,…

【server】3、注册中心与配置中心

1、服务注册与发现 1.1、consul 1.1.1 是什么 官网: Consul by HashiCorp spring-cloud-consul: Spring Cloud Consul :: Spring Cloud Consul gitHub 官网 :GitHub - hashicorp/consul: Consul is a distributed, highly available, and data cent…

如何在操作使用ufw设置防火墙

UFW(简单防火墙)是用于管理iptables防火墙规则的用户友好型前端。它的主要目标是使iptables的管理更容易。 在学习Linux的时候大家一般都会关心命令,Posix API和桌面等,很少会去了解防护墙。其实除了一些网络安全厂商提供的付费防…

【设计模式】设计模式学习线路与总结

文章目录 一. 设计原则与思想二. 设计模式与范式三. 设计模式进阶四. 项目实战 设计模式主要是为了改善代码质量,对代码的重用、解耦以及重构给了最佳实践,如下图是我们在掌握设计模式过程中需要掌握和思考的内容概览。 一. 设计原则与思想 面向对象编…

修改头文件版本需要修改的文件

以修改ui的头文件版本为例,还需要同时更新 PJ10PC20240120041_c928\components\master-t5\hikauto\module\app\include PJ10PC20240120041_c928\components\master-t5\hikauto\module\app\include\dsp PJ10PC20240120041_c928\components\master-t5\hikauto\incl…

classin视频下载提取为mp4教程

最近在上classin网课,无奈网课视频要过期了,所以想保存下来! 下面介绍提取的教程 我们可以绕过最开始的握手,就是先播放了一段时间后,再打开抓包,回到Classin播放后,就可以获得网课链接了 直接打…

Git安装以及环境配置(详细)

一、Git下载 1.官网(但是很慢) https://git-scm.com/ 2.镜像版(比较推荐) CNPM Binaries Mirror 里边多个选择合适的进行下载(不要选带有rc0,rc1的,都是预发布版本) 进入后如下&#xff0c…

语音大模型引领自然交互新时代,景联文科技推出高质量语音大模型数据库

近期,OpenAI正式发布语音大模型GPT-4o,可以综合利用语音、文本和视觉信息进行推理,扮演一个个人语音交互助手。 在音频处理方面,它不仅能识别和转录多种口音和方言,改变语音的速度音调和振动,还能进行声音模…