浅析ISP流程:从传统到AI的演进与展望1.背景ISP (Image SignalProcessor)指的是对图像或视频信号进行实时处理和优化的专用处理器或专用硬件模块。它通常集成在手机、摄像机、无人机、监控设备、车载系统等影像采集系统中,为图像/视频信号提供高质量、低延迟的处理能力。核心目的:对传感器采集的原始图像(RAW）数据进行处理,输出质量更高、细节更丰富的可用图像或视频流（如YUV、RGB等格式）。传统ISP的发展历程在20世纪末至21世纪初，ISP主要依赖于固定算法和硬件流水线处理。这些算法包括白平衡校正、色彩插值、降噪、锐化等，广泛应用于数码相机和早期手机中。传统ISP的优势在于其稳定性和高效性,但其固定的处理流程难以适应复杂场景和多样化需求。AIISP的崛起近年来，随着AI的爆发和新兴智能终端的崛起和需求,AIISP逐渐成为行业执点。通过将神经网络与传统ISP相结合，AIISP不仅继承了传统ISP的稳定性，还具备了神经网络的自适应性和智能化能力。AI传感器图像信号处理显示器尚-RAW--JPG-ISPRAW黑电平矫正去坏点镜头矫正白平衡去马赛克去噪亮度矫正色彩矫正锐化编码JPGISP流程
2.ISP的基础介绍2.1传统ISP传统ISP的软件部分依赖干经典算法，其处理流程通常分为以下几个步骤1.黑电平矫正(BlackLevelCorrection)黑电平形成的原因有多种，主要的形成原因如下面两点!(1）CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。以Bbit数据为例，单个pixel的有效值是0-255，但是实际AD芯片（模数转换芯片）的精度可能无法将电压值很小的一部分转换出来,因此，sensor厂家一般会在AD的输入之前加上一个固定的偏移量，使输出的pixelvalue在5（非固定）~255之间，目的是为了让暗部的细节完全保留，当然同时也会损失一些亮部细节,由于对于图像来说，我们的关注度更倾向干陪部区域，ISP后面会有很多增益模块(LSC、AWB、Gamma等),天此亮区的一点点损失是可以接受的。(2)sensor的电路本身会存在暗电流，导致在没有光线照射的时候,像素单位也有一定的输出电压,暗电流这个东西跟曝光时间和gain都有关系，不同的位置也是不一样的。因此在gain增大的时候，电路的增益增大，暗电流也会增强，因此很多ISP会选择在不同gain下减去不同的bl的值。如多sensor输出raw数据中附加的黑电平值,需要在ISP最前端去干净。如果不去干净，干扰信息会影响后端ISP各模块的处理，尤其会导致AWB容易不准，出现画面整体偏绿或者整体偏红现象。矫正前矫正后2.去坏点(DefectPixelCorrection)由于传感器是高精密一起，里面包含的像素点非常多,难免会出现做工问题导致局部像素产牛场点。
去坏点前去坏点后。3.镜头阴影校正(LensShadingCorrection)由于镜头天然的缺陷导致成像会出现暗角，一般分为Ilumashading和colorshading,lumashadine的主要原因是镜头中心到边缘的能量衰减导致的,如图所示，蓝色和绿色用相同的数量线条表示能量，中心位置的蓝色几乎所有能量都能达到最右侧的的成像单元，但是边缘的绿色由于有一定角度射入，经过镜头的折射，有一部分光（最上方的几条绿色线条)就没法达到成像单元，因此成像单元中心的能量就会比边缘的大，表现在亮度上就是亮度向边缘衰减变暗。colorshading主要是因为不同颜色的光的折射率不同，导致白光经过镜头后达到成像面时不同颜色的光的位置不同导致偏色。当然偏色还会和CRA有关，但是一般镜头选型的时候都会注意和sensor的CRA进行匹配，一般两者不会相差太大，所以CRA导致的偏色不做重点讨论。4.解马赛克(Demosaicing)如今几乎所有彩色sensor输出的都是bayerpattern的数据，即每个像素点仅有一种颜色分量数据demosaic|解马赛克)就是为每个像素点找回另外2个缺失的颜色分量，使每个像素点都具备r,g,b三个通道的数据，最终将拜耳阵列中恢复全彩图像。
GRGBCFA(a)RGGB模式的CFA(b)raw图的灰度显示(c)raw的颜色通道(a)demosaic后的结果
5.白平衡校正(WhiteBalance)人眼具有颜色恒常性，可以避免光源变化带来的颜色变化，但是图像传感器不具备这种特性，从而造成色偏，白平衡就是需要校正这个颜色的偏差6.降噪(NoiseReduction)空域降噪:空域降噪是一种2D降噪方法，它只处理一帧图...
