ISP基本框架图像视频处理技术

来源:发布时间:2023-04-24

ISP处理图片前、后对比一下让你知道

行业诉求
公安需要监控设备提升夜视能力,延长监控有效时间,以获取更多取证信息,提升破案率;

智慧城市需要实时收集和保存高清视频数据,以供城市大脑进行全局分析,利用可靠数据优化调整公共资源;

自动驾驶:前视ADAS需要ISP快速分析远近物体,镜头聚焦在远距离范围内,需要较高的系统灵敏度;后视和环视则需要ISP应用畸变矫正算法和多图像拼合。

图像识别:停车管理行业的车牌识别需要快速确定车牌所在车身的位置进行图片分割、降噪、拼接以得到完整的车牌信息确认身份ID从而实现停车系统的车辆记录、计时、收费管理......等等。

ISP(Image Signal Processor),即图像处理,主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很大程度上决定了摄像机的成像质量。它可以分为独立与集成两种形式。
ISP独立与集成两种逻辑图

ISP 的Firmware 包含三部分,一部分是ISP 控制单元和基础算法库,一部分是AE/AWB/AF 算法库,一部分是sensor 库。Firmware 设计的基本思想是单独提供3A 算法库,由ISP 控制单元调度基础算法库和3A 算法库,同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调,以实现差异化的sensor 适配。ISP firmware 架构如下图所示。

ISP firmware 架构图

不同的sensor 都以回调函数的形式,向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时,将通过这些回调函数获取初始化参数,并控制sensor,如调节曝光时间、模拟增益、数字增益,控制lens 步进聚焦或旋转光圈等。

在线留言