视觉模型只能看到传感器和镜头递给它的东西,所以这两样定了它能做到多好的上限。它们是为模型选的,而模型读的是原始像素,模型在意的东西和盯着屏幕看的人不一样。稳定的几何、打在物体上合适的光、足够分辨它的细节,才是改变模型准确率的因素。讨喜的色彩、虚化的背景,这些相机为人调的东西,对模型帮不上忙。

这件事拆成几个问题。哪些传感器规格会改变模型干活的好坏。快门能不能冻住场景里的运动。没有日光时场景怎么打光。模型除了颜色还要不要深度。镜头把模型学过的几何弯到了什么程度。还有像素能不能足够快地送到加速器跟上节奏。每一个都在传感器和镜头上定下来,在模型跑起来之前。

模型需要传感器给的是什么

给人看的相机,看的是画面好不好看。给模型的传感器,看的是它在模型要识别的物体上放了多少可用信号。两个目标的重合比看上去少。相机 ISP 平噪声、锐化边缘、把颜色挪得讨眼睛喜欢,而这每一步都改了模型当初被训练去读的像素。

所以第一个决定是模型到底吃的是什么。有的模型吃原始传感器输出,有的吃轻度处理过的流,有的是在某一台相机的图像上训练的、悄悄就指望着那台相机的脾气。搞清楚手里是哪一种,决定相机处理链保留多少、关掉多少,而这个决定塑形了它下面的每一项规格。

传感器到手还分两种形态,这个选择和其余的一起走。现成的相机模组把传感器、镜头、常常还有 ISP 打包在一小块插接板上,让设计很快跑起来、也把光学定死了。板载传感器放在主板上,要更多设计功夫,换回来的是对镜头座、接口和物料清单的掌控。模组适合样机或不大的量,裸传感器在量大、或光学必须特定时才划算。

哪些规格真正改变模型的准确率

传感器数据手册列着几十个数,其中几个决定模型能不能看见物体。分辨率定了在工作距离上有多少像素落在目标上,也就是一个又小又远的物体有没有足够细节被分类。动态范围定了传感器能不能在同一帧里同时держ住一扇亮窗和一处暗内景,而不把一个丢成全白、另一个丢成全黑。灵敏度和噪声定了弱光下有多少真信号活下来,因为一帧噪声能把模型要靠的特征埋掉。

在这些里挑,就是读懂哪些图像传感器规格对视觉模型重要要做的事,而它从场景出发、不是从规格表出发。一个在明亮传送带上数零件的模型要的是分辨率和速度,动态范围可以少花。一个从室内阴影看向室外阳光、盯着门口的模型,生死系于动态范围。要紧的规格是场景在逼的那一个,其余的可以为成本、尺寸或帧率往下让。

动态范围值得单列一行,因为打败模型的场景往往是高反差那种。装卸门口的相机、出隧道的车、亮窗前的人脸,都把深阴影和强高光放进一帧,而范围不够的传感器会把其中一个削成全白或全黑、把物体也一起丢掉。有的传感器带高动态范围模式,合成多次曝光来同时держ两端,代价是运动上的伪影,模型得忍。场景最坏处的反差,定了传感器要有多大范围。

像素尺寸是安静的那个。更大的像素收更多光、读出更干净,弱光下有用,代价是更大的传感器和更大的镜头。更小的像素在同样面积里塞更多分辨率、也更便宜,光一弱就把这些以噪声还回来。这个选择是对着模型要工作的最暗场景权衡出来的。

帧率和曝光时间在场景一动起来就互相拉扯。短曝光冻住运动物体却饿着传感器的光。长曝光收着光却把运动糊掉。两者要对着场景动得多快、有多少光一起定,而一个要在弱光里读快速运动的模型,是在向传感器要两件打架的事。出路是加光或换更灵敏的传感器,这两样都不是固件能变出来的。

颜色不总是模型想要的通道。黑白传感器去掉了盖在彩色传感器像素上的滤色片,所以在同样像素数下收更多光、分辨更细的细节,这对读形状、边缘或文字、不靠颜色的模型有用。彩色传感器只在任务靠颜色时才占得住位,比如读一盏状态灯或按色分拣。颜色没用处的地方,黑白传感器在同样价钱下给模型更多细节和更多光。

冻结运动,全局快门对卷帘快门

很多低成本传感器用卷帘快门,它是一行一行把图像读出来、而不是在一瞬间抓下整帧。对静止场景这没区别。对运动物体就有了,因为物体顶部比底部早被抓几毫秒,一个快速移动的物体出来就是斜的或糊的。

这对识别意味着什么,正是卷帘快门怎么把快速运动物体拖糊给视觉模型讲的事。一个在干净形状上训练的模型可能认不出歪掉的那个,一个测位置的系统会把它读到错的地方。全局快门一瞬间抓下每个像素、消掉这个效应,代价是更贵、同样价钱通常分辨率更低。这个取舍取决于东西穿过画面有多快、模型有多依赖它们真实的形状。

要紧的速度是穿过画面的那个,不是物体自己的速度。一个又远又快、穿过画面却很慢的物体,在卷帘快门上可以好好的。一个又近又慢、却很快扫过画面的物体不行。要估的数,是物体在读完一帧的时间里移动了多少像素。

给模型要读的场景打光

模型只能用到达传感器的光干活,而很多机器视觉场景没有日光可指望。办法是把光带来,而且常常带一种人看不见的波长。

这能买到什么,红外照明给夜视 AI 带来什么讲清楚了。一个近红外照明器为传感器照亮场景、对眼睛却是暗的,适合一台要在夜里看一个房间、或看驾驶员脸又不能有可见眩光的相机。它向传感器要两样:在照明器波长上的真灵敏度,因为硅随波长升高响应变弱;还有一个能移出光路的红外截止滤片,因为那片让日光色彩正常的滤片,也挡住正要加进来的光。一个标着夜间模式的传感器,就是造来能切换那片滤片、读近红外波段的。

有可见光的地方,可见光照明也有它的位置。一盏受控的可见光灯,环形打或斜打来消阴影,能让模型的活比靠环境光容易得多,也比红外方案便宜。光是为模型要读的场景选的,稳定、瞄准,而不是丢给房间碰巧给的。人共用空间、眩光是问题的地方,红外路线赢;场景封闭的地方,一盏瞄得好的可见光灯往往就够。

颜色不够、需要深度的时候

有些活在一张平面图像上根本做不成。把真脸和一张脸的照片分开、量一个托盘有多远、或让机器人从料箱里抓一个零件,都要知道距离,而彩色相机不带这个。

把这个通道加上,是用飞行时间传感器给视觉 AI 取深度的事。飞行时间传感器测光从每个点返回要多久、把它变成逐像素的距离,给模型一张和颜色并排或代替颜色的深度图。它带着自己的限制:更短的量程、对返光很少的亮面或暗面犯难、分辨率远低于彩色传感器,所以它往往挨着彩色相机走、而不取代它。加不加它,取决于这个任务是不是本质上一个穿着图像外衣的距离问题。

飞行时间是取深度的一条路、不是唯一一条。一对立体相机从两个视角之间的位移算距离,在日光下顶得住、而飞行时间可能被晒花,代价是两台相机、它们之间一根刚性基线、还有匹配两个视角的算力。结构光投一个已知图案、读它怎么变形,近处和室内强。哪种方法合适,由量程、光照、以及深度能占多少算力和板面来定。

镜头,以及模型信任的那套几何

镜头是成像系统的一半,却只分到一点点注意。它定了传感器看到场景的多少、物体在整幅画面里有多锐、几何从中心到边缘有多真。模型这三样都读,而最后一样最坑人。

广角镜头看到更多场景,也把直线在边缘弯成弧,这种桶形畸变随视场变大而长。人看一扇略弯的门没问题。一个在近矩形镜头上学过物体形状的模型,会在弯掉的版本上栽,而一个从图像测尺寸或位置的系统,在畸变最重处读出错的数。这怎么发作,正是镜头畸变怎么坑到视觉模型讲的。畸变可以测一次、在软件里校正,代价是丢掉一些边缘像素、每帧花一点算力;也可以靠选一只视场更窄的长镜头、把它压在模型能容忍的范围内。镜头还得分辨得出传感器能抓的东西,因为一只软镜头后面的锐传感器把买来的分辨率扔了,这两者要一起定,否则便宜的那个赢、把另一个浪费掉。

对焦是到了现场才想起的那部分。一只定焦镜头对准一个距离,远近差很多的物体就糊,而喂给模型一个糊掉的物体,它就丢了要的细节。景深,也就是保持够锐的那段距离范围,由镜头和光定,它得覆盖物体真会出现的那些距离。

光圈定了镜头放过多少光,而一个在暗场景里的模型要一只开得大的快镜头,代价是更浅的景深、得对着对焦距离管好让物体保持锐。慢镜头让场景更多地方在焦内、换来要更多的光。光圈是对着和传感器同一份光预算选的,因为慢镜头后面再灵敏的传感器,在暗处照样饿着。

锐度背后有个数,调制传递函数,它说镜头在整幅画面、在细处保住了多少反差。一只镜头可以中心锐、到边缘垮掉,而盯着整幅画面的模型在边缘照样得干活。把镜头对着传感器的像素间距读、而且跨整个视场而不只看中心,才是让锐传感器不至于坐在一只喂不动它的镜头后面。

传感器到模型之间的处理链

传感器和模型之间隔着图像处理链,这条链把原始传感器读数变成模型收到的那幅图。在消费相机上这条链是为讨眼睛调的:它去马赛克还原颜色、去噪、锐化边缘、映射色调、平衡白点,每一步都被"好看不好看"塑形。模型不是在好不好看上学的。它是在产出它训练图像的那条链上学的,任何在推理时不一样的步骤,都把像素从那里挪开。

所以第一个决定是这条链保留多少。一个在原始或轻处理帧上训练的模型,喂同样的它做得更好,把重的化妆步骤关掉,因为锐化滤镜会造出场景里本没有的边缘,去噪会抹掉模型可能靠的细纹。一个在完整相机链上训练的模型,推理时就要那条同样的链。处理是对着训练匹配的,而台架屏幕上的预览是调它的错标尺。

自动功能是安静的隐患。自动曝光、自动白平衡、自动增益都随场景变化一帧帧改图,所以同一个物体能在一秒之内前后看着不一样,而模型把这种改读成物体本身在变。把这些功能锁住,或让它们稳定下来再держ住,给模型一个稳的输入,代价是每个设置覆盖更窄的场景范围。

处理链还决定活在哪里跑。一个带板载 ISP 的传感器交出处理好的流、省了处理器的事。一个原始传感器把处理推给主机,花算力和功耗、换回来的是每一步都在设计者掌控里。哪种合适,取决于这条链要被弯到多大程度去匹配模型学过的东西。

让推理时的图像匹配训练时的图像

视觉模型从它训练的图像里学到它那个世界的样子,并把关于分辨率、颜色、锐度、动态范围和几何的一串沉默假设带出那个训练集。当它在现场看到的图像合上这些假设,准确率守得住;当它们漂移,准确率就往下滑,而且常常没有任何报错。这正是藏在一次"屏幕上看着没事"的换传感器背后的失败。一个在某台相机的素材上训练、然后跑在一颗色彩响应不同、噪声更重的便宜传感器上的模型,会继续给出自信却悄悄更错的答案,因为像素不再落在训练像素当年落的地方。同样的漂移也来自一个锐化方式不同的 ISP、一只畸变更大的镜头、一帧被不同算法缩小、或一次把训练数据本держ住的高光削掉的曝光。这些都不表现为崩溃。它表现为一种缓慢的准确率流失,被怪到模型头上,而起因是喂它的像素。出路是把模型训练时所在的成像条件钉死、在推理时复现出来:分辨率和裁切、颜色与白平衡的处理、畸变校正、曝光行为,让产品端的传感器、镜头和处理链交出一幅模型认得出是自家的图。当相机不得不在项目晚期换,更稳的路是在新相机的图像上重训或微调,而不是指望模型能泛化,因为一个从没见过这颗新传感器脾气的模型,没有理由把它处理好。

有一个便宜的检查能在出货前抓住这种漂移。从量产相机和它的处理链收一小批图像,把模型跑一遍,拿它的准确率和训练基准比。那里出现的差距,就是成像不匹配在自己现身,而此刻还能在光学、处理链、或一轮微调里修。把这个检查省掉,就是让不匹配以一种没有测试报出来的缓慢准确率流失、到现场才暴露。

检查不过时的修法都是寻常工程。把镜头畸变测一次、在现场套用那个校正。把分辨率、裁切和颜色处理钉到训练集用的那一套。把曝光держ在训练图像所在的地方。没有一样是玄的,而每一样都得在产品要出货的同一套硬件上定,这就是为什么传感器和镜头要把模型摆在桌上一起选。

这就是传感器和镜头不能脱离模型来选的原因。这两端是一个系统。

把像素送进加速器

一个抓到干净图像的传感器,如果像素不能及时到加速器,就没用。高分辨率高帧率的流,是每秒一大股数据,而从传感器到处理器的这条链路得把它扛住,不丢帧、不加应用负担不起的延迟。

这条链路,正是把相机数据喂进加速器的带宽瓶颈讲的。多数传感器经一个 MIPI CSI 接口送数据,它的通道数和速率封顶了每秒能过多少像素,另一头的处理器得有一个对得上的相机输入。当原始流大过链路或加速器能收的量,上游就得让步:更低的分辨率、更慢的帧率、在传感器上裁出一块感兴趣区、或模型得忍的压缩。选传感器却不核所选处理器吃不吃得下它的全流,就是一个设计最后把好传感器跑在零头速率上的原因。

延迟和带宽一起来。一个要反应的模型,在机器人或车上,在意的不只是帧到没到、而是事件之后多久到,而深到能抹平带宽的缓冲会加上控制环感受得到的延迟。这份预算是每秒帧数和毫秒延迟一起算的,跨传感器、链路和加速器作为一条路定下来。

压缩是原始流塞不进时的泄压阀。一个传感器或 ISP 能交出一个适配更细链路的压缩流,而模型从解压结果干活,那已不再是传感器所见的逐比特原样。轻压缩模型察觉不到。重压缩把细节抹糊、铺下块状伪影,一个在干净帧上训练的模型可能在上面栽,所以压缩压到模型能忍的程度、在真实帧上核过。

给视觉选传感器常见的问题

更高像素的传感器会让视觉模型更准吗?

只在到达模型需要落在物体上的细节为止。再往上,更多像素只是加了要搬要算的数据、却没加可用信号,还会拉低帧率、抬高每像素噪声。有用的衡量是在工作距离上有多少像素落在目标上,不是标称的那个总数。

全局快门什么时候值得多花钱?

当物体在一次读出的时间里穿过画面足够多像素、把形状弄斜或弄糊,而模型或测量又依赖这个形状是真的时候。慢场景、或运动每帧只穿过很少像素的场景,可以用卷帘快门、保住更低的成本。

为什么换了个屏幕上看着没问题的传感器,模型却掉准?

因为模型是在某一种样子上训练的,而新传感器的色彩响应、噪声、锐度或畸变把像素挪离了它学过的。图像对人看着没事,却照样落在模型训练分布之外。复现训练条件,或者在新相机上重训。

我需要深度传感器,还是彩色相机就够?

当任务能从外观解出来,彩色相机就够。当任务本质上是关于距离或三维形状,比如防伪、体积测量、或机器人从料箱抓取,平面图像扛不动答案,深度传感器才占得住位。

镜头畸变对模型有多大影响?

当模型要读真实形状、或测尺寸和位置时影响大,因为广角镜头在边缘把几何弯得最狠。它可以在软件里校正、或用长镜头压小,而一个在现场所见的同样畸变上训练的模型能忍更多。

什么决定处理器跟不跟得上传感器?

相机接口,通常是 MIPI CSI,它的通道数和速率,对上传感器在所选分辨率和帧率下的每秒像素。如果原始流超过链路或加速器输入,分辨率、帧率或区域就得降下来,所以传感器和处理器要当一对来配。

按次序选传感器和光学

这个次序让这些选择不打架。从场景和模型起步:物体是什么、多远多快、场景怎么打光、模型被训练去看什么。让它定下要紧的规格:落在目标上的分辨率、动态范围、快门、还有光的波长。挑镜头去配:视场、锐度、还有模型能容忍的畸变。然后核深度这个问题,核处理器能不能按应用要的帧率和延迟吃下这条流。

贯穿这一切的线是:传感器和镜头是为模型需要而选的,而产品端的图像得匹配模型学过的图像。把这个做对,模型在场景最难的那天也能工作。做错了,模型就为一个像素从没让它够到的答案背锅。