欢迎访问深圳市中小企业公共服务平台电子信息窗口
从安森美机器视觉展方案看,智能感知技术有哪些新发展
2024-07-15 来源:电子工程专辑
1338

关键词: 智能感知

当下,智能家居、AR/VR、工业自动化、机器人和物联网(IoT)等领域的发展势头非常强劲,而智能感知技术在其中扮演着至关重要的角色。这项技术的不断创新不仅推动了工业4.0和工业物联网(IIoT)等技术的普及和应用,也助力各行各业的数字化转型,并加速了数据分析、物联网、机器学习、云计算和人工智能(AI)等先进技术的相互融合。为了实现实时决策、提高生产效率和自动化水平,我们迫切需要先进的智能感知解决方案。

上周,在慕尼黑上海电子展同期举办的中国(上海)机器视觉展上,安森美(onsemi)公司携一系列智能感知方案亮相。与此同时,该公司三位高管也对这些最新的方案和差异化的产品,以及如何赋能行业跃迁进行了深入解读。

安森美工业和消费应用感知部门最新业务进展

据安森美智能感知事业群工业及消费应用分部副总裁兼总经理John Gerard介绍,安森美工业和消费应用感知部门的业务主要集中在高增长、高性能的应用上。其工业级专用传感器具有独特的特性,可助力客户实现差异化的感知方案。安森美今年有5个新产品系列进入量产,包括全局曝光、局部曝光和用于深度感知的新的智能iToF传感器。他表示,安森美在这个尖端技术方面投入了很多。安森美在整个全球工业图像传感器领域占据了31%份额。公司的强项是根据市场需求加入了特殊功能,和合作伙伴(不管是SoC厂商还是其他生态伙伴)强强联合。“70%好莱坞电影拍摄都采用基于我们技术的ARRI摄像机,去年印度发射上天的登月船也采用了我们的传感器,还有我们的Hyperlux LP低功耗获奖产品。”Gerard说道。

安森美智能感知事业群工业及消费应用分部副总裁兼总经理

安森美智能感知事业群工业及消费应用分部副总裁兼总经理John Gerard

现代图像传感器的发明者

安森美从最早的CCD传感器到现在有很长的历史,并有很多合作伙伴和经典里程碑成像产品,包括首台原型数码相机,并逐步扩展到低功耗消费和汽车、工业等超过25个细分领域,包括Smart TV、AR/VR/MR、深度检测等等。安森美也可以根据应用需求提供RGB、RGBIR型号。

复杂的半导体器件——从光子到输出

复杂的半导体器件——从光子到输出

安森美提供非常高精尖技术的传感器。如下图所示,最下面一层主要是数字逻辑和模拟,把它结合起来,套上上面的各种技术,就可将传感器做得很小。

安森美提供非常高精尖技术的传感器

端到端能力与保证——内外部制造与供应链

onsemi可以提供从头到尾的端到端产线,给客户提供完整的解决方案。“我们内部可以完全把几个制造步骤做完,当然也可以找外部做,我们内部和外部都可以支持,对客户供应链策略来说也可以平衡考虑。”Gerard说。

从系统来说,安森美有自己的技术,并可以做成模块。在软件方面也可以提供整套开发包给客户。“我们也是从晶圆制造到最终测试均可提供强大而灵活的能力。”Gerard指出。

为机器视觉的发展铺平道路

据安森美智能感知事业群工业及消费应用分部产品线总监Danny Scheffer介绍,onsemi的三个主要市场是:PCB/太阳能/硅/平板监测、电池检测、通用机器视觉。“我们现在做了很多产品,电池检测、太阳能方面用到很多,还有一般用途的就更广了,如食品检测等等很多的应用。”Scheffer谈道。

安森美智能感知事业群工业及消费应用分部产品线总监

安森美智能感知事业群工业及消费应用分部产品线总监Danny Scheffer

他指出,机器视觉传感器的应用有几个要求:

  1. 客户对传感器多种工作模式的灵活性提出了要求,从而让传感器用途变得更加广泛;

  2. 全局曝光/快门的传感器需要有出色的快门效率、高量子效率(QE)和高响应度;

  3. 客户要求分辨率范围从VGA到300M像素以上,对应的产品范围就非常广泛;

  4. 应用的多样性意味着需要有广泛的产品组合来支持,同时需要易用性、高帧率,以及增强的NIR 响应。

机器视觉趋势与关键性能参数

Scheffer指出,首先,机器视觉应用需要将分辨率从VGA提高到远超过100Mp,还有动态范围、低光、近红外等各种要求,扫描帧率可以在30、60至120ps甚至更高。

宽动态也是一个要求。高低光线不一样时也要可以检测得更清楚,如低光,XGS(3.2mm),条件不好时也可以把缺陷找出来。还有近红外,850nm/940um的LED现在在工业上也用得很广。

全局快门传感器和工业级性能

对运动图像来说,全局曝光是非常重要的参数。高全局快门效率(GSE)可以做到看不出任何渗光,低GSE则会在后面产生拖影。“我们的GSE非常高,没有拖影现象。”Scheffer说。

高全局快门效率(GSE)可以做到看不出任何渗光,低GSE则会在后面产生拖影

“模块化传输频率(MTF)清晰度也是一个非常重要的参数,用于判断清晰度,不好就看不清楚。我们的MTF很好,所以看得清楚。”

全局曝光这两个参数非常重要,否则传感器的拖影就很差,Scheffer解释道。

面向工业市场的三个系列和22款全局快门传感器

安森美面向工业市场提供三个系列传感器产品:

  1. PYTHON是很早的系列,分辨率从1.3MP到25MP,这是安森美全球第一个用于工业机器人、工业相机的产品。“10年前就做出来了,现在客户还在继续用”。

  2. XGS系列的分辨率从25MP到45MP。尺寸兼容,可以直接替换,这是这个系列的特点。它可以做到30fps,用于电影拍摄。“美国体育场转播系统就是用这个做的”。

  3. Hyperlux SG系列,则提供VGA到2MP三种分辨率可选。

XGS可提供非常好的图像质量,Hyperlux SG则是比较经济实惠的产品。“如果需要性价比的就选Hyperlux SG,我们有很多产品线给客户选择。从分辨率来说,2MP到45MP都有,做了一个产品线以后可以复用。如果要做全部分辨率的产线,一下子就能实现,这就是这个系列的优点。”Scheffer指出。

多用途的全局快门图像传感器XGS系列

据介绍,XGS系列的功耗比同行低一半。“功耗对产品影响也很大,传感器功耗越低,系统设计的一些要求也越低。”Scheffer指出。

快速、多用途的全局快门图像传感器PYTHON系列

“PYTHON有个非常重要的特点,帧速率可实现4倍的增长,从120fps变成480fps。这是一个非常重要的系列,可以应用于PCB检测、铁路的检测。”Scheffer表示。

速度呈二次方递增

高分辨率PYTHON1300可以读得很快,从原始的1280*1024是210fps开始,到104*100的分辨率,可达到6309fps。如果是PYTHON25K的话,112*100的分辨率,则可达到3670fps。这是安森美设计的独特技术。

紧凑型全局快门图像传感器Hyperlux SG系列

新的Hyperlux SG系列主要应用在通用机器视觉、扫描、生物识别技术、机器人、增强现实、工厂自动化等方面。

undefined

内置深度映射的1.2Mp智能iToF Hyperlux ID系列

最新的Hyperlux ID特点就是减少了运动伪影。“我们将把深度映射算法放到传感器里面,后端可以节约很多成本,也容易处理,可以帮助客户更快地量产,也可节约成本。除了深度算法之外,该系列还有一个特点,传统的方法就是来一帧送一帧,每一帧间隔时间变长,而我们把运动拖影检测得很好。另外一个特点是连续波形。我们把两者结合起来,在我们传感器当中可以做到覆盖范围比标准iToF远20多米。”Scheffer表示。

undefined

三大全新卷帘快门产品系列

安森美智能感知事业群工业及消费应用分部产品线总监Jason Wang重点介绍了该公司卷帘快门传感器产品。它包含三个系列:Hyperlux LP、Hyperlux LH和Hyperlux。

undefined

安森美智能感知事业群工业及消费应用分部产品线总监Jason Wang

“Hyperlux LP的特点就是低功耗。我们是非常强调功耗的重要性,我们的功耗比同行要低一半。现在LP家族是业界功耗最低的传感器,我们8MP的产品功耗只有同行的三分之一。AR2020和AR0830工业应用很广泛。LH家族的重要特点就是高动态,我们把3帧曝光送出去,对后端CPU的处理会节约很多。Hyperlux的主要特点是,一次曝光可以做到110cm。现在在汽车产品当中得到了应用。”Jason Wang说。

Hyperlux LP有三个产品:AR2020, AR0830和AR0544。LH家族有AR0822、AR0246,还有12MP的AR1233。“AR2020这个产品将一个全帧的20MP图片送出去,任意一个把它抓出来,原图送出去。现在工业方面用得很多,大公司都在用,年底就会有产品出来。”

2000万像素SmartROI减少带宽/处理量

在视频会议应用中,“可以把整个房间20MP送出来,可以把原图放出来,很清晰。20MP送出来也可以缩小,可以用两个频道把它送出来,可以把它做到640*480。原始的20MP是非常大的数据,后面的SoC会很难全部处理。如果把VGA降到1080P,45MP/s,减掉10多倍带宽,就能极大减轻后端负担。”Wang说。

undefined

eHDR——HyperLux LH

另外,Hyperlux LH家族主要特点就是eHDR。“把3帧都送给后端,这样可以节约很多。要是把12帧送出来,现在没有任何SoC能够接受它。可以把3帧变成30帧送出去。同时AR0246里面还有一个大的特点,就是将ALTM放到我们传感器里面。这样,有的SoC,不具有HDR宽动态功能的,我们也可以支持,比如MCU或小的CPU。也可以做成HDR,否则都要用SoC,系统成本就比较高。”Wang表示。

传统多重曝光技术问题

使用eHDR实现4K远程多摄像头系统HDR功能

如前所述,远程监控用两个摄像头就很难做,但集合起来送给后端就比较容易。“我们有客户把4个摄像头结合起来,变成360°全景摄像头,有很多用途。这两个摄像头加了智能在里面,现在一般情况下,像家用的摄像头、门禁的摄像头,进来以后会通过PIR。这个PIR很容易报错,风吹一下也会动。我们可以预检测一下是不是人在运动,如果比较像人,后端再唤醒做一个侦测,整个系统失误就会减少。现在也有很多用在车子上,有人接近我的车,我告诉这个人是我认识的人还是谁。这是有一部分智能的功能在里面了。”Wang举例说。

使用eHDR实现4K远程多摄像头系统HDR功能

传感器运动唤醒

4xAR0822 360°全景相机

下面来看下安森美合作伙伴用4个AR0822做成的摄像头。“可以做HDR,如果没有HDR就不可能把4个摄像头送到后端。”Wang透露,“这个全景相机现在用于在智慧工厂,可以做整个生产线监控,工厂自动化可以用,例如在富士康的工厂里已经在做了。它也可以放在会议桌当作全景相机。这三个系列都已经量产了,作为工业用途,这是我们新的技术。”

全景摄像机方案demo

方案Demo

高速工业检测方案

高速工业检测方案:具有高分辨率高帧率的全局快门特性

最新iToF运动深度感知方案

最新iToF运动深度感知方案:业界领先的自带深度计算算法的百万像素级别iToF芯片,高帧率,减少运动伪影,优异的近红外量子效率(NIR QE)响应。关键应用:工业机器人,物流等

低功耗相机方案

低功耗相机方案:演示运动唤醒功能,应用在要求低功耗的场景,如智能门禁、安防摄像头、增强现实(AR)/虚拟现实(VR)/扩展现实(XR)头戴装置、机器视觉和视频会议等

8K摄像机方案

8K摄像机方案:演示高分辨率45MP方案投射8K细腻影像,基于一款3.2um 45MP的全局曝光图像传感器。在全分辨下12bit下可以支持48fps,8k可以到60fps,关键应用:高端摄影

20MP工业检测方案

20MP工业检测方案:演示Smart ROI功能,带有片内scale和crop功能,减少了SoC或ISP侧的负担。基于20M的基底大像素进行的片内scale和crop为用户带来了灵活高效的分辨率配置,ROI区域配置和更高的帧率,并且可以实现两个VC通道的同时输出,充分利用了传输带宽,关键应用:AI,安防,视频会议

8MP的背照堆栈式的卷帘曝光图像传感器

近红外方案:一款2.2um像素大小,8MP的背照堆栈式的卷帘曝光图像传感器,增强的近红外响应,提供绝佳图像质量,关键应用:安防IoT,机器视觉

2MP全局快门双摄像头解决方案

2MP全局快门双摄像头解决方案