外界(特别是摄影消费者)对当下光场相机性能和前景的普遍看法,即这盛极一时的“神器”被负面看待为“鸡肋”,
所谓普及,就是指这一设备的广泛应用,广泛的应用意味着旺盛且庞大的需求。而在需求层面,可大致分为To C (个体消费者,如摄影爱好者)和To B(企业机构)两个方面。
本文在尝试回答这样的一个问题之余,也逆向探讨这一个问题的反问,即光场相机究竟在什么样的条件下能够获得普及?限制其走向大众市场的“紧箍咒”究竟为何?后续技术进步的“大乘佛法真经” 能否去除这一桎梏?若能,光场相机又会在哪些领域发扬光大?
就To C端而言,最大的需求源于摄影摄像,而光场相机的市场遇冷,最主要的原因还是其本身系统的空间-视角折中设计导致其空间分辨率过低。光场相机的原理是一个微透镜阵列被置于主透镜和CCD/CMOS感光芯片之间 (见图1), 以同时得到不同视角下的场景图片。每个微透镜下的一个像素,对应主透镜上的一小部分,从而代表了一个观察视角;每个微透镜本身则对应一个物方景象空间点。假定感光芯片像素总数为
在这一原理的限制下,一个原始像素数目为5638*7728 (4357万)像素的感光芯片,如果微透镜下像素数目为14*14, 则最终得到的单视角图片只有402*552(22万)像素。这什么水平呢?用手机摄像头的像素数目做类比,这种级别的分辨率,仅仅略优于世界上第一款安装摄像头的手机,于千禧年2000发布的夏普J-SH04,就图3这款爷爷辈的手机,摄像头像素11万。
这一原理性的硬件限制,极大地降低了原始感光芯片的有效利用率。而摄影爱好者对像素分辨率有着极其挑剔的诉求,就生活场景而言,要求相机千万像素起步。为了达到纤毫毕现,甚至有人宁愿回归使用胶片相机。在如此反差强烈的性能要求与供给能力对比下,光场相机败走消费者市场就几成定局!
由于视角-空间折中关系的存在,低空间分辨率这一问题的解决并不是特别容易。最直接的解决办法,就是增加感光芯片的像素数目。一方面,但像素数目的增加也代表着数据存储量的增加,使得数据的处理和计算更加麻烦。另一方面,像素数目的增加,要么是增加感光芯片的靶面积,要么是在感光芯片面积一定的条件下使得单个像素的面积变小,但两种方法都存在各自的问题和挑战。
对前者而言,感光芯片的尺寸,有着明确的行业标准,它与镜头的尺寸存在着适配关系,芯片的大小决定了对应镜头的尺寸大小,从而进一步决定了DOF、信噪比、动态范围等一系列性能。简单来说,越大的芯片意味着越沉重且昂贵的镜头,越浅的DOF, 越高的噪声水平还有越明显的渐晕效应……
如果不改变感光芯片的面积,而使单个像素的尺寸变小(工艺的进步毫无疑问能够达到),则又会面临另外一个窘境。即微透镜尺寸的衍射效应约束以及f#(f数,fnumber)匹配关系约束。当仅考虑衍射效应的时候,微透镜衍射光斑的尺寸为:
其中M是微透镜的放大系数,对微透镜可以认为其聚焦在无穷远,即M近似于0,fnumber = 微透镜焦距
, 这里不妨假定为4,即镜头常用的fnumber; 是光波的波长,不妨假设其为可见绿光532nm, 则衍射光斑直径 为5.1微米。这在某种程度上预示着,对微透镜而言,它的物理分辨极限为5.1微米,假设将进入微透镜的光看作成很多根光线,那么这些光线中最细的就是的这个尺度。换而言之,像素尺寸低于这个值,就会造成硬件浪费,在微透镜尺寸大小不变的条件下,让像素尺寸变小,并不会提高相机的角度分辨率!这也就从另一方面代表着,也无法简单通过让微透镜尺寸变小,使得固定的CCD面积可以铺满更多的微透镜,
而为了让感光芯片上的像素被充分的利用,微透镜下各个方向入射光线形成的光斑尺寸需要正好等于微透镜本身的尺寸,因此微透镜的fnumber和主镜头的fnumber必须匹配。如果采取更小的微透镜尺寸
,为了匹配主镜头的fnumber, 微透镜的焦距就需要更短,意味着微透镜本身的形状曲率更高,相应的成像像差更严重。fnumber匹配让微透镜的硬件参数无形中又增加了一个枷锁。
由于上述约束关系的存在,可以不妨做一个大胆的判断:如果保持现有成像系统结构不变,即使感光芯片的制造工艺取得长足进步,光场相机的空间分辨率也没办法得到明显改善。光场相机能在To C端被消费者接纳存在前提,需要等到十亿到百亿级别的感光芯片诞生,相应的半导体计算、存储能力也得到巨大飞跃。就目前而言,一亿级别的芯片,已经是人类工业能力的极限。
一句话以概括:光场相机的局限源于微透镜,微透镜的局限源于透镜光学衍射极限。微透镜即赋予了光场相机同时记录光线强度和角度的能力,但也限制了其空间分辨率的提高。
在To B方面,对光场相机没那么高的空间分辨率要求,光场相机可以被用作科研工具,例如显微成像[1]、流体测速[2]和波前探测[3]等等,但这一领域的市场需求并不旺盛,无法称得上令技术普及。因此,光场相机的大规模应用取决于工业界需求,在这一领域,其扮演的角色是类似结构光、双目视觉一样的深度传感器。而与这些技术相比,光场相机具有被动视觉、成像快速、解算迅捷以及宽视场大景深的优势。
在工业需求中,当下潜在巨大需求的领域大多分布在以下两个领域:工业检测与医疗诊断。
工业检验测试方面,可大致分为内部探伤与外观检测。工业产品的外观尺寸,反映了其加工误差,不同加工环节的外观瑕疵则反映了工序的好坏,因此工业外观检测在产品的质量控制、成本控制上举足轻重,其重要性不言而喻。而工业外观检测种类非常之多,工业产品琳琅满目。这两者充分说明了光场相机的潜在市场空间十分巨大。也因此,光场相机的第一步商业实用化,是在工业外观检测上被落地实用。比如电子设备屏幕模组的瑕疵三维检测、精密工业零件(MEMS, 燃气轮机叶片等等)的加工误差检测、芯片的金属线检测,等等。应用案例可以参见,国内奕目科技公司的Vomma光场相机主页。
在内部探伤领域,随着X-ray光场成像[4]的提出,光场成像可通过其三维立体成像优势,发展成为一种新的快速无损内部探伤手段,这是只能进行外观深度探测的结构光和线激光所不具备的优势。
比如光场相机作为一种深度传感器,可以辅助手术机器人完成精准操作的微创手术。利用光场相机宽视场、大景深,深度信息解算迅速(100ms级别), 光场相机能够迅速定位医疗机械臂上的手术工具头的位置,同时光场相机也能够实现目标区域人体组织的定位,比如下图中,在光场相机的定位辅助下,手术机器人精准完成了伤口的缝合,光场相机还可以通过测量缝合线头的形貌,判别缝合质量。得益于光场相机的结构紧凑型,机械臂与相机的手眼标定(即相机坐标系和机械臂的运动坐标系转换)也更加便捷。
再比如光场相机应用于内窥镜。由于光场相机基于被动视觉,无需辅助光源,基于光场相机的内窥镜,可以集成到一根探头上,而基于结构光的内窥镜则需要两个探头,即光源和成像系统,加剧了结构的复杂度和手术操作难度 (在可以只往身体内插一根管子的时候,也没病人希望插两根)。光场相机与内窥镜之间通过中继镜头使得fnumber得到匹配。光场相机同时返回人体组织的深度信息和二维影像。
再比如光场相机应用于人眼部的医疗检测。例如虹膜的形态,除了反映人眼部健康之外,也是人别的部位生理信息的重要指标,如晚期糖尿病可引起虹膜新生血管形成,也称虹膜红肿,虹膜上出现细小血管。此外,治疗良性前列腺肥大(BPH)的药物也会改变虹膜肌张力,导致虹膜结构改变和眼部手术并发症。针对这一问题,目前的主要检验测试手段是OCT断层扫描,还有超声显微镜。但虹膜是一种动态组织,它的形状和配置可能会随着眼球运动而改变,OCT测着测着,没准病人就眨眼了。超声显微镜则需要给病人眼部麻醉,探头需要和眼球非间接接触,操作也复杂。光场相机则能够尽可能的防止这些问题,利用其快速成像的优势,检测只需要一瞬间。
再比如光场相机应用于牙齿取模。牙科诊所,病人牙齿有缺损,需要用石膏对病人进行取模,患者咬住十分钟到半小时,石膏固化后寄送给人造牙的工厂,等个十天半个月后浇筑好的牙齿再寄送到牙医手上。但是光场成像,可以在瞬间完成牙齿三维形貌的测定。因此有希望完成快速取模,同时数据资料即时传输到人造齿生产厂商,利用3D打印造出牙齿的模具或者直接打印牙齿本身,从而极大地降低取模时间,并且显著缩短患者等待人造牙齿的时间周期。
此外,光场相机在医疗美容也可以存在应用,作为一种深度相机,能够给大家提供整形前后的立体的外观相对变化信息……
如前文所述,光场相机的低空间分辨率源于微透镜导致的空间-视角信息折中,而微透镜又受限于光学衍射极限,使得即使感光芯片加工工艺提高,也无法把微透镜做得更小。这一问题难道无解?非也,超透镜(metalens)技术,毫无疑问是解开这个限制的关键技术 [5]。人类技术的进步,源于两大推动力,尺度和维度。超透镜就是一种在尺度上通过细微结构,调整波前的技术。透镜的作用,无非是调制波前,使得光线汇聚。从菲涅尔透镜上我们大家可以看到超透镜的逻辑,对于一个凸透镜,去除掉透镜中对波前调制没有贡献的部位,能够获得一个很薄的但功能等效的凸透镜。这种菲涅尔透镜中的每个细微结构,负责调制波前。由此及彼,假如一个平面上有很多的细微结构(尺度接近光波波长),每个细微结构都参与调制,就能够获得一个和凸透镜一样的波前调制器。这种超透镜的最大优点是,不仅结构轻薄,消除了因为透镜厚度造成的复杂像差,更重要的是突破了衍射极限。
可以大胆预测,在超透镜技术成熟后,光场相机的下一步道路必然是采用基于超透镜的主透镜与微透镜,在没有衍射效应的束缚下,微透镜可以越做越小,只要感光像素的尺寸能够继续变小,微透镜的尺寸就可以跟进变化。不但可以有效提升光场相机的空间分辨率,视角分辨率也可以因为像素变小而提高。原本钳制光场相机的小基线问题,也必将得到进一步缓解,成像像差也会得到改善。
简单总结来说,光场相机的普及,在摄影群体中具有很大的难度,受限于光场相机的空间-角度信息折中关系,这一情况不会因为感光芯片的制造工艺进步而有明显改善;而光场相机的独特优势,令其在工业上被大范围的应用存在可能;同时,超镜头技术的出现以及迭代更新的感光芯片,使得光场相机的分辨率将会得到提高,从而克服现存的性能缺陷。
在当下的技术水平下,为了绕开折中设计这一性能陷阱,光场成像也有其他变种,比如掩码、鬼成像等等,可以下次继续探讨,这些光场相机变种与微透镜构型的光场相机在性能上的区别与优劣之分。
文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。
江波龙创始人蔡华波表示:“我们很荣幸能够收购Lexar,Lexar在全球市场已广受消费者认同,配合江波龙专业的技术产品、高效率运营、优秀人才等优势,江波龙有能力将Lexar品牌继续
用MSP430F5438+TFT液晶实现的精美指针式电子钟,(附源码)
430系列杰出的超低功耗特性的同时大幅度提升了性能,既省饭又能干,以前的430系列单片机几乎不可能完成的任务,比如流畅GUI、复杂网络应用、实时多任务
,对Labview知之甚少。无奈老板留了任务,而且时间紧张,所以请高手们指点一二。我也没什么可以报答的,仅当帮助Labview
上9000万美金灰飞湮灭,相比之下德国RAYTRIX则更为聪明,在工业
庆祝元旦!新年好! 张老师好! 1212无人机一万余页中英文本,很有参考价值,相关的内容需认真仔细看学习,理解,吸收消化!到有效应用,
了。Spectra主电路板有32个电极接口,用户都能够在电路板上接入32个电极,再连上USB接口就能开始工作了。如果被测物体是你的手指、一小块
,魅族新款手机又被网友深挖,网友曝光了GeekBench数据库中的一款魅族新机,型号显示为Meizu M5 Note,从型号名称上看,魅蓝Note 5的可能性最大。
熟悉魅族的朋友想必都知道,近年来魅族手机有一个标志性的交互方式,这就是mback。不过,原因是太好用,这一魅族
评测专业网站dxomark放出了华为P10摄影功能得分,这台牵手徕卡而且把双摄
的华为最新旗舰摄影手机获得了87分的总成果,与三星S6 Edge和索尼Xperia XZ、Z5齐平。
任天堂风靡全球的游戏Pokemon GO第一次展示了手机AR的巨大魅力,如今苹果正准备把手机AR
。 今年5月,苹果在WWDC大会上发布了通用AR平台ARKit,意味着苹果开始着手AR
华为手机的销量在7月和8月已经超越苹果手机,登上了世界第二的位子,而且还是国内第一家把自主芯片做大做强的手机生产厂商。自从麒麟芯片走强后,华为手机芯片已经能够部分自给自足,但是问题来了,为什么华为不像高通一样,把自己的芯片
的一门技术。Untiy3D为我们把Shader的复杂性包装起来,降低shader的书写门槛。
眼下,电动车在我们身边的存在感越来越强,虽然我们还不满足于它的充电速度,续航里程(低温度的环境下)等体验短板,但作为一个理念更先进、前景不可估量的产品,我们实际上也认可了它在特定场景下使用的合理性。
在甜品级市场中,为了接替老架构的RX 500系列显卡,将7nm工艺和RDNA架构的优势继续
,蓝宝石现已推出RX 5500XT 8G 白金版OC,官方售价为1499元。
。芯片上的晶体管数量增加了100万倍,解决能力提高了45万倍,并将为处理海量数据提供领先的技术。
【先楫HPM5361EVK开发板试用体验】(原创)6.手把手实战红外线传感器源代码