王琼华 任慧:集成成像桌面真3D显示技术原理与应用

2019-04-12 10:19
文/王琼华 任慧

3D显示是显示技术的前沿,集成成像桌面真3D显示技术将实现从“单人或少数人共享的墙面显示”到“众人环视共享的桌面显示”,从“有立体观看视疲劳的伪3D显示”到“无立体观看视疲劳的真3D显示”,从“纯图像显示”到“图像与实物融合显示”,从“被动观看”到“实时互动”的颠覆性创新。集成成像桌面3D显示将逐渐渗入到人们生活的方方面面,大力推动社会信息化发展进程,显著提高人民的生活质量。

时下,3D显示技术正在如火如荼地发展,这大大促进了多种显示方式的诞生、进步与融合。集成成像真3D显示技术是一种具有历史积淀的真3D显示技术,为观看者提供3D物体的光场信息,是一种没有立体观看视疲劳的真3D显示技术;而相对于常规的墙面显示,桌面显示是为观众提供围坐显示屏四周进行观看的显示方式,是人们执着追求的一种高效舒适且符合生活工作习惯的显示方式。随着科学技术的日益发展和人们物质文化需求的日渐增长,将集成成像显示技术与桌面显示方式相结合是信息时代的迫切所需,集成成像桌面真3D显示技术将在医学、军事、教育等国家心之所系的重要领域大放异彩,突显时代的科技力量与人文关怀。

结构原理

集成成像真3D显示可以追溯到一个世纪前的1908年,李普曼提出使用一组透镜阵列将3D场景中不同位置和方向的光线信息捕获到一组图像元阵列中,这组图像元阵列通常称为微图像阵列,如图1所示。该方法的关键点在于,由于微图像阵列包含了3D场景的部分光场信息,所以根据光路可逆原理,通过相同参数的透镜阵列可以恢复出被记录的3D场景。这种显示方式可以在非相干光的环境下实现全视差和全彩色的3D显示,与此同时观看者不需要佩戴任何助视设备,是一种简单、高效、高性能并且无立体观看视疲劳的裸眼3D显示方式[1]。

图1集成成像真3D显示的结构原理

图2是集成成像桌面真3D显示系统的示意图。集成成像桌面真3D显示系统一般包括3个组成部分:2D显示装置、透镜阵列以及光线控制装置。其中2D显示装置可以是常用的平板显示器或投影仪等,透镜阵列板与显示屏平行。实现集成成像桌面真3D显示,首先需要获取3D物体360度范围内的光场信息并合成微图像阵列,然后利用2D显示装置显示微图像阵列,通过透镜阵列进行一次调制,接着通过光线控制装置进行二次光线调制。根据不同系统的不同设计方案,两次调制次序可以互换。最后,由光线控制装置将光线导向桌面周围的环形视区,由此实现360度可环视的3D显示。


图2 集成成像桌面真3D显示示意图

集成成像桌面真3D显示系统的目标是:模拟真实的桌面环境,桌面的尺寸可以根据应用需求任意设定,从桌面上发射出的光线经重建并显示出高清、逼真且生动的3D场景,众多观看者可以同时进行观看。其特点有如下几个:

1)显示出的3D物体可以悬浮在空中,能以多种自然、流畅甚至炫酷的方式显示出必要的标注信息,显著增加桌面显示的信息量;

2)显示的3D图像也可以像放置在桌面上一样,与桌上真实的物体融合在同一环境,难以区分虚实,实现真正意义上的虚实融合;

3)根据观看者的运动状态,可以看到桌面3D场景的对应的不同方向信息,且显示的信息色彩丰富、纹理清晰,观看视角和范围足够大,观看体验自然且舒适,不会因为观看时长而产生立体视觉疲劳;

4)显示的3D图像可以获取正确的空间遮挡关系:近大远小,遮挡物比被遮挡物更远,移动观看时近处物体比远处物体移动得更快;

5)通过多种方式与任意规模的3D场景进行互动,可以通过手势、语音和表情等方式进行临场实时交互,也可以通过可移动设备进行远程实时交互;

6)显示的3D图像具有任意放大、缩小、拖动、旋转等多种自然流畅的交互形式,使用户感觉能轻松自在、随心所欲地掌控桌面上的3D世界,全身心地享受、沉浸在虚实融合的3D世界中。

三种集成成像桌面真3D显示系统

现有的集成成像桌面3D显示系统主要有三种[2]:(1)基于时间分割多路复用技术的系统,(2)基于空间分割多路复用技术的系统,(3)基于“真实桌面”技术的系统。一般情况下前两种系统都需要带有附加的光线控制器,而第三种系统是对处于平躺状态的传统集成成像显示系统中的透镜进行优化。由于该类系统从外形上看更接近一个真实的桌面,为了方便描述,本文暂时称为“真实桌面”技术。

一、基于时分复用技术的系统

如图3(a)所示,基于时分复用技术的集成成像桌面真3D显示系统通常需要一个动态装置来控制并改变光线的方向,同时微图像阵列的刷新要与动态装置同步。例如,t1时刻的微图像阵列通过2D显示装置显示出,然后通过透镜阵列,再通过动态的光线控制器,使要显示的3D图像偏转到环状视区中对应t1时刻的位置,然后下一时刻刷新的微图像阵列继续经历同样的过程在t2,t3…位置上依次显示3D物体360度的光场信息。由于相邻两个时刻之间的间隔极其短暂,可以使观看者忽略微图像阵列切换时造成的3D图像的闪烁现象,从而形成连续的桌面真3D显示效果。

基于时分复用技术的系统通常可采用高速旋转的视角导向层作为光线控制装置[2]。如图3(b)所示,这两种光学元件从外观上看都像一组与水平方向有一定角度的空穴阵列,它吸收并反射一部分光线,再沿着特定的角度通过另一部分光线,实现光线方向可控。基于这种结构的桌面3D显示效果如图3(c)所示。由此可见,在未来桌面真3D显示技术的发展中,具有精度高、轻便、稳定和低反射率等优点的光线控制器更具有发展优势。

我们设想一种理想的情况,有一种薄片化的光线控制器可直接贴附于显示屏幕上,并通过外界的控制(电压或其他)可以使它的微结构单元的状态快速变化,同时配合快速刷新的微图像阵列以及有望商业化的高刷新率的2D显示器,实现实用化更强的桌面真3D显示系统。

二、基于空分复用技术的系统

如图4(a)所示,基于空分复用的集成成像桌面真3D显示系统通常采用一个静态的装置来实现光线的偏转。首先通过2D显示装置显示微图像阵列,针对s1视区范围的微图像阵列经过透镜阵列和静态光控制器后,使要显示的3D图像偏转到空间环状区域中对应的s1视区处。与此同时,相邻方向的微图像阵列也经历同样的过程,最后在空间中360度范围内不同的视区显示对应的3D图像,最终拼接融合成完整的3D场景。但由于相邻两个视区的3D图像一般难以平滑衔接,所以容易出现3D图像的跳变或串扰等问题。

时下备受关注的全息光学元件是一种可以将静态光线控制器与2D显示器相结合的光学器件,如图4(b)所示,从外形上看它像一块透明的玻璃,但其实还具有透镜阵列的光学特性[3]。进行桌面显示时,基于光学衍射原理,通过多投影仪发出参考光束到全息光学元件上,可以在环形多个方向上重建出对应不同视区的3D场景。而且,由于全息光学元件具有可穿透观看特性,还可以实现虚拟图像与实物的融合显示,如图4(c)所示。

在未来的发展中,虚实融合是备受瞩目的一种显示方式,所以记录过程高效和衍射效率均匀的全息光学元件是万众期待的,同时串扰消除的方法和多投影的集成化及轻量化也将大大推动这种显示系统的应用进程。


图3 基于时分复用技术的集成成像真3D桌面显示系统

图4 基于空分复用技术的集成成像真3D桌面显示系统



图5 基于“真实桌面”技术的集成成像真3D桌面显示系统

三、基于“真实桌面”技术的系统

如图5(a)所示,在“真实桌面”技术中,重建的3D场景的观看区域是在2D显示装置的上方,但2D显示装置正上方的最佳观看视区十分有限,难以满足桌面显示的要求。因此,为实现更大的3D观看视区,一种有效的方法是采用透镜优化的策略。由于透镜阵列是集成成像桌面真3D显示系统中的关键部件,会直接影响重建的3D光场信息的质量,所以可以通过设计新的透镜结构,以增加集成成像3D显示的观看视角。

一般情况下,单透镜的中心视区图像质量优于边缘视区的图像质量,然而桌面显示系统对环形边缘视区的3D图像质量要求更高。根据这一特点,优化透镜时需要设计出视角更大、边缘成像质量更佳的复合透镜[4]。如图5(b)所示,与传统的单透镜阵列相比,优化后的复合透镜阵列在桌面边缘的环形视区内重建的3D图像的质量可以得到显著提升,从而扩大3D观看视区,图5(c)为在桌面周围不同方向看到的3D图像。

目前,复合透镜阵列的设计和优化主要以控制像差为目的,但在设计和生产过程中还存在一些难题:透镜参数优化工作难以独立进行,需要考虑其他参与成像与显示的光学元件,离不开透镜设计经验丰富的人员参与;所需的复合透镜数目庞大,生产和加工周期较长;为不同的复合透镜阵列装配做不同的机械设计,而且透镜尺寸小,数量多,难以保证装配精度和稳定性;装配后的复合透镜阵列体积较大,增加了系统的复杂度。在不久的将来,随着精密制造业和数控加工领域的飞速发展,复合透镜的高效生产、加工技术与透镜阵列的高精度组装技术有望得到跨步式发展,使透镜加工周期不再严重受到加工数目的制约,装配精度达标,不影响3D显示效果。同时也希望能选用更合适的透镜材料或选用更先进的装配技术,减少装配后复合透镜的厚度,保证复合透镜成像质量的同时,使其更薄更轻,这将会强有力地促进基于“真实桌面”技术的集成成像桌面真3D显示技术的发展。


图6 集成成像真3D桌面显示的应用

应用前景

相比于基于全息和体3D显示等其他3D显示技术的桌面真3D显示,集成成像桌面真3D显示具有3D显示性能好和可实用性高等优点,在不远的未来将有十分广泛的推广应用前景和显著的经济与社会效益。

在医学领域中,集成成像桌面真3D系统倾向于“商讨型”的显示形式。如图6(a)所示,3D模型的360度可视化,可以以逼真、直观的方式再现手术现场或显示身体器官等重要信息,以供医学者们学习、讨论与交流[5]。具体地,可以应用到医生的学习与教学过程中,使他们能更直观、清晰地看到并理解结构复杂多样的医学图像或场景,提高医学者们的学习效率和工作效率;也可以用于远程医疗诊断和手术的可视化,将诊断或手术的实景信息远程至医学专家组或者特定组织处以进行研讨或寻求辅助,这会大大增强诊断或手术期间的操作和协作效率。

在教育教学领域,集成成像桌面真3D系统倾向于“共享型”的显示形式。由于知识的传播源往往局限于有限的地域或有限的人群,所以利用桌面真3D显示系统可以在不同地域间开拓出多条虚拟信息通道,使受益人群范围明显增加。如图6(b)所示,可以在课堂上为中小学生们演示立体几何模型、化学分子模型等物理结构,拓展学生们的空间想象能力[6];还可以远程展览历史文物或稀有物体等,打破物理空间上的限制,使学习者们共享稀有珍贵的教学资源,有助于开阔眼界,使那些“足未能出户”的人们也有机会看到外面世界的精彩。

在地理信息领域,集成成像桌面3D系统倾向于“展示型”的显示形式。电子沙盘是一种备受期待的桌面真3D显示应用实例,它可以实时地显示目标区域的3D地理信息,解决传统实体沙盘灵活性差、标注有限、无法实时交互等难题,如图6(c)所示,在作战仿真推演、实时监控和战场态势可视化方面发挥重大作用[7]。目前我国很多地方还处在城市化进程的快速发展期,电子沙盘作为重要的三维大型场景展示工具,不仅广泛应用于军事等领域,还可以应用于建筑展示、工程改造、农业规划等多个领域,为城镇乡村等地区的规划设计提供有效的技术支持,如图6(d)所示[8]。

在智能家电领域,集成成像桌面真3D系统倾向于“休闲娱乐型”的显示形式。近年出现的“虚拟管家”等产品向我们提示了桌面真3D显示“进家门”的发展趋势。“虚拟管家”可以显示在家用桌面显示区域,日常为用户实时显示并播报新闻、天气预报等和我们生活工作息息相关的重要信息,也可以和用户进行智能语音对话,缓解用户学习或工作压力;如图6(e)所示,家用桌面真3D显示也可以成为娱乐设施,显示种类丰富的3D立体电视和游戏画面,用户可以通过手指、手掌等多种方式来触控3D画面进行交互观赏和游戏[9]。

除了以上诸多应用,集成成像桌面真3D显示还有很多其他的应用,“会议型”(如图6(f)所示)、“虚实融合型”等多种倾向的桌面真3D显示形式也将为推动个人、社会的发展做出重要贡献。在未来,集成成像桌面真3D显示的发展和应用,离不开各个领域和学科的融合和进步,包括光学、计算机图形学和控制工程等领域。所以,为推进集成成像桌面真3D显示的应用,亦需要其他学科的不断发展进步。相信在不久的将来,随着集成成像真3D技术的逐渐完善和产业链的逐渐成熟,集成成像桌面3D显示定会造福全人类。

参考文献:

[1]    王琼华. 3D显示技术与器件. 北京: 科学出版社, 2011.

[2]    L. Luo, Q. H. Wang et al., “360-degree viewable tabletop 3D display system based on integral imaging by using perspective-oriented layer,” Opt. Comm., 2019; 438: 54-60.

[3]    M. Y. He, H. Deng et al., “Dual-view-zone tabletop 3D display system based on integral imaging,” Appl. Opt., 2018; 57(4): 952-958.

[4]    X. Gao, X. Z. Sang et al., “360° light field 3D display system based on a triplet lenses array and holographic functional screen,” Chin. Opt. Lett., 2017; 15(12): 121201.

[5]    https://www.dephotos.cn/183788350/stock-photo-doctor-showing-heart-hologram-from.html

[6]    http://www.yhyvr.com/news/f3f9b691b2d64852b6660259718cf650

[7]    https://cn.made-in-china.com/gongying/huanxikj-bvExdBPVJmpa.html

[8]    http://www.sohu.com/a/225670446_100109730

[9]    http://slide.tech.sina.com.cn/notebook/slide_5_38616_26365.html#p=1



c3dservice@126.com
———————————————————————————————————————————————————————————————————————————————————————————
工作时间:09:00—18:00
联系电话:010-68234468
北京市海淀区复兴路49号