Millisecond Active Vision /毫秒级主动光电视觉系统

Background/背景

现实世界的被观测物体存在高速随机移动、复杂动态变化的特性，若对此类目标进行实时观测和稳定追踪，传统的检测及采集机制将会面临很大的技术瓶颈。毫秒级主动视觉追踪和识别技术的运用，可以更清楚的观察和掌握目标的运动细节，获得没有运动模糊的图像信息，使得以高速移动物体为观察对象的研究成为可能，在增强现实、自动驾驶以及辅助医疗等信息领域占据重要的地位。
国内外学者提出了以下几种方案：
（1）基于双轴的机械式视觉追踪结构：如图1(a)所示，相机直接固定于机械云台上，云台拖动相机实现目标追踪。其优势在于能够实现大视野的追踪控制，且不受光学条件干扰，因此在机器人视觉和监视摄像机等领域得到广泛应用。但是机械云台的响应时间一般大于25ms，追踪截止频率小于50Hz，包含相机和机械云台的旋转部件固有的大惯性本质，是制约高速云台视觉伺服系统的关键瓶颈。在高速条件下，很难获得以适当视角聚焦在目标上并使目标居中的图像。
（2）基于多摄像机的数字式视觉追踪机制：如图1(b)所示，利用多组高速相机从不同角度同时捕捉目标的运动数据，通过计算机进行画面校准，生成三维虚拟图像，通常用于电视转播。由于系统带宽限制，数字云台存在宽视野和高分辨率不可兼得的问题。而为了看清运动目标的细节，往往通过牺牲视角来获得高分辨率的图像。
（3）基于双镜面的光电式毫秒级视觉追踪结构：日本东京大学石川正俊（Masatoshi Ishikawa）团队提出高速光电云台（又名，Saccade Mirror），采用“固定相机+扫描振镜”的方案，通过将相机固定，采用扫描振镜的二自由度旋转镜片快速改变光路，进而控制相机的跟踪方向。借助高速视觉伺服控制、高速图像处理、并行计算以及提取感兴趣区域（ROI）等方案，光电式毫秒级视觉追踪结构可降低图像处理的计算量，提高目标追踪实时性，系统响应时间达到3毫秒。该方案解决了基于双轴的机械式视觉追踪结构高速动态响应能力不足的问题以及基于多摄像机的数字式视觉追踪结构分辨率低的问题。

图1 视觉追踪结构类型。(a) 基于堆叠云台的机械式追踪结构，摄像机由机械双轴云台拖动实现跟踪。但系统具有较大惯性和较差的高速性能，很难获得以适当视角聚焦在目标上的实时图像；(b)基于多相机的数字式追踪结构，多个高速摄像机从不同角度同时捕获目标的基本运动数据，然后通过计算机进行校准以生成三维虚拟图像， 由于计算机资源的限制，它无法同时实现宽视野和高分辨率，为了观察运动目标的细节，通常牺牲视野来获得高分辨率图像；(c) 基于双镜面的光电式追踪结构，采用固定相机+扫描振镜的方式，会迅速改变光路，从而控制相机的跟踪视角，具有较小的惯性和出色的高速性能。

Challenges/问题提出

在追踪具有高度非线性轨迹的高速随机运动目标时，毫秒级光电主动视觉系统存在目标丢失、视觉追踪失效的问题。由于固定self-window有效尺寸范围的限制以及计算机系统的固有延迟，在跟踪高动态目标时，光路调整响应速度无法将目标保持在有效自窗范围内，目标运动信息发生跳变甚至丢失，而为了重新寻找目标，通常采取视角归零、扩大感兴趣区域等方式，则会降低高速追踪系统的实时性和稳定性。

高动态目标运动速度快，轨迹具有明显的非线性特征，并且其加速度频繁变化。为了实时清晰地观察和捕获运动细节并获得不模糊的图像，光电视觉追踪结构采用并行计算和 self-window，降低图像处理的计算复杂度，同时提高了目标跟踪的实时性能。
由于基于self-window的有效范围的限制以及计算机系统的固有延迟，在跟踪高动态目标时，光路调整响应速度无法将目标保持在有效self-window范围内，从而导致视觉跟踪失效。 因此提出了基于自适应self-window，基于加速度来调整self-window大小。

Results/成果

在高速光电云台的基础上，提出了基于自适应self-window的光学信息获取方法，新方法能够实时地动态调整self-window的尺寸，进而提高了针对高动态运动目标追踪稳定性。

课题组通过搭建了一套毫秒级光电主动视觉系统。采用光电云台结构、感兴趣区域提取、并行计算、高速运动目标追踪算法，使得系统响应时间≤5ms，截止频率≥100Hz。通过高速相机以最高750fps的速度获取目标图像，并利用“固定相机+振镜”光路调整方式，实现毫秒级的目标跟踪。图2展示了毫秒级光电主动视觉系统的追踪效果，图3展示了提出的自适应self-window对高动态目标的追踪效果。

图2 高速光电视觉追踪效果图. （a）目标从右至左运动过程的追踪效果; (b) 目标下落-碰撞地面-弹起的高动态过程的追踪效果。
图3 追踪目标过程中自适应self-window和固定self-window的尺寸变化.(a)固定self-window的尺寸不变，在追踪静止或匀速运动的目标时，目标可保持在self-window区域内，进而实现快速稳定追踪; (b) 固定self-window的尺寸不变，在追踪高动态运动目标时，由于加速度突变，会导致目标跳出self-window区域，导致目标丢失以及追踪失效; (c) 自适应self-window的尺寸随着目标运动的加速度调整窗口大小，在追踪高动态运动目标时，通过实时获取当前加速度值，调整窗口大小，使得目标始终保持在窗口内，在保证追踪实时性的同时，提高对高动态目标追踪的鲁棒性。

Video/视频

手持球及拍球，实验效果视频

视频1. 基于毫秒级光电主动视觉系统的高动态目标追踪实验（包括自适应self-window的慢速回放）

Reference/参考

  1. Ruimin Cao, Jian Fu, Hui Yang, Lihui Wang*, and Masatoshi Ishikawa, “Robust optical axis control of monocular active gazing based on pan-tilt mirrors for high dynamic targets,” Optics Express 29, 40214-40230 (2021) [DOI: 10.1364/OE.439083]
  2. Ruimin Cao, Lihui Wang, Jian Fu, Adaptive self-window-based optical information acquisition method for high dynamic target, Frontiers in Optics 2020 (FiO 2020)(Online Event. 2020.09.16)/ (Oral Session)