自然的三维场景视点控制系统.pdf

第2 2 卷第1 1 期 2 0 1 0 年1 1 月 计算机辅助设计与图形学学报 J o u r n a lo fC o m p u t e r A i d e dD e s i g n C o m p u t e rG r a p h i c s V 0 1 2 2N o 1 1 N o v 2 0 1 0 自然的三维场景视点控制系统 鲁鹏，汪国平，王衡 ( 北京大学机器感知与智能教育部重点实验室北京 1 0 0 8 7 1 ) ( 1 u p e n g g r a p h i c s p k u e d u c n ) 摘要：为了增强三维场景视点控制的自然性，给用户更多的交互沉浸感，设计并实现了一套自然的三维场景视点 控制系统系统采用立体视觉方法定位用户头部的三维空间运动，并利用计算机图形学原理将头部运动映射为三维 场景的视点控制同时，为了方便用户锁定当前视点，系统采用语音识别方法实现基于头部运动的视点控制方式的 启动和关闭测试实验结果表明，该系统是可行的、实用的 关键词：视点控制；立体视觉；语音识别；仿射变化 中图法分类号：T P 3 9 1 AN a t u r a l3 DV i e w p o i n tC o n t r o lS y s t e m L uP e n g ，W a n gG u o p i n g ，a n dW a n gH e n g ( T h eK e yL a b o r a t o r yo fM a c h i n eP e r c e p t i o na n dI n t e l l i g e n t ，M i n i s t e ro fE d u c a t i o n ，P e k i n gU n i v e r s i t y ，B e O i n g 1 0 0 8 71 ) A b s t r a c t ：I nt h i sp a p e r ，an o v e ln a t u r a l3 Dv i e w p o i n tc o n t r o ls y s t e md e s i g n e da n di m p l e m e n t e dt o e n h a n c et h en a t u r a l n e s so ft h ev i e w p o i n te o n t r o la n dt og i v eusersm o r ei m m e r s i o np e r c e p t i o ni s p r e s e n t e d I no u rp r o p o s e da p p r o a c h ，t h eu s e r Sh e a dp o s i t i o ni so b t a i n e di n3 Ds p a c eb ye m p l o y i n g s t e r e ov i s i o nm e t h o d s T h e nt h eh e a dm o t i o ni sm a p p e da sv i e w p o i n tc h a n g e s M o r e o v e r ，v i e w p o i n t l o c k i n gv i au s e rv o i c ei ss u p p o r t e dt h r o u g hv o i c er e c o g n i t i o n O u re x p e r i m e n t sd e m o n s t r a t et h a tt h e p r o p o s e ds y s t e mi Se f f e c t i v ei np r a c t i c e s K e yw o r d s ：v i e w p o i n tc o n t r o l ；s t e r e ov i s i o n ；v o i c er e c o g n i t i o n ；a f f i n et r a n s f o r m 随着高速处理芯片和虚拟现实技术的迅速发 展，传统的人机交互方式的局限性日益明显，人们期 望交互方式“以人为中心”，更接近于人类自然的交 流形式n 当前，基于三维鼠标、游戏操纵杆以及数 据手套的三维场景视点交互方式虽然也能方便地进 行视点控制，但是这些交互方式要么不自然( 如三维 鼠标、游戏操纵杆) 、要么操作复杂且费用昂贵( 如数 据手套) ，无法给用户带来沉浸感基于此，越来越多 的研究者们开始研究利用肢体动作( 头部动作) 来实 现视点的控制 3 。10 。 1 国内外研究现状 前人的研究主要集中在基于头部转动的视点控 制方式和基于头部运动的视点控制方式2 个方面， 其中以基于头部转动视点控制方式的研究居多 文献 3 针对头盔显示器视角狭小的问题提出采用 头部转动进行视点控制，并采用位置跟踪器实现对 头部转动的检测；文献 4 将头部转动引入到“F i s h T a n kV R ”系统中来解决其有限显示空间问题；文 献 5 6 对头部转动和视点变化之间的映射关系进 行了研究，给出了一个有效的基于头部转动的视点 控制数学模型；文献 7 提出了一种桌面显示环境下 增强头部转动的三维用户接口，并通过实验证明，头 部转动的视点控制方式更直观，可以给用户带来更 多的交互沉浸感；文献 8 研究了基于物体三维运动 的虚拟场景控制方式，给出了一个指导性的框架； 收稿日期；2 0 0 9 一1 0 2 2 ；修回日期：2 0 1 0 0 9 2 5 基金项目：国家“九七i ”重点基础研究发展计划项目( 2 0 1 0 C B 3 2 8 0 0 2 ) ；国家。八六i ”高技术 研究发展计划( 2 0 0 9 A A 0 1 2 3 2 4 ，2 0 0 9 A A 0 1 2 1 0 5 ) ；国家自然科学基金重点项目( U 0 7 3 5 0 0 4 ) ；国家自然科学基金( 9 0 9 1 5 0 1 0 ，6 0 9 2 5 0 0 7 ) 鲁 ( 1 9 7 8 一) ，男，博士，讲师，主要研究方向为人机交互、计算机视觉；汪国平( 1 9 6 4 一) ，男，博士。教授，博士生导师，C C F 高级会员，主要研究方向 为计算机图形学、人机交互、虚拟现实；王衡( 1 9 6 0 一) 。女，博士，副教授，主要研究方向为人机交互、数字图像处理、计算机图形学 万方数据 第1 1 期鲁鹏，等：自然的三维场景视点控制系统1 9 6 7 文献E 9 3 提出采用图像分析技术对头部的转动姿态 进行估计，并利用估计的结果实现三维场景的视点 控制 本文研究关注的是通用显示环境下( 如桌面显 示器或者墙面投影仪) 的三维场景视点交互技术。虽 然基于头部转动的交互方式头盔显示器系统中应用 更自然，但是其在通用显示环境下存在明显的缺陷， 即用户头部转动幅度较大时将无法看到显示内容， 而此时基于头部运动的视点控制方法更为自然、更 为合理文献E 1 0 3 对基于头部运动控制方式的有效 性进行了评估，但并未给出一套具有实用性的交互 系统，其所述系统需要用户佩戴特殊的定位设备来 实现对头部运动的跟踪，大大降低了该系统的自然 性和推广性本文设计并实现了一套自然的三维场 景视点控制系统，通过双目立体视觉方式感知用户 的三维头部运动来实现视点控制本文系统的输入 设备包含2 台普通的网络摄像头和一支普通的耳 麦，用户交互过程中不需要佩戴任何特殊的设备；采 用立体视觉方法检测用户的头部位置、利用计算机 图形学原理将头部运动映射为三维场景的视点变化， 并采用语音识别方法支持用户对当前视点的锁定 2 头部三维空间定位 通用显示环境中，用户视线关注点始终在尺寸 有限的终端显示屏幕上，此时可以通过对用户面部 的跟踪来实现头部的三维空间定位本文提出的三 维空间人脸定位算法系统框架如图1 所示，系统流 程大体可分为系统初始化以及三维空间人脸定位 初始化过程中，系统完成左右相机内外参数的标定； 三维空间人脸定位阶段可分成二维图像人脸的快速 定位、左右路人脸区域对齐以及三维空间位置信息 提取3 个步骤系统初始化过程中的内外参数标定 采用了张正友的平面标定法 1 1 网网 I 标定扳Il 杯定板I 一豳 图1 系统框图 2 1 图像人脸的快速定位 2 1 1 基于A d a b o o s t 的人脸定位算法 基于A d a b o o s t 的人脸定位算法 1 2 是由V i o l a 等在2 0 0 1 年提出的该算法本质上是基于一种化整 为零的思想，即先找到一些具有一定分类能力的特 征( 弱分类器) ，然后将这些弱分类器组合成一个强 分类器，以达到很强的分类能力，最终形成的强分类 器的训练错误率接近于零在进行人脸检测时， V i o l a 等采用了由H a a r 小波变换而来的类H a a r 特 征作为分类特征，这些特征通过相邻区域的灰度差， 即亮度关系来描述目标V i o l a 等认为，类H a a r 特 征物理意义十分明确，人脸可以通过若干这样的 H a a r 特征来描述为了加快检测速度，在对子窗口 进行人脸闰E 人脸的检测时，V i o l a 等引入了分层识 别的概念，即并不是将所有的分类器组成一个强分 类器，而是按一定的次序将若干个弱分类器在某一 层组成一个强分类器，然后在下一个层次再组成一 个强分类器，这样最终分类器是由若干个处于不同 层的强分类器组成的这样做的好处是：在检测过程 中要判别的H a a r 特征是相当多的，如果先通过前 面的层次除去伪目标，那么后面的层次需要判别的 目标就会少得多 2 1 2 级联肤色分类器的人脸定位算法 基于A d a b o o s t 的人脸定位算法需要穷举图像 中所有的区域来进行人脸定位虽然在实际检测中 其采用了分层策略，但由于前端运算量较小的强分 类器去除伪目标能力有限，后端运算量较大的强分 类器仍然要面对较多的伪目标，致使运算速度依然 较慢为此，本文考虑将肤色信息引入到级联框架 中，这样处理的优势在于可以最大程度地利用人脸 肤色信息，在分类器最前端去除伪目标。进而减少后 端分类器需判断的目标的数量，加快检测速度 1 ) 肤色模型 肤色模型的建立首先需要将人脸肤色区域从 万方数据 计算机辅助设计与图形学学报第2 2 卷 红、绿、蓝空间转换到色度H 、饱和度S 和亮度V 空 间；然后利用H 空间对光照和饱和度变化的良好鲁 棒性对H 分量的进行统计，以建立统计模型，即肤 色模型在实际计算中，本文假设人脸肤色的H 分 布符合正态分布N ( p ，盯) ，其中卢为肤色分布的均 值，d 为肤色分布的方差那么，图像上任意点是肤 色的概率可表示为 P f ( 谢，：旦F 二( h ( i 互, j ) - - u ) z P f “。户J 一 n ) 其中，P 。( i ，J ) 为图像点( i ，J ) 是肤色的概率值，其取 值范围为 o ，1 ； ( i ，) 为图像点( i ，歹) 转换到H S V 2 ) 肤色分类器定义 利用上述肤色模型，本文定义肤色分类器为 f 1 ， 丸一1 。， 其中，R 为子窗口内全部像素集合，T 为预先设置的 门限值，h 。为肤色分类器当h 。= 0 时，本文定义当 前子窗口为非人脸区域；当h 。一1 时，本文定义当前 子窗口可通过肤色监测器最终可以得到如图2 所 示的级联肤色分类器的人脸检测器为了加快肤色 检测器的速度，在实际计算过程中采用肤色积分图 的快速计算方法 图2 级联肤色算法人脸检测器 2 2 基于仿射模型的人脸区域对齐 头部三维空间信息提取需要在左右路采集图像 中获得至少一对匹配点，而通过图2 所示分类器获 得的人脸区域精度较低，很难直接用于三维信息提 取为此需要精确地匹配左右图像中的人脸区域，并 从区域中提取匹配点来进行三维恢复基于区域的 仿射模型定位方法作