联手人机交互专业委员会：“重映射交互”术语发布

摘要：实质：人类通过具身动作驱动虚拟化身进行空间交互时，重映射通过操纵视觉来解耦用户和化身之间原本1:1的空间属性映射，来满足运动、避障等特定功能需求或增强幻觉、趣味性等体验感，但同时也造成了显著的感官冲突挑战。

本期发布术语热词：重映射交互（Remapping Interaction）。

重映射交互（Remapping Interaction）

作者：罗天任（中国科学院软件研究所）

韩腾（中国科学院软件研究所）

田丰（中国科学院软件研究所）

InfoBox:

中文名：重映射交互

外文名：Remapping Interaction

学科：人机交互、虚拟现实

实质：人类通过具身动作驱动虚拟化身进行空间交互时，重映射通过操纵视觉来解耦用户和化身之间原本1:1的空间属性映射，来满足运动、避障等特定功能需求或增强幻觉、趣味性等体验感，但同时也造成了显著的感官冲突挑战。

研究背景：

虚拟现实（VR）的特性赋予了设计师或开发者在视觉上自由修改虚实环境映射关系的能力，这种进一步被修改的原本一致的映射关系被称之为重映射，其中额外视觉操纵的比例则被称之为增益（gain）。根据增益针对的空间属性，重映射被分为重定位（retargeting）、重定向（redirection）和重放缩（resizing）。根据增益施加的持续性，重映射又可以被分为离散的（即在应用初始化施加一次）和连续的（即在生效时间内持续地施加）两种类型。近年来，对不同身体部位的各种增益方法层出不穷，突破了VR用户的物理空间的限制，增强了VR用户的运动的能力，利用其对感官感知的迷惑性产生有趣的幻觉等。鉴于其实用性和应用潜力，重映射交互已然成为人机交互和虚拟现实领域的热点研究问题。

人类历经数亿年自然选择的进化，形成了现今人类感知和认知的基石——感官统合机制，而感官冲突作为其中的适应性和保护性机制，当感官信息不一致时，大脑会自动产生诸如眩晕等警觉性反应。然而，重映射交互破坏了用户以自我为中心的感官参照系，使视觉与内感觉（即前庭觉、本体觉）感知到的身体信息产生了不一致。这些冲突的感官信号影响到了生理不适、空间感知、沉浸体验、动作控制精度等VR核心交互性能与体验，并造成了认知与行为的适应与补偿。因此，重映射交互造成的感官冲突对感知-认知-行为的影响和机制，以及对其优化和干预的方法成为探索具身感知与交互的重要内容之一[1, 2]。

研究概况：

重映射交互的研究最早起源于虚拟现实系统中虚实空间的内在矛盾。两项开创性的工作包括Poupyrev在1996年首次提出了非线性的伸手重定位来扩展VR中手部动作的可达范围[3]，以及Razzaque在2001年首次提出了步行重定向使用户能够实现VR中更大范围的运动[4]。经过20余年的发展，重映射交互已经具备了更加丰富的功能。为了突破物理限制，改进的伸手重定位扩展了位于狭窄空间的用户的手部可抓取范围[5]；改进的步行重定向通过视野的扭曲动态调整用户的行走路径来避开物理障碍物和实现无限行走 [6]；直立重定向将斜倚或躺姿用户的化身的角度旋转到直立，以打破姿势限制造成的仰视角[7]。为了强化运动能力，跳跃重定位和转头重定向分别扩大了跳跃的距离和头部的转动范围[8, 9]；巨大化重放缩用于放大步幅[10]。为了增强感官体验，触觉重定位通过偏移手部的触摸动作方向，使单个物理对象可以充当多个对象的触觉代理[11, 12]；举重重定位改变了手部对虚拟物体的重量感知[13]。

重映射也被逐渐发现是一把双刃剑，它在解决了功能需求的同时造成了显著的感官冲突挑战，并影响到了用户的感知-认知和行为表现。例如，步行重定向、直立重定向、共同运动重定位等引起视觉-前庭觉冲突的重映射降低了空间感知精度并增加了晕动症 [7, 14]，触觉重定位、伸手重定位等引起视觉-本体觉冲突的重映射削弱了身体所有权、并影响到动作的控制[15]。此外，重映射诱导的上述两种感官冲突还被发现对认知负荷和疲劳的影响，由于感官冲突需要额外的大脑认知资源来处理和适应冲突[16]。

近年来，为了减少重映射交互的负面影响，诸多研究也提出了优化和干预的方法。一般而言，重映射的增益参数的大小显著影响感官冲突强弱。因此，感知阈值的概念被提出用来约束重映射的增益参数[17]。当增益参数保持在不可察觉阈值内时，用户可能主观上感知不到微妙的视觉操纵，从而最小化对用户体验的影响[18]。然而，在不可察觉阈值内的增益值通常很小，限制了相应重映射技术的有效应用场景。因此，有限沉浸阈值和可接受阈值被提出，当增益参数位于其内时，用户即使察觉到了重映射，用户也可以忍受并且体验不会受到明显破坏[19, 20]。此外，通过改善多感官信号的匹配，降低冲突信号的可靠性，增强幻觉感受也可以降低感官冲突及其影响。例如，通过前庭器官的电/温度/震动刺激来引入感知噪声来降低前庭觉在感官统合中的可靠性与权重[21]，引入蜂鸟、蝴蝶等视觉干扰物来更自然地掩盖增益的过程[22]，创造更符合人类日常运动意图和经验的运动幻觉[23]。

未来发展：

未来的VR重映射技术将向映射策略、新应用场景、创作工具、冲突测量、感官干预等发展方向迈进，为虚拟现实的全面普及铺平道路。展望未来，重映射交互的潜在研究方向包括以下几个方面：（i）面向更加复杂的应用场景提出新的重映射策略或有效地融合/搭配不同的重映射。（ii）将重映射交互拓展到全新的应用领域或场景，例如具身遥控机器人等。（iii）研发面向重映射交互的创作工具，辅助设计师解决编程技术与感官冲突双重挑战。（iv）面向重映射交互引发的感官冲突研制实时的量化测量方法，并建模重映射交互的感官冲突，以期实现个性化调整和实时自适应。（v）交叉神经感知与心理认知，研发可靠的多感官干预方法，并在检测到感官冲突强烈时及时施加。（vi）当前感知阈值的测量仅面向线性的/固定的增益参数，提出面向非线性的/动态的增益参数的感知阈值测量方法是必要的。（vii）把重映射交互作为神经感知和心理认知领域的标准化的诱导任务，来诱导晕动症、幻觉、认知疲劳等生理和心理的状态。（viii）当前针对重映射引发感官冲突的影响研究普遍是短期的， VR长期沉浸的持久感官冲突对用户的神经系统的持续性影响也是值得探索的。

参考文献

[1]史元春, “增强虚拟现实交互的具身感,” CAAI通讯,第13卷第1期, 36-40, 2024.

[2]佟馨、易鑫、阎裕康, “虚拟现实中的具身存在感,” CCF术语快线, 2022.

[3]I. Poupyrev, M. Billinghurst, S. Weghorst, and T. Ichikawa, “The go-go interaction technique: non-linear mapping for direct manipulation in VR,” in Proceedings of the 9th annual ACM symposium on User interface software and technology - UIST ’96, Seattle, Washington, United States: ACM Press, 1996, pp. 79–80. doi: 10.1145/237091.237102.

[4]S. Razzaque, Z. Kohn, and M. C. Whitton, “Redirected Walking. In Eurographics 2001-Short Presentations,” Eurographics Assoc., 2001.

[5]J. Wentzel, G. d’Eon, and D. Vogel, “Improving Virtual Reality Ergonomics Through Reach-Bounded Non-Linear Input Amplification,” in Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, Honolulu HI USA: ACM, Apr. 2020, pp. 1–12. doi: 10.1145/3313831.3376687.

[6]Y. Xiong, T. Chen, T. Li, and Z. Zhou, “DreamWalk: Dynamic remapping and multiperspectivity for large‐scale redirected walking,” Comput. Animat. Virtual Worlds, vol. 35, no. 1, p. e2196, Jan. 2024, doi: 10.1002/cav.2196.

[7]T. Luo, Z. He, C. Cai, T. Han, Z. Pan, and F. Tian, “Exploring Sensory Conflict Effect Due to Upright Redirection While Using VR in Reclining & Lying Positions,” in Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology, Bend OR USA: ACM, Oct. 2022, pp. 1–13. doi: 10.1145/3526113.3545692.

[8]M. Mcgill, A. Kehoe, E. Freeman, and S. Brewster, “Expanding the Bounds of Seated Virtual Workspaces,” ACM Trans. Comput.-Hum. Interact., vol. 27, no. 3, pp. 1–40, Jun. 2020, doi: 10.1145/3380959.

[9]D. Hayashi, K. Fujita, K. Takashima, R. W. Lindeman, and Y. Kitamura, “Redirected jumping: Imperceptibly manipulating jump motions in virtual reality,” in 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), IEEE, 2019, pp. 386–394. Accessed: Dec. 24, 2024. [Online]. Available: https://ieeexplore.ieee.org/abstract/document/8797989/

[10]P. Abtahi, M. Gonzalez-Franco, E. Ofek, and A. Steed, “I’m a Giant: Walking in Large Virtual Environments at High Speed Gains,” in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Glasgow Scotland Uk: ACM, May 2019, pp. 1–13. doi: 10.1145/3290605.3300752.

[11]M. Azmandian, M. Hancock, H. Benko, E. Ofek, and A. D. Wilson, “Haptic Retargeting: Dynamic Repurposing of Passive Haptics for Enhanced Virtual Reality Experiences,” 34TH ANNUAL CHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, CHI 2016. ASSOC COMPUTING MACHINERY, 1515 BROADWAY, NEW YORK, NY 10036-9998 USA, pp. 1968–1979, 2016. doi: 10.1145/2858036.2858226.

[12]Z. Liu, J. Wu, L. Wang, X. Li, and S. K. Im, “Proxy Importance Based Haptic Retargeting With Multiple Props in VR,” IEEE Trans. Vis. Comput. Graph., 2024, Accessed: Dec. 24, 2024. [Online]. Available: https://ieeexplore.ieee.org/abstract/document/10507021/

[13]M. Rietzler, F. Geiselhart, J. Gugenheimer, and E. Rukzio, “Breaking the Tracking: Enabling Weight Perception using Perceivable Tracking Offsets,” in Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, Montreal QC Canada: ACM, Apr. 2018, pp. 1–12. doi: 10.1145/3173574.3173702.

[14]T. Luo et al., “Exploring Experience Gaps Between Active and Passive Users During Multi-user Locomotion in VR,” in Proceedings of the CHI Conference on Human Factors in Computing Systems, Honolulu HI USA: ACM, May 2024, pp. 1–19. doi: 10.1145/3613904.3641975.

[15]D. T. Han, M. Suhail, and E. D. Ragan, “Evaluating Remapped Physical Reach for Hand Interactions with Passive Haptics in Virtual Reality,” IEEE Trans. Vis. Comput. Graph., vol. 24, no. 4, pp. 1467–1476, Apr. 2018, doi: 10.1109/TVCG.2018.2794659.

[16]T. Luo et al., “Exploring the Effects of Sensory Conflicts on Cognitive Fatigue in VR Remappings,” in Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology, Pittsburgh PA USA: ACM, Oct. 2024, pp. 1–16. doi: 10.1145/3654777.3676439.

[17]F. Steinicke, G. Bruder, J. Jerald, H. Frenz, and M. Lappe, “Estimation of detection thresholds for redirected walking techniques,” IEEE Trans. Vis. Comput. Graph., vol. 16, no. 1, pp. 17–27, 2009.

[18]E. Langbehn, P. Lubos, G. Bruder, and F. Steinicke, “Bending the curve: Sensitivity to bending of curved paths and application in room-scale vr,” IEEE Trans. Vis. Comput. Graph., vol. 23, no. 4, pp. 1389–1398, 2017.

[19]P. Schmitz, J. Hildebrandt, A. C. Valdez, L. Kobbelt, and M. Ziefle, “You spin my head right round: Threshold of limited immersion for rotation gains in redirected walking,” IEEE Trans. Vis. Comput. Graph., vol. 24, no. 4, pp. 1623–1632, 2018.

[20]M. Rietzler, J. Gugenheimer, T. Hirzle, M. Deubzer, E. Langbehn, and E. Rukzio, “Rethinking redirected walking: On the use of curvature gains beyond perceptual limitations and revisiting bending gains,” in 2018 IEEE international symposium on mixed and augmented reality (ISMAR), IEEE, 2018, pp. 115–122. Accessed: Dec. 24, 2024. [Online]. Available: https://ieeexplore.ieee.org/abstract/document/8613757/

[21]S. Hwang, J. Lee, Y. Kim, Y. Seo, and S. Kim, “Electrical, Vibrational, and Cooling Stimuli-Based Redirected Walking: Comparison of Various Vestibular Stimulation-Based Redirected Walking Systems,” in Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, Hamburg Germany: ACM, Apr. 2023, pp. 1–18. doi: 10.1145/3544548.3580862.

[22]T. C. Peck, H. Fuchs, and M. C. Whitton, “Evaluation of reorientation techniques and distractors for walking in large virtual environments,” IEEE Trans. Vis. Comput. Graph., vol. 15, no. 3, pp. 383–394, 2009.

[23]T. Luo et al., “Exploring Locomotion Methods with Upright Redirected Views for VR Users in Reclining & Lying Positions,” in Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology, San Francisco CA USA: ACM, Oct. 2023, pp. 1–16. doi: 10.1145/3586183.3606714.

作者介绍

中国科学院软件研究所

罗天任

邮箱：luotianren21@mails.ucas.ac.cn

研究领域：具身交互，虚拟现实

中国科学院软件研究所

韩腾

邮箱：hanteng@iscas.ac.cn

研究领域：具身感知，智能交互

中国科学院软件研究所

田丰

邮箱：tianfeng@iscas.ac.cn

研究领域：人机交互，虚拟现实

计算机术语审定委员会及术语平台介绍：

计算机术语审定委员会(Committee on Terminology)主要职能为收集、翻译、释义、审定和推荐计算机新词，并在CCF平台上宣传推广。这对厘清学科体系，开展科学研究，并将科学和知识在全社会广泛传播，都具有十分重要的意义。术语众包平台CCFpedia的建设和持续优化，可以有效推进中国计算机术语的收集、审定、规范和传播工作，同时又能起到各领域规范化标准定制的推广作用。新版的CCFpedia计算机术语平台(http://term.ccf.org.cn)将术语的编辑运营与浏览使用进行了整合，摒弃老版中跨平台操作的繁琐步骤，在界面可观性上进行了升级，让用户能够简单方便地查阅术语信息。同时，新版平台中引入知识图谱的方式对所有术语数据进行组织，通过图谱多层关联的形式升级了术语浏览的应用形态。