联手人机交互专业委员会：“空间对象选择”术语发布

摘要：实质：空间对象选择是指用户通过交互操作在三维空间中选取感兴趣的物体、数据或区域的过程，是支持理解、探索和操作空间场景的关键手段。这种交互操作可通过触控、手势或物理设备实现，使用户更直观、高效地探索和操控复杂三维信息。选择任务通常需要结合对象特征和分布、用户意图

本期发布术语热词：空间对象选择(Spatial Object Selection)。

空间对象选择(Spatial Object Selection)

作者：俞凌云（西交利物浦大学）、赵锂想（西交利物浦大学）、李月（西交利物浦大学）、Hai-Ning Liang （香港科技大学（广州））

InfoBox:

中文名：空间对象选择

外文名：Spatial Object Selection

学科：人机交互、数据可视化

实质：空间对象选择是指用户通过交互操作在三维空间中选取感兴趣的物体、数据或区域的过程，是支持理解、探索和操作空间场景的关键手段。这种交互操作可通过触控、手势或物理设备实现，使用户更直观、高效地探索和操控复杂三维信息。选择任务通常需要结合对象特征和分布、用户意图和交互上下文，以有效支持科学发现和决策。

研究背景：

空间对象选择(Spatial Object Selection)的概念源于交互式探索过程中，用户为理解、分析和操控三维空间对象而产生的直接交互需求[1,2]。这里的“空间对象”可涵盖不同层次与类型，例如：

物体：三维场景中具有完整边界和形态的独立实体；数据：如科学计算中带有物理坐标的点云、流场或体数据；区域：空间中的特定范围，可包含多个物体或数据点。

最初，选择任务主要聚焦于二维屏幕上的对象选择，用户通过鼠标、触控等二维输入方式，以点击、刷选、框选或自由画圈[3,4,5]等形式选定感兴趣的目标对象。这类方法在处理可视范围内的显式对象时较为适用。随着场景复杂度和数据量的不断增加，选择任务的研究逐渐从二维对象拓展至三维空间中的对象选择。尤其是在科学数据场景中（如天文学点云[6,7]、医学体数据[8]等），选择任务需要在非结构化、稠密或存在严重遮挡的数据中，高效定位并选取感兴趣的对象或其子集，从而支持深入的探索与分析。

空间对象选择在面临密集、相互遮挡且具有丰富细节的对象时，用户往往难以准确定位目标的位置、分布和边界。尤其是在二维屏幕上选择三维对象时，交互手段受到二维投影的限制，无法准确表达目标对象在三维空间中的深度位置。为克服这些限制以及更好地展现三维数据的空间属性，研究者开始探索三维显示环境中的可视化和交互方法，例如虚拟现实（VR）、增强现实（AR）和混合现实（MR）等。这些技术通过立体显示、空间跟踪和多自由度输入，为用户提供了更自然的三维交互空间，使其能够通过手势、触控、注视、物理设备或空间定位设备，更直观地操作和选择复杂的三维对象，从而实现更高效、更精确的空间选择。

然而，面对海量且复杂的空间对象，仅仅依赖几何操作并不足以满足高效选择的需求。因此，研究者进一步引入了结合用户选择意图、结构感知、目标感知和上下文感知的交互策略[9,10,11,12]。这些方法不仅关注用户输入的动作，还结合三维对象的局部特征（如密度、分布、连续性）、用户的关注目标（如特定形状或模式）以及任务上下文（如视角、交互历史），以智能推断用户意图、优化选择结果，提升选择的准确性、效率和可解释性，从而更好地支持复杂三维对象的探索与分析。

研究概况：

空间对象选择：空间对象选择是指用户在三维空间中，通过交互操作选取感兴趣的目标对象的过程。空间交互指的是利用触摸、手势、物理道具等多模态输入手段，使用户能够以更自然、直观的方式与目标对象或虚拟环境进行交互[1]。这种交互强调发挥人类对物理空间的感知能力（如位置感、深度感、运动控制）与操作习惯，使用户能够高效探索、选择和操作复杂的三维空间对象。空间选择交互的核心目标是降低用户在三维场景中的认知负担，提高选择任务的准确性和效率，使用户专注于对象本身的理解与分析，从而实现更流畅、沉浸的交互体验，并推动科学发现与决策过程。

选择环境：选择任务的环境设计直接影响用户体验和交互效果。现有研究表明，不同选择环境各有优势与局限。二维选择环境（如触摸屏）以其输入精度和交互熟悉度为优势[13]。用户可通过鼠标、触摸、笔等方式在二维表面上精确操作。然而，这种环境存在天然的局限性：二维屏幕无法提供三维深度信息，用户无法感知目标对象的真实空间位置，尤其在处理密集、遮挡严重或复杂结构的三维对象（如天文学点云）时，难以准确定义选择范围在三维空间中的深度和位置。三维选择空间（如VR/AR）提供立体视角和空间感知，支持用户通过自然的空中手势、头部移动、手柄输入等进行交互[14,15,16,17]。但三维空间中的选择也面临新挑战：用户输入通常不够精确[18]，尤其在稠密数据场景下，交互选择可能难以触及或覆盖完整目标区域。跨现实环境[19]结合了二维的精确输入与三维的空间感知优势，用户可在AR环境中观察空间对象分布，在二维屏幕上精准定义选择范围，从而支持选择在二维与三维空间的任意位置发生。然而，跨现实环境也带来了新的挑战：用户如何在二维与三维输入之间无缝切换、是否能在混合输入中保持连续的选择意图、以及二维输入方式是否会干扰整体选择语义等问题，都需深入探讨。因此，如何设计支持自然过渡的交互方式、减少用户认知负担，并在不同空间间保持一致的选择语义，是跨现实选择环境研究的重要方向。这需要结合用户意图建模、对象特性分析与上下文感知技术，构建更智能、适应性强的选择技术。

交互意图：在选择任务中，尤其是在复杂环境下，高效理解并支持用户的交互意图是空间对象选择的核心。例如，在观察科学数据对象（如天文学点云、医学体数据）时，用户往往会被具备特征性、显著性或特定属性的目标对象吸引，其选择行为通常源于探索特定对象特征（如结构、密度、空间关系）或完成特定任务（如定位、标注、比较、过滤）的需求。因此，空间对象选择不仅是简单的“点击”或“框选”，更是一种结合用户意图、任务需求和上下文环境的认知交互过程。近年来，研究重点逐渐从低层次的几何交互扩展到高层次的交互意图推理，提出了多种结合目标感知(goal-aware)、结构感知(structure-aware)和上下文感知(context-aware)的选择方法。例如，结合用户视线与头部运动预测交互意图 [12, 17]；分析用户交互行为（如拉索的路径与形状、数据的密度分布）推断选择目标对象并生成自适应边界 [11]；以及通过AI学习用户选择模式 [20,21] ，为传统空间对象选择任务提供更智能、高效的支持。这类方法实现了从“如何操作”到“为什么选择”的转变，旨在降低用户的认知负担、提升选择效率，并增强其在三维空间中的探索能力。

未来发展：

自Sutherland提出“终极显示”以来，空间交互从早期的构想不断发展到今天的混合现实与跨现实环境，其核心目标始终未变：让人类以最自然的方式理解与操控三维对象和场景。无论是空间交互、多自由度输入、多模态融合，还是具身智能，这些理念都指向同一方向——构建贴近人类认知模式的自然交互体验。空间对象选择是支撑三维数据探索与理解的基础操作。无论是定位感兴趣对象、分离特定结构和属性，还是对比、标注、聚焦分析，选择都是用户将认知转化为操作的关键步骤。其中，理解用户的交互意图是实现高效选择的核心。用户通常基于对目标对象属性的感知作出认知判断并驱动选择行为，而系统则需结合交互轨迹、可视化反馈与对象特征反推出选择意图，从而辅助用户更准确地完成任务。相关研究 [9, 10, 11, 12, 18] 表明，将用户意图建模与上下文感知、结构感知及对象属性相结合，能够显著提升选择的精度、效率与灵活性，并支持用户在多模态、多平台环境中流畅操作复杂对象。

近年来，随着人工智能和深度学习的快速发展，空间交互技术逐渐具备了智能识别与理解用户意图的能力。通过学习用户的选择模式，并结合自然手势、语音指令、行为追踪与数据分析，系统能够主动预测用户关注的目标对象，动态调整选择边界，并提供个性化交互反馈。这一趋势在处理非结构化、稠密且动态变化的科学数据（如天文学模拟点云、流场、分子结构等复杂场景）选择任务中尤为重要。

面向未来，空间数据选择的研究将持续深化以下方向：

跨现实交互：打破二维与三维的界限，融合虚拟到现实的多平台环境，实现无缝过渡的选择操作，并保持一致的语义理解。上下文感知：基于用户行为、任务目标、历史操作与数据分布，动态调整交互反馈，实现更智能的选择支持。智能交互：结合大模型与深度学习，学习用户的意图、模式与偏好，提升复杂场景下的预测与推荐能力。多模态交互融合：支持手势、触控、语音、视线等多输入方式协作，降低学习成本，提升交互流畅度。复杂数据探索：从几何体选择拓展到属性、模式、动态特征的语义化选择，帮助用户发现潜在规律与知识。

未来的空间对象选择不仅是技术突破，更是理解用户认知、构建人机协作新范式的重要一步。通过跨现实、多模态、上下文感知与AI技术的深度融合，有望为复杂三维空间对象探索打造更自然、高效、智能的交互体验，推动科学发现与决策创新。

参考文献

[1]L. Besançon, A. Ynnerman, D. F. Keefe, L. Yu, and T. Isenberg. The state of the art of spatial interfaces for 3D visualization. Computer Graphics Forum, 40(1):293–326, 2021. doi: 10.1111/cgf.14189

[2]G. J. Wills. Selection: 524,288 ways to say “this is interesting”. In Proc. InfoVis, pp. 54–60. IEEE Comp. Soc., Los Alamitos, 1996. doi: 10.1109/INFVIS.1996.559216

[3]P. Xu, H. Fu, O. K.-C. Au, and C.-L. Tai. Lazy selection: A scribble-based tool for smart shape elements selection. ACM Trans Graph, 31(6):142:1–142:9, 2012. doi: 10.1145/2366145.2366161

[4]J. F. Lucas and D. A. Bowman. Design and Evaluation of 3D Multiple Object Selection Techniques. Report, Virginia Polytechnic Institute and State University, USA, 2005. doi: 10.1016/j.ijhcs.2013.03.003

[5]S. Owada, F. Nielsen, and T. Igarashi. Volume Catcher. In Proc. I3D, pp.111–116. ACM, New York, 2005. doi: 10.1145/1053427.1053445

[6]J. Bond, L. Kofman, and D. Pogosyan. How filaments of galaxies are woven into the cosmic web. Nature, 380(6575):603–606, 1996. doi: 10.1038/380603a0

[7]J. Bechtold. The Lyman-Alpha forest near 34 quasi-stellar objects with z > 2.6. Astrophys J Suppl, 91:1–78, 1994. doi: 10.1086/191937

[8]A. Wiebel, F. M. Vos, D. Foerster, and H.-C. Hege. WYSIWYP: What You See Is What You Pick. IEEE Trans Vis Comput Graph, 18(12): 2236–2244, 2012. doi: 10.1109/TVCG.2012.292

[9]L. Yu, K. Efstathiou, P. Isenberg, and T. Isenberg. Efficient structure-aware selection techniques for 3D point cloud visualizations with 2DOF input. IEEE Trans Vis Comput Graph, 18(12):2245–2254, 2012. doi: 10.1109/TVCG.2012.217

[10]L. Yu, K. Efstathiou, P. Isenberg, and T. Isenberg. CAST: Effective and efficient user interaction for context-aware selection in 3D particle clouds. IEEE Trans Vis Comput Graph, 22(1):886–895, 2016. doi: 10.1109/TVCG.2015.2467202

[11]L. Zhao, T. Isenberg, F. Xie, H.-N. Liang, and L. Yu. MeTACAST: Target- and context-aware spatial selection in VR. IEEE Trans Vis Comput Graph, 30(1):480–494, 2024. doi: 10.1109/TVCG.2023.3326517

[12]R. Shi, Y. Wei, X. Qin, P. Hui, and H.-N. Liang. Exploring gaze-assisted and hand-based region selection in augmented reality. In Proc. ACM HumComput Interact, 7, article no. 160, 19 pages, 2023. doi: 10.1145/3591129

[13]L. Yu, P. Svetachov, P. Isenberg, M. H. Everts, and T. Isenberg. FI3D: Direct-touch interaction for the exploration of 3D scientific visualization spaces. IEEE Trans Vis Comput Graph, 16(6): 1613–1622, 2010. doi: 10.1109/TVCG.2010.157

[14]M. Krüger, T. Gerrits, T. Römer, T. Kuhlen, and T. Weissker. IntenSelect+: Enhancing score-based selection in virtual reality. IEEE Trans Vis Comput Graph, 30(5): 2829–2838, 10 pages, 2024. doi: 10.1109/TVCG.2024.3372077

[15]M. Sereno, S. Gosset, L. Besançon, and T. Isenberg. Hybrid touch/tangible spatial selection in augmented reality. Comput Graph Forum, 41(3): 403–415, 2022. doi: 10.1111/cgf.14550

[16]J. Kim, S. Park, Q. Zhou, M. Gonzalez-Franco, J. Lee, and K. Pfeuffer. PinchCatcher: Enabling Multi-selection for Gaze+Pinch. In Proc. CHI, ACM, New York, 2025. doi: 10.1145/3706598.3713530

[17]M. Song, S. Kim and Y. Jung. An intuitive and semi-automated transfer function design for interactive region of interest-based direct volume rendering in mixed reality head mounted devices. Virtual Reality, 29 (2): Article 53, 2025. doi:10.1007/s10055-025-01121-4

[18]T. McDonald, W. Usher, N. Morrical, A. Gyulassy, S. Petruzza, F. Federer, A. Angelucci, and V. Pascucci. Improving the usability of virtual reality neuron tracing with topological elements. IEEE Trans Vis Comput Graph, 27(2):744–754, 2021. doi: 10.1109/TVCG.2020.3030363

[19]L. Zhao, T. Isenberg, F. Xie, H.-N. Liang, and L. Yu. SpatialTouch: Exploring Spatial Data Visualizations in Cross-reality. IEEE Trans Vis Comput Graph, 31(1): 879–907, 2025. doi: 10.1109/TVCG.2024.3456368

[20]Z. Chen, W. Zeng, Z. Yang, L. Yu, C.-W. Fu, and H. Qu. LassoNet:Deep lasso-selection of 3D point clouds. IEEE Trans Vis Comput Graph, 26(1):195–204, 2020. doi: 10.1109/TVCG.2019.2934332

[21]W. Xu, Y. Wei, X. Hu, W. Stuerzlinger, Y. Wang and H.-N. Liang. Predicting Ray Pointer Landing Poses in VR Using Multimodal LSTM-Based Neural Networks. In Proc. IEEE VR, pp.82–92, 2025. doi: 10.1109/VR59515.2025.00034

作者介绍

俞凌云（西交利物浦大学）

Lingyun.Yu@xjtlu.edu.cn

研究领域：沉浸式可视化，智能交互

赵锂想（西交利物浦大学）

Lixiang.Zhao17@student.xjtlu.edu.cn

研究领域：沉浸式可视化，智能交互

李月（西交利物浦大学）

yue.li@xjtlu.edu.cn

研究领域：人机交互扩展现实文化遗产

Hai-Ning Liang （香港科技大学（广州））

hainingliang@hkust-gz.edu.cn

研究领域：虚拟/混合现实，交互技术，空间交互

计算机术语审定委员会及术语平台介绍：

计算机术语审定委员会(Committee on Terminology)主要职能为收集、翻译、释义、审定和推荐计算机新词，并在CCF平台上宣传推广。这对厘清学科体系，开展科学研究，并将科学和知识在全社会广泛传播，都具有十分重要的意义。术语众包平台CCFpedia的建设和持续优化，可以有效推进中国计算机术语的收集、审定、规范和传播工作，同时又能起到各领域规范化标准定制的推广作用。新版的CCFpedia计算机术语平台(http://term.ccf.org.cn)将术语的编辑运营与浏览使用进行了整合，摒弃老版中跨平台操作的繁琐步骤，在界面可观性上进行了升级，让用户能够简单方便地查阅术语信息。同时，新版平台中引入知识图谱的方式对所有术语数据进行组织，通过图谱多层关联的形式升级了术语浏览的应用形态。