摘要

近年来，虚拟现实的快速发展(VR)技术越来越受到重视，学者和实践者一直在寻找有效的虚拟现实可视化技术。到目前为止，游戏技术的应用一直是重点。尽管对可视化研究的兴趣和讨论越来越多，但在2中D可视化过渡到沉浸式可视化，可视化研究缺乏共同基线。为此，本研究旨在提供系统的文献综述，解释虚拟现实可视化的最新研究和未来趋势。基于经验和理论的可视化研究框架。以三个维度描述综述文献：(a)将可视化背景与理论联系起来，(b)对虚拟现实可视化的评价和设计考虑，以及？实证研究。研究结果表明：（1）对虚拟现实技术的标准指导原则的研究较少，每项研究提供了一个框架或借鉴传统二维可视化技术的研究结果；（2）由于可视化和虚拟现实的诸多优点，大多数研究倾向于使用游戏引擎；（3）虽然游戏引擎被广泛使用，但批判性科学研究不方便；（4）传统统计可视化技术的3D版本，例如，条形图和散点图仍然常用于数据可视化环境。该系统的审查试图为文献、新兴背景、不同元素和相互依赖增添清晰的画面。

1 简介

在被确立为科学领域之前，可视化一词已经是一个超载术语，在不同的语境中有不同的含义。由于在沉浸式环境中可以呈现的可视化结构和类型非常多样化，沉浸式可视化被置于不同研究领域的融合中。在沉浸式环境中，数据可以通过3D模型、3D图形和图形，模拟和多种2D表示表示。数据源可以是统计学、医学、计算机科学、遗产和许多其他东西。其范围包括与技术相关的领域，如多感官界面、交互、导航、合作、技术和领域的特定主题。

没有明确的起始事件，可视化的历史包括许多关于设计、目的或意图的讨论。几何图表、天文图表和导航图同，几何图表、天文图表和导航图形被认为是第一次可视化尝试。17世纪实际应用的增加与物理测量的兴趣密切相关，导致更多的线形图、天文图和地图。比如第一张已知的天气图，埃德蒙·哈雷(Edmund Halley)气压与海拔的理论曲线，克里斯蒂安·惠更斯(Christian Huygens)绘制的预期寿命和年龄图都是在那个时代绘制的(Chen et al.， 2014)。随着社会数据的收集，政治算术方法中产生了人口和经济可视化。18世纪带来了抽象图表和专题制图等新的领域和图形。约瑟夫·普利斯特里制作了更方便的时间轴(1765年)和详细的历史图表(1769年)。第一线图和条形图(1786年)随着基本形式的创造性组合，饼状图和圆形图(1801年)被使用William Playfair这些图形表示形式至今仍被广泛使用(Friendly, 2007年)。

随着19世纪统计图表的发展，今天使用的大多数数据表示形式都是。图形分析在科学出版物和国家规划中得到了官方和科学领域的认可。查尔斯·约瑟夫·米纳德(Charles Joseph Minard)其他创新作品，他著名的视觉叙事，拿破仑和汉尼拔军队的命运，是社会和政治应用图形的例子，后来得到了该领域大多数重要人物的赞赏(Rendgen, 2018)。此外，南丁格尔精心设计的情节和琼恩·霍乱地图和弗朗西斯是雪诺绘制的，以改善公共卫生·卡尔顿的统计图形和天气模式·皮尔森的作品也是历史可视化的典型例子。经过一段繁荣期后，20世纪初被定义为现代可视化的黑暗时代。根据里程碑项目关系数据库的分析，随着时间的推移，它在19世纪稳步上升，然后在20世纪下降，直到1945年，并继续急剧上升到今天(Friendly et al.， 2017)。

传统二维的缺点促使可视化社区找到更有效的解决方案。近年来，人们对虚拟现实技术的兴趣和跨学科领域的贡献为虚拟现实的应用和实现创造了新的可能性。虚拟现实是人工环境中的沉浸式体验。随着时间的推移，人们对VR提出了不同的方法和设置。VR桌面是最简单的版本VR，显示器。鱼缸VR它不仅包括显示器，还包括特殊立体观看的特殊眼镜，以键盘为主要输入源。洞穴自动虚拟环境(Cave)为了促进沉浸式虚拟现实的探索和交互设计，包括房间大小的投影表面。投影技术可以让用户看到所有的方向。如今，头戴式显示器主要是沉浸式系统(HMDs)在帮助下使用。hmd为了营造立体感，可以在眼睛前显示两幅图像。交互技术因所用技术而异。该技术包括头部跟踪、眼球跟踪和运动跟踪。头戴设备为新的数据探索和交互提供了机会。

在沉浸式环境中，视觉信号会显示身体运动的存在，但实际上没有运动。这种感官冲突的结果是网络疾病。不同的硬件对网络疾病有不同的频率要求。自由度(DoF)用来描述物体移动能力的术语。基本的hmd提供了沿x、y、z轴向运动的3自由度，而更先进的设备提供6自由度，包括物理空间中的平移运动、波动、起伏和摆动。VR有不同的不同。用户只能扮演被动角色，或者最常见的是按照预设轨迹移动。探索性VR允许用户移动自己。沉浸式可视化是最常见的交互模式，用户可以通过交互操作环境来探索环境。由于物理空间的限制，hmd通过控制器和房间规模，允许用户提供坐姿配置VR移动。VR通过视觉提示和声音重建空间环境，建立三维空间意识。

沉浸式环境通常是指某些特定的术语，如存在、沉浸和具体化。体现感取决于位置意识和虚拟身体等为用户提供的空间组件。存在与虚拟环境有关，沉浸感可以被认为是存在的结果。沉浸感、存在感和具体化的结合有助于用户体验，并决定其质量。因此，它们被广泛应用于虚拟现实体验的评价和开发。大多数研究使用问卷来衡量存在感和沉浸感。

除了建筑设置之外，由于缺乏软件工具，创建大型VR还有环境问题。近年来，游戏引擎Unity虚幻引擎广泛应用于构建虚拟现实环境。游戏引擎提供的快速制作使许多领域能够创造出沉浸式的视觉效果。从数据中提取的压缩信息需要以可视化的形式呈现。这个表格可以是动画、静态或交互式的。数据类型的定义、可视化和交互技术的选择对创建高效、准确的可视化至关重要。选择合适的表示技术主要取决于用户。因此，可视化技术依靠感知和认知理论来有效地传达数据。

可视化作为一种交互式交流方式，需要提供数据呈现、验证和探索性分析等特征和任务。近年来，由于数据量的不断增加，数据可视化和探索性数据分析受到了极大的关注。从高维和大体积数据中提取信息需要可视化领域，以采用不同的自动化技术，如机器学习算法。沉浸式技术和计算能力的最新进展为数据探索方法提供了新的可能性，旨在与高维数据交互，以获得基本见解。随着硬件和软件能力的不断提高和时代的需要，VR设备变得更加实用和便宜。沉浸式技术改变了数据体验和决策过程。它允许用户分析复杂的动态数据集，并将其被动角色转换为主动角色。

除了可视化子领域VR特定领域的设计问题除了常见问题外。信息可视化的创建包括抽象方法、可视化编码和设计原则的决策过程。科学可视化需要处理可伸缩性、准确性和准确性。视觉分析(VA)关注可以通过可视化实施的活动，如决策和推理。沉浸式分析(IA)专注于使用显示和界面技术来支持更好的分析、推理和决策过程。

可视化和互动机会为广泛的研究领域和学科提供了表达思想和提出新互动方法的新方法（图1）。随着最近的技术进步，发明了一些图书馆、工具和设备，VR利用3D环境优势，方便数据操作和分析。结合VR各种交互技术可以通过触觉或运动美学界面实现，效率最大化。沉浸式可视化的产生进一步改善了实用性、教育性和成本效益。数字城市技术允许用户为城市环境创造更可持续、更有效的解决方案。虚拟环境在不同领域为实验教育提供可重复使用和安全的环境。

VR和3D沉浸式环境是与感知相关的技术，需要它们觉语言。因此，有必要继续构建理论方法。综合研究有能力为可视化奠定基础。游戏、电子游戏和虚拟现实之间的双向贡献和影响，推动了虚拟现实技术向科学、艺术或信息、教育等领域的延伸。虽然大多数VR研究采用了一种有趣的方法，但VR已经为游戏行业创造了包含新机制、叙事和互动的无限可能。Zyda(2005)强烈建议VR研究人员研究游戏来改进他们的设计并保持与时俱进。

虽然广泛的领域采用了这种技术，但批判性地思考挑战的解决方案、可视化规范和设计指南是至关重要的。现有的虚拟现实可视化研究大多集中在特定的领域或特定的可视化结构上。例如，齐默尔曼(2008)专注于汽车工业和设计方面。Seth等人(2011)解释了原型的组装方法，Radianti等人(2017)专注于高等教育，Wang等人(2018)从教育和培训的角度调查了建筑工程，El Jamiy和Marsh(2019)检查了深度估计，Caserman等人(2019)对全身运动重建进行了研究和分析，Ferdani等人(2019)对考古学研究进行了分析。但是，考虑到沉浸式技术的具体要求，不同领域中使用的可视化技术是密切相关的，并有可能创造一种相互关系来解决沉浸式技术的问题。在此之前，数据的收集是一个问题，而知识的提取和表示因为海量的数据而变得无处不在。为了充分实现可视化表示目标，可视化方法的构建依赖于从心理学到机器学习的各个领域。因此，我们从更广阔的视角来审视技术，以提取虚拟现实中可视化的关系、相似性和共享问题。我们认为这种方法可以帮助开发人员在其他领域找到解决方案，并为更具体的指导方针指明方向。本文旨在通过对现有文献的梳理，探讨不同领域中常见的问题和方法，为沉浸式可视化领域构建全面一致的结构提供基础。

本研究的其余部分结构如下。第II节提出背景概念，第III节简要描述方法，第IV节总结结果，第V节提出结论。

本研究对虚拟现实中沉浸式可视化的相关研究进行了系统的文献综述。本研究的研究问题为：

• RQ1: VR可视化最喜欢的可视化类型和结构是什么?
• RQ2:哪些方法/理论被用于研究VR可视化?
• RQ3: VR可视化的研究还有哪些空白?
• RQ4:现有的方法和技术是什么?
• RQ5:对于不同类型的可视化，哪种软件和硬件是首选的?

4 结果和分析

4.1 工具、工具包和框架

可视化工具通常可以是独立的、基于web的演示，主要由软件库(api)或编程语言模块(例如，Python或Java模块)组成的基于web的开发。它们还可以按照软件、可视化结构、操作系统、许可证、可伸缩性、可扩展性或最新发布日期进行分类。根据上述标准，Caldarola和Rinaldi(2017)报告了36个软件工具，分为4个子部分;科学可视化、数据可视化、信息可视化和商业智能工具。数据库相关和基于gui的应用程序提供了“直接操作原则”，如Microsoft Excel、Amazon Quicksight和Microsoft Power BI。尽管它们被广泛使用，但由于它们超出了本文的范围，因此不会给出进一步的细节。可视化构建工具通常被批评为由于固定属性而阻碍创造力;但是，它们是首选，因为它们提供了易于使用的环境，而不需要编程

尽管可视化库降低了复杂性，但它们仍然需要经验。除此之外，还有一些开发平台和现有的跨平台工具，它们的范围涉及多个领域。需要易于使用和灵活的图形系统来支持视觉思维，为进一步的发展铺平了道路。从Bertin的《图形符号学》(Semiology of Graphics, Bertin, 1983)开始，图形技术开始形式化，后来转变为图形的结构理论，在计算机图形学和信息可视化理论之间建立联系。克利夫兰和麦吉尔(1984)对视网膜变量(位置、颜色和大小)进行了实验。最近，Wilkinson(2012)的思想和理论为可视化界面Lyra (Satyanarayan和Heer, 2014)和VegaLite (Satyanarayan等人，2017)以及基于语法的系统如Polaris (Stolte等人，2002)提供了基础，后者扩展了透视表界面。可视化生产工具，如Lyra和iVisDesigner (Ren等人，2014)，可以基于概念模块化创建各种定制的图形可视化，而无需编写任何代码。不幸的是，它们只支持一小部分限制用户的可视化表单和参数。

借鉴威尔金森语法与图形语法的形式化，许多可视化语法、工具包和框架已经实现。这些声明性语言通常分为低级语法和高级语法。低级语法，如D3 (Bostock等人，2011年)，Vega (Satyanarayan等人，2015年)，Protovis (Bostock和Heer, 2009年)，都是表达性语法，以帮助设计师创建解释性和高度定制的图形，这些图形具有细粒度控制的数据可视化，其中所有映射元素都需要指定。最近，D3变得非常流行，特别是在web开发中。Protovis是一种用JavaScript实现的嵌入式领域特定语言，定义条形、线条和标签等图形标记可以帮助用户指定到可视属性的数据绑定。Vega类似于Protovis和D3，但它通过支持模块提供了尺度和布局上的转换，输入数据和标记属性之间的交互连接允许用户共享和重用产品。另一方面，高级声明性语法，如Vega-Lite和ECharts (Li等人，2018)更适合探索性可视化，通过封装细节和属性，它们专注于可视化的快速生成。开发了一个用于Python的声明性统计可视化库，名为Altair (Satyanarayan等人，2017)。

使用api创建可视化需要背景知识，这是一个令人疲惫的过程。因此，已经创建了用于快速和更好的抽象的框架。在引入InfoVis之后，开发了一些提供类似于基于java的可视化库的可视化工具集合的工具包，如Prefuse (Heer et al.， 2005)。除了提供操作符和库的抽象外，preuse和Flare (Gal et al.， 2014)允许用户定义新的操作符，并使用细粒度的单块单元来提供定制。基于gpu的可视化技术在科学可视化中得到了广泛的应用，近年来随着绘制性能的提高，其在信息可视化中的应用也越来越多。例如，Stardust (Ren et al.， 2017)利用了这些改进。它没有提供新的可视化语法，但它是对以前的工具的补充，具有更用户友好的构建块，它支持创建2D和3D可视化。一个名为VisComposer (Mei et al.， 2018)的可编程集成开发环境(IDE)指出了艺术家和编码专家之间的差距，它使用了类似于D3的基于树的视觉结构。VisAct (Wu et al.， 2020)是另一个交互式可视化系统，它为语义操作提供了高级语法，并通过包括向导面板和广泛的可视化表单来指导用户。

为信息可视化构建交互式工具包或系统的努力仅限于更传统的2D表示。因此，随着已有适合沉浸式环境的3D环境，科学可视化已经引领了虚拟现实系统的发展。一个针对科学可视化应用的广泛使用的框架是可视化工具包(VTK) (Hanwell等人，2015)，这是一个用于显示和与数据交互的广泛库。随着OpenVR的发展，在虚拟现实环境中使用VTK成为可能。该API支持Valve开发的SteamVR。因此，该框架与Oculus Rift和HTC Vive兼容。

近年来，研究人员越来越重视对非空间数据的沉浸式环境的探索。虽然是为游戏应用程序设计的，但Unity游戏引擎已经成为开发沉浸式环境的标准平台。IATK (Cordeil等人，2019年)和DXR (Sicat等人，2019年)的工具包都是为基于Unity游戏引擎构建沉浸式数据可视化而开发的。DXR是一个工具箱，它使用了一个受Vega-Lite启发的声明性框架，并提供了交互和可扩展的可视化，附加的类和应用程序可以导出到各种平台，包括Microsoft HoloLens上的混合现实(MR)和VR头盔。另一方面，IATK的API类似于D3，使用图形语法可以轻松构建可视化。IATK从之前的应用中涌现出来，如ImAxes(沉浸式坐标轴)(Cordeil等人，2017a)和FiberClay (Hurter等人，2018)，它允许用户通过三维坐标轴创建可视化，但不提供协作。Fiberclay是一个典型的例子，它与空中交通管制人员进行了评估，它以3D方式显示大规模空间轨迹数据，并提供构建查询所需的3D光束选择。ImAxes是一个开源的信息可视化工具，它实现了散点图、直方图和平行坐标，这些坐标可以通过使用自然交互操作可重构轴来探索。

4.2 数据可视化

数据可视化以图形的形式表示数据或信息，使观众能够识别模式，拉动见解，掌握信息的真正含义，并更迅速和有效地沟通(Aparicio和Costa, 2015)。虽然不同的领域受益于数据的图形表示，但数据可视化也依赖于几个学科。在心理学、计算机科学、统计学、平面设计和许多其他学科的贡献下，将数据转换成简洁易懂的图形格式的信息成为可能。随着来自多种背景的知识的蓬勃发展，数据可视化的适应性和可伸缩性得到了提高。例如，各个领域的数据不断积累，消除了传统的方法，目前对于大批量数据的不足。不同的方法，如机器学习，可以进行分析，并创建更有效的可视化具有不同的属性。现有的2D数据可视化方法只能包含少数指标之间的少量相关性。因此，为了对高维数据进行分析，需要许多单独的图表来进行全面的表示，最终会妨碍对相关性和模式的理解。

直接转换为3D无法提供足够的清晰度，因为遮挡和透视失真等3D问题可能会导致分析用例中的错误解释。虽然三维图形是有效的，但从数据和可视化结构来看，可以认为它们是不必要的。为了增强数据可视化体验，需要有更多的技术来更深入地显示信息。例如，根据一项调查(Fonnet and Prie, 2021)，位置和视觉通道(如纹理、颜色和形状)通常用于编码多维数据

Timeline of the rendering technologies used to implement immersive analytics system.

Fonnet A, Prie Y. Survey of immersive analytics[J]. IEEE transactions on visualization and computer graphics, 2019, 27(3): 2101-2122.

交互性是增强3D环境的一个方面。虚拟现实改变了我们与数据交互和解释的方式，而可视化应该支持多种活动。虚拟现实应该能够进行探索性分析，发现输入数据及其特征、趋势和关系。为了帮助用户拒绝或接受构建的假设，它必须提供验证性分析。数据的呈现应以结构化的方式呈现，以揭示其他媒介或平台无法呈现的隐藏特征。

Sun等人(2019)提供了时间序列和地理属性的动态可视化，并使可视化可用于观察积累、风向、时间和位置之间的关系。他们使用聚合表、日历视图、日柱状图和线图来可视化来自空气采样传感器和气象数据的数据。在Okada等(2018)的研究中，时空数据生成的可视化系统由两层组成。第一层是根据世界观和小地图选项可调节比例的空间模型。第二层用不同颜色和透明度的立方体表示频率。在单个VR可视化中结合多种可视化技术，改善了信息流，创造了更吸引人的体验。

Overview of VR Laboratory for Visual Analytics
视觉分析VR实验室概述

Geographic View
地理视图

The dial controls and the application button
拨号控制和应用程序按钮

The accumulation snapshot and accumulation scaling dial
累积快照和累积缩放刻度盘

Analysis Table
分析表

(a) Calendar Display; (b) Day Bar Graph; © Aggregation Table (d) Inactive Line Plot
(a)日历显示;(b)日条形图;©聚合表(d)非活动线图

(a) User controllers, left controller is grabbing (b) A single physical reading ( c) Toolbelt holding readings
(a)用户控制器，左控制器抓取(b)单个物理读数©工具带保持读数

Sun B, Fritz A, Xu W. An Immersive Visual Analytics Platform for Multidimensional Dataset[C]//2019 IEEE/ACIS 18th International Conference on Computer and Information Science (ICIS). IEEE, 2019: 24-29.

WorldView. (Left) Temporal change of the number of tweets is shown as the overview in a VR space. (Center) Panels which display actual tweets included in each cube appeared when users select each cube. (Right) The character icon with yellow highlight indicates the position of a user to prevent missing his/her current position.

(左)推文数量的时间变化为VR空间的概览。(中间)当用户选择每个立方体时，会出现显示每个立方体中包含的实际推文的面板。(右)黄色高亮显示的角色图标表示用户的位置，防止用户错过当前位置。

Processing flow of cubes generation in worldview.
世界观中立方体生成的处理流程。

Colormap and the transfer function for setting transparency.

Colormap和传递函数设置透明度。

The panel displays the detailed information of each cube. It contains the date, coordinate and text of representative tweets and gives us the knowledge about the reason why people made many tweets in a certain area and time.

面板显示每个多维数据集的详细信息。它包含了有代表性的推文的日期、坐标和文本，让我们知道人们在某个区域和时间发布很多推文的原因。

Minimap views the time change of the number of the tweets in a day. Cubes in minimap indicate the aggregation of one-hour data different from those in worldview. Users can observe the time change more specifically.

“小地图”可以查看一天内tweets数量的时间变化情况。小地图中的立方体表示一小时数据的聚合，与世界观中的数据不同。用户可以更具体地观察时间的变化。

Example. Top left figure shows people tweet a lot during japanese summer vacation. Top right figure is the map looked down from the position of cubes. It indicates user is in front of cinderella castle. Panels of the both figure below pick up actual tweets.

例子。左上角的图显示了人们在日本的暑假期间经常发推特。右上角的图形是从立方体的位置向下看的地图。提示用户在灰姑娘城堡前。下图中的面板都选取了实际的推文。

Okada K, Yoshida M, Itoh T, et al. VR system for spatio-temporal visualization of tweet data[C]//2018 22nd International Conference Information Visualisation (IV). IEEE, 2018: 91-95.

作为一种沟通媒介，可视化的另一个关键元素是解释。可视化的设计和解释选择可能会改变用户理解数据的能力或导致误解。因此，一个好的可视化应该保护美学和功能之间的平衡。图布局算法和聚类算法被广泛应用于复杂网络的可视化。集群数据需要转换为可理解的可视化。例如，Drogemuller等人(2017)喜欢用球体表示实体，用线表示关系，用圆表示集群节点，用弹簧嵌入布局构建网络可视化。聚类算法帮助用户快速检测模式，并协助他们检查高维数据集。然而，所使用的算法可能会因为数据的维数或噪声而性能较差。因此，Bobek等人(2022)在提出一种精细版本的沉浸式平行坐标图(IPCP)系统时，更倾向于对多维数据集使用广泛的聚类算法。通过对多种特征选择方法的测试，说明了特征选择的重要性。

Fig. 1: Our social network visualisation system running in a VR environment.
我们的社交网络可视化系统在VR环境中运行。

Fig. 2: Basic node and cluster interaction.
基本的节点和集群交互。

Fig. 3: The filter cube showing Age, Location and Education filters.
图3:显示年龄、位置和教育过滤器的过滤立方体。

Fig. 4: The storage box, used to save a collection of nodes by physically placing them within the box.
图4:存储盒，用于存储节点的集合，将节点物理地放置在盒内。

Fig. 5: Basic architecture diagram showing the relationship between the various system components.
图5:显示各种系统组件之间关系的基本架构图。

表一:筛选立方体属性
TABLE I: Filter Cube Attributes

Drogemuller A, Cunningham A, Walsh J, et al. VRige: Exploring social network interactions in immersive virtual environments[C]//Proceedings of the international symposium on big data visual analytics (BDVA). IEEE NJ, USA. 2017.

Figure 1
The Immersive Parallel Coordinates Plots (IPCP) of the (a) DS1 and (b) DS2 datasets respectively with the accompanying 3D scatter plot generated by mapping onto it the three criteria dimensions (selected in red). Both the IPCP and scatter plots selectors are visible (red spheres) as well as the orange cross-hair used for the user’s gaze tracking. The observable difference in the size of the scatter plots is caused by the different perspectives from which the screen-shots were captured.

(a) DS1和(b) DS2数据集的沉浸式平行坐标图(IPCP)，以及通过将三个标准维度(用红色选中)映射到其中生成的3D散点图。IPCP和散点图选择器都是可见的(红色球体)，以及用于用户注视跟踪的橙色十字线。散点图大小的可观察差异是由捕获屏幕截图的不同视角造成的。

Figure 2
Comparison of clustering results obtained with selected algorithms: (a) DBSCAN; (b) OPTICS; © Affinity Propagation. The top row presents the 2D plots, whereas the bottom one shows 3D scatter plots as the headset wearer sees them. The selected clusters are marked gray hulls (in 2D) and green (in 3D), respectively. These clustering examples were done over the DS1.

与所选算法的聚类结果比较:(a) DBSCAN;(b)光学;©亲和力传播。上面一行显示的是2D图，而下面一行显示的是耳机佩戴者看到的3D散点图。所选的集群分别被标记为灰色船体(2D)和绿色船体(3D)。这些集群示例是在DS1上完成的。

Figure 3
(a) DBSCAN clustering after dimensionality reduction with PCA to 3 components.; (b) feature importances obtained with random forest classifier. Difficulties in proper cluster identification on the correlated axis are shown in ©. Choosing the set of the uncorrelated axis (d) allows for a better overview of data. The presented clustering was done over the DS1.

图3
(a) PCA降维到3个分量后的DBSCAN聚类;(b)随机森林分类器得到的特征重要度。在相关轴上正确识别聚类的困难如©所示。选择不相关轴(d)的集合可以更好地概述数据。所示的聚类是在DS1上完成的。

Figure 4
Comparison of clustering results with a given number of the desired clusters (top rows) obtained with the Subspace Memory Clustering (SuMC) algorithms with respect to ground truth (bottom rows). (a,b) contain the results for selected 5 clusters; (c,d) contain the results for selected 3 clusters. The clusters are color-coded (top rows) and put against the patterns recognized by the domain-experts. Each bar constitutes a single point in the DS1 dataset and each cluster is represented by a different color.

图4
将聚类结果与给定数量的期望聚类(顶部行)进行比较，使用子空间内存聚类(SuMC)算法相对于地面真值(底部行)。(a,b)包含选定5组的结果;(c,d)包含选定的3个集群的结果。这些集群用颜色编码(最上面的行)，并按照领域专家识别的模式排列。每个条构成DS1数据集中的单个点，每个集群用不同的颜色表示。

Figure 5
(a) The left-hand menu with all the implemented data-science analytics: (1) [RESTART] restarts the visualization, (2–4) are the 3D scatter plot clustering solutions attached to individual labeled buttons [DBSCAN], [OPTICS], and [AFFIN], (5) [SORT] sorts the axes (i.e., IPCP’s dimensions) using their calculated importance, (6) [TOGGLE] toggles between the selected and unselected at the moment data items, (7) [DUPLICATE] duplicates the selected data items, and (8) [UNDO] undoes the most recent manipulation result. (b) presents the finger-press gesture used to select a button on the menu. Whereas © shows the highlighted [SORT] after the user pressed that button which cased the importance sorting to be executed on the IPCP as shown in Figure 6. Icons by Icons8 (https://icons8.com, accessed on 23 September 2019).

图5
(a)左侧菜单包含所有已执行的数据-科学分析:(1) [RESTART]重新启动可视化，(2-4)是附加在单个标记按钮[DBSCAN]， [OPTICS]和[AFFIN]上的3D散点图聚类解决方案，(5)[SORT]使用其计算的重要性对轴(即IPCP的维度)进行排序，(6)[TOGGLE]在当前数据项的选中和未选中之间切换，(7) [DUPLICATE]重复选择的数据项，(8)[UNDO]撤消最近的操作结果。(b)显示用于选择菜单上按钮的手指按下手势。然而©显示了用户按下按钮后高亮显示的[SORT]，该按钮用于在IPCP上执行重要排序，如图6所示。Icons8的图标(https://icons8.com, 2019年9月23日访问)。

Figure 6
The IPCP visualization of the DS1 dataset presented in original (a,b) sorted order. The rearrangement of the axes was carried out based on the importances. As it can be seen in (b) the axes containing no knowledge i.e., constant data, were moved on the right of the IPCP main plot, thus reducing the amount of data that has to be visually analyzed by the user. The user can toggle between sorted and unsorted i.e., the original organization of the axes.

图6
DS1数据集的IPCP可视化以原始的(a,b)排序方式呈现。轴的重新排列是根据重要性进行的。在(b)中可以看到，不包含知识的轴，即不变的数据，被移动到IPCP主图的右边，从而减少了用户必须进行可视化分析的数据量。用户可以在已排序和未排序之间切换，即轴的原始组织。

Bobek S, Tadeja S K, Struski Ł, et al. Virtual reality-based parallel coordinates plots enhanced with explainable ai and data-science analytics for decision-making processes[J]. Applied Sciences, 2021, 12(1): 331.

不像2D数据可视化，数据总是从一个角度呈现，VR展示了在不同视角之间切换的潜在用途。这为用户创造了不同的具身认知案例，以新的方式解读数据。改变视角的能力创造了更沉浸式的体验和精确的见解。在虚拟现实环境中，焦点会随着用户的移动而变化。因此，根据用户的视角，对内容的感知距离是不同的。所述数据的布局可以提供等效的感知，并保证其在球面空间中的分布;Kwon等人(2015)采用了空间填充曲线布局和球形边缘捆绑。不同的策略、算法、替代想法和演示，这些技术的组合增强了可视化。对复杂数据的精细化解读，让用户从不同角度看待数据，获得更深刻的理解。

Head mounted devices render a warped view with tight control for each eye. Our approach for graph visualization uses techniques targeted specifically for such displays. Color in all figures corresponds to clusters.

头戴式设备通过严格控制每只眼睛来呈现扭曲的视图。我们的图形可视化方法使用了专门用于此类显示的技术。所有图形中的颜色都对应于簇。

Mapping a 2D layout to a sphere. Nai¨ve azimuthal projection distorts distances (a). Warping the space according by d=tan(d) produces even radial spacing (b).

将2D布局映射到一个球体。Nai¨ve方位投影会使距离变形(a)。根据d=tan(d)扭曲空间产生均匀的径向间距(b)。

Spherical graph layouts: 2D layouts can be mapped to the sphere with varying amounts of distortion. Preserving angles (a) is appropriate for rigid, rectangular structures, but is limited in field of view (FOV). Azimuthal mapping (b) works well for roughly circular layouts to use a full hemisphere. For full immersion ©, we use a space filling curve defined on a cubed sphere to cover the entire surface.

球面图布局:二维布局可以映射到球体上以不同程度的失真。保角(a)适用于刚性的矩形结构，但在视场(FOV)上是有限的。方位角映射(b)适用于使用整个半球的大致圆形布局。对于完全沉浸©，我们使用定义在立方体球体上的空间填充曲线来覆盖整个表面。

Hierarchical edge bundling routes edges with splines that follow the clustering hierarchy. For a sphere, we compute the spline in two stages. An angular spline (in yellow) is computed with spherical interpolation according to control points on the surface of the sphere (red points). Then the spline is extended radially by moving the control points outward (blue) and modulating the radius of the edge samples as a 1D spline (green).

分层边缘捆绑路由边缘与样条遵循集群层次结构。对于球面，我们分两步计算样条。根据球面上的控制点(红色点)，用球面插值计算角样条(黄色)。然后通过向外移动控制点(蓝色)和将边缘样本的半径调制为1D样条(绿色)来径向扩展样条。

When the user selects a node, it and all its neighbors were brought closer to the user, rendered with a halo effect, and labelled. Here, this is shown at an angle for illustrative purposes; in the HMD view, the nodes move straight towards the user.

当用户选择一个节点时，它和它的所有邻居都被带到离用户更近的地方，渲染成晕轮效果，并贴上标签。这里，这是一个角度显示，以说明的目的;在HMD视图中，节点直接向用户移动。

In a 2D view, the whole graph may be visible, but there is no discernable shape to the edges, making them difficult to follow. In a VR environment, only a small section of the graph is visible at a given time, but structure is more tangible.

在2D视图中，整个图形可能是可见的，但边缘没有可识别的形状，使它们难以跟随。在VR环境中，在给定时间只能看到一小部分图表，但结构更有形。

Kwon O H, Muelder C, Lee K, et al. Spherical layout and rendering methods for immersive graph visualization[C]//2015 IEEE Pacific Visualization Symposium (PacificVis). IEEE, 2015: 63-67.

4.3 信息可视化

探索抽象数据的空间映射设计空间成为可视化新子领域信息可视化(InfoVis)的一个关键主题。信息可视化建立在图形设计师、统计学家、人机交互(HCI)研究人员和其他许多人的基础上。跨学科领域一直在探索如何有效地利用计算机图形学来进行抽象数据可视化及其交互探索(图4)。

4.3.1艺术、遗产和建筑

得益于游戏产业，最近开发出了能够提供强大的VR和增强现实(AR)应用的低成本设备，文化遗产机构开始了数字化时代。文化遗产文物和建筑的三维表现已经影响到虚拟文化遗产旅游和城市历史研究等多个领域。捕捉和记录遗产的技术的发展提供了新的技术，取代了需要更多时间和工作量的人工解读。在Leo Biek (Gettens, 1964)实现了第一个考古对象的3D文档之后，许多文物开始被输出到数字环境中。由于自然灾害和人为灾害而无法保护的文化遗产，有了足够的文献资料将其传递给后代，数字媒体保存已成为一种可靠的方法。数字化过程的最终产品不仅服务于考古和建筑文献，还提供教育机会、展览、虚拟旅游、空间实验研究和文物分析。另一方面，3D数字内容的准备、呈现和交互都需要细致的工作。根据三维数字表示的复杂性、规模和位置，可以使用不同的方法，如激光扫描和摄影测量。此外，人们还开发了一些技术来重建艺术品，如雕塑和绘画。这些技术包括图像排序，基于体积的方法，结构化形式的运动算法(Sooai等，2017)。问题是，由于对细节的图形要求，生成的模型通常很复杂。一些几何优化和压缩方法已经被开发出来，以解决诸如管理数百万个多边形或处理时间等技术问题，而它们的主要目的不是包含细节和现实主义。例如，Fernandez-Palacios等人(2017)提供了一种包括许多优化技术的方案，通过数字重建遗产场景来创造沉浸式VR体验。他们的工作包括向低分辨率模型传输细节的法线贴图，减少纹理负载的展开技术，以及使用软件工具降低几何优化的分辨率而不降低可见质量。Choromanski等人(2019年)建立了利用地面激光扫描的VR系统，照片属于巴洛克宫殿。他们还测试了各种纹理映射算法，以简化通过不同方法收集的数据构建的模型的网格几何。

Object placement in virtual environment.

虚拟环境中的对象放置。

Points (titik) to guide camera movements.

点(titik)引导相机运动。

Application is available on google play

应用程序可在谷歌播放

Sooai A G, Nugroho A, Al Azam M N, et al. Virtual artifact: Enhancing museum exhibit using 3D virtual reality[C]//2017 TRON Symposium (TRONSHOW). IEEE, 2017: 1-5.

Fernández-Palacios B J, Morabito D, Remondino F. Access to complex reality-based 3D models using virtual reality solutions[J]. Journal of cultural heritage, 2017, 23: 40-48.

Figure 1. Meshes generated from clouds with differently computed normal vectors (particular methods are described in table 2.)

图1所示。由不同计算法向量的云生成的网格(特定的方法在表2中描述)。

Figure 2. Textures in adaptive orthophoto (A) and generic (B) mapping mode.

图2。自适应正射影像(A)和通用(B)映射模式中的纹理。

Figure 3. Comparison of adaptive orthophoto (A) and generic (B) textures mapped on mesh in Unreal Engine.

图3。自适应正射影像(A)和通用(B)纹理映射在虚幻引擎网格的比较。

Figure 4. Comparison of data preparation workflows.

图4。数据准备工作流程比较。

Figure 5. Sample blueprint responsible for showing user interface element on space bar key pressing action.

图5。示例蓝图负责显示用户界面元素上的空格键按下动作。

Figure 6. Content of Oculus Rift VR headset.

图6。Oculus Rift VR头盔的内容。

Figure 7. Overhead projection of the palace ground floor, where only three chambers were modelled with textured meshes (Both Galleries and Big Hall). Other chambers were placed in 3D as extrusion of walls outlines.

图7。宫殿底层的投影，其中只有三个房间的模型与纹理网格(画廊和大厅)。其他房间作为墙壁轮廓的挤压三维放置。

Figure 8. Example of additional lighting placement inside Big Hall chamber.

图8。在大礼堂内放置额外照明的例子。

Figure 9. Example of final visualization (North Gallery), on the right-side HUD with additional information about wall painting is visible.

图9。最后的可视化示例(北画廊)，在右侧的HUD上可以看到关于墙画的附加信息。

Choromański K, Łobodecki J, Puchała K, et al. Development of Virtual Reality application for Cultural Heritage visualization from multi-source 3D data[J]. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2019.

另一种通过数字化保护和维护文化遗产的方式是虚拟博物馆。Schweibenz(1998)将虚拟博物馆定义为相关数字对象的集合，在没有真实场所和空间的情况下传播对象和信息。由于对用户交互、环境和内容、体验设计等方面的要求，虚拟博物馆的建设具有挑战性。博物馆可以设计成逼真的形式，复制一个真实的博物馆，或使用替代方法，但最终产品应传达预期的信息(Skamantzari, 2018)。例如，Kersten等人(2017)的虚拟博物馆设计中，除了逼真的模型外，还包括对基本位置的引导视点和详细信息菜单。Monaco等人(2022)创建了一个可定制的虚拟博物馆，用户可以在虚拟展览中发挥更积极的作用。他们的构建过程允许用户使用知识图(Knowledge Graphs, KGs)选择数据，通过改变布局来个性化博物馆，并选择注释。知识是一组实体、属性和它们之间的关系。实体、关系和属性可以形成节点和边的图，使图结构成为知识的现实表示。虚拟展览与图形抽象的结合增强了互动性，并使复杂的知识关系在传统博物馆无法呈现的背景下变得可以理解。他们还报告说，施工时间与用户选择后的照明设置高度相关，因为这需要大量的计算。因此，它们提供了不同的照明选择。

Schweibenz W. The" Virtual Museum": New Perspectives For Museums to Present Objects and Information Using the Internet as a Knowledge Base and Communication System[J]. Isi, 1998, 34: 185-200.

Figure 2: The Newggenheim Museum of Second Life.

图2:Newggenheim Museum of Second Life。

Figure 5: The 3D polygonal mesh on the left and the textured 3D mesh on the right

图5:左侧为3D多边形网格，右侧为纹理3D网格

Figure 6: The main Interface and Views of Unity

图6:Unity的主界面和视图

Figure 7: The main elements that configure the entity of visitor in the environment of Unity

图7:在Unity环境中配置访问者实体的主要元素

Figure 8: A snapshot from the virtual museum. The visitor chose to rotate the left sculpture, while the available information appears on the right of the screen. The mini-map can be seen on the bottom left of the screen

图8:虚拟博物馆的快照。参观者选择旋转左边的雕塑，而可用的信息出现在屏幕的右边。迷你地图可以在屏幕左下方看到

Figure 9: At the beginning of the virtual tour the visitor reads the available instructions

图9:在虚拟旅行的开始，访问者阅读可用的说明

Skamantzari M, Georgopoulos A. 3D Visualization for virtual museum development[J]. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, 41: 961.

虚拟现实技术与地理信息系统(GIS)的融合产生了一种新的信息系统VRGIS。VRGIS可以支持空间数据的查询、处理、存储和分析功能。物联网(IoT)技术、虚拟现实(VR)、三维地理信息系统(3D GIS)等多种技术的结合，为城市环境的可持续发展提供了新的途径。视觉分析和GIS系统的复合使用允许理解重要的特征，例如城市设计领域的中间性、紧密性、中心性和最短路径。然而，城市规模和组件生成的图表是无法探索或理解的。解决这种杂波问题的一种方法是对图进行简化和分割。例如，Huang et al.(2016)生成了一个名为TrajGraph的可视化分析系统来研究和规划城市网络。他们应用了一种图划分算法，将图划分为几个块，同时保留目标的必要关系。智慧城市概念的提出是为了优化城市系统，形成可持续和高效的环境。Lv等人(2016)认为智慧城市建设由信息化、数字化、智能化三个阶段组成。Broucke和Deligiannis(2019)提出了一个基于布鲁塞尔智能城市数据的VR平台，该平台可以降低参与者在探索体验中的受挫程度。Dong等人(2022)进行了详细的分析，以了解城市多层数据的虚拟现实需求。与他们的分析结果并行的是，他们构建了一个基于多个组件和子系统的数字城市模拟模型，如模型编辑和重构模型(MERM)和场景创建和漫游系统(SCCM)。他们的过程从数据收集开始，然后演变成不同的格式，以创建一个一致的平台。大多数智慧城市项目旨在改善城市生活，创造环境，支持城市居民高效、轻松的互动。智慧城市的概念也有助于城市建设。在建设过程中，预见实际问题是至关重要的。理解空间秩序、适用功能、技术要求和生产过程也是必不可少的。考虑城市的参数和规模，三维可视化和模拟可以指导决策过程。

The system architecture

系统架构
The model of the TCM literature

中医文献的模式
The model of the bookcase

书架的模型
The snapshot of the platform scene.

平台场景的快照。
The snapshot of the platform

平台的快照

Huang Y, Zhai X, Ali S, et al. Design and implementation of traditional Chinese medicine education visualization platform based on virtual reality technology[C]//2016 8th International Conference on Information Technology in Medicine and Education (ITME). IEEE, 2016: 499-502.

System overview of the proposed platform. Geographical, Meteorological, Mobility and Social information is gathered from external sources. The data is then formatted, mapped to a visual structures and projected towards the user via using a HMD. The VR equipment captures 3D user interactions which allow for the user to directly interact with virtual objects that depict information from the external sources.

拟议平台的系统概述。地理、气象、流动和社会信息从外部来源收集。然后，数据被格式化，映射到一个视觉结构，并通过使用HMD向用户投影。VR设备捕捉3D用户交互，用户可以直接与描绘外部信息的虚拟对象进行交互。
User perspective in the VR application. Bus and bike stations are visualized by poles with counters (a). Real-time buses and trams move along the map surface (a). Metereological information is depicted using weather objects and textual displays (b). Social information is visualized in cluster spheres ©. The user is capable of touching 3D objects with the virtual index finger, upon which they are able to get more information in the form of a textual user interface (d).

VR应用中的用户视角。公交车和自行车电台被波兰人与计数器(a)可视化。实时公共汽车和有轨电车沿着地图表面(a)。Metereological信息描述使用天气对象和文本显示(b)。社会信息可视化在集群球体©。用户能够触摸虚拟食指3 d对象,在此基础上，他们能够以文本用户界面的形式获得更多信息(d)。Participants of the user study explore Brussels heterogeneous smart city data in virtual reality while executing taskset 4 (a). Real-time smart city data is displayed through moving vehicles, tweet clusters, bus and bicycle stations in a virtual environment (b).

用户研究的参与者在执行任务集4 (a)的同时在虚拟现实中探索布鲁塞尔异构智能城市数据。实时智能城市数据通过虚拟环境中的移动车辆、推特集群、公共汽车和自行车站显示(b)。
Box plot of perceived workload scores for every subdomain; Mental(M), Physical (Ph), Temporal (T), Performance (Pf), Effort (E) and Frustration (F)

每个子域的感知工作量得分箱线图;心理(M)，生理(Ph)，时间(T)，表现(Pf)，努力(E)和挫折(F)
Box plot of perceived scores for Data Intuitivity (DI), Data Distinction (DD), Immersion (I), Data Overview (DO) and Intuitive Interaction (II)

数据直觉(DI)、数据区分(DD)、沉浸(I)、数据概览(DO)、直观互动(II)感知得分箱线图

Broucke S V, Deligiannis N. Visualization of real-time heterogeneous smart city data using virtual reality[C]//2019 IEEE International Smart Cities Conference (ISC2). IEEE, 2019: 685-690.

为了让艺术体验更容易获得，更有沉浸感，更有吸引力，基于数字的策略，如AR, VR和Web3D已经被使用。最近的项目主要集中于在虚拟环境中重建工件。尽管许多研究的结果很有希望，但实现艺术家的宇宙并不是一件容易的事情。例如，将2D艺术形式转化为VR体验需要开发者添加原作中未包含的部分，而复制则需要每个细节都以3D方式建模。Raya等人(2021)为VR重建了两幅画，其中的画可以让用户通过介绍性的方法体验动觉纹理。根据一篇综述论文(Zhang et al.， 2020)， VR技术在建筑领域的安全规划、设计解读、协作、建设项目管理、教育、规划以及人类行为和感知等方面得到了应用。近年来，计算机辅助设计(CAD)和建筑信息建模(BIM)工具与虚拟现实技术相结合，以保持高效的沟通和设计过程，并避免上述领域的冲突。建筑师和工程师在高效的设计、管理、施工和运营阶段使用BIM。例如，在采光的影响上，Akin等人(2020)开发了一种融入BIM技术的沉浸式设计工具，以提高设计过程中的视觉感知和意识。3D CAD模型包含了3D模型、2D图纸和图表中的大量信息(Ivson et al.， 2020)。明斯特等人(2020年)提供了一种自动化的管道，从历史图像构建4D城市模型，以创建基于浏览器的移动VR应用程序，这里的第四维是时间。利用CNN的架构，他们根据建筑平面图从图像中生成建筑模型。嫁接不同领域的尝试也导致了广泛的子领域，如沉浸式城市分析。例如，Chen等人，2017年提出了一种方法，利用Li等人解释的爆炸视图和原理，在城市文脉中应用视觉分析(Li等人，2008)。

Images of the virtual paintings using the ImmersArt tool. Left, recreation of the painting The Persistence of Memory (original at www.moma.org/collection/works/79018). Right, recreation of the hellscape panel of The Garden of Earthly Delights (original at www.commons.wikimedia.org/wiki/File:The_Garden_of_earthly_delights.jpg).

虚拟绘画的图像使用ImmersArt工具。左图为《记忆的永恒》(图片来源:www.moma.org/collection/works/79018)。对，娱乐的地狱景观面板的花园世俗的乐趣(原来在www.commons.wikimedia.org/wiki/File:The_Garden_of_earthly_delights.jpg)。
Images of some of the virtually recreated details of Salvador Dalí’s painting The Persistence of Memory and the painters’s biographical highlights. At the top, close-ups of the recreation of the artwork. In the lower part, objects extracted from the author’s biography and other of his paintings.

萨尔瓦多Dalí的绘画《持久的记忆》和画家的传记亮点的一些虚拟再现的细节图像。在顶部，是艺术作品的再现特写。在下半部分，从作者的传记和他的其他绘画中提取的物品。
Haptic device used at ImmersArt to provide virtual touch to the user: the Novint Falcon.

ImmersArt为用户提供虚拟触摸的触觉设备:Novint Falcon。
Process of building this virtual scene. (a) Piece of art origin of the sketches. (b) Modeling/rigging phase. © Shading, lighting. (d) Result (with animation, FX, CFX, and optimizations).

建立这个虚拟场景的过程。(a)草图的艺术来源。(b)建模/操纵阶段。©阴影,照明。(d)结果(包含动画、FX、CFX和优化)。
Simplified class diagram of the interaction system developed for this experience. The Monobehavior class is part of the Unity3D API, and inheritance from it is required in order to be called by the Unity3D internal engine during the rendering of each frame.

简化类图的交互系统开发的经验。Monobehavior类是Unity3D API的一部分，为了在渲染每一帧时被Unity3D内部引擎调用，需要继承它。

Raya L, García-Rueda J J, López-Fernández D, et al. Virtual Reality Application for Fostering Interest in Art[J]. IEEE Computer Graphics and Applications, 2021, 41(2): 106-113.

4.3.2 计算机科学

为了更好地理解软件架构、各种算法和计算机科学概念，已经提供了不同的可视化技术。研究的重点是解释复杂的结构，以理解与该领域相关的不同特征和概念。例如，可视化技术已经被用于更好地理解和解释人工智能(AI)。可解释人工智能(XAI)是最近开发的一项技术，旨在通过人类的眼睛来加深对人工智能的理解。作为这项研究的一部分，Selvaraju等人(2017)提出使用梯度加权类激活映射(GradCAM)，这是一种受益于目标梯度的可视化方法，并在深度强化学习(DRL)算法上生成定位地图。通过分析他们对Atari Games的研究，包括对输入状态的可视化和选定的输出动作，可以理解CNN层的作用。另一项专注于神经网络可视化的研究是caff2unity (Aamir et al.， 2022)。将Caffe框架与Unity游戏引擎相结合，提供了与神经网络在图像分类任务上的实时交互。他们的交互方法可以让用户更好地了解神经网络的复杂结构。

Figure 1
(a) Flow chart of the compilation process of the Caffe2Unity.dll and its interfacing with Unity to perform various tasks. In its current form, we used the DLL for image classification as an application domain. (b) Prototypes and attributes of the main classes used in the Caffe2Unity.dll to achieve our goal. © Snapshot of the visualization strategy illustrating the immersive model of AlexNet with details of all layers and activation maps that are used in the VR environment.

图1
(a) caff2unity .dll的编译过程流程图，以及它与Unity的接口来执行各种任务。在其目前的形式中，我们使用DLL作为图像分类的应用领域。(b)在caff2unity .dll中使用的主要类的原型和属性来实现我们的目标。©可视化策略的快照，说明了AlexNet的沉浸式模型，其中包括所有层的细节和在VR环境中使用的激活地图。

Figure 2
(a) An immersive visualization of different layers of the AlexNet architecture in Unity, (b) virtual GUI for selecting paths for model weights, CNN structure, labels, and input image, © input layer, (d) first convolutional layer icon, (e) snapshot of activation maps of the 1st convolutional layer, (f) selecting the connection of a particular filter of the 1st convolutional layer to visualize its activity across the network, and (g) deeper layer interactions of the selected filter. The user can visualize and hide filters and activation maps by selecting the corresponding option on the layer icon using a laser pointer.

(a)在Unity中对AlexNet架构不同层的沉浸式可视化，(b)为模型权重、CNN结构、标签和输入图像选择路径的虚拟GUI， ©输入层，(d)卷积层第一层图标，(e)卷积层第一层激活映射快照，(f)选择第1卷积层的特定滤波器的连接，以可视化其在整个网络中的活动，以及(g)所选滤波器的更深层交互。用户可以通过使用激光指示器选择层图标上相应的选项来可视化和隐藏过滤器和激活映射。
Figure 3
Analyzing the network decision using Shapley-value-based interpretations in the VR environment. These interpretations are shown for three hidden layers namely conv1, conv3, and conv5, respectively (see also Figure 4 for zoomed in view).

在VR环境中使用基于shapley值的解释分析网络决策。这些解释分别显示了三个隐藏层，即conv1、conv3和conv5(也见图4的放大视图)。
Figure 4
Zoomed in view of VR-based Shapley value results from Figure 3 showing individual interpretation of three hidden layers, (a) conv1, (b) conv3, and © conv5 of the weasel image.

放大图3中基于vr的Shapley值结果，显示了对黄鼠狼图像(a) conv1， (b) conv3和© conv5三个隐藏层的单独解释。Figure 5
Zoomed in view of VR-based results, (a) original image on the left whereas the right image shows the overlaid block occlusion, and (b) Shapley-value-based interpretation of the weasel image after being occluded by the VR user. Results are shown for three hidden convolutional layers, where the network strongly predicted the image as being a “guinea pig” instead of a “weasel”.

在基于VR的结果中进行放大，(a)左边的原始图像，而右边的图像显示了叠加的块遮挡，(b)鼬鼠图像被VR用户遮挡后的基于shapley -value的解释。结果显示了三个隐藏的卷积层，其中网络强烈预测图像是“豚鼠”而不是“鼬鼠”。

Aamir A, Tamosiunaite M, Wörgötter F. Caffe2Unity: Immersive Visualization and Interpretation of Deep Neural Networks[J]. Electronics, 2021, 11(1): 83.

具有3D表示的高维可视化受益于隐喻，使知识更容易获得和理解。计算机科学的一个基本组成部分是隐喻的使用。隐喻的评价与可视化场的性质和相关场的概念的近似值有关。在这种方法中，与特定功能相关的组件设计至关重要。在计算机科学中广泛使用的隐喻之一是城市隐喻。例如，EvoStreets技术(Steinbeck等人，2019年)使用了一种城市隐喻，将等级关系可视化为软件街道。VR城市(Vincur et al.， 2017)由不同的层组成，使用布局算法来容纳各种实体。它包括用于关系的连接层、用于用路径点显示最近活动的作者层、用于表示类的城市层、用于扫描代码的代码空间层以及用于可能操作的UI空间层。Oberhauser和Lecon(2017)为飞行体验提供了空间、地面、自定义的隐喻，以鼓励对代码信息的探索性、分析性和描述性认知过程。在IslandViz中，Misiak等人(2018)利用一个岛屿隐喻来可视化一个基于VR中的开放服务网关倡议(OSGI)的软件系统的软件架构。

Visualizing software clones with evostreets.

用evostreets可视化软件克隆。
The evostreets of guava used as tutorial for the 2D environment.

《evostreets of guava》作为2D环境的教程。
The evostreets of guava using the same visual attributes as in Figure 2, but rendered in three dimensions.

番石榴的evostreets使用与图2相同的视觉属性，但以三维方式呈现。
Visualization of the scenarios of our three tasks as 2.5D projections. S marks the starting point of the exploration.

将我们三个任务的场景可视化为2.5D投影。S标志着探索的起点。
Time required to find an answer of each task and environment.

找到每个任务和环境的答案所需的时间。
Rating of each task and environment.

对每个任务和环境进行评级。
Trajectories of the 2.5D (yellow) and VR (cyan) environments.

2.5D(黄色)和VR(青色)环境的轨迹。

Steinbeck M, Koschke R, Rudel M O. Comparing the evostreets visualization technique in two-and three-dimensional environments a controlled experiment[C]//2019 IEEE/ACM 27th International Conference on Program Comprehension (ICPC). IEEE, 2019: 231-242.

4.4 科学可视化

强大的计算机和逼真的效果图成就了图形学这一独特的领域，这使得科学家们可以在科学研究中使用可视化(图5)。对科学领域的专家来说，可视化科学数据是至关重要的，并且可以与普通观众交流学生。科学可视化仅限于二维表示。随着绘制技术的发展，现在可以在三维虚拟世界中可视化科学数据并与之交互。这使得用户能够探索和与真实的代表进行互动，提高学生的理解能力和增强公众参与。

由于数据的高维和抽象，科学可视化扫描可能非常复杂，很难根据数据集进行计算。它们可能需要独占的可视化，而不是传统的计算机可视化。传统桌面和鼠标实现的不同2D部分可能不足以构建3D理解，这也因用户而异。与传统2D屏幕的单目系统不同，虚拟现实显示中的双目系统提供了真实的深度感知和空间关系。因此，许多行业都采用了这些系统来测试真实场景，就像在培训中一样。服务于矿业软件模块，开发了块体溶洞开采系统可视化软件，为块体溶洞的管理周期和运行提供了参考。允许协作环境，并将复杂的挖掘系统环境转换为图形表示，可以提高对地震数据的理解(Tibbett等人，2015)。交互式三维数据可视化也用于高能物理(HEP)实验。ATLASrift项目(Riccardo Maria等人，2019年)旨在为地图集探测器和实验现场创造沉浸