虚拟现实(Virtual Reality,简称VR)是计算机应用领域的前沿技术,综合了多媒体、人机交互、立体显示、仿真及网络等多种技术,是力学、数学、光学、运动学等多个学科的综合应用,它为用户创造一种虚拟环境,通过视、听、触等感知行为使得用户产生沉浸于虚拟环境的感觉,并与虚拟环境相互作用从而引起虚拟环境的实时变化,可广泛应用于游戏开发、城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害、教育培训等众多领域。
虚拟现实技术与应用学科属于计算机应用二级学科的范畴,涉及硬件设备、计算机视觉与图形学、计算机建模与仿真、人机交互、人工智能、程序开发引擎、系统集成等多个领域;与设计学关系密切,其沉浸性、交互性、构想性等特征均有赖于良好的美学设计、视觉传达设计和人机交互设计;此外,现实世界中VR企业的运营管理和虚拟世界中盈利性组织的经营活动均受管理理论和方法指导。
近年来,工信部、教育部等部委陆续联合发布了《虚拟现实与行业应用融合发展行动计划(2022-2026年)》和《元宇宙产业创新发展三年行动计划(2023-2025年)》。江西省自2015年以来一直将VR产业作为重点发展产业,集聚了大量企业;一批高校创办了VR本科和研究生专业,汇集了一批高素质人才。
我校虚拟现实技术与应用是一门交叉学科,依托计算机科学与技术(全球ESI前1%学科)、设计学和工商管理等学科,经过多年的建设,已形成一支结构合理、以中青年教师为主、具有较强教学和科研能力的师资队伍,并逐步形成了VR视频处理、人机交互和数据安全三个研究方向。
1.视频处理
VR视频处理通常包括VR图像及视频的语义理解、编解码、传输和质量评价等。VR视频由于包含多个视口且具有高分辨率,因而数据量比传统视频要大得多,这给视频编解码和质量评价等带来了挑战。用户视口、网络状况的变化以及用户需求、终端性能和接入网络的异构性,则要求视频传输策略具有自适应能力。
主要研究内容包括三维图像和VR视频的主客观评价体系、方法与指标,VR视频的用户感知过程及其影响因素分析、视口预测、用户体验质量预测,无线接入网络、边缘网络及混合网络中的VR视频编码与传输联合优化,三维场景重构与渲染处理技术以及垂直领域VR视频应用平台的构建等。
2.人机交互
VR人机交互包括交互技术、交互设计和交互设备三方面的研究内容。良好的人机交互带给用户沉浸式体验和舒适自然的感受。当前VR应用普遍采用头盔和手柄的设备组合,只允许用户使用一类态式进行交互,如手势、语音、眼动等,交互体验不够自然,准确度也有待提高。
主要研究内容包括VR人机交互中的艺术设计原则与方法,单模态行为识别精度的改善、多模态行为识别的有机融合,以及适用于垂直领域的人机交互技术与艺术设计方法。
3.数据安全
在体验VR场景时,用户的许多隐私数据均在不知不觉中被采集,包括身高、人脸、虹膜等生物特征,头部、躯干、手和眼睛的习惯性动作,以及所处房间的环境信息等。未来的虚拟世界中,虚拟资产(如虚拟地产和NFT)、虚拟经济系统及虚实经济系统间的通信都必须得到有效的保护。此外,针对VR场景的攻击行为可能是致命的。因此,VR数据安全是VR行业有序发展的有力保障。
主要研究内容包括区块链、多媒体信息加密算法、VR环境中的安全体系架构、虚拟资产保护、虚拟经济系统构建、隐私数据保护以及新型入侵行为的检测与攻击防护等。