虚拟现实与仿真技术研究室-西南科技大学计算机科学与技术学院

虚拟现实与仿真技术研究室

研究室简介

虚拟现实与仿真技术研究室依托西南科技大学计算机科学与技术学院，是西南科技大学董事单位共建研究实验室。研究室以“产学研用”的发展思路，以求实、发展、竞争与开放的精神，在计算机图形学、图像及视频处理、人机交互、人工智能等领域开展科学研究工作和硕士研究生培养工作。并通过与控制、材料、物理、数学等不同学科方向的合作、交叉，开展虚拟现实基础、应用基础、关键技术方面的原始创新和集成创新。近年来研究室承担和参与了包括国家863计划、国家自然科学基金、国防科技计划纵向科研项目在内的多项科研项目。通过上述科研项目的研究，取得一系列理论和技术创新成果，在国内外著名学术刊物和学术会议发表学术论文数十篇，多项成果获得软件著作权和发明专利。研究室经过多年的科研发展和积累，在图像图形处理技术、虚拟现实技术、科学计算可视化等方面形成了一定的特色和优势。

人员组成

研究室具有一批高素质、充满活力和钻研精神的年轻科研人员，目前拥有教职员工12名，其中教授1名，副教授3名，在读博士2名，硕士6名，实验室现有硕士研究生8人。

研究室负责人

吴亚东，博士，教授，中共党员。西南科技大学计算机科学与技术学院副院长，中国计算机学会会员，中国计算机学会 YOCSEF成都副主席（2011－2012，2014-2015）、中国计算机学会 CCF绵阳执行委员（2014-2016）。主要从事计算机科学理论与应用的研究与教学工作。主持和参与了四川省教育厅重点项目、国家自然科学基金项目等多项课题研究。至今，在国内外著名期刊杂志发表论文30余篇，其中20余篇被国际著名的三大检索系统SCI、EI、ISTP收录，出版学术著作1部，参与出版学术著作2部，获得发明专利2项，获得软件著作权3项。担任IEEE Transactions on Image Processing，IEEE Transactions on Circuits and Systems for Video Technology,《电子学报》，《振动与冲击》等期刊通信评审。

主要成员

陈永辉，副教授，在读博士，中国计算机学会会员，软件工程系副主任。2010年起在中国科技大学攻读博士学位。2001年开始从事教学工作，主要从事程序设计、图形图像等方向的研究和教学工作。2006年作为访问学者赴日本广岛工业大学进修。先后多次被评为校级优秀毕业设计指导老师、校级学生科技活动优秀指导教师、院级优秀教育工作者和科研工作者；2008年被评为西南科技大学优秀共产党员，2012年被评为西南科技大学十佳岗位青年、优秀教师，多次指导学生获得国家级、省级科技活动及比赛奖项。主持并参与了国家863、自然科学基金、教育厅等多项重大项目、企事业的横向项目，获得四川省科技进步奖三等奖一项，在学术期刊上以第一或第二作者发表相关论文10余篇，其中EI、ISTP检索6篇。目前从事科学计算可视化方面的研究。

张庆明，讲师，博士，中国民主促进会会员，中国计算机学会会员，CCF YOCSEF成都副主席（2012-2014）。2010年12月获西南交通大学工学博士学位。主要从事数字视频处理方面的研究和教学工作，研究方向包括数字视频压缩编码技术、多视点视频压缩编码技术、视频传输技术、基于压缩域的视频检索技术等。作为骨干成员参与完成了国家自然科学基金项目2项，主持完成了西南交通大学交通运输工程研究生创新实践基地项目“基于X3D的虚拟现实技术在智能交通中的运用”，目前主持西南科技大学博士基金项目“多视点视频传输差错控制技术研究”的科研工作。至今在国内外著名学术期刊、国际会议上发表论文10余篇，4篇被EI收录，获得发明专利1项，申请发明专利1项。

张杨松，讲师，博士。2013年12月获得电子科技大学工学博士学位。主要研究方向包括脑（人）-机交互、模式识别与机器学习、可穿戴式计算等。2011年12月-2012年5 月，赴美国University of California，Irvine 交流访问。主持国家自然科学基金（青年）1项，作为主要研究人员参与国家自然科学基金面上项目、重大研究计划重点培育项目等国家级项目3项。至今在国内外著名学术期刊发表论文10余篇。

周宏毅，讲师，中国计算机学会会员。1994年毕业于四川大学计算机科学系计算机及应用专业，工学学士。从1994年开始从事教学工作，主要从事程序设计、图形图像等方向的研究和教学工作。近年来主要讲授课程有《算法分析与设计》、《图形学》、《编译原理》。主持或参与科研项目6项，教改项目2项。发表论文5篇。
马军，讲师，硕士。1993年毕业于兰州交通大学制造专业，1999年获工程系列中级职称。2002年始从事教学工作，2008年获电子科技大学软件工程硕士学位。主要从事计算机网络及安全、数据挖掘技术、图形图像处理等方面的研究和教学工作，分别主持完成了预研基金项目“嵌入式Linux的内存管理问题的研究”和“FreeBSD中IPV4到IPV6的转变对传输性能的分析”，并参与研究多项重大项目与横向项目，在学术期刊上以第一或第二作者发表相关论文近10篇。目前正在进行人机交互方面的研究。2010年被评为“西南科技大学实验室管理先进个人”。
陈元松，讲师，硕士。2000年7月至今在西南科技大学计算机科学与技术学院从事教学科研工作，主要承担《软件工程》、《编译原理》等课程的教学任务。主要研究方向包括软件工程、三维实景等。近几年发表论文10余篇，主持或参与科研项目6项，校级教改项目1项。2008年被评为学院优秀教师。
张晓蓉，讲师，硕士，中国计算机学会会员。2001年至今在西南科技大学计算机科学与技术学院从事教学科研和学生思想教育工作，主要承担了《C&C++语言程序设计》、《程序设计C》、《人机交互》与《大学计算机》等课程的教学与研究工作。主要研究方向为数字图像处理，人机交互与虚拟现实。参与国家自然科学基金（青年）1项，主持和参与校级青年基金5项，教改项目2项，横向多项。2012年第十二届“挑战杯”省赛作品 “基于手势识别的多媒体交互系统”获校赛一等奖。近年来，发表科技论文10余篇，其中发表核心期刊两篇。曾先后评为院“获优秀共产党员”、“优秀科技工作者”，校教学质量三等奖，院教学成果三等奖各一项。
宋丽丽，讲师，硕士。主要从事数字图像处理、人机交互及可视化方面的研究和教学工作。近年来，参与了多项国家级、省级项目的研究并主持完成了一项校级项目；发表核心期刊论文两篇、EI检索论文一篇、一般期刊论文多篇；指导学生科技活动项目多项。2011年被评为“四川省自学考试2008－2010年度优秀命题教师”。
聂波，讲师，1990年毕业于西安交通大学计算机系软件专业，工学学士。曾供职于中物院银海科技集团公司，从事软件开发工作。参与过银行、社保、电力系统的行业软件的开发工作，主持过自动抄表（水、电、气表）系统的软件开发。兴趣广泛，喜爱运动，曾是四川省少年足球业余体校甲组冠军队主力队员，国家二级运动员。

科学研究

本研究室与各交叉学科融合，从多角度开展虚拟现实领域的科学技术研究。2001年以来，承担、参与国家、省部级纵向科研项目多项。共发表学术论文数十篇，多项成果获软件著作权及发明专利。

研究方向

1、基于多感知信息融合的人机交互技术

2、科学计算可视化与可视分析

3、虚拟现实相关的多媒体技术

4、机器视觉相关的检测与控制技术

5、网络融合下的视频内容识别技术

6、智能家庭互联及内容共享技术

科研项目

已完成的科研项目

1、国家自然科学基金“数字图像自动修补理论与算法研究”

2、国家级军工项目“***研究与开发”

3、国家自然科学基金国际交流与合作项目“数字电影修复技术及其DSP实现”

4、四川省青年基金人才培养计划“雾天降质图像清晰化模型与算法研究”

5、四川省科技厅项目“基于变分偏微分方程的雾天图像清晰化技术研究”

6、四川省教育厅重点项目“基于修复技术的高压缩比视频图像编解码方法研究”

7、省人事厅科研项目“智能卡网上支付系统”

8、省教育厅科技项目“分布式技术在信息系统中的应用研究”

9、省人事厅科技项目“人才考评分布式信息平台”

10、绵阳市网络融合示范项目“面向网络融合的视频内容监管关键技术研究”

11、西南科技大学博士研究基金项目“基于偏微分方程的图像复原技术研究”

12、西南科技大学博士研究基金项目“多视点视频传输差错控制技术研究”

13、企业委托项目“智能监控系统中复杂光照处理关键技术研究”

在研项目

1、国家自然科学基金项目“基于纹理的高质量非稳定场可视化研究”

2、国家自然科学基金项目“基于神经元集群模型的簷视觉诱发电位机制研究”

3、四川省教育厅项目“非稳定场特征结构的纹理增强技术研究”

4、四川省教育厅项目“图像超分辨率重构模型与算法研究”

5、四川省教育厅项目“基于三维激光扫描的核设施三维重构关键技术研究”

6、绵阳市科研项目“视频摘要可视化技术研究”

7、绵阳市网络融合实验室项目“网络融合下的内容识别技术研究”

8、绵阳市网络融合实验室项目“视频摘要提取及可视化呈现技术研究”

9、绵阳市网络融合实验室项目“基于深度信息的人机交互方法研究”

科研成果

学术著作

1、数字图像修复技术. 科学出版社. 2010,3.

2、基于变分偏微分方程的图像复原技术. 北京大学出版社.2008,1。

发明专利及软件著作权

1、一种基于色域映射的图像光照校正方法专利号：ZL 200810147788.3

2、一种基于色域映射的图像光照校正系统专利号：ZL 200810147787.9

3、一种基于关键区域色彩矩阵的视频镜头分割方法及其应用方法专利号：ZL201110405542.3

4、图像修补软件 V1.0 2008SR00630. 授权日期2008.1.10

5、基于变分偏微分方程的神经网络图像复原软件 V1.0 2008SR06031. 授权日期 2008.3.24

6、3DNSView软件V1.0 2012SR077073.授权日期 2012.12.21

7、 GridCreate软件V1.0 2012SR134504.授权日期 2012.08.31

学术论文

1、 Yangsong Zhang, et al. An Efficient Frequency Recognition Method Based on Likelihood Ratio Test for SSVEP-Based BCI. Computational and Mathematical Methods in Medicine, 2014.
2、Yangsong Zhang, et al. Multivariate synchronization index for frequency recognition of SSVEP-based Brain-computer interface[J]. J Neurosci Methods, 2014,221:32–40.
3、Yangsong Zhang, et al.Prediction of SSVEP-based BCIPerformance by the Resting EEG Network[J]. J Neural Eng,2013,10(6):66017.
4、Yangsong Zhang, et al.Multiple frequencies sequential coding for SSVEP-based brain-computer interface[J]. PLoS One, 2012, 7(3): e29519.
5、Yangsong Zhang, et al.SSVEP response is related to functional brain network topology entrained by the flickering stimulus[J]. PLoS One,2013,8(9): e72654.
6、Yadong Wu，et al.An Image Illumination Correction Algorithm based on Tone Mapping. The 2010 The 3rd International Congress on Image and Signal Processing (CISP'10), 16-18 October 2010, Yantai, Shandong, China. Volume 2,645-648(EI: 20105213529893)；
7、Yadong Wu，et al.Fast Image Restoration Algorithms Based on PDE Models Using Modified Hopfield Neural Network. The 2010 International Conference on Artificial Intelligence and Computational Intelligence (AICI'10), 23-24 October 2010, Sanya, China. Volume 1, 224-227(EI: 20110313596550)；
8、Yadong Wu，et al.Research and Implementation on Multi-touch Whiteboard System. The 2010 International Conference on Computer Application and System Modeling, 22-24 October 2010, Taiyuan, Shanxi, China. Volume 4, 410-413(EI: 20104913452340)；
9、Yadong Wu，et al.Parallel Image Restoration Algorithm Based On Harmonic Model Using Neural Network. The 3rd IEEE International Conference on Ubi-media Computing (U-Media 2010), 5-7 July 2010, Jinhua, Zhejiang, China. 30-33(EI:20103813239485)；
10、Yadong Wu，et al.Variational PDE based image restoration using neural network[J]. IET Image Processing.2007,1(1):85-93 (EI:20071510546339，SCI:000249492500009)；
11、吴亚东等，一种基于图割的全变差图像去噪算法，电子学报， 2007,35(2):265-268 (EI：071610557379)；
12、Qing-ming Zhang, et al. Video transmission channel distortion estimation model for H.264/AVC based on channel simulation. International conference on multimedia and ubiquitous engineering 2009, Jun. 2009, 64-69（EI检索：20095312599569）
13、张庆明等，基于率失真优化的AVS-M关键参考帧选择算法.华南理工大学学报。2009，37(10)：44-48（EI检索：20095312588950）
14、张庆明等，基于H.264/AVC宏块编码特征的低复杂度率失真优化算法. 中国图象图形学报（录用待发）
15、张庆明等，一种基于信道仿真的视频传输信道失真估计模型。第六届和谐人机环境联合学术会议（HHME2010）
16、陈永辉等，Energy efficient routing protocol based on energy node and stability of topology. ICIC 2010. (EI：20103413182301)
17、陈永辉等，Energy Efficient Routing Protocol for Ad hoc Networks. ICCDA2010. (EI：20103413186343)
18、陈永辉等，Multipath routing Protocol with Path Compression for Ad hoc. ICACTE2010. (EI：20104613373543)
19、陈永辉等，基于节点能量和网络稳定性的节能路由协议. 计算机工程与应用. 2010(21)
20、徐鲁强等，河流形状类型的自动图像解译分类，计算机应用. 2010年11期
21、徐鲁强等，水体遥感影像处理的研究，计算机工程与应用. 2010年21期
22、Lili Song，Yadong Wu and Bo Sun, “A Robust and Fast Dewarping Method of Document Images[C]”, Proceedings of the 2010 International conference on E-Product,E-Service and E-Entertainment, Henan, China, 2010:vol5,3093-3096（EI：20110313604918）
23、宋丽丽，吴亚东，孙波，文档图像几何畸变快速校正的新方法，计算机应用，2010, 30(12) 3317-3320
24、宋丽丽，吴亚东，孙波，一种改进的文档图像扭曲校正方法，计算机工程2011，37（1）：204-206

部分研究成果展示

☆ 多触点人机交互系统

研究以人为本的人机交互原理、多感知信息融合的人机交互技术、人机交互系统设计。基于光学技术、图像处理、模式识别等技术，研制的多触点人机交互系统，可应用于教育、产品展示、数字娱乐等领域。

☆ 姿势序列有限状态机动作识别

采用肢体节点特征向量描述肢体动作特征数据，对预定义肢体动作序列进行采样分析，建立肢体动作轨迹正则表达式，构造出姿势序列有限状态机，实现肢体动作识别。本方法可对任意动作或手势进行整体描述，不需要离线训练和学习，通用性和扩展性较强，且对简单和连续动作的识别准确率高，实时性好，满足体感交互应用需求。

☆ 基于人体动作识别的交互展示

针对智慧旅游城市建设中的虚拟旅游体验，突破传统旅游的界限，打造景区智慧旅游新品牌，探索新奇旅游体验方式，结合自然人机交互技术，在旅游景区搭建虚拟互动智慧旅游体验中心。虚拟互动体验场景采用大屏显示，娱乐性和沉浸感强，专用传感器交互，在复杂环境下，通过对三维空间的人体特征信息提取、运动模型建立和空间参数分析，实现在虚拟互动体验场景中对游客的跟踪和识别功能，游客通过全身动作与虚拟场景中的人物、元素等进行互动，实现了虚拟互动增强现实的沉浸式体验功能。本智慧旅游互动体验以国家5A级旅游景区北川羌城旅游区为示范点，主要构建羌歌羌舞体验和羌绣飞毯体验，将原生态羌族舞蹈、音乐、服饰等文化内容与科技融合，系统结合交互的趣味性和真实性，在游客体验互动的同时将景区的人文、风景等旅游特色从科技的角度全方位展示给游客，从而宣传景区旅游特色，提升旅游景区整体影响力，促进旅游经济和文化的发展，智慧旅游体验方式可以在旅游景区间相互进行推广，有效促进旅游业的发展。

☆ SHRobot（智能管家机器人）

智能管家机器人是一款利用体感设备开发的应用于智能家居平台的个性化服务机器人，具有自适应跟踪用户运动轨迹、判定用户行为状态、理解用户交互意图及控制智能家电等功能。它能与用户直接进行交互，根据语音和动作命令对所有智能家电设备进行控制，为行动不便的残疾人、老人及小孩提供更自然、便捷、安全的家居生活服务。

☆ 数字图像处理

研究数字图像处理的算法及其应用。在数字图像超分辨技术、图像修复技术等领域取得了一定成果，可以用于大屏幕数字电视、文物修复等领域。

左图：分辨率较小的原始图像，右图：进行超分辨率处理后的图像

左图：破损的文物古画，右图：自动修补过后的文物古画

☆ 视频编解码差错控制

视频编解码差错控制技术研究在有传输丢包的情况下，在编码过程中采用抗差错的编码方法，提高解码图像的质量。

左图：有数据丢包后解码图像，右图：在编码中采用抗差错技术后的解码图像

研究室对外科研交流

研究室着力营造自由、求实的学术环境，多次邀请国内外知名专家学者来实验室讲学和交流。在国际合作方面，先后邀请了法国勃艮第大学LE2I国家重点实验室Fan Yang教授、瑞典BBK公司测量监测部经理兼公司执行董事封全宏等专家作学术报告和学术交流。

研究室还利用参加全国计算机大会、举办中国计算机学会青年计算机科技论坛（CCF YOCSEF）等机会，为青年教师和学生提供良好的学术环境。并长期与北京大学机器感知与智能教育部重点实验室、中国空气动力研究发展中心、中国燃气涡轮研究院等高校重点实验室或科研院所开展科研交流，并为学生提供交流互访机会。同时还与四川长虹电器集团等公司开展科研项目合作，为学生提供良好的实习机会。

学生科技活动

研究室学生社团组织

为了给学生提供良好的科技活动平台，研究室成立了专门的学生社团组织，由研究室提供专门的活动资金，安排专门的老师指导。组织结构如下：

研究室学生社团组织结构

学生科技活动项目

研究室积极组织学生开展各种科研活动，提高学生的科技活动创新能力，目前开展的部分项目如下：

学生科技活动部分项目成果展示

☆ Android门禁系统

针对现有门禁系统的局限性，安全性不足、效率低下、布线复杂、价格昂贵等问题，开发了一种基于ARM和嵌入式Linux的移动智能终端门禁系统。该门禁系统采用ARM处理器与嵌入式Linux系统相结合的软硬件平台，同时结合无线WIFI、嵌入式数据库技术、移动智能终端APP技术实现。系统由控制器、无线WIFI模块、继电器控制模块、门禁数据库以及客户移动智能终端组成，将用户已有的移动智能终端作为开门凭据，通过自主开发出的移动智能终端应用程序实现用户的身份注册和开门操作，并通过网页管理门禁成员数据库。经过大量测试验证，本门禁系统软硬件运行稳定，达到预期效果，与现有方案和技术相比，该设计在安全性，易操作和低成本上有明显优势。

☆ 三维游戏设计

☆ 西南科技大学三维动态场景

☆ 基于手势的人机交互系统

☆ 基于人体识别的3D跑酷游戏

通过捕捉识别人体的跳跃、打击、左转、右转、左偏移、右偏移等肢体动作，来映射一系列鼠标键盘行为，实现对游戏系统中角色的控制和游戏菜单的操作。该游戏中道路会产生多种类型的障碍物缓和奖励，按类可分为静态障碍类的岩石、高空绳索、瀑布、火光、截断的路面，怪物类的飞龙以及奖励类的宝箱、金币等等。种类繁多的障碍物不仅能够使得用户能够在场景中身临其境的体验到游戏过程中的快感，还能够让用户达到运动身体的目的。