模式识别国家重点实验室“多媒体计算国际团队”入选

2017-09-25 09:28:19

近日，中科院人事局公布了入选2017年度王宽诚率先人才计划“卢嘉锡国际团队项目”名单。根据《中国科学院王宽诚率先人才计划管理办法》（科发人字〔2015〕71号），经院属单位推荐、专家评审、院人才工作领导小组及王宽诚教育基金会审定，模式识别国家重点实验室“多媒体计算国际团队”入选该项目。

团队：跨国跨学科人才融合

中国科学院王宽诚率先人才计划由香港王宽诚教育基金会和中国科学院联合资助，包括“卢嘉锡国际团队项目”（简称“国际团队”）和“产研人才扶持项目”（简称“产研人才”）。其中，“国际团队”重点支持院内致力于科学和技术原创的领军人才，与海外优秀人才组建团队，促进国际合作和人才培养。根据办法，“国际团队”应由不少于7位致力于科学和技术原创的海内外科技领军人才组成，其中海外人才不少于4人。

多媒体计算团队由来自中国、美国、香港的11名科研人员组成，其工作单位包括了中科院自动化所、中科大、加州大学、罗彻斯特大学、德克萨斯大学、香港城市大学等。在这11名成员中，包括1位ACM Fellow、4位IEEE Fellow、3位IAPR Fellow、2位国家杰出青年基金获得者、2位中科院青年创新促进会会员和2位中科院优秀博士论文获得者。

团队主要成员在多媒体、计算机视觉和数据挖掘进行了长期深入研究，一系列开创性工作得到国内外同行的广泛认可，并获得包括北京市科学进步一等奖在内的多个科技奖项和多媒体领域重要国际会议的多次最佳论文奖。自动化所徐常胜研究员任团队负责人，是国家杰出青年基金获得者，当选IEEE Fellow、IAPR Fellow和ACM Distinguished Scientist, 获得首届CCF青年科学家奖, 获得2008年中国科学院王宽诚科研奖金(多学科交叉研究专项)，是信息领域唯一的获奖者，获得2004年新加坡陈嘉庚青年发明家银奖。在本项目相关领域发表论文300 多篇，其中IEEE/ACM 汇刊近70 篇。获得国际权威期刊和顶级会议的多个最佳论文奖项，如ACM汇刊ACM TOMM 最佳论文奖、国际期刊IEEE Multimedia最佳论文奖、多媒体顶级国际会议ACM Multimedia 一次最佳论文奖和两次最佳论文提名。作为负责人主持了973 课题、国家自然科学基金重点项目、北京市自然科学基金重点项目等。国内成员包括了4位研究员和3位副研究员，聚集了中科院在多媒体理解、图像视频分析、数据挖掘和机器学习等相关方向的优秀科研人员。团队的4位海外成员全部为正教授，其中Ramesh Jain教授为国际多媒体研究领域泰斗，曾获得多媒体领域最重要的ACM SIGMM Outstanding Achievement Award。

团队成员之间此前已有合作基础，但研究内容较为分散、合作形式不规范。经过团队筹建和试运行阶段，团队成员现已围绕一个共同的研究课题展开深入合作，根据各自专业优势和研究基础分配研究内容，在新的合作形式下，合作效率提高并初步产生了一些研究结果。基于前期项目积累，团队已经在网络图像视频、多媒体社会事件、医疗健康、社会多媒体用户等方面收集了海量数据库，积累了夯实的研究成果。

团队试运行期间，各成员的原有团队新加入了多名年轻科研人员，进一步优化了团队成员的年龄结构，有益于团队的梯队建设。此外，团队着力培养优秀青年人才，鼓励青年科研人员访学、参加和组织国际高水平学术活动，增加与国际顶尖学者和团队的交流，有效扩大了国际影响力。

合作：以优势互补为基础

优秀的团队在年龄结构、研究经验、研究方向互补性等方面都体现出优势。多媒体计算国际团队组建筹备时，从如下几方面选择团队成员和依托平台：

一是研究方向互补。由于跨媒体知识挖掘和认知问题的复杂性和跨专业性，团队在组建筹备阶段就优先考虑整合不同专业和研究方向的科研人员。实际组建的团队成员研究方向覆盖了多媒体计算、机器学习、计算机视觉、图形学、数据挖掘等多个专业领域。

二是研究和应用结合。考虑到研究课题与应用实践互动的特点，在组建团队时重点关注团队成员的应用研究经验以积极促进研究成果的成果转化。实际组建的团队中，团队负责人徐常胜研究员为IEEE/IAPR Fellow，是国际多媒体领域顶级期刊IEEE TMM发表论文数量最多的学者；海外成员Ramesh Jain教授曾创立五家公司，其中一家公司被收购后已于2000年在NASDAQ上市，成为视频检索领域的旗舰公司。

三是具有合作研究基础。为保证团队的合作效率和有效协调，团队成员之间需要有良好的合作基础。实际组建的团队中，国内成员之间以及国内和海外成员之间合作学术论文100余篇，在协作攻关难题方面具有良好合作基础和丰富经验。

四是国际合作经验。团队成员承担了包括中科院国际合作重点、基金委海外青年的多个国际交流项目。多名成员来自于中法联合实验室和中国-新加坡数字媒体研究院，保持着与法国和新加坡研究机构互派科研人员访问和学生交流的良好合作关系。

五是依托单位选择。中科院自动化所模式识别国家重点实验室除了硬件和研究平台的保障，在模式识别基础理论、多媒体数据分析、语音等领域具有高水平的研究成果和成熟应用经验。团队的国内成员主要来自模式识别国家重点实验室，与中国科学技术大学和海外成员之间都具有良好的合作关系，可以很好地作为团队建设和项目执行的纽带。

在研究内容方面，团队成员通过调研、集中讨论，结合各自专业方向和研究兴趣，确定了“跨媒体知识图谱构建与图谱化跨媒体推理应用”的研究题目和跨媒体实体和关系表达学习、跨媒体知识关联和图谱构建、基于知识图谱的跨媒体知识迁移和复用、基于知识图谱的跨媒体推理四个研究内容。

团队成员在合作的基础上，分工明确。团队负责人徐常胜研究负责了研究课题的统筹、总体研究方案制定和研究资源的协调。团队成员程健研究员、鲍秉坤副研究员在机器学习算法方面进行研究，Qi Tian教授、Chong-wah Ngo教授、张天柱副研究员在计算机视觉方面进行研究，共同负责了研究内容一跨媒体实体和关系表达学习的推进。Ramesh Jain教授、Jiebo Luo教授、桑基韬副研究员在多媒体计算和数据挖掘方面进行研究，负责了研究内容二跨媒体知识关联和图谱构建的推进。Ramesh教授、张勇东研究员、董未名研究员在基于知识图谱的视频检索、医疗服务等应用方面进行调研研究，负责了研究内容三、四的深入调研和分析。

目标：跨媒体知识图谱构建与图谱化跨媒体推理应用

团队申报的研究选题为“跨媒体知识图谱构建与图谱化跨媒体推理应用”，拟从单通道感知到跨媒体认知的角度，一方面拓展传统基于单通道基于符号系统的抽象建模方法，从多通道进行跨媒体具象建模，建立描述真实世界的跨媒体知识图谱；另一方面建立基于知识图谱的跨媒体应用接口，实现跨媒体推理和智能演化，高效解决跨媒体认知问题，并为多媒体智能问答、智能医疗等应用服务。整个课题研究将瞄准以下两个关键问题：

一是跨媒体知识图谱构建，研究跨媒体实体和关系表达学习、跨媒体知识关联和图谱构建。二是图谱化跨媒体推理应用，基于知识图谱的跨媒体知识迁移和复用、基于知识图谱的跨媒体推理，实现基于知识图谱的跨媒体推理和智能演化，解决跨媒体认知复杂问题。

在创新意义上，团队将着力研究建立异构多源数据的关联并在多粒度实现跨媒体数据融合，通过视听觉感知挖掘跨媒体知识以补充和拓展传统知识图谱，以知识图谱为智能中枢存储知识并规范和指导多媒体认知类应用问题的解决。

从科学层面而言，研究将有助于揭示跨媒体研究的新特性和新规律，促进我国在跨媒体大数据理解和应用的关键技术突破，加速跨媒体认知技术在下一代信息处理和服务领域中的应用和推广。从社会和应用层面而言，致力于让机器具备跨媒体认知能力，可以更好地实现机器与人之间的无障碍沟通，相关技术将支撑诸如医疗陪同、远程教育培训等更丰富复杂的应用场景。同时，研究还将为不同的跨媒体感知任务提供知识迁移和复用的统一应用接口，有望促生新的技术应用框架；基于知识图谱的跨媒体认知问题还可以提供高附加值信息服务。

团队预期在以下三个方面有所突破：在理论层面，在跨媒体结构化知识表达、知识图谱构建、图谱化知识迁移复用和跨媒体知识推理等相关学术方向上提出或发展具有重大创新的理论与方法体系；合作发表高水平国际期刊和会议论文20篇。在技术层面，构建实体数达数亿级的大规模跨媒体知识图谱，形成从原始多模态数据到跨媒体知识图谱的自动高效构建关键技术、原型平台；核心技术申请国家专利6-8项，并尝试申请美国专利。在应用层面，提供跨媒体感知问题的知识存储、迁移和复用接口，经过跨媒体知识的积累和推理支持2-3个典型领域认知问题的示范性应用和推广。

在未来几年，团队成员将从多媒体计算、数据挖掘和机器学习等角度积极发挥交叉方向的创新优势，进行深入探讨和攻关。此外，团队将借助承担的科研项目完善条件平台建设，推动形成一部分水平高、创新性强的科研成果，力争促成重大科技成果落地转化，以达到产业应用的目的。