ECCV2018无人机挑战赛冠军

2018年9月8日，欧洲计算机视觉大会（ECCV）承办的2018 Vision Meets Drone: A Challenge在德国慕尼黑进行算法研讨及颁奖，由西安电子科技大学人工智能学院焦李成教授指导的三支学生队伍在ECCV2018的VisDrone挑战赛中取得优异成绩，分别在三个赛道斩获冠亚季军各一项，并获邀参会。

智能感知与图像理解教育部重点实验室刘旭，孙其功，皮兆亮，张文华，李晓童，张杰，张欣7位学生代表应邀远赴德国参加了此次会议，并以口头报告的形式与参会人员做了广泛和深入的交流。其中“张欣，张杰、李晓童”提交的An improved ECO algorithm for preventing camera shake, long-term occlusion and adaptation to target deformation获得VisDrone 挑战赛无人机视频单目标跟踪赛道第一名，并在会议中做成果报告；“皮兆亮、吴漪楠、刘梦琨”获得无人机视频目标检测赛道第二名；“张文华、孟洋”获得单目标跟踪赛道第三名。

在“赛中学”是西电人工智能学院加强产学合作协同育人、培养创新性人才的举措之一，旨在让学生通过学术竞赛快速提升科研能力及学术交流能力。在VisDrone挑战赛中，所有参赛队伍在赛程中进行定期研讨，互相交流工作进展及成果，形成正向的压力氛围，共同进步，此次三个获奖团队的工作中都有不少成果来自其它队伍的灵感。

据悉，ECCV 2018研讨会（Workshop）和挑战赛（Challenge）吸引了国内外众多高校、科研机构、互联网巨头公司参加，国内参赛团队主要有清华大学、北京大学、腾讯、阿里、商汤以及旷视等。

据悉，该挑战赛总共分为以下4个任务：

单目标跟踪赛道冠军组做成果报告

“张欣，张杰、李晓童”团队分别针对单目标跟踪领域比较典型的目标长期遮挡、相机剧烈抖动和目标严重形变等问题提出了有效的解决方案：An improved ECO algorithm for preventing camera shake, long-term occlusion and adaptation to target deformation，跟踪效果明显提升，最终成绩高出第二名5个百分点，以绝对优势赢得该赛道冠军。

以下为算法详解：

算法整体流程图

上图为算法总体流程图，采用的整体框架为ECO（Efficient Convolution Operators for Tracking）算法，首先对给出的初始帧图片的目标位置信息进行初始化操作，如训练初始滤波器等；其中我们加入特征变换算法来消除相机的剧烈抖动；然后将提取得到的多尺度融合特征（包括CN、CNN、HOG特征等）与训练的相关滤波器进行卷积运算，并针对目标遮挡和形变加入我们的优化算法，根据卷积运算得到的相关矩阵等信息，启用检测算法或目标预测算法对原始ECO算法的跟踪结果进行相对优化；最后在目标无遮挡的情况下用当前帧的目标信息更新相关滤波器模型，到此，循环结束。

该算法的具体优化策略：

首先，针对相机剧烈抖动问题，我们采用目标关键点匹配策略，如SIFT尺度不变特征变化算法。SIFT算法所查找的关键点是一些十分突出、不会因光照、仿射变换和噪音等因素而变化的点，比如角点、边缘点、暗区的亮点及亮区的暗点等。

关键点匹配结果图

优化效果如下：

其次，采用光流法解决长期遮挡后目标丢失问题。具体地，光流算法的输入为前后连续两帧图片，输出为这两帧图片的目标位置的偏移量。为了得到更加准确的偏移量，我们设置了关键点匹配度阈值，当匹配度大于该阈值时，将关键点计入匹配成功点的个数中，从而返回目标位置的偏移量。

目标运动趋势图

优化效果如下：

最后，针对目标严重形变的问题，我们采用图像检测算法，由于ECO是基于相关滤波方法，这种算法只能寻找得分最高时目标对应的位置和尺度，而并不知道目标的整体轮廓。所以，我们在目标形变较大或相机角度发生变化时，将该帧图像进行目标检测得到检测框。

目标形变情况展示图

优化效果如下：