张量建模与计算团队在AAAI 2021发表论文

2021-02-26 15:28:41

近日，电子科技大学张量建模与计算团队与日本理化学研究所张量学习团队一篇合作论文被人工智能领域顶级会议AAAI 2021（CCF A类推荐会议）接收，论文题为《Fully-Connected Tensor Network Decomposition and Its Application to Higher-Order Tensor Completion》。电子科技大学博士生郑玉棒为论文第一作者，电子科技大学黄廷祝教授和赵熙乐教授为通讯作者，合作作者为日本理化学研究所张量学习团队负责人Qibin Zhao博士和西南财经大学蒋太翔副教授。

　　该研究提出了一种全连接张量网络（fully-connected tensor network, FCTN）分解。其优势在于：(1)建立了任意两个因子间的运算，使其可以充分地刻画张量任意两个模式（modes）间的相关性；(2)具有转置不变性，即对于不同的张量mode排列，分解本质上是相同的。进一步地，论文将FCTN分解应用到张量填充任务中，设计了基于临近交替极小化（proximal alternating minimization, PAM）的求解算法，证明了算法的收敛性。

　　信息技术的飞速发展使得数据形式逐渐趋向高维化，如视频数据、高光谱图像以及交通流量数据，通常可用张量表示。然而，高维数据往往存在像素缺失现象，如成像条件不佳导致高光谱图像部分像素被云覆盖以及感知器故障导致交通数据在连续时间内元素缺失 (如图1所示)，这种退化现象严重影响了其后续应用。张量填充旨在从部分的观测数据中反推出完整的真实数据，属于经典的反问题，通常需要利用正则化方法引入高维数据的先验知识 (内在性质) 限制解空间并稳定求解过程。在众多先验知识中，高维数据的全局相关性 (低秩性) 尤为重要。

图1：被云覆盖的高光谱图像和具有元素缺失的交通数据

　　张量分解旨在将一个高阶张量分解为一系列低维因子，对张量的全局相关性具有强大的捕捉能力。

　　在过去的十年中，Tucker和CANDECOMP/PARAFAC（CP）分解取得了巨大的成功。但是Tucker分解只能描述张量一个mode与其他所有modes之间的相关性，而不是任意两个modes之间的相关性，且需要较高的存储成本；CP分解无法灵活刻画张量不同modes之间的不同相关性。最近几年，张量链（tensor train, TT）和张量环（tensor ring,TR）分解显示出了处理高阶，特别是超过三阶张量的强大能力。更具体地说，TT分解将一个N阶张量分解为N-2个三阶张量和两个矩阵。并且，从第一个TT因子（矩阵）开始，每个因子都需要与下一个因子进行运算，直到最后一个因子（矩阵）。TR分解用三阶张量代替了TT因子中的两个矩阵，并在它们之间建立了额外的运算。但是TT和TR分解有两个明显的局限性：（1）这两种分解方法只建立了相邻两个因子之间的运算，而不是任意两个因子之间的联系，导致其相关性度量能力有限；（2）它们只在张量的modes作反向排列（TT和TR）或循环移动（TR）时具有不变性，这意味着TT和TR分解对张量mode的排列高度敏感。那么如何解决这些问题？

图2：Tucker、CP、TT和TR分解

　　该论文提出了一种新的张量分解，即全连接张量网络（FCTN）分解，它将一个N阶张量分解成一系列低维的N阶因子，并在任意两个因子之间建立了一个运算，其数学表达形式为：

　　FCTN秩定义为由　组成的向量。

图3：FCTN分解

　　图3展示了FCTN分解的图表示。可以看到，在二阶情况下，FCTN分解实际上是矩阵分解，而FCTN秩实际上是矩阵秩。此外，对于高阶张量，任意两个FCTN因子间都有一个大小相等的mode用于进行运算，这使得FCTN分解能够充分表征张量任意两个modes之间的相关性。

　　众所周知，矩阵分解具有转置不变性，即。而对于高阶张量，论文证明了FCTN分解同样具有广义转置不变性，即也就是说对于不同的张量mode排列，FCTN分解本质上是相同的。这意味着在使用FCTN分解时，不需要考虑张量mode排列顺序。而对于TT和TR分解，不同的mode排列对应的分解是不同的，使用时通常需要寻找最优mode排列。