2019_AAAI_ICCN

论文地址：https://arxiv.org/abs/1911.05544

在情感分析或情感识别任务中，文本特征通常优于非文本特征，原因如下：

1. 文本本身包含更多与情绪相关的信息。

2. 视觉或听觉信息有时会混淆情感分析任务。例如，愤怒和兴奋可能有类似的声音表达（高音量和高音调），尽管它们是相反的情绪。同样，悲伤和厌恶也可能有不同的视觉特征，尽管它们都是负面情绪。

3. 文本分析算法历史丰富，研究良好。

基于此观察，学习语言信息与非语言信息之间的隐藏关系是多模式语言分析的关键。这可以通过研究结合不同的多模态特征来实现。

同时将音频和视频特征添加到相同的文本信息中，可以更好地理解非文本信息。相反，非文本信息也可以给文本信息带来更大的意义。因此，研究基于文本的音频与基于文本的视频特征之间的深层关系是合理的。基于文本的音频和基于文本的视频是文本和音频的外积，以及文本和视频的外积。

使用典型的相关分析来更好地关联基于文本的视频和基于文本的音频(CCA)。然而CCA我们只能学习线性变化和深度典型的相关分析(DCCA)允许使用深度神经网络CCA处理非线性关系。基于此，本文使用DCCA关联基于文本的音频和基于文本的视频。

1、典型的相关分析CCA&深度典型的相关分析DCCA

CCA它是一种多元化的统计方法，利用综合变量之间的关系来反映两组指标之间的整体相关性。CCA用于寻找两个输入相关性最大的线性子空间。

给定两组向量$X\in R^{n_1\times m}$和$Y\in R^{n_2\times m}$，其中$m$表示向量的数量，CAA学习两个线性变换$A\in R^{n_1\times r}$和$B\in R^{n_2\times r}$，使得$A^{T}X$和$B^{T}Y$的相关性达到最大。将$X$和$Y$的协方差表示为$S_{11}$和$S_{22}$，$X$和$Y$的交叉协方差表示为$S_{12}$。CCA的目标为：
$$\begin{gathered} A^{\ast },B^{\ast }=\underset{A,B}{\mathrm{argmax}}corr(A^{T}X,B^{T}Y) \\ =\underset{A,B}{\mathrm{argmax}}\frac{A^T{S}_{12}B}{\sqrt{A^T{S}_{11}A}\sqrt{B^T{S}_{22}B}} \end{gathered}$$
上述方程的解是固定的，可以用多种方法解决。其中一种方法是让$U,S,V^T$成为矩阵$Z=S_{11}^{-\frac{1}{2}}{S}_{12}{S}_{22}^{-\frac{1}{2}}$的奇异值分解(SVD)。那么，$A^{\ast },B^{\ast }$和总的最大典型相关度为：
$$\begin{gathered} A^{\ast }=S_{11}^{-\frac{1}{2}}U \\ {B}^{\ast }=S_{22}^{-\frac{1}{2}}V \\ corr(A^{\ast T}X,B^{\ast T}Y)=trace(Z^{T}Z{)}^{\frac{1}{2}} \end{gathered}$$
CCA的一个限制是它只考虑线性变换。DCCA使用一对神经网络学习非线性变换。让$f,g$表示两个独立的神经网络，DCCA的目标是最优化$f,g$的参数${\theta }_f,{\theta }_g$，使$f$和$g$的输出之间的典型相关性，表示为$F_X=f(X;{\theta }_1)$和$F_Y=g(Y;{\theta }_2)$，可以通过寻找两个线性变换$C^{\ast },D^{\ast }$使其达到最大化。DCCA的目标是：
$$\begin{gathered} {\theta }_f^{\ast },{\theta }_g^{\ast }=\underset{{\theta }_f,{\theta }_g}{\mathrm{argmax}}CCA(F_X,F_Y) \\ =\underset{{\theta }_f,{\theta }_g}{\arg } \end{gathered}$$