Triplet Response Residual(TRR)与特征表示学习

By Jorbe 2018/11/25 计算机科学 No Comments

最开始想到把TRR用在特征表示学习里是受到了Prof.Zhang分享的一个工作^[1]的启发。他们的工作是用TRR来做DNN model compression，具体做法是为卷积神经网络的每个filter(or kernel)计算得到一个TRR score，然后根据TRR scores 做一个排序，把TRR score低的filters pass掉，这样做一方面可以减少卷积神经网络的filters数量(即减少了模型参数)，只保留特征学得比较好的一些filters，另一方面可以减少模型的计算量。正是受到这个工作的启发，才有了一些关于特征表示学习方面的insight。我们知道在模型参数过多时，容易出现过拟合现象，使得模型只是简单地“记住”了数据的特征表示，但其实并没有学到同类数据背后的一些共性特征。如果模型可以学会物以类聚，即使得同类数据的特征向量在特征空间下尽量逼近，而不同类数据的特征向量在特征空间下尽量疏远，就能学到同类数据的共性特征，使得模型不再是简单地“记住”数据的特征表示，这样也能提升模型的泛化能力。后面通过实验验证了这个想法，即一个过参数化模型并没有学到共性特征，并且在模型泛化能力上不如引入了TRR的模型的泛化能力好。

实验背景

实验数据是通过sklearn生成的一个10分类数据集。每条数据的特征维度是100，其中有20维的冗余特征。为了在不同大小的数据集上验证模型的性能，分别生成不同大小的训练数据集：10000，50000，100000。验证集大小固定为10000。为了引入TRR，设置Input数据的格式为：{(x_anc, x_neg, x_pos, y)}，其中x_anc和x_pos是同一个类别下的两个不同数据，x_neg和x_pos属于不同类别下的数据，y是x_anc和x_pos的类别。

Figure 1 模型架构图

模型架构图如figure 1所示，输入为(x_anc, x_neg, x_pos, y)，其中x∈R¹⁰⁰ ，y∈R¹⁰(one hot vector)，然后经过3层的fully connected layer，激活函数是RELU，最后一层output layer。具体超参数配置如下：

Triplet Response Residual

原始的TRR计算公式为：，i代表第i层，xⁱ表示第i层fully connected layer的输出特征向量，x⁰=x。它的物理意义是一种衡量同类别数据特征向量距离与不同类别数据特征向量距离的度量标准。定义loss function：

但是因为这一项比较大，所以训练的时候很容易出现value overflow，因此修改原始loss function 为：

其中后面一项即TRR_loss，后来在训练的过程当中发现，后面一项很容易梯度为0，所以重新定义TRR_loss为：

这样设计可以避免模型只学到了，而学不到，同时，由于，而sigmoid函数在x>=0的区域可以近似看成一个凹函数，这样有利于优化。顺带提一下：，因此新的TRR_loss本身是原来的TRR_loss的一个下界。所以修改后的loss function为：

超参数用来控制TRR_loss的权重，实验过程中分别设置为0.0和1.0，分别表示不引入TRR_loss约束和引入权重为1.0的TRR_loss约束。

实验结果和分析

在三个不同大小的训练数据集：10000，50000，100000上的实验结果见下图：

Figure 2: 10000 samples训练结果(加了early stopping策略)

Figure 3: 50000 samples 训练结果(加了early stopping策略)

Figure 4: 100000 samples 训练结果(加了early stopping策略)

Figure 2、3、4分别对应10000,50000,100000 samples的训练结果，其中绿色实线和点线代表加入TRR_loss约束后模型在训练集和验证集上的性能，红色实线和点线代表不加TRR_loss约束的模型在训练集和验证集上的性能。从上面的图片可以看出如果没有TRR_loss的约束，

始终逼近0(参考figure 2、3、4上面部分图的红色实线和点线)，这意味着，所以此时模型并没有学到同类数据的共性特征。可以理解为，在特征表示空间里同类数据特征向量之间的距离与不同类数据特征向量之间的距离没有差异性，就好像用one hot来表示词向量时，不同词之间的距离总是相等的，这样不能很好地用来表示词之间的某种语法和语义关系。