5.2　联邦多视角线性回归

在本节中，我们将介绍一种基于多视角学习（Multi-View Learning）的联邦学习方法。多视角学习假定被建模的对象可以从多个视角（view）来描述，每个视角之间往往有较强的相关性。通过从多个视角对对象进行建模，并联合优化所有函数，这种方法往往能够更准确地挖掘不同子空间中数据间的相关性，提高模型效果。关于多视角学习的详细背景，读者可以参考Xu和Li等人分别于2013年和2019年发表的文章。

不难看出，在5.1.3节案例中的不同参与方数据集上，相同的ID对应着同一个用户。因此数据样本也具有较强的关联性。假如我们把相同ID所对应的样本看作在一个用户的视角下的描述，则可以获得更强的数据表征。同时，我们可以假设观测到的所有数据是来自不同参与方各自视角的组合，并且对数据集中出现的视角组合统一建模并进行联合训练，便可以解决上文提到的ID无法对齐所产生的问题。

更严格地说，不妨假设每个参与方的样本为同一个高维空间总体在不同子空间内的采样，将这个高维空间记为S，每个参与方样本集合生成的子空间记为S1，S2，···，Sp。我们的目标是通过对不同子空间内样本的重叠方式进行加权，从而学习到一个定义域在S中的线性函数。

由于各参与方的数据集可能是重叠的。因此，在不同参与方的数据集上，不同ID所对应的样本的重叠方式可能是不同的。以5.1.3节案例为例，图5-1给出了各个样本重叠的一个例子。从图中可以看出，样本i在参与方A、B、C上同时重叠，而样本j只在参与方B、C上重叠。因此，在给出多视角联邦学习的定义之前，我们首先需要对样本在各个参与方数据集上的重叠方式加以定义。

定义5.1（重叠模式）　假设在联邦建模中共有p个参与方，记p个参与方的样本集合分别为X1，X2，···，Xp，p个参与方的样本ID的集合分别为I1，I2，···，Ip，记所有参与方样本的并集为X=X1∪X2∪···∪Xp记所有参与方ID的并集为I=I1∪I2∪···∪Ip。对于∀i∈I，定义ID为i的样本的重叠模式Oi为这个ID所在的参与方编号集合。

例如，在图5-1中，样本i所对应的重叠模式O为{A，B，C}，样本j所对应的重叠模式为{B，C}。

图5-1　重叠模式

假设多个参与方数据存在一定关联，那么在联邦多视角学习中，我们可以将同一个ID在不同参与方上的样本看作同一个高维空间总体在不同子空间中分别采样产生的结果。记这个高维空间的分布为PX∈S（x），则X1，X2，···，Xp分别服从，，而分别是PS（X）的边际分布。

令H（Θ，xi，Oi）为一个将xi映射到S的函数，即H（Θ，xi，Oi）：，则联邦多视角线性回归可以定义为：

接下来考察H的定义，我们仍以图5-1中的样本i举例。由于样本i在A、B、C三方都有重叠，且我们假设所有方样本均采样自同一个高维分布，因此可假设H（xi）=，其中UA、UB、UC分别为从SA、SB、SC到S的线性变换矩阵，这个线性变换将SA、SB、SC中的特征移动到S中的对应位置上并对每个特征分别取算术平均。以UA为例，其中第j列为一个长度是m的one-hot向量，若其中第i个位置非零，则表示SA中的第j个特征在S中的第i个位置上。由于需要取算术平均，若SA中的第j个特征在A、B、C三个参与方共重合了k次（0<k<4），则对应的非零值为1/k。同时，对每个参与方的样本加入重要性因子{αA，αB，αC，|αA+αB+αC=1}来调整每一方样本在求和中的重要性，则。

注意到此时的xi属于A、B、C三方均重合的情况。对于不同的重叠模式，αA、αB、αC的值应当不同，故每一种重叠模式应当有不同的重要性因子，并保证它们的和为1。若某个ID所对应的样本在某参与方中不存在，则此时该参与方的α为0。

因此联邦多视角线性回归的损失函数和预测函数定义如下。

定义5.2（联邦多视角线性回归）　假设在联邦建模中共有p个参与方参加，记p个参与方的样本集合分别为X1，X2，···，Xp。记为ID为i且在第j个参与方中的样本，令Uj是上述定义的从Sj到S的转换矩阵，Oi是ID为i的样本的重叠模式，，则

记α={α（i）|i∈I}，可得联邦多视角线性回归的损失函数为：

在实际应用中，我们有时可以获得各个参与方特征权重的先验知识，例如在一些情况下，可以知晓数据采集方式、预处理方式以及涉及特征重要性的相关专家经验等，因此可以凭借经验对各种重叠模式人为设置权重，此时多视角联邦线性回归退化为一般的线性回归。