联邦学习垂直分场景聚合：详解特征对齐与标签空间不一致性的隐私保护方案

在数据孤岛与隐私法规（如GDPR、中国《个人信息保护法》）双重约束下，联邦学习已成为多方协同建模的主流范式。其中，垂直联邦学习针对“用户群体重叠、特征空间不同”的业务场景（如银行与电商、医院与保险公司联合建模），具有显著的应用价值。然而，垂直联邦学习在工程落地中面临两大核心技术挑战：实体对齐阶段的特征对齐精度与模型训练阶段的标签空间不一致性。本文将深入剖析这两大难点，并给出兼顾隐私安全与模型性能的技术解决方案。

一、垂直联邦学习架构回顾与核心痛点

垂直联邦学习的典型架构包含主动方持有标签 $Y$ 与部分特征 $X_A$，被动方持有特征 $X_B$，双方共享用户ID空间 $ID$。训练流程通常分为三阶段：

实体对齐：基于加密手段（如PSI协议）求交集 $ID_{inter} = ID_A cap ID_B$，不泄露非交集用户ID。
特征对齐与拼接：将交集样本的特征在隐空间对齐，构建完整特征向量 $[X_A, X_B]$。
联合建模：主动方计算损失与梯度，被动方接收梯度更新本地模型。

核心痛点在于：

特征对齐难：PSI仅解决“谁是同一用户”，未解决“同一用户在不同方的特征分布是否一致”。异构特征空间（如银行的信用评分 vs 电商的浏览行为）若直接拼接，会引入噪声，导致模型收敛困难。
标签空间不一致：主动方标签定义可能随业务演变（如风控标签从“逾期/正常”细化为“M1/M2/M3/正常”），或多主动方协作时标签体系不同（如医院A诊断编码ICD-10，医院B用ICD-11）。传统VFL假设标签空间固定且一致，难以适应动态业务。

二、隐私保护特征对齐：从ID对齐到语义对齐

传统方案仅依赖PSI（私有集合求交）完成ID层面对齐，忽略了特征分布层面的“语义错位”。针对这一问题，业界主流演进路径为：加密对齐 $rightarrow$ 分布度量 $rightarrow$ 对抗/投影对齐。

2.1 基于同态加密的隐私特征统计量计算

在不暴露原始特征前提下，双方需评估特征分布相似度。

技术方案：主动方生成Paillier/CKKS密钥对，公钥发送给被动方。被动方加密本地特征统计量（均值 $mu_B$、方差 $sigma^2_B$、分位数直方图），上传密文。主动方利用同态加法特性计算全局统计量或距离指标（如Wasserstein距离、KS统计量）。
工程价值：识别“漂移特征”。若某特征在双方分布差异显著（如电商侧“近7日登录次数”在银行侧无对应含义），可标记为低信任度特征，后续建模时赋予较小权重或剔除。

2.2 对抗学习驱动的隐空间对齐

针对高维稀疏特征（如Embedding向量），统计量对齐效果有限。引入联邦对抗域适应机制：

架构设计：
- 特征编码器 $E_A, E_B$：分别映射 $X_A, X_B$ 至共享隐空间 $Z$。
- 域判别器 $D$：部署在主动方（或可信第三方），输入 $Z$，预测样本来源域（A或B）。
- 任务分类器 $C$：主动方持有，输入拼接后的 $Z_{concat}$ 预测标签 $Y$。
训练目标：
$$ min_{E_A, E_B, C} max_{D} mathcal{L}_{task}(C(E_A(X_A), E_B(X_B)), Y) - lambda mathcal{L}_{adv}(D(E_A(X_A)), D(E_B(X_B))) $$
隐私保护：判别器梯度反传至被动方时，需通过梯度加密（如加法秘密分享或同态加密）或差分隐私扰动，防止判别器梯度泄露被动方特征分布细节。
效果：强迫编码器学习域不变特征表示，消除特征空间异构性带来的“语义鸿沟”。

2.3 最优传输视角的硬对齐

对于结构化表格数据，可引入隐私保护最优传输 理论。将特征对齐建模为寻找耦合矩阵 $Pi$，使得传输成本最小：
$$ min_{Pi in mathcal{U}(mu_A, mu_B)} langle Pi, C rangle $$
其中 $C$ 为代价矩阵（如特征向量欧氏距离）。通过安全多方计算（MPC）协议（如ABY3框架）联合求解Sinkhorn算法迭代，获得对齐映射关系。此方法在信用评分、用户画像融合场景表现优异，但计算通信开销较大，适合样本量中等（$10^4 sim 10^5$）的高价值场景。

三、标签空间不一致性：定义、分类与建模挑战

标签空间不一致性在垂直联邦学习中普遍存在，主要分为三类：

粒度不一致：主动方A标签为二分类（违约/正常），主动方B为多分类（M1/M2/M3/正常）。
定义漂移：同一主动方不同时期标签定义变更（如引入新催收策略导致“违约”定义收紧）。
跨域标签映射：多主动方协作（Multi-Party VFL），不同业务线标签体系完全不同（如银行“违约” vs 保险“理赔欺诈”）。

传统方案通常强制映射至最粗粒度标签（信息损失大）或训练多个独立模型（无法共享特征表示）。我们需要统一建模框架处理上述情况。

四、标签空间不一致的隐私保护统一建模方案

4.1 标签关系图建模与层次化损失函数

针对粒度不一致，构建标签层次分类树或有向无环图（DAG）。

建模方法：将细粒度标签作为叶子节点，粗粒度标签作为父节点。例如：根节点“风险” $rightarrow$ 子节点“信用风险/欺诈风险” $rightarrow$ 叶子节点“M1/M2/M3/正常”。
联邦层次损失：
$$ mathcal{L}_{hier} = sum_{l=1}^{L} alpha_l mathcal{L}_{CE}(P(Y^{(l)}|X), Y^{(l)}_{true}) $$
其中 $L$ 为层数，$alpha_l$ 为层级权重。主动方在本地计算各层级损失及梯度，仅向被动方回传聚合后的特征梯度 $frac{partial mathcal{L}_{hier}}{partial X_B}$，不暴露具体标签值及层级结构细节。
优势：细粒度标签提供强监督信号，粗粒度标签提供鲁棒先验，缓解标签稀疏问题。

4.2 基于最优传输的标签分布对齐

针对定义漂移与跨域映射，核心思想是学习标签空间间的传输计划，而非硬性映射。

场景假设：主动方A持有新标签 $Y_{new}$（小样本），主动方B持有旧标签 $Y_{old}$（大样本），双方用户ID对齐。
联邦OT算法流程：
1. 本地预测分布：双方各自训练本地模型，输出交集样本的预测概率分布 $P_A(Y_{new}|X), P_B(Y_{old}|X)$。
2. 安全代价矩阵构建：代价 $C_{ij} = 1 - text{Sim}(Y_{new}^i, Y_{old}^j)$。相似度计算可引入领域知识先验（如专家定义的映射表）或嵌入空间距离。为保护标签语义隐私，代价矩阵计算可在TEE（可信执行环境）或MPC中完成。
3. 联合求解传输计划 $Pi^*$：利用联邦Sinkhorn算法求解最优传输矩阵，$Pi^*_{ij}$ 表示旧标签 $j$ “转移” 到新标签 $i$ 的概率质量。
4. 软标签生成与知识蒸馏：主动方A利用 $Pi^* P_B(Y_{old}|X)$ 作为软标签，指导新模型训练（Knowledge Distillation），实现标签空间的平滑迁移。
隐私性：全程仅交换加密后的概率分布与代价矩阵，原始标签、模型参数不出本地。

4.3 多主动方协作下的标签解耦表示学习

在多主动方（Multi-Active Party）垂直联邦场景下，提出标签解耦联邦学习框架：

架构：共享底层特征编码器 $E_{shared}$（被动方持有），各主动方持有私有任务头 $H_k$ 与私有标签空间 $Y_k$。
正交约束损失：为防止任务头相互干扰，在主动方本地引入正交正则化：
$$ mathcal{L}_{ortho} = sum_{i neq j} | H_i^T H_j |_F^2 $$
强迫不同任务学习正交的特征子空间。
梯度隔离聚合：被动方接收到多主动方的梯度 $g_1, ..., g_K$ 后，执行梯度投影融合：
$$ g_{merged} = sum_{k=1}^K text{Proj}_{V_k}(g_k) $$
其中 $V_k$ 为任务 $k$ 的特征子空间基。此操作在被动方本地完成，无需主动方协调，保护了各方任务目标隐私。
应用价值：银行风控部（违约预测）与市场部（营销响应预测）可共享用户特征表示，互不干扰标签体系。

五、系统工程落地关键：安全、效率与合规的三角平衡

理论方案落地需解决工程化难题，以下为关键模块设计建议：

5.1 混合隐私保护协议栈选型

计算任务	推荐协议	适用理由
实体对齐 (PSI)	ECDH-PSI / OPRF-PSI	通信轮次少，适合亿级ID对齐
特征统计量/线性模型梯度	加法秘密分享 (ABY3/SPDZ)	计算密集型，吞吐高，延迟低
树模型分裂点寻找 / OT求解	同态加密 + 可信执行环境	逻辑复杂、分支多，TEE开发效率高，需配合远程认证
对抗训练判别器梯度	差分隐私 + 梯度压缩	容忍噪声，通信带宽敏感场景

建议：采用协议自动编译器（如FATE-Flow, SecretFlow SPU）根据算子类型自动降级至最优后端，避免手工拼装协议带来的安全漏洞。

5.2 特征对齐与标签对齐的流水线化编排

将特征对齐（离线/周期性）与标签对齐（增量/触发式）解耦：

离线阶段（T-1天）：跑批PSI $rightarrow$ 隐私统计量诊断 $rightarrow$ 对抗对齐预训练Encoder $rightarrow$ 产出对齐映射表/Encoder参数快照。
在线阶段（T天）：新增样本流式PSI $rightarrow$ 加载Encoder快照推理 $rightarrow$ 联合训练主模型。
标签漂移检测模块：监控主动方标签分布 $P_t(Y)$ 与历史基线 $P_{base}(Y)$ 的KL散度/JS散度。超阈值自动触发“标签OT对齐流程”，生成新软标签，热更新模型。

5.3 合规性设计：最小必要原则与可审计性

数据最小化：PSI阶段仅传输ID哈希；特征对齐阶段仅传输统计量/梯度，严禁原始特征出域；标签对齐阶段仅传输概率分布，严禁原始标签出域。
全链路审计日志：记录每一次协议执行的参与方、输入哈希、输出哈希、时间戳、协议版本。关键操作（如标签映射表变更、Encoder重训）需双方电子签名确认。
模型可解释性输出：提供联邦SHAP值计算服务，拆解特征贡献至各方，满足监管对“自动化决策解释权”的要求。

六、典型场景复盘：联合风控建模实战

背景：某头部银行（主动方，持标签“违约”）与头部电商平台（被动方，持行为特征）联合建模。
挑战：

电商侧特征高维稀疏（Embedding 128维），银行侧特征低维稠密（统计指标 50维），直接拼接AUC提升不足0.5%。
银行侧标签定义调整：新增“主动还款违约”子类，正样本量骤减40%，旧模型性能崩塌。

解决方案实施：

特征对齐：引入联邦对抗域适应。电商侧Encoder将128维压缩至32维对齐空间，判别器准确率从98%降至52%（接近随机猜测），表明域差异消除。联合训练AUC较基线提升 2.3%。
标签空间适配：构建标签层次树（根：违约 $rightarrow$ 子：主动/被动 $rightarrow$ 叶：M1/M2/M3/主动违约）。使用层次损失函数，利用粗粒度“违约”标签辅助监督稀疏子类。配合联邦OT，利用旧模型在交集样本上的预测分布作为软标签蒸馏新模型。新模型冷启动首周AUC即达老模型水平，省去3周标签积累期。

核心指标：端到端训练耗时从4小时降至1.5小时（混合协议优化）；通信流量压缩60%（梯度量化+稀疏化）；通过等保三级测评及央行金融科技备案。

七、总结与展望

垂直联邦学习的聚合本质，是在隐私约束下实现异构空间的几何与语义对齐。

特征对齐已从简单的ID匹配，演进为基于对抗学习、最优传输的隐空间语义对齐，解决了“同一实体、异构表达”的融合难题。
标签空间不一致性不再是建模障碍，而是通过层次化建模、最优传输迁移、解耦表示学习转化为多任务协同的增量知识来源。

未来演进方向：

大模型时代的垂直联邦：利用预训练大模型作为通用特征对齐先验（如LLM Embedding统一语义空间），大幅降低对抗训练成本。
联邦标签生成：探索在无标签或弱标签方，利用主动方标签通过联邦半监督/自监督生成伪标签，实现标签空间的“零样本”扩展。
隐私计算标准化：推动PSI 2.0、联邦OT、联邦NAS（神经架构搜索）等算子标准化，降低落地门槛。

掌握上述特征对齐与标签空间适配的核心技术范式，是构建高可用、合规、可规模化复制的垂直联邦学习系统的关键基石。

联邦学习垂直分场景聚合：进阶篇——异构模型兼容、对抗鲁棒性与联邦MLOps工程化实践

承接上文对“特征语义对齐”与“标签空间统一建模”的理论剖析，本文进一步聚焦工程落地的“最后一公里”难题：异构模型架构下的梯度兼容性、对齐阶段的主动攻击防御、以及全生命周期的联邦MLOps体系构建。这些是决定垂直联邦学习（VFL）能否从“实验室跑通”走向“生产级规模化”的关键技术门槛。

一、异构模型架构下的梯度空间对齐与兼容训练

现实业务中，主动方常用深度神经网络（DNN）建模复杂非线性关系，被动方因特征维度低、合规要求高，常坚持使用GBDT/XGBoost/LightGBM等树模型。树模型不可导、分裂点离散、梯度非稠密特性，打破了标准VFL“反向传播梯度回传”的基础假设。

1.1 树模型侧的“伪梯度”构造与安全分裂协议

针对被动方持有树模型场景，主流方案采用安全增广树协议，核心在于将树模型分裂增益计算转化为安全多方计算（MPC）任务。

梯度/海森矩阵加密聚合：
主动方计算样本级一阶梯度 $g_i = partial L / partial hat{y}_i$ 和二阶梯度 $h_i = partial^2 L / partial hat{y}_i^2$，通过加法秘密分享拆分为 $[g_i]_A, [g_i]_B$ 发送给双方。被动方本地持有特征 $x_{ij}$，需计算分裂增益：
$$ Gain = frac{1}{2} left[ frac{(sum_{i in L} g_i)^2}{sum_{i in L} h_i + lambda} + frac{(sum_{i in R} g_i)^2}{sum_{i in R} h_i + lambda} - frac{(sum_{i in L cup R} g_i)^2}{sum_{i in L cup R} h_i + lambda} right] - gamma $$
双方在MPC协议（如ABY3、SPDZ）中联合完成上述求和、平方、除法（近似多项式/查表法）运算，选出最优分裂点。
工程优化——分桶近似与稀疏化：
连续特征预分桶为离散Bin（如256个），将浮点数运算降维为整数索引聚合，配合稀疏梯度压缩（Top-k或稀疏矩阵编码），将通信量从 $O(N times D)$ 降至 $O(N times log D)$，单轮分裂耗时可从分钟级压缩至秒级。

1.2 神经网络侧的“软标签蒸馏”反向兼容

当主动方为树模型、被动方为DNN时，树模型无法输出连续梯度指导DNN反向传播。采用联邦知识蒸馏机制：

主动方树模型推理：输出叶子节点索引或预测概率 $P_T(Y|X_A)$ 作为“软标签”。
被动方DNN训练目标：
$$ mathcal{L}_{KD} = alpha cdot text{CE}(Y_{hard}, P_S(Y|X_B)) + (1-alpha) cdot text{KL}(P_T(Y|X_A) | P_S(Y|X_B)) $$
其中 $P_S$ 为被动方模型预测分布（需接收主动方特征交互后的中间表示，或仅用 $X_B$ 单模态蒸馏）。
隐私增强：主动方输出软标签前注入高斯差分隐私噪声 $mathcal{N}(0, sigma^2)$，并限制蒸馏轮次，防止模型反演攻击还原主动方标签分布。

1.3 统一中间表示层：联邦神经决策森林

为从根源解决异构兼容，提出引入可微分决策树作为统一中间层：

将树模型的硬分裂 $x_j < theta$ 替换为Sigmoid软分裂 $sigma(frac{x_j - theta}{tau})$，温度参数 $tau$ 退火至0逼近硬决策。
双方均部署轻量级可微分树集成层，输出维度对齐的稠密向量 $Z_A, Z_B in mathbb{R}^K$。
主动方仅需对拼接向量 $[Z_A, Z_B]$ 接全连接层，标准BP反向传播即可端到端训练，消除了“伪梯度”近似误差，实测AUC较分离训练提升 1.5%~3.0%。

二、对齐阶段的主动攻击面分析与零信任防御体系

上文提到的PSI、特征统计量交换、对抗判别器梯度传输，均构成了主动攻击的入口。攻击者可伪造输入、篡改协议中间值，窃取对方隐私或投毒模型。

2.1 实体对齐阶段的“标记攻击”与防御

攻击手法：恶意被动方构造特制ID集合（如包含主动方高价值用户ID的超集），通过PSI交集结果推断主动方用户画像覆盖范围；或利用不平衡PSI协议漏洞，通过重复执行协议、观察交集大小变化，反推主动方ID集合基数。
零信任防御方案：
1. PSI协议强制绑定策略引擎：引入可信执行环境（TEE, 如Intel SGX/TDX）作为PSI协议的执行载体。远程认证确保代码未篡改，封印密钥绑定策略：仅允许执行“求交集大小/求交集ID加密导出”，禁止导出明文交集ID。
2. 差分隐私交集大小发布：若仅需交集统计数，主动方在TEE内对真实交集大小 $|I|$ 加噪：$tilde{|I|} = |I| + text{Lap}(Delta f / epsilon)$，$Delta f=1$。拒绝提供明文交集ID列表，从源头切断标记攻击链路。
3. 频率限流与审计：网关层强制限制PSI调用频次（如日调用<3次），所有请求参数哈希上链存证，事后可追溯异常探测行为。

2.2 特征对齐阶段的“模型反演”与“属性推理”防御

攻击场景：被动方通过观察对抗判别器梯度 $nabla_{X_B} mathcal{L}_{adv}$，利用梯度反演技术重构主动方特征分布 $X_A$；或主动方通过特征统计量（均值/方差/直方图）推断被动方敏感属性（如“是否患癌”对应特定特征分布异常）。
分层防御矩阵：

攻击向量	数据层防御	协议层防御	模型层防御	审计层防御
模型反演	特征脱敏（泛化/抑制/噪声）	梯度加密传输（CKKS同态加密/加法秘密分享）	判别器梯度截断 + 高斯噪声 (DP-SGD)	梯度范数/方差异常实时告警
属性推理	敏感特征标记级访问控制 (标签: PII/非PII)	安全聚合仅输出全局统计量，禁止单样本级统计	对抗去偏训练：引入公平性约束 $mathbb{E}[D	S=0] approx mathbb{E}[D	S=1]$	统计量查询审计日志不可篡改存储
成员推理	-	PSI结果最小化输出 (仅交集ID密文)	正则化/早停降低模型对训练集过拟合	训练日志与推理日志分离审计

关键技术落地——联邦差分隐私（FDP）预算联合核算：
建立跨阶段、跨参与方的隐私预算总账本。PSI阶段消耗 $epsilon_{psi}$，统计量阶段消耗 $epsilon_{stat}$，训练阶段消耗 $epsilon_{train}$。总账本强制 $sum epsilon le epsilon_{total}$（如 1.0~5.0）。预算耗尽自动熔断后续协议执行，防止“隐私预算超支”导致合规风险。

2.3 标签空间对齐阶段的“标签翻转投毒”与鲁棒OT

攻击手法：恶意主动方在OT标签映射阶段，故意构造错误代价矩阵 $C'$（如将“正常”映射成“违约”低成本），诱导被动方学习错误的软标签分布，导致全局模型在特定子群体上失效（后门攻击）。
鲁棒联邦最优传输（R-FOT）算法：
引入裁剪损失与一致性校验机制：
1. 双向一致性约束：要求传输计划 $Pi$ 满足边缘分布约束的同时，最小化 Wasserstein-1 距离 的上界：
  $$ min_{Pi} langle Pi, C rangle + lambda cdot text{Reg}(Pi) quad text{s.t.} quad |Pi mathbf{1} - mu_A|_1 le delta, |Pi^T mathbf{1} - mu_B|_1 le delta $$
  允许少量“异常质量”不被传输（裁剪），天然抵抗标签噪声注入。
2. 多方交叉验证：引入第三方可信评估节点（或双方本地留出验证集），在MPC中联合计算映射后软标签下的验证集损失。若损失异常升高 > 阈值，自动触发熔断，拒绝该轮映射矩阵下发，并启动代价矩阵溯源审计。

三、联邦MLOps：从“模型训练”到“全生命周期治理”的工程体系

VFL项目80%的工程量不在算法，而在于多方环境一致性、版本溯源、灰度发布与合规留痕。构建面向VFL的联邦MLOps平台（FedMLOps）是规模化落地的基建。

3.1 多方一致性基建：联邦特征存储与版本控制

联邦特征存储架构：
- 本地特征注册表：各方自治管理本地特征元数据（Schema、统计分布、血缘、隐私等级标签）。
- 联邦特征视图层：平台侧维护逻辑视图，定义跨方特征组合关系（如 User_Profile = Bank_Credit_Score + Ecom_Browse_Seq），不存储物理数据，仅存储特征指针与对齐映射规则（PSI Key、Encoder版本、OT映射表版本）。
- 时间旅行能力：基于Git-like语义（git commit / git tag）对“特征视图+对齐规则+模型代码”打包版本化。回滚模型 = 回滚至特定Commit ID，保证复现性。

3.2 联邦持续集成/持续部署（Fed-CI/CD）流水线

设计阶段门禁流水线，单方提交代码/配置变更需通过全链路自动化验证：

graph LR
    A[本地代码提交] --> B{单方单测/安全扫描}
    B -->|通过| C[联邦联调环境部署]
    C --> D{联邦协议兼容性测试}
    D -->|通过| E[隐私预算模拟核算]
    E -->|预算充足| F[小流量影子训练]
    F -->|指标达标| G[双方审批签署]
    G --> H[生产环境灰度发布]
    H --> I[联邦监控看板]

核心门禁项：
1. 协议兼容性测试：自动化检测双方协议版本（PSI版本、MPC算子版本、通信协议版本）匹配矩阵，防止“协议版本漂移”导致训练中断。
2. 隐私预算干跑：输入模拟数据跑通全流程，核算实际消耗 $epsilon_{actual}$，对比预算账本剩余额度，预测可支撑训练轮次。
3. 影子训练：生产流量镜像至影子集群，新旧模型并行跑批，对比AUC/KS/PSI(Population Stability Index)指标，无显著劣化方可放行。

3.3 联邦模型监控与漂移自愈体系

VFL模型面临双重漂移风险：单方特征分布漂移、联合分布漂移、标签分布漂移。

监控指标体系：
- 数据层：各方特征 PSI/JS散度、缺失率、异常值率（日级计算，TEE/MPC加密聚合）。
- 模型层：预测分布漂移、特征重要性漂移（联邦SHAP值追踪）、梯度范数统计。
- 业务层：主动方标签分布漂移、坏账率/转化率业务指标回测。
分级自愈策略：
- L1 微调：检测到单方特征均值漂移 > 3σ，触发联邦增量训练（冻结Encoder，仅微调Top层），耗时分钟级。
- L2 重对齐：检测到联合分布/标签空间漂移（如OT映射矩阵条件数恶化），触发特征对齐Encoder重训练 + 标签OT重跑，耗时小时级。
- L3 重构：业务指标连续下跌 > 阈值，触发全流水线重跑（特征工程搜索、架构搜索NAS、超参搜索），纳入下周迭代计划。

3.4 合规留痕与电子证据链构建

满足《数据安全法》《个人信息保护法》及金融监管“可审计、可追溯、可问责”要求：

关键操作上链存证：PSI执行、模型聚合、参数更新、预算消耗、审批签署等关键事件哈希写入联盟链/分布式账本，保证不可篡改。
最小化数据流转证明：自动生成“数据流转影响评估报告（DPIA）”，记录每个字段的流转目的、法据、脱敏手段、接收方、销毁时间。
模型决策解释归档：对每一次批量推理结果，计算并归档联邦SHAP值，支持事后针对单笔拒贷/推荐决策的“解释权”响应。

四、大模型时代的垂直联邦新范式：联邦提示工程与参数高效微调

随着大语言模型（LLM）普及，VFL面临新机遇：利用LLM强大的语义理解能力作为通用特征对齐先验，大幅降低对抗训练成本。

4.1 联邦提示学习：冻结骨干，仅联邦训练Soft Prompt

架构：双方共享一份开源LLM骨干（如Llama-3-8B/ChatGLM3-6B），参数冻结。
垂直切分：
- 主动方持有 Label Prompt $P_Y$（如“请判断该用户违约风险：高/中/低”）。
- 被动方持有 Feature Prompt $P_X$（如“用户近期行为序列：[点击、浏览、加购...]”）。
- 平台侧持有 Fusion Prompt $P_F$ 负责跨模态融合。
训练目标：仅优化 $P_X, P_Y, P_F$ 的Embedding向量（参数量 < 0.1% 模型参数）。
隐私优势：原始特征/标签仅用于构造Prompt文本，不直接参与梯度计算；梯度仅回传至Prompt Embedding，极大降低模型反演风险。实测在金融风控文本增强场景，仅训练Prompt即可达到全量微调 95% 以上性能。

4.2 联邦LoRA：低秩适配器的垂直拆分与聚合

垂直LoRA拆分：将LoRA低秩矩阵 $A in mathbb{R}^{d times r}, B in mathbb{R}^{r times d}$ 按特征维度垂直切分：
- 被动方持有 $A_B[:, :r], B_B[:r, :]$ 对应其特征维度。
- 主动方持有 $A_A[:, :r], B_A[:r, :]$ 对应标签/头部维度。
联邦聚合：训练中仅交换中间激活值 $h = X_A A_A + X_B A_B$（需加密），反向传播梯度仅更新各自LoRA参数。
优势：通信量与 $r$ 相关（通常 $r=8 sim 64$），远小于全量参数；天然支持异构骨干网络（主动方用BERT，被动方用MLP），只需对齐隐藏层维度 $d$。

五、总结：构建可信、可用、可管的垂直联邦学习生产力

垂直联邦学习的聚合演进路径清晰可见：

算法层：从“梯度拼接” $rightarrow$ “语义对齐（特征/标签）” $rightarrow$ “异构兼容/鲁棒防御” $rightarrow$ “大模型先验注入”。
工程层：从“单任务脚本” $rightarrow$ “协议栈封装” $rightarrow$ “联邦MLOps平台” $rightarrow$ “零信任可信执行环境原生化”。
治理层：从“事后合规自查” $rightarrow$ “隐私预算预核算” $rightarrow$ “全链路电子证据链” $rightarrow$ “监管沙箱联调互通”。

给技术决策者的落地建议：

起步期：选取单一高价值场景（如联合风控、联合营销），采用成熟开源框架（FATE/SecretFlow/Flower）+ 标准化协议栈，重点打通PSI、特征对齐、基础建模链路，建立隐私预算账本。
成长期：引入联邦特征存储、Fed-CI/CD流水线、自动化监控漂移自愈，解决“模型上线难、迭代慢、漂移盲”工程痛点；攻克异构模型兼容、标签空间动态适配。
成熟期：探索大模型联邦微调、跨域知识迁移、联邦模型市场化定价与结算，构建数据要素价值化的商业闭环。