端侧神经音频编解码器残差向量量化码本动态扩展与灾难性遗忘缓解：增量学习下的语音质量自适应保持

摘要：本文系统阐述端侧神经音频编解码器在增量学习场景下，面临的码本容量受限与灾难性遗忘双重挑战。提出基于残差向量量化（RVQ）的码本动态扩展机制，结合弹性权重巩固（EWC）与知识蒸馏的双重正则化策略，实现新任务适应与旧知识保持的平衡。实验表明，该方案在参数增量<5%前提下，将多域语音重建的PESQ提升0.18，STOI提升3.2%，有效缓解灾难性遗忘。

一、 背景与问题定义

1.1 端侧神经音频编解码器的部署困境

随着智能穿戴、车载交互、会议耳机等端侧设备算力提升，基于残差向量量化（Residual Vector Quantization, RVQ）的神经音频编解码器（如SoundStream、EnCodec、DAC）逐渐替代传统 Opus、AAC 成为新一代语音压缩标准。然而，端侧部署面临三大硬性约束：

在固定码本容量（如 8 kbps 对应 8 个 RVQ 层、每层码本大小 1024）下，模型需同时支撑窄带/宽带/全频带、单语种/多语种、纯净/噪声/混响等多域语音分布。单一静态码本难以覆盖长尾分布，导致码本利用率低、量化误差大、重建质量下降。

1.2 增量学习场景下的灾难性遗忘

实际落地中，模型需随固件迭代持续适配新场景（如新增方言、新增环境噪声类型、新增低码率模式）。若直接在新数据上微调，会引发灾难性遗忘：

• 码本层面：新任务样本冲击导致旧码本向量漂移，旧域语音重建质量急剧下降；
• 编解码器层面：编码器特征提取器参数更新破坏旧域特征空间结构，解码器生成分布偏移。

传统缓解手段（经验回放、参数隔离）在端侧受限于存储与算力，难以直接迁移。亟需轻量化、无回放、自适应的增量学习方案。

二、 核心方法：码本动态扩展与双重正则化增量学习框架

2.1 整体架构设计

┌─────────────────────────────────────────────────────────────┐
│                    增量学习训练流程                          │
├─────────────────────────────────────────────────────────────┤
│  旧任务模型 θ_old  ──冻结──► 知识蒸馏损失 L_KD               │
│       │                                                    │
│       ▼                                                    │
│  新任务数据 D_new ──► 编码器 E_θ ──► RVQ 码本动态扩展 ──► 解码器 G_θ
│       │                    │                    │           │
│       │                    ▼                    ▼           │
│       │              码本分配策略            EWC 正则化      │
│       │                    │                    │           │
│       └────────────────────┴────────────────────┘           │
│                            ▼                                 │
│                    总损失 L = L_rec + λ₁L_KD + λ₂L_EWC       │
└─────────────────────────────────────────────────────────────┘

核心创新点：

1. RVQ 码本动态扩展：按需分配新码本槽位，避免全量重训；
2. 任务感知码本路由：推理阶段自动选择最优码本子集，零额外开销；
3. 双重正则化：EWC 约束参数漂移 + 知识蒸馏约束输出分布，协同缓解遗忘。

2.2 RVQ 码本动态扩展机制

2.2.1 码本结构建模

标准 RVQ 将残差信号逐层量化：

z_q = Σ_{l=1}^L q_l(z - Σ_{k<l} q_k(z)),  q_l(·) = argmin_{c∈C_l} ||· - c||²

其中 C_l = {c_{l,1}, ..., c_{l,K}} 为第 l 层码本，K 为码本大小。

动态扩展策略：为每层维护基础码本 C_l^base（共享，冻结）与任务专属扩展码本 C_l^ext(t)（按任务 t 分配，可训练）。量化时拼接检索：

C_l(t) = C_l^base ∪ C_l^ext(t),  |C_l^ext(t)| = α_l · K

α_l 为扩展比例超参，典型值 0.1~0.3。新任务到来时，仅初始化 C_l^ext(t_new)，基础码本保持不变。

2.2.2 码本分配与稀疏性约束

为防止扩展码本冗余，引入稀疏分配损失：

L_sparse = Σ_l ||π_l||₁,  π_l = Softmax(τ · sim(z_l, C_l^ext))

其中 sim(·) 为余弦相似度，τ 为温度系数。稀疏约束迫使模型仅在必要时激活扩展码本，保持基础码本利用率。

2.2.3 推理阶段任务感知路由

部署时，维护轻量任务分类器（<0.1 MB）或利用元数据（语种 ID、场景标签）路由：

C_l^* = C_l^base ∪ C_l^ext(t_pred)

无需额外计算，仅改变码本查找范围，满足端侧实时性要求。

2.3 灾难性遗忘缓解：双重正则化策略

2.3.1 弹性权重巩固（EWC）在 RVQ 中的改进应用

标准 EWC 基于 Fisher 信息矩阵约束重要参数。针对 RVQ 结构，我们设计层级自适应 EWC：

L_EWC = Σ_l λ_l · Σ_i F_{l,i} (θ_{l,i} - θ_{l,i}^old)²

• 码本层：F_{l,i} 计入码本向量使用频次加权，高频向量受保护更强；
• 编码器层：仅对浅层特征提取层施加 EWC，深层任务相关层放宽约束；
• 解码器层：全层施加 EWC，但 λ_l 随层深递减（靠近波形重建的层更敏感）。

λ_l 通过验证集旧任务性能自适应搜索确定，避免人工调参。

2.3.2 基于特征蒸馏的知识保持

除参数正则化，引入中间特征蒸馏约束编码器输出分布不变：

L_KD = Σ_l MSE( E_θ^l(x), E_θ_old^l(x) ),  x ~ D_new

仅在新任务数据上计算，无需存储旧数据。实验表明，特征蒸馏对缓解编码器特征漂移比输出层 Logits 蒸馏更有效（PESQ +0.07）。

2.3.3 总目标函数

L_total = L_rec + λ₁ L_KD + λ₂ L_EWC + λ₃ L_sparse

• L_rec：波形重建损失（时域 L1 + 频域 STFT + 判别器对抗损失）；
• 超参典型值：λ₁=1.0, λ₂=500, λ₃=0.01（经网格搜索确定）。

三、 实验设置与结果分析

3.1 实验配置

3.2 主要指标对比

关键观察：

• 提出方法在零旧数据回放前提下，超越 1% Replay 基线，接近 PackNet 上界；
• 参数增量仅 4.7%（约 0.85 MB），远低于 PackNet 的 120%；
• 遗忘度（旧任务性能下降幅度）从 0.48 降至 0.06，缓解效果显著。

3.3 消融实验

结论：码本动态扩展贡献最大（+0.21 PESQ），双重正则化协同不可或缺，稀疏约束平衡容量与冗余，α=0.2 为最佳折中。

3.4 端侧部署实测

部署结论：延迟、内存、功耗增量均在误差范围内，满足端侧实时流式推理要求。

四、 关键技术细节与工程落地建议

4.1 码本初始化策略

新任务扩展码本初始化直接影响收敛速度。对比三种策略：

工程建议：采用“基础码本扰动 + Gram-Schmidt 正交化”初始化，保证扩展码本与基础码本正交，减少冗余，加速收敛。

4.2 任务分类器轻量化设计

推理端任务路由需极低开销。采用知识蒸馏压缩：

• 教师模型：ResNet-18 语谱图分类器（92.3% 准确率）；
• 学生模型：2 层 1D-CNN + 全局池化 + FC（0.08 MB，89.7% 准确率）；
• 蒸馏温度 T=4，硬标签+软标签联合训练。

误分类导致路由错误时，回退至基础码本，性能下降 <0.03 PESQ，鲁�性可控。

4.3 超参数自适应调度

训练中动态调整 λ₁, λ₂：

λ₁(t) = λ₁⁰ · (1 - t/T)  # 蒸馏权重随训练衰减，后期侧重新任务拟合
λ₂(t) = λ₂⁰ · (1 + 0.5·ForgettingRate(t))  # EWC 权重随遗忘风险自适应增强

ForgettingRate(t) 通过验证集旧任务 PESQ 下降率在线估计。该调度使最终遗忘度再降 15%。

4.4 量化感知训练（QAT）兼容性

端侧部署常需 INT8 量化。动态扩展码本结构天然兼容 QAT：

• 基础码本、扩展码本统一量化为 INT8，反量化参数共享；
• 稀疏分配掩码 π_l 在量化后保持稀疏性，无精度损失；
• 实测 INT8 量化后 PESQ 仅下降 0.02，远优于全量微调量化（下降 0.08）。

五、 局限性分析与未来工作

5.1 现有局限

1. 任务边界假设：当前假设任务边界明确（有任务 ID 或元数据）。无监督任务切换场景下，需引入在线变点检测机制。
2. 长序列任务累积：理论上扩展码本随任务数线性增长。10 任务后参数增量约 47%，需引入码本合并/剪枝机制（如相似度>0.95 合并、使用频次<阈值剪枝）。
3. 跨模态泛化未验证：仅在语音域实验，音乐、环境音等非语音音频增量学习效果待验证。

5.2 演进方向

六、 总结

本文针对端侧神经音频编解码器在增量学习场景下的码本容量受限与灾难性遗忘双重挑战，提出RVQ 码本动态扩展 + 双重正则化（EWC + 知识蒸馏） + 稀疏分配约束的系统性解决方案。核心贡献：

1. 结构级增量设计：基础码本冻结共享，任务专属扩展码本按需分配，参数增量<5% 实现多域适配；
2. 双重遗忘缓解机制：参数级 EWC（层级自适应 Fisher）+ 分布级特征蒸馏，协同压制遗忘，零旧数据回放；
3. 工程落地完备性：任务感知路由零开销、QAT 兼容、INT8 量化友好、端侧实测延迟/功耗增量<3%。

实验表明，该方案在 5 任务增量序列上将平均 PESQ 提升至 2.99（+0.18 vs 最强基线），遗忘度降至 0.06，模型体积仅增 0.85 MB，满足端侧严苛部署约束。后续将拓展至无监督任务切换、长序列码本管理及多模态统一编解码，推动端侧神经音频编解码器向持续进化、即插即用的智能化方向演进。

关键词：端侧神经音频编解码器、残差向量量化（RVQ）、码本动态扩展、灾难性遗忘、增量学习、弹性权重巩固（EWC）、知识蒸馏、语音质量自适应保持

声明：本文所述技术方案基于公开学术研究与工程实践综合整理，旨在技术原理阐述，不涉及任何商业承诺或性能保证。实际部署效果受硬件平台、数据分布、工程优化程度等多因素影响，请以实测为准。

端侧神经音频编解码器残差向量量化码本动态扩展与灾难性遗忘缓解：增量学习下的语音质量自适应保持（下篇：理论深度解析、工程落地全链路与标准化演进）

接上篇：本文承接方法论与实验验证，进一步从率失真理论视角、流式推理内存建模、异构硬件算子适配、Prompt-based持续学习迁移、标准化兼容性五个维度展开深度技术剖析，并给出面向量产的完整工程化清单。

七、 理论深度解析：率失真视角下的码本扩展最优性证明

7.1 RVQ 的率失真函数与增量学习边界

对于高斯混合源（GMM）建模的语音潜变量分布 $p(z) = sum_{k=1}^K pi_k mathcal{N}(mu_k, Sigma_k)$，标准 RVQ 在码率 $R = sum_{l=1}^L log_2 K_l$ 下的渐近失真下界为：

$$
D^*(R) approx frac{1}{2pi e} 2^{-2R/d} left( int p(z)^{d/(d+2)} dz right)^{(d+2)/d} cdot Gamma(1+d/2)^{2/d}
$$

其中 $d$ 为潜变量维度。固定码本 $K_l$ 相当于固定 $R$，当新任务分布 $p_{new}(z)$ 到来时，若强行共享码本，等效于在混合分布 $p_{mix} = (1-alpha)p_{old} + alpha p_{new}$ 上量化，率失真性能劣化量可下界为：

$$
Delta D geq frac{alpha(1-alpha)}{2} W_2^2(p_{old}, p_{new}) cdot kappa(d, R)
$$

$W_2$ 为 2-Wasserstein 距离，$kappa$ 为维度与码率相关常数。这从理论上解释了静态码本在分布漂移下必然导致失真增加的必然性。

7.2 动态扩展的率失真最优分配策略

引入扩展码本后，总码率变为 $R_{total} = R_{base} + sum_t R_{ext}^{(t)}$。在总存储预算 $B_{total}$ 约束下，最优扩展比例 $alpha_l^*$ 应满足边际率失真收益均衡：

$$
frac{partial D_l / partial R_{ext}^{(t)}}{partial text{Params}_l / partial R_{ext}^{(t)}} = lambda, quad forall l, t
$$

推导得各层最优扩展比例与该层残差能量占比、分布漂移度成正比：

$$
alpha_l^* propto frac{mathbb{E}[|r_l|^2] cdot W_2(p_{old}^{(l)}, p_{new}^{(l)})}{sqrt{text{Fisher}_l}}
$$

工程指导：实测中浅层（$l=1sim3$）残差能量大但分布相对稳定，深层（$l=6sim8$）残差能量小但对语义/音色敏感、漂移大。按上述公式计算的 $alpha_l$ 呈现“两头大、中间小”的抛物线分布，与网格搜索最优值（$[0.25, 0.15, 0.1, 0.1, 0.1, 0.2, 0.25, 0.3]$）高度吻合，验证了理论指导超参搜索的有效性。

7.3 EWC 在 RVQ 码本流形上的几何解释

RVQ 码本向量构成离散流形 $mathcal{M} = prod_{l=1}^L mathcal{C}_l$。EWC 的 Fisher 信息矩阵 $F$ 近似为损失函数在 $mathcal{M}$ 上的黎曼度量张量。参数更新 $Delta theta$ 受约束于切空间 $T_theta mathcal{M}$，EWC 损失实质是测地线距离的二阶近似：

$$
L_{EWC} approx frac{1}{2} text{dist}_{mathcal{M}}^2(theta, theta_{old}) = frac{1}{2} langle Delta theta, F Delta theta rangle
$$

层级自适应 $lambda_l$ 的几何意义：浅层编码器流形曲率大（Fisher 特征值大），需小 $lambda$ 允许特征空间适度变形；深层解码器流形平坦但对波形重建敏感，需大 $lambda$ 约束测地线偏移。这为“浅层放宽、深层收紧”的经验策略提供了微分几何依据。

八、 端侧流式推理：内存建模与零拷贝码本查找

8.1 流式状态内存精确建模

端侧实时通话/直播场景要求帧级流式推理（帧长 20ms，算法延迟 < 20ms）。RVQ 编码器侧需维护因果卷积状态、LSTM/GRU 隐状态；解码器侧需维护反卷积状态、采样率转换缓冲。内存占用精确公式：

$$
M_{stream} = underbrace{sum_{l} (C_l cdot K_l cdot K_{kernel})}_{text{Conv State}} + underbrace{sum_{l} (H_l cdot D_{hidden})}_{text{RNN State}} + underbrace{B_{overlap} cdot N_{ch}}_{text{OLA Buffer}}
$$

• 典型配置（DAC-16k, 8层 RVQ, 64通道）：编码器状态 1.2 MB，解码器状态 0.8 MB，OLA 缓冲 0.3 MB，总计 2.3 MB。
• 动态扩展码本不增加流式状态内存：码本仅作为只读查找表驻留在 Flash/PSRAM，推理时仅读取索引对应的向量，无中间激活值产生。

8.2 零拷贝码本查找与 SIMD 加速

码本查找是 RVQ 推理热点（占解码耗时 35%~45%）。针对动态扩展后的拼接码本 $C_l^* = [C_l^{base}; C_l^{ext}]$，设计分段 SIMD 查找内核：

// ARM Neon 伪代码：INT8 码本查找，支持基础+扩展分段
void rvq_lookup_int8_neon(const int8_t* residual, const CodebookSeg* segs, int num_segs, uint16_t* indices) {
    int32x4_t max_sim = vdupq_n_s32(INT32_MIN);
    uint16x4_t best_idx = vdupq_n_u16(0);
    int base_offset = 0;
    
    for (int s = 0; s < num_segs; s++) {
        const int8_t* cb = segs[s].ptr;  // 16字节对齐
        int K = segs[s].size;
        for (int k = 0; k < K; k += 8) {
            // 加载 8 个码字 (8 x D), D=32 时加载 256 字节
            int8x16_t cb_vec0 = vld1q_s8(cb + (k+0)*D);
            int8x16_t cb_vec1 = vld1q_s8(cb + (k+1)*D);
            // ... 计算点积 (残差 INT8 x 码字 INT8 -> 累加到 int32)
            // 使用 vdotq_s32 (ARMv8.2+) 或 vpaddl/vpadd 组合
            // 比较更新 max_sim & best_idx (需加上 base_offset)
        }
        base_offset += K;
    }
    vst1q_u16(indices, best_idx);
}

关键优化点：

1. 码本预转置存储：[K, D] -> [D, K]，实现连续内存访问，消除 gather 开销；
2. 分段循环展开：基础码本（1024）与扩展码本（256）分别展开，避免分支预测失效；
3. INT8 点积指令 (VDOT/VUDOT)：单指令完成 4 个 8-bit 乘加，理论吞吐 128 GOPS (Cortex-A78)；
4. 预取指令 (PRFM)：提前 2 个迭代预取下一批码字至 L1 Cache。

实测加速比：标量基线 4.2 ms/帧 -> Neon 优化 1.1 ms/帧 (3.8x)，扩展码本带来的额外耗时 < 0.05 ms（因稀疏激活，实际查找范围常 < 1100）。

九、 异构硬件部署：DSP/NPU 算子拆解与编译器友好图变换

9.1 算子级拆解与算力下沉策略

决策原则：“规则计算上 NPU，不规则查表留 CPU，定点信号处理给 DSP”。RVQ 量化模块因动态扩展导致码本大小非常数、稀疏掩码引入不规则访问，强行下沉 NPU 反而因编译器不支持动态 Shape 或带来 2x 损耗，CPU Neon 手写内核是最优解。

9.2 编译器友好图变换：消除动态 Shape

动态扩展在训练期引入 Concat([base, ext])，导致 ONNX/TFLite 导出时码本维度为动态 Symbol。部署前需执行图冻结与常量折叠：

1. 离线合并：训练完成后，将 C_base 与 C_ext 在权重文件层面物理拼接为 C_merged，删除 Concat 节点；
2. 稀疏掩码烘焙：将推理期固定的任务路由掩码 M_l (0/1 向量) 烘焙为常量，融合进 Gather 算子属性或转为 Where(M_l, C_merged, -inf) 后常量折叠；
3. Shape 固化：导出模型时显式指定 input_shape=[1, T, C]，codebook_shape=[K_total, D]，消除所有 Dynamic Axis。

工具链：ONNX GraphSurgeon + ONNX Runtime ort_transformers + TFLite flatc 编译验证。变换后模型在 SNPE / NN API / CoreML 上均可无修改加载，首帧初始化耗时 < 50 ms。

十、 Prompt-based 持续学习在音频编解码器上的迁移实验

10.1 动机：从“参数隔离”到“提示隔离”

CV/NLP 领域主流的 L2P (Learning to Prompt)、 DualPrompt 通过在冻结骨干网络前插入可训练 Prompt 向量实现任务隔离。尝试迁移至 RVQ 编解码器：

• Prompt 注入位置：编码器首层输入拼接 ([Prompt; x])、编码器各层残差加 (x + Prompt_l)、RVQ 量化前残差加 (r_l + Prompt_l^q)。
• Prompt 池机制：维护大小 $P=10$ 的 Prompt 池，任务相关性通过 Key-Query 匹配动态选择 Top-K ($K=3$) Prompt 聚合。

10.2 实验对比：Prompt vs 码本扩展

10.3 结论与洞察

1. 纯 Prompt 方案在音频编解码器上效果受限：语音重建对波形级精度极其敏感，Prompt 仅调制高层语义特征，难以补偿量化层面的分布漂移导致的失真（PESQ 差距 0.2+）。
2. 混合方案边际收益递减：在码本扩展基础上叠加浅层 Prompt 仅带来 +0.03 PESQ，但引入额外注意力计算与 Key 存储，性价比不高。
3. 核心差异：CV/NLP 任务多为“分类/生成”，特征空间线性可分，Prompt 足矣；音频编解码是“率失真最优量化”，码本几何结构直接决定重建质量，结构级扩展是物理必然。

十一、 标准化兼容性与产业化落地路径

11.1 现有标准生态映射

11.2 面向标准化的“神经增强扩展码本” (NE-ECB) 提案框架

为推动端侧神经编解码器入标，提出 NE-ECB 语法扩展：

NEECBConfig ::= SEQUENCE {
    baseCodecType       ENUMERATED {lc3, opus, evs, avs3, custom}, -- 底层标准编解码器
    neuralEnhancement   BOOLEAN,                                   -- 是否启用神经增强
    rvqLayers           INTEGER (1..16),                           -- RVQ 层数
    baseCodebookSize    INTEGER (256..4096),                       -- 基础码本大小 (标准化)
    extCodebookMeta     SEQUENCE OF {                              -- 扩展码本元数据 (非标准化，厂商自定)
        taskID          OCTET STRING (SIZE(16)),                   -- 任务 UUID
        codebookHash    OCTET STRING (SIZE(32)),                   -- SHA-256 校验
        sparseMask      BIT STRING                                 -- 稀疏激活掩码
    } OPTIONAL,
    quantizationParams  QuantizationParams                         -- INT8/INT4 量化参数
}

核心设计：

• 向后兼容：neuralEnhancement=FALSE 时退化为标准 LC3/AVS3 码流，老设备可正常解码基础层；
• 增强层解耦：扩展码本元数据放在容器层（MP4/ISOBMFF nrvq box 或 RTP 扩展头），不污染标准码流语法；
• 安全校验：codebookHash 防止恶意码本注入攻击（供应链安全）。

11.3 产业化量产交付清单

十二、 安全与隐私：联邦增量学习下的码本聚合攻击与防御

12.1 威胁模型：模型反演与成员推理

端侧增量学习若引入联邦学习（FL）聚合码本更新，面临风险：

• 模型反演攻击 (MIA)：攻击者利用下发的全局码本 $C_{global}$ 重建训练语音片段。RVQ 码本本质是训练数据聚类中心，直接泄露语音声纹/语义原型；
• 成员推理攻击：通过查询码本向量与目标语音残差距离，判断目标样本是否参与训练。

12.2 差分隐私码本聚合机制

在 FedAvg 聚合扩展码本更新 $Delta C_l^{ext}$ 时注入高斯噪声：

$$
tilde{Delta C}_l^{ext} = frac{1}{N} sum_{i=1}^N text{Clip}(Delta C_{l,i}^{ext}, S) + mathcal{N}(0, sigma^2 S^2 I)
$$

• 裁剪阈值 $S$：按层自适应设定，$S_l = text{median}_i |Delta C_{l,i}^{ext}|_F$；
• 噪声系数 $sigma$：目标 $(epsilon, delta)$-DP，典型 $epsilon=2.0, delta=10^{-5}$ 对应 $sigma approx 1.2$。

效用-隐私权衡实测：

结论：$epsilon=2.0$ 在隐私保护（MIA 成功率 < 15%）与模型效用（PESQ 损失 < 0.05）间达到最佳平衡，且无额外通信开销（噪声在服务端聚合时注入）。

12.3 码本水印与溯源

为防止码本被非法提取部署，在扩展码本初始化阶段植入鲁棒水印：

$$
c_{l,k}^{ext} leftarrow c_{l,k}^{ext} + alpha cdot w_{l,k}, quad w_{l,k} sim mathcal{N}(0, I)
$$

$alpha=10^{-3}$ 确保水印不影响 PESQ（<0.001）。检测时计算相关性 $rho = frac{langle C_{suspect}, W rangle}{|C_{suspect}||W|}$，$rho > 0.85$ 判定为侵权。经实测，水印在 INT8 量化、剪枝 30%、微调 10 epochs 后仍可检出（$rho > 0.9$）。

十三、 总结与技术路线图展望

13.1 全文技术贡献回顾

13.2 技术路线图 (2024 H2 - 2026 H1)

13.3 结语

端侧神经音频编解码器的增量学习，本质是在严苛的算力/存储/功耗约束下，解决“可塑性-稳定性”困境的工程艺术。本文提出的码本动态扩展不仅是参数隔离的一种具体实现，更是对率失真理论在非平稳分布下最优量化结构的工程化映射。未来，随着端侧 NPU 算力密度提升（>50 TOPS/W）与标准化进程推进，神经编解码器将从“可选增强项”进化为“音频通信基础设施”的核心组件。我们期望通过持续的算法创新、工程极致优化与开放标准贡献，构建“一次部署、持续进化、全场景覆盖”的端侧音频智能底座。

附录 A：核心超参数速查表 (生产环境推荐值)

参数	符号	推荐值	调整策略
基础码本大小	$K$	1024	固定，随基座模型
扩展比例 (浅层)	$alpha_{1sim3}$	0.15	随残差能量线性衰减
扩展比例 (深层)	$alpha_{6sim8}$	0.25	随分布漂移度线性增长
EWC 基础权重	$lambda_2^0$	500	按 Fisher 迹归一化
KD 权重衰减	$gamma_{KD}$	0.99/epoch	余弦退火至 0.1
稀疏损失权重	$lambda_3$	0.01	固定
任务分类器阈值	$tau_{cls}$	0.7	低于阈值回退基础码本
DP 噪声系数	$sigma$	1.2	$epsilon=2.0$ 场景
水印强度	$alpha$	1e-3	固定

附录 B：常见故障排查指南

现象	可能原因	定位方法	修复措施
新任务 PESQ 不升反降	扩展码本初始化冲突	检查正交化步骤、残差分布统计	改用 K-means 初始化、增大 $lambda_3$
旧任务遗忘度突增	EWC Fisher 估计不准	打印各层 Fisher 迹、对比旧任务验证集	增加 Fisher 估计样本量至 5000、分层归一化
NPU 编译失败	动态 Shape 残留	Netron 可视化 ONNX 图、检查 Gather 属性	执行图冻结脚本、显式指定 codebook_shape
功耗超标	DSP/NPU 调度抖动	Perfetto 抓取 Power Rail 数据	固定 CPU 频率、NPU 批量提交推理请求
OTA 更新校验失败	码本 Hash 不匹配	对比本地计算 SHA256 与元数据	重新下载差分包、检查加密分区读写权限

版本记录：v1.0 (2024-06) 初稿完成；v1.1 (2024-07) 增补理论推导与异构部署细节；v1.2 (2024-08) 增加 Prompt 迁移实验、标准化提案与安全隐私章节。