端侧大模型蒸馏部署：剖析知识蒸馏与量化感知训练协同压缩策略

随着大语言模型（LLM）参数规模从百亿级跃升至千亿级，其在云端的推理成本与延迟虽可通过集群扩展缓解，但在移动端、边缘计算设备、车载系统等算力受限、内存带宽敏感、功耗严苛的端侧场景，直接部署原模型几乎不可行。模型压缩技术成为连接“云端智能”与“端侧落地”的关键桥梁。本文将深入剖析知识蒸馏与量化感知训练两大核心技术的协同压缩机制，探讨其在端侧部署中的工程实践与性能权衡。

一、端侧部署的核心约束与压缩范式

在制定压缩策略前，需明确端侧硬件的物理约束，这直接决定了技术路线的选择边界：

存储墙：移动端可用内存通常在 4GB-12GB 之间，模型权重、KV Cache 与运行时内存竞争激烈。FP16（半精度）下 7B 模型约需 14GB 显存/内存，远超单设备上限。
带宽墙：LPDDR5X 带宽约 60-100 GB/s，而大模型推理为典型的 Memory-Bound 任务，权重搬运开销远大于计算开销。
功耗墙：手持设备持续功耗预算通常 < 5W，NPU/GPU 算力利用率需最大化，避免频繁的内存访问唤醒。

针对上述约束，主流压缩范式演进为：结构化剪枝 → 知识蒸馏 → 量化（PTQ/QAT）。其中，知识蒸馏（KD）解决“小模型如何学会大模型的能力”，量化感知训练（QAT）解决“低比特表示如何逼近浮点精度”，二者协同而非串行叠加，是当前达到极致压缩比（如 7B → 1.5B/Int4）且性能损失可控的关键。

二、知识蒸馏：从“模仿输出”到“对齐表征”

传统 KD 仅最小化 Teacher 与 Student 输出 Logits 的 KL 散度，但在 LLM 时代，这种“黑盒模仿”面临容量鸿沟与分布偏移双重挑战。现代端侧蒸馏策略呈现多层次对齐特征：

1. 多粒度损失函数设计

单一 Logits 蒸馏难以传递 Teacher 的推理链路。工程上常采用组合损失：
$$ mathcal{L}_{total} = alpha mathcal{L}_{CE} + beta mathcal{L}_{KD} + gamma mathcal{L}_{Feature} + delta mathcal{L}_{Hidden} $$

$mathcal{L}_{KD}$ (Logits 层)：采用温度系数 $T$ 平滑分布，保留 Teacher 对非目标 Token 的“暗知识”概率质量。
$mathcal{L}_{Hidden}$ (隐藏状态层)：对齐 Transformer Block 最后一层或关键层的 Hidden States（MSE 或 Cosine Similarity）。这是表征蒸馏的核心，强制 Student 学习 Teacher 的特征提取流形。
$mathcal{L}_{Attn}$ (注意力图层)：对齐 Attention Map，迁移 Teacher 的长距离依赖建模能力，对小模型恢复上下文理解至关重要。

2. 中间层映射与维度对齐

Student 往往层数更少（如 32 层 → 16 层）或隐藏维度更小（4096 → 2048）。需引入适配器或线性投影层将 Student 中间层映射至 Teacher 空间计算损失，或采用逐层蒸馏策略，建立层与层的软对应关系，避免维度不匹配导致的梯度消失。

3. 数据合成与课程学习

依赖原始训练语料蒸馏效率低。主流做法利用 Teacher 生成高质量合成数据，并按困惑度、推理深度、任务多样性构建课程，先易后难引导 Student 收敛，显著降低对海量原始数据的依赖。

三、量化感知训练：直面低比特非线性失真

Post-Training Quantization (PTQ) 如 GPTQ、AWQ、OmniQuant 虽免训练、部署快，但在 W4A4（权重 4bit、激活 4bit） 或 W3A3 极低比特下，量化误差累积导致模型崩溃。QAT 通过在前向传播模拟量化算子、反向传播使用直通估计器（STE）更新浮点权重，实现“量化感知”的参数优化。

1. 量化映射函数的可微分建模

针对非对称量化，前向模拟公式为：
$$ hat{x} = text{clamp}(text{round}(frac{x}{s} + z), q_{min}, q_{max}) $$
$$ x_q = s cdot (hat{x} - z) $$
其中 $s$ (Scale) 与 $z$ (Zero-point) 可作为可学习参数参与梯度下降，而非 PTQ 中的统计校准固定值。这允许模型在训练中自动寻找最优量化区间，缓解异常值导致的量化范围拉大、精度丢失问题。

2. 混合精度与敏感度自适应

并非所有层对量化敏感度一致。首层 Embedding、末层 LM Head、下采样层、注意力模块中的 $Q/K/V$ 投影及 $O$ 投影，对量化误差极其敏感。
协同策略：

敏感层保留高位宽：如 W8A8 或 W4A16。
非敏感层极致压缩：FFN 中间层、LayerNorm 后激活采用 W4A4 甚至 W3A3。
搜索算法：引入可微分神经架构搜索或基于 Hessian 迹的敏感度分析，自动确定各层最优位宽配置，在模型体积与精度间寻找帕累托最优解。

3. 训练稳定性工程技巧

QAT 训练极易发散，需配合：

学习率重调度：采用极小学习率（1e-5 ~ 5e-6）配合 Cosine Decay。
量化参数冻结策略：前期冻结 Scale/Zero-point 仅训练权重，后期联合微调。
BatchNorm 折叠与等效变换：推理前将 BN 融合至 Conv/Linear，消除推理时额外计算，同时修正 QAT 训练中的统计量漂移。

四、协同压缩策略：KD-QAT 联合优化的化学反应

将 KD 与 QAT 串行执行（先蒸馏得 FP16 小模型，再 QAT 量化）是次优解。因为量化引入的非线性失真会破坏蒸馏阶段学到的精细表征。联合优化将量化模拟前置至蒸馏训练循环内部，使 Student 直接在量化约束下向 Teacher 看齐。

1. 联合损失函数重构

在 QAT 前向传播中插入伪量化节点，Student 输出为量化后的 Logits $Logits_{S}^{quant}$，Teacher 为全精度 $Logits_{T}^{fp}$。
$$ mathcal{L}_{KD-QAT} = mathcal{L}_{KD}(Logits_{S}^{quant}, Logits_{T}^{fp}) + lambda mathcal{L}_{Task}(Logits_{S}^{quant}, y_{true}) $$
此举强迫 Student 学习“抗量化干扰的表征”，即寻找在低比特离散化映射后仍能保持与 Teacher 输出分布一致的浮点权重解。

2. 教师模型的量化一致性处理

若 Teacher 过大无法全量化参与训练，需处理精度不匹配问题：

Logits 校准：对 Teacher Logits 施加温度缩放或 Label Smoothing，降低其尖锐度，适配 Student 低比特输出的表达上限。
中间特征量化对齐：在特征蒸馏损失计算前，对 Teacher 的 Hidden States 施加模拟量化，使 Student 学习目标与自身量化后的表征空间对齐，消除“全精度教师指导低比特学生”的域差距。

3. 分阶段协同训练流程（工程落地标准范式）

为平衡收敛稳定性与训练成本，推荐三阶段流程：

阶段	目标	关键配置	数据规模
Stage 1: KD Warm-up	结构对齐、表征迁移	FP16/BF16 训练，冻结 Embedding，仅蒸馏 Hidden/Attn/Logits	50B-100B Tokens
Stage 2: QAT Joint	量化感知微调、抗噪能力构建	开启伪量化（W4A4/W4A8），联合 KD Loss + Task Loss，解冻全参数	10B-20B Tokens
Stage 3: Calibration & Export	参数固化、推理图优化	关闭 STE，校准 Scale/Zero-point，融合算子，导出 ONNX/MNN/NCNN 模型	1k-10k 校准样本

五、端侧推理引擎适配与算子落地陷阱

模型压缩完成仅是“训练侧”成功，“推理侧”能否跑通、跑快，决定了商业价值。

1. 算子融合与 Kernel 级优化

QKV 融合：将三路 Linear 融合为单次 GEMM，减少 Kernel Launch 开销与显存读写。
Attention 融合：FlashAttention / PagedAttention 适配量化权重，解决 KV Cache 显存碎片化与带宽瓶颈。Int4 权重下需支持 GEMM + Dequantize 融合 Kernel（如 int4_gemm_dequant），避免显式反量化写回内存再读取。
Act-Quant 融合：激活量化参数动态生成，需融合至 MatMul 后、Activation 前，利用寄存器完成量化，不落地 Global Memory。

2. 异构硬件后端适配差异

硬件后端	优势指令集	部署难点	适配建议
ARM CPU	NEON / SVE2 (DOTPROD)	缺乏专用矩阵张量核心，Int4 解包开销大	优先 W4A16 / W8A8，利用 `dotprod` 指令加速内积
Qualcomm Hexagon NPU	HVX / Tensor Accelerator	编译器对动态 Shape、自定义 Op 支持有限	固定序列长度，算子拆解匹配 SDK 内置 Op 库
Apple Neural Engine (ANE)	专用矩阵乘法单元	仅支持特定精度（FP16/INT8/INT4），内存布局严格	模型结构对齐 ANE 约束（如 GroupNorm→LayerNorm，避免大 Kernel Conv）
NVIDIA Jetson / PC GPU	Tensor Cores (FP4/INT4/INT8)	功耗较高，适合边缘服务器/高性能边缘盒	充分利用 CUTLASS / TensorRT-LLM 原生 Int4 GEMM Kernel

3. KV Cache 量化协同

长文本生成中 KV Cache 占用显存超越模型权重。协同压缩需包含 KV Cache 量化（KV Quant）：

KV Cache Int8/Int4：对 Key/Value 向量逐 Token 或逐 Layer 量化。
量化感知蒸馏引入：在 Stage 2 联合训练中模拟 KV Cache 量化误差，使模型对推理时的 Cache 精度损失具有鲁棒性，避免多轮对话“智商下降”。

六、评估体系与生产级验证指标

技术方案最终需用数据说话，建议建立多维评估矩阵：

任务性能指标：
- 通用基准：MMLU, C-Eval, CMMLU (知识/推理)；GSM8K, MATH (数理)；HumanEval, MBPP (代码)。
- 垂类任务：Function Calling 准确率、RAG 检索增强问答忠实度、长文本摘要一致性。
部署效能指标：
- 首包延迟 - 决定用户感知起速。
- 吞吐率 - 决定并发承载与流式输出流畅度。
- 峰值内存/功耗 - 决定能否在后台常驻或电池续航。
鲁棒性指标：
- 量化一致性：FP16 vs Int4 输出 Token 级一致性、Top-k 重叠率。
- 长序列稳定性：32k/128k Context 下 PPL 漂移、重复生成频率。

七、总结与展望

端侧大模型部署的本质是在受约束资源下最大化模型有效容量。知识蒸馏与量化感知训练的协同压缩，并非简单的“蒸馏+量化”叠加，而是通过联合优化目标函数、统一训练时量化模拟、教师-学生量化域对齐，实现了“小模型、低比特、高性能”的三角平衡。

展望未来，技术演进将聚焦于：

极低比特（Sub-4bit）QAT：探索 2-3bit 甚至 1bit (BitNet) 训练稳定性，配合混合精度保留关键层高精度。
蒸馏数据飞轮：利用端侧用户反馈数据（RLHF/RLAIF）持续微调蒸馏教师模型，形成“云端大模型迭代 → 端侧小模型蒸馏 → 端侧数据回流 → 云端模型优化”的闭环。
软硬件协同设计：模型架构设计初期即感知目标芯片指令集（如原生支持 Int4 GEMM 的注意力头数、隐藏维度对齐 Tensor Core 形状），实现真正的“软硬一体”极致能效比。

掌握 KD-QAT 协同压缩的核心原理与工程细节，是大模型从“参数竞赛”走向“场景落地”、实现普惠 AI 的必经之路。

端侧大模型蒸馏部署实战进阶：从数据飞轮到编译器级协同优化的全链路复盘

上文系统阐述了知识蒸馏（KD）与量化感知训练（QAT）的协同理论框架。本文进一步下沉至工程落地细节与前沿变体技术，聚焦数据构建飞轮、PEFT-蒸馏融合范式、动态量化自适应策略、编译器级图优化及生产级避坑指南，为端侧大模型从“跑通”走向“极致好用”提供可复用的实战方法论。

一、蒸馏数据飞轮：合成数据质量控制与课程学习调度

“数据为王”在蒸馏阶段尤为凸出。Teacher 模型生成的合成数据若噪声过大、分布偏移严重，将直接误导参数量有限的 Student 模型。构建高质量蒸馏数据集需建立“生成-筛选-增强-调度”闭环体系。

1. 多维度数据质量过滤管线

单纯依赖 Perplexity (PPL) 筛选已不足够，需引入多维指标联合打分：

指令遵循一致性：用强规则模型（如 GPT-4o 或强化后的 Reward Model）对 Teacher 生成的回复打分，剔除幻觉、拒答、格式错误样本。
推理深度评估：针对数学/代码任务，引入 Process Reward Model (PRM) 对推理步骤逐步打分，仅保留推理链路完整、逻辑自洽的轨迹。
分布覆盖度量：计算合成数据 Embedding 与目标部署场景真实数据（如用户脱敏日志）的分布距离（MMD/JS散度），主动补采覆盖不足的长尾任务类别（如方言理解、专业术语翻译、多轮 Function Calling）。

2. 基于难度的动态课程学习调度

Student 模型容量有限，直接学习高难度样本易陷入局部最优。设计两阶段课程调度器：

Phase 1 (能力奠基)：输入长度 < 2k，任务聚焦基础指令跟随、实体抽取、单轮问答。损失权重 $lambda_{KD} gg lambda_{Task}$，强制对齐 Teacher 表征。
Phase 2 (能力跃迁)：引入长文本（8k-32k）、多轮对话、复杂推理、工具调用数据。逐步提升 $lambda_{Task}$ 权重，引入 DPO (Direct Preference Optimization) 损失，利用 Teacher 生成的 Chosen/Rejected 对进一步对齐偏好，修正蒸馏带来的“模仿痕迹过重”问题。

3. 反向数据飞轮：端侧硬样本回采

部署后收集 Student 模型高困惑度、低置信度、用户负反馈的 Case，回传云端构建“硬样本池”。下一轮蒸馏迭代时，提高硬样本采样权重（Focal Loss 思想），实现“端侧发现问题 → 云端定向强化 → 端侧模型迭代”的数据飞轮闭环。

二、 PEFT-蒸馏融合范式：LoRA/QLoRA 与 KD 的参数高效协同

全参数蒸馏（Full Fine-tuning + KD）对算力要求高（需多机多卡），且易破坏预训练知识。参数高效微调（PEFT）与蒸馏的结合成为中小团队低成本适配端侧模型的主流路径。

1. LoRA-KD：低秩适配器作为“蒸馏增量”

冻结 Student 主干参数（Backbone），仅在 Attention 模块（$Q, K, V, O$）及 FFN 模块注入 LoRA 适配器（Rank $r=64 sim 128$）。

蒸馏目标重定义：此时 Student 输出为 $Output_{Backbone} + Delta Output_{LoRA}$。KD Loss 仅作用于 $Delta Output_{LoRA}$ 所贡献的增量部分，或对总输出计算 KD Loss 但梯度仅回传 LoRA 参数。
优势：显存占用降低 60%+，训练速度提升 3-5 倍；主干参数冻结保留了预训练的通用知识，缓解“灾难性遗忘”。
部署合并：训练结束后，将 LoRA 权重通过 $W_{merged} = W_{base} + B times A$ 离线合并回主干，推理零额外开销，完美适配端侧无 PEFT Runtime 环境。

2. QLoRA-KD：4bit 量化预训练模型上的蒸馏

直接在 NF4 (NormalFloat4) 量化的预训练模型 上挂载 LoRA 进行蒸馏。

技术难点：反向传播需通过 dequantize 算子计算梯度，累积误差大；优化器状态（AdamW）仍需 FP32，显存压力依然存在。
工程优化：
- 采用 8bit Optimizer (AdamW8bit / Paged Optimizer) 压缩优化器状态。
- 双量化：对量化常数再次量化，进一步省显存。
- 梯度累积 + 梯度检查点：以时间换空间，单张 24GB/48GB 显存即可跑 7B/13B 模型蒸馏。

3. DoRA (Weight-Decomposed Low-Rank Adaptation) 在蒸馏中的优势

DoRA 将权重分解为幅度与方向两部分，仅更新方向分量。实验表明，在蒸馏场景下，DoRA 能更精准地学习 Teacher 的特征方向分布，且合并时对主干权重幅度无破坏，量化后精度保持优于标准 LoRA，推荐作为高性能蒸馏首选 PEFT 结构。

三、动态量化与 Token 级自适应策略：突破静态量化精度天花板

静态量化（Static Quantization）对全层、全 Token 使用统一 Scale/Zero-point，难以应对激活值通道间差异大、时序动态变化的特性。动态量化虽精度高但引入推理端 max/abs 计算开销。折中方案是部署感知的混合量化策略。

1. 激活值离群值通道隔离

LLM 激活值存在极少数“系统性离群通道”，其数值幅度比均值大 10-100 倍，拉大量化范围导致其余通道精度严重损失。

训练端方案 (SmoothQuant 变体)：在 QAT 阶段引入 可学习的平滑因子 $s$，将离群通道的幅度“平移”至权重侧：$X_{smooth} = X / s, W_{smooth} = W times s$。联合 KD Loss 优化 $s$，使激活分布更对称、易量化。
推理端落地：离线完成权重重缩放，推理时无需额外计算，仅需 Int8/Int4 矩阵乘法。

2. Token 级动态量化

针对生成阶段 Token 级激活分布剧烈波动（如首 Token vs 后续 Token，普通词 vs 稀有词），设计轻量级动态量化 Kernel：

Group-wise Quantization：按 Token 维度，将激活向量分组（Group Size=64/128），每组独立计算 Scale/Zero-point。
硬件加速：在 ARM NEON / Hexagon HVX / Apple ANE 上，利用向量化指令（vmaxv, vabs, vrnd）在寄存器级完成统计与量化，延迟开销 < 5%，但 W4A4 下 PPL 可降低 0.3-0.5，生成质量显著提升。

3. KV Cache 混合精度量化

KV Cache 量化是长文本部署核心。

Key 量化更敏感：实验表明，Key 向量对注意力分数计算影响大于 Value。策略：Key 保留 Int8/FP8，Value 量化至 Int4。
分层量化策略：浅层（语义抽象层）KV 保高精度，深层（细节记忆层）KV 低精度。
页管理协同：结合 PagedAttention，在 Block 级别维护量化参数，支持物理内存非连续 Block 的独立反量化，解决碎片化内存下的量化一致性问题。

四、编译器级图优化与内存规划：从模型导出到极致推理性能

模型训练完成导出 ONNX/MNN/NCNN/TFLite 仅是起点，编译器优化决定了最终能效比。需建立“算子融合 -> 内存规划 -> 指令调度 -> 并行流水”全链路优化管线。

1. 面向量化模型的算子融合模式

针对 Int4/Int8 模型，重点攻克以下融合模式：

MatMul + Dequantize + Add(Bias) + Activation(SiLU/GELU) + Quantize：将反量化、偏加、激活、再量化融合为单一 Kernel，避免中间 FP16/FP32 结果写回内存。这是端侧 Int4 推理性能的分水岭。
RMSNorm/LayerNorm + Quantize：归一化统计量计算与量化融合，利用 Welford 在线算法单遍历完成均值方差计算并直接输出量化结果。
RoPE (Rotary Position Embedding) 融合：将 RoPE 旋转融合进 Q/K 投影的 MatMul 后、Attention Score 计算前，避免额外 Kernel Launch 与显存读写。

2. 统一内存池与 Tensor 生命周期分析

端侧内存极其宝贵（如 6GB 可用内存需跑 4bit 7B 模型 + KV Cache + 系统预留）。

静态内存规划：编译期构建计算图拓扑，分析 Tensor 生命周期，通过图着色算法复用内存块，将峰值内存压缩至理论最小值（仅比模型权重 + 最大 KV Cache 大少量开销）。
动态 KV Cache 内存池：预分配环形缓冲区，配合 PagedAttention 实现 Block 级按需申请/释放，支持 Prefix Caching（多轮对话共享 System Prompt KV）与 Speculative Decoding 草稿模型 KV 复用。

3. 异构计算流水线调度

单纯串行执行 CPU/NPU/GPU 会导致算力闲置。构建异步流水线：

Stage 0 (CPU)：Tokenizer、Embedding Lookup、Logits 采样、KV Cache 管理。
Stage 1 (NPU/GPU)：Transformer Block 计算（MatMul + Attention + FFN）。
Double Buffering：双缓冲机制实现 CPU 预处理下一 Token 与 NPU 计算当前 Token 并行，隐藏 CPU 端延迟。
零拷贝传输：利用 dmabuf / ION / Metal Shared Buffer 实现 CPU/NPU 间 Tensor 零拷贝流转，消除数据搬移开销。

五、生产级避坑指南：十大典型失效模式与修复方案

从实验室指标到量产稳定，中间隔着无数“坑”。以下为高频失效模式及标准化修复 SOP：

#	失效现象	根因定位	标准化修复方案
1	首包延迟极高 (>2s)	Embedding 表过大(>200MB)，冷启动页错误频繁；或模型图初始化、内存映射耗时未优化。	1. Embedding 量化至 Int4/Int8 + `mmap` 内存映射加载； 2. 编译期冻结图结构，导出 `.param/.bin` 避免运行时 Build Graph； 3. 预热线程异步加载权重至内存池。
2	多轮对话第 5 轮后“发疯”/重复	KV Cache 量化误差累积；或 RoPE 频率基数外推失效；或内存池碎片导致 KV 覆写错误。	1. 引入 KV Cache Int8 量化 + 残差修正； 2. 训练阶段注入 YaRN/LongRoPE 外推训练； 3. 强制 KV Cache 连续内存分配，禁用碎片化 Block。
3	特定指令集设备上 Crash (SIGILL)	编译器开启了目标设备不支持的指令集（如 AVX512、SVE2、AMX）；或手写汇编 Kernel 寄存器分配冲突。	1. CI/CD 引入目标设备农场自动化兼容性测试； 2. 编译旗标严格按 `min_cpu_features` 设置； 3. 关键 Kernel 提供 C/C++ 回退实现。
4	功耗墙触发降频，吞吐率断崖式下跌	NPU/GPU 满载功耗 > 5W，SoC 热节流；或内存带宽饱和导致核心等待。	1. 动态批次/频率调度：根据温度/电量自动切换 `Performance/Balanced/PowerSave` Profile； 2. 引入 Speculative Decoding (小模型草稿+大模型验证)，降低大模型激活频次； 3. 优化内存访问模式，提升 L2/L3 缓存命中率。
5	量化模型输出与 FP16 基准不一致 (Top-1 Token 不同)	伪量化训练与真实量化推理不一致（如 Rounding Mode 差异：Round-to-Nearest-Even vs Round-to-Zero）；或校准集分布偏移。	1. 训练端严格对齐推理端 Rounding 语义（模拟硬件行为）； 2. 校准集必须覆盖真实部署场景分布（含长尾 Token）； 3. 引入等效变换验证：逐层对比 FP32/Int8/Int4 中间激活值 Cosine 相似度 > 0.99。
6	长文本 (32k+) OOM	KV Cache 峰值内存超限；或 Attention Mask 矩阵显式实例化 (32k^2 * 2B = 4GB)。	1. FlashAttention / PagedAttention 强制落地，禁止显式 Materialize $QK^T$； 2. KV Cache Int4 量化 + 页式管理； 3. 滑动窗口注意力 / 稀疏注意力结构化剪枝。
7	Function Calling 格式错误率高	蒸馏数据中 Tool Call 样本占比低；或 Teacher 生成格式不规范（缺少参数、JSON 语法错误）。	1. 构建专用 Tool Call 合成数据集（含嵌套调用、并行调用、错误处理）； 2. 蒸馏损失加入语法约束正则项（如 JSON Schema 约束 Logits Mask）； 3. 推理端挂载约束解码器 (Guidance / Outlines / JSON Schema Validator)。
8	模型体积超包大小限制 (如微信小程序 20MB / App 增量包 50MB)	仅做了权重量化，未压缩 Tokenizer、Config、算子库；或模型结构冗余（层数过多）。	1. Tokenizer 词表裁剪：仅保留目标语言高频 Token + 特殊符号，词表 100k -> 30k； 2. 结构化剪枝 + KD 微调：层数 32 -> 24，隐维 4096 -> 3072； 3. 算子库裁剪：仅编译模型用到的 Op，去除通用框架冗余代码。
9	多语言能力严重退化	蒸馏数据以中英为主，低资源语言灾难性遗忘；量化对低频语言 Embedding 破坏大。	1. 多语言平衡采样：按语言熵加权采样蒸馏数据； 2. Embedding 单独高精度保留 (FP16/Int8) 不参与 Int4 量化； 3. 引入语言适配器微调而非全量蒸馏。
10	版本迭代回归	无自动化评测流水线；新旧模型对比仅看 Loss，不看业务指标。	1. 建立黄金评测集 (Golden Set) 覆盖核心场景； 2. CI/CD 集成自动化回归测试：PPL、Latency、Memory、业务指标（如 BLEU/ROUGE/Function Call Acc）全链路卡控； 3. 模型版本管理：语义化版本号 + 模型卡片记录训练配置、数据版本、量化配方。