会议摘要质量
├── 完整性 —— 关键决策、行动项、核心观点是否全覆盖
├── 准确性 —— 实体、数字、归因、因果关系是否正确
├── 简洁性 —— 冗余率、口语化残留、重复信息比例
└── 可读性 —— 结构化程度、语言流畅度、术语规范性

# 伪代码：权重计算流程
def compute_weights(business_priority: dict) -> dict:
    """
    business_priority 示例：
    {
        "决策类会议": {"完整性": 0.4, "准确性": 0.35, "简洁性": 0.15, "可读性": 0.1},
        "汇报类会议": {"完整性": 0.3, "准确性": 0.3, "简洁性": 0.2, "可读性": 0.2},
        "头脑风暴":   {"完整性": 0.2, "准确性": 0.2, "简洁性": 0.3, "可读性": 0.3}
    }
    """
    # 1. 专家打分构建判断矩阵
    # 2. 计算特征向量 → 归一化权重
    # 3. 一致性检验 (CR < 0.1)
    # 4. 融合业务优先级配置
    return final_weights

{
  "role": "system",
  "content": "你是会议摘要质量评估专家。请严格按以下维度逐项打分（1-5分），并输出证据片段。"
}
{
  "role": "user",
  "content": "[原文]...[摘要]...nn请按以下 JSON 输出：n{n  "completeness": {"score": 4, "evidence": ["原文第3段提到预算500万，摘要遗漏"]},n  "accuracy": {"score": 5, "evidence": []},n  "conciseness": {"score": 3, "evidence": ["摘要含3处'然后'口语词"]},n  "readability": {"score": 4, "evidence": []},n  "overall": 4.0n}"
}

graph TD
    A[阶段1: 冷启动] --> B[阶段2: 对齐迭代]
    B --> C[阶段3: 持久化监控]
    
    A --> A1[采样 200 条<br/>专家标注 + 模型打分]
    A --> A2[计算 QWK/偏差<br/>识别系统性分歧点]
    
    B --> B1[错误案例分类:<br/>幻觉漏判/冗余过判/归因误判]
    B --> B2[Prompt 修补 + Few-shot 扩充]
    B --> B3[小模型 LoRA 微调<br/>对齐专家偏好]
    B --> B4[回归测试: QWK 提升 ≥ 0.05]
    
    C --> C1[每日抽样 50 条人工复核]
    C --> C2[漂移检测: QWK 下降 > 0.03 触发告警]
    C --> C3[定期重标注 10% 数据<br/>重新校准]

┌─────────────────────────────────────────────────────┐
│              会议摘要自动评价平台                     │
├──────────────┬──────────────┬───────────────────────┤
│  样本管理层   │  计算引擎层   │   裁判服务层           │
│  - 版本化数据集 │ - 规则引擎    │ - Judge Model Pool    │
│  - 切片/采样/回溯│ - 指标注册表  │ - Prompt 模板版本管理 │
│  - 黄金集维护   │ - 聚合加权    │ - 一致性监控看板       │
├──────────────┼──────────────┼───────────────────────┤
│  评测编排层   │  结果分析层   │   对外接口层           │
│ - Pipeline DAG│ - 维度雷达图  │ - REST/gRPC API       │
│ - 并发/熔断/重试│ - 错误聚类   │ - CI/CD 集成 Webhook  │
│ - 增量/全量触发 │ - 版本对比   │ - 评测报告自动生成     │
└──────────────┴──────────────┴───────────────────────┘

graph LR
    subgraph 离线评测通道
        A[模型新版本发布] --> B[全量/增量数据集]
        B --> C[规则引擎 + Judge模型]
        C --> D[生成评测报告]
        D --> E{阈值达标?}
        E -- 否 --> F[阻断发布/告警]
        E -- 是 --> G[进入灰度池]
    end

    subgraph 在线护栏通道
        H[用户请求/流式生成] --> I[轻量化规则检查]
        I -- 硬性指标不达标 --> J[直接降级/重写/拦截]
        I -- 通过 --> K[异步送入Judge模型]
        K --> L[实时打标入库]
        L --> M[质量看板/漂移监控]
    end

class StreamingEvaluator:
    def __init__(self, window_size=256, stride=64):
        self.buffer = ""
        self.window_size = window_size
        # 轻量级规则：实体完整性、数字一致性、禁词
        self.fast_rules = [EntityConsistencyRule(), NumericCheckRule(), BanWordRule()] 
        # 重模型：连贯性、结构化（异步）
        self.heavy_judge = AsyncJudgeClient(model="qwen2.5-7b-judge-int4")

    def on_token(self, token: str) -> Optional[Alert]:
        self.buffer += token
        # 仅对新增窗口跑快速规则
        if len(self.buffer) % self.stride == 0:
            window_text = self.buffer[-self.window_size:]
            for rule in self.fast_rules:
                if violation := rule.check(window_text, self.full_transcript):
                    return Alert(level="block", rule=rule.name, detail=violation)
        return None

    def on_finish(self) -> EvaluationReport:
        # 异步提交全文深度评价，不阻塞用户侧
        self.heavy_judge.submit(self.full_transcript, self.buffer)
        return EvaluationReport(status="pending_async")

L1 类别 (Category)
├── L2 细分类型 (Sub-type)
│   └── L3 根因标签 (Root Cause Tag) → 对应修复动作
│
├── 完整性缺失
│   ├── 关键决策遗漏 → [Prompt: 增加决策触发词注意力 / RAG: 注入议程结构]
│   ├── 行动项缺失(责任人/截止时间) → [Prompt: 强制抽取模板 / 后处理: 正则补全]
│   └── 核心数据点遗漏(金额/指标) → [RAG: 关联业务数据库 / 微调: 实体识别头]
│
├── 准确性偏差
│   ├── 实体幻觉(人名/项目名/专有名词) → [RAG: 实体白名单约束 / 微调: 幻觉抑制]
│   ├── 数值篡改(单位/量级/正负) → [规则: 数值归一化校验 / Prompt: Chain-of-Thought 校验]
│   ├── 归因错误(说话人/观点立场) → [模型: 说话人分离优化 / Prompt: 显式引用原文段落]
│   └── 因果倒置/逻辑矛盾 → [Prompt: 逻辑一致性自检 / 微调: 逻辑推理数据]
│
├── 简洁性冗余
│   ├── 口语废话残留(语气词/重复/修饰) → [规则: 词表过滤 / 微调: 风格迁移]
│   ├── 无效背景铺垫(与决策无关闲聊) → [Prompt: 相关性过滤指令 / 分类器: 闲聊识别]
│   └── 结构化重复(多段落表述同一观点) → [算法: 语义去重 / Prompt: 去重指令]
│
└── 可读性缺陷
    ├── 结构缺失(无标题/无分类) → [Prompt: 强制 Markdown 模板输出]
    ├── 术语不规范(缩写未展开/内部黑话) → [RAG: 术语表强制替换 / 微调: 术语规范化]
    └── 语病/病句 → [工具: LanguageTool / 模型: 语法纠错模型]

{
  "error_instances": [
    {
      "span_summary": "第3段第2句",
      "span_transcript": "原文第15-18行",
      "category": "准确性偏差",
      "sub_type": "数值篡改",
      "root_cause_tag": "单位换算错误(万/元)",
      "severity": "P0-阻断发布",
      "evidence": "原文: '预算500万元', 摘要: '预算500万'",
      "fix_suggestion": {
        "type": "rule_patch",
        "config": "numeric_normalization: {unit_map: {'万元': 10000, '亿': 100000000}}"
      }
    },
    {
      "span_summary": "待办事项列表",
      "category": "完整性缺失",
      "sub_type": "行动项缺失",
      "root_cause_tag": "隐性行动项未显式提及",
      "severity": "P1-需优化",
      "evidence": "原文: '这事儿老王跟进一下', 摘要无对应条目",
      "fix_suggestion": {
        "type": "prompt_patch",
        "instruction": "识别隐性指派语句(如'跟进一下/负责一下/落实下'), 强制抽取为行动项, 责任人取最近说话人"
      }
    }
  ]
}

# domain_config/medical_mdt.yaml
domain: "医疗MDT多学科会诊"
base_profile: "general_meeting_v2.1"  # 继承通用指标权重

# 1. 权重重写
weights:
  accuracy: 0.50        # 诊断结论/用药剂量零容忍
  completeness: 0.30    # 关键症状/影像学表现/病理分期全覆盖
  compliance: 0.15      # 合规性(隐私脱敏/诊疗规范引用)
  conciseness: 0.03     # 允许冗余保留医学细节
  readability: 0.02

# 2. 硬性规则注入 (P0 拦截)
hard_rules:
  - name: "药物剂量单位校验"
    type: "regex_cross_check"
    pattern: "(\d+\.?\d*)\s*(mg|g|ml|单位)"
    action: "block"
    message: "药物剂量单位缺失或异常"
  - name: "患者隐私脱敏检查"
    type: "pii_detector"
    entities: ["姓名", "身份证", "手机号", "住址", "病历号"]
    action: "mask_and_alert"

# 3. 专用 Judge Few-shot 样本库
judge_fewshot_path: "s3://eval-assets/fewshots/medical_mdt_v3.jsonl"

# 4. 专用术语表/知识库 (RAG 校验用)
terminology_kb: "medical_terminology_snomed_ct_v2024"
drug_kb: "national_drug_formulary_2024"

graph TD
    A[在线服务/离线评测] --> B[硬负样本挖掘]
    B --> C[专家高效复核/修正]
    C --> D[训练数据集构建]
    D --> E[生成模型 SFT/DPO/RLHF]
    E --> F[新模型版本]
    F --> A
    
    style B fill:#ffe0b2,stroke:#f57c00
    style C fill:#c8e6c9,stroke:#388e3c
    style E fill:#bbdefb,stroke:#1976d2

{
  "audit_id": "audit_20241015_001",
  "timestamp": "2024-10-15T10:30:00.123Z",
  "session_id": "meeting_abc_123",
  "transcript_hash": "sha256:...",
  "summary_hash": "sha256:...",
  "compliance_check": {
    "rule_engine_version": "v2.4.1",
    "triggered_rules": [
      {
        "rule_id": "AD_LAW_ABSOLUTE_001",
        "rule_name": "绝对化用语检测",
        "matched_span": "行业顶尖水平",
        "location": "summary_para_2",
        "action": "blocked_and_rewritten",
        "rewritten_span": "行业领先水平"
      }
    ],
    "judge_model": "qwen2.5-7b-judge-compliance-v1.0",
    "judge_verdict": "pass",
    "final_decision": "release_with_rewrite"
  },
  "operator": "auto_pipeline"
}