8 个维度量化评估框架：你写的 Skill，及格了吗？

📌 一句话摘要

本文提出了一套 8 维度的 Skill 量化评估框架，通过元数据质量、执行引导清晰度、领域知识密度等指标对 Skill 进行打分评级，并设计了多模型交叉验证流程以提升评估可靠性。

📝 详细摘要

文章针对 AI Agent Skill 质量难以客观衡量的问题，提出了一套 8 维度的量化评估框架。该框架将评估维度分布在 Skill 生命周期的三个阶段：能否被找到（元数据质量）、用起来顺不顺（执行引导清晰度、工作流完整性、输入输出清晰度、资源利用）、值不值得存在（领域知识密度、写作质量、范围与聚焦）。每个维度分配不同权重，加权后映射为 S/A/B/C/D 五个等级。文章通过百度内部 AI 工作助手 dodo 上的真实 Skill 评估案例和同类 Skill 对比，展示了框架的实际应用。为解决单模型评分偏差，设计了多模型交叉验证机制，包含独立评估、交叉互审和仲裁综合三个阶段，并引入三级共识机制。针对不同 AI 工具环境，提供了四种执行策略（原生多模型、第三方模型、混合模式、单模型多视角），确保框架的广泛适用性。文章最后讨论了评估结果的改进应用和框架的局限性。

💡 主要观点

1. 提出 8 维度量化评估框架，将 Skill 质量从主观感受转化为可量化的分数。 框架涵盖元数据质量、执行引导清晰度、工作流完整性、输入输出清晰度、资源利用、领域知识密度、写作质量、范围与聚焦八个维度，分布在 Skill 的发现、执行和价值三个阶段，每个维度有明确评估标准和权重。
2. 多模型交叉验证机制有效提升评估可靠性，避免单模型偏差。 通过多个模型独立评估、交叉互审和仲裁综合的三阶段流程，以及三级共识机制，将单模型评估升级为专家评审团模式，显著提高评估结果的客观性和可信度。
3. 框架提供四种执行策略，适配不同 AI 工具环境，确保广泛适用性。 针对工具原生模型、第三方模型、混合模式等不同场景，设计了自动路由策略，并提供了单模型多视角评估的兜底方案，使框架能在 Claude Code、dodo 等多种环境中运行。
4. 框架侧重于文档与设计质量评估，并非运行时性能的完整度量。 文章明确指出框架度量的是 Skill 的文档工程质量，而非运行时的全部真相，帮助使用者理解工具的适用范围和局限性。

💬 文章金句

• 能跑和好用之间隔着十万八千里。
• 审视自己的作品，它是改进路线图；对比他人的作品，它是选型决策工具。
• 一个 Skill，description 写得太宽泛了，很可能 Agent 根本不会触发它。
• 单模型评分的绝对值不够可靠，但不同模型之间的共识是有价值的。
• 这套评估框架只是一把尺子，也有一定的局限性，它度量的是 Skill 的文档工程质量，而非运行时的全部真相。

📊 文章信息

阅读完整文章