一个 skill 优化 skill:9 维评分 + 独立 judge + 人在回路
来源:GitHub 仓库 hanzhenlin/tidex-awesome-skills 文件约 400 行,约 18 KB
一个自主优化 skill 的 skill,Darwin Skill 2.0。
它解决的是:手里有 skill,但不知道怎么系统地评估它、改进它。
它的流程:
- Phase 0:初始化
- Phase 0.5:测试 Prompt 设计
- Phase 1:基线评估(9 维 rubric + 子 agent 实测)
- Phase 2:优化循环(诊断短板 → 提改进方案 → 执行 → paired 重评估 → 多数决 keep/revert)
- Phase 2.5:探索性重写(按需触发)
- Phase 3:汇总报告
9 维评估 rubric(总分 100):
- 结构维度(59 分):Frontmatter 质量、工作流清晰度、失败模式编码、检查点设计、可执行具体性、资源整合度
- 效果维度(35 分):整体架构、实测表现
- Meta-skill 维度(6 分):反例与黑名单
几个关键设计:
- paired 比较取代绝对分:同一 judge 一次读改前+改后,消除换尺噪音
- 奇数 N 多数决:3 个独立 judge 投票,避免单个 judge 的偏见
- 人在回路:每个 skill 优化完后暂停,用户确认再继续
- Runtime 中立性审查:skill 必须能在 50+ runtime 通用
它还有 8 条操作反例黑名单、10 条异常 fallback、学术依据(Microsoft Research SkillLens、SkillOpt、Karpathy autoresearch)。
适合谁:
- 做自己 skill、想系统提升质量的科研小组成员
- 需要 skill 评分和优化的人
- 想学“paired 比较 + 奇数多数决”方法论的人
用法: 把 SKILL.md 内容复制到你的 AI 工具里,说“优化 skill”或“skill 评分”触发。
评论 0
更多
登录后可点赞、收藏、评论和举报。
还没有评论,先发起一个具体问题。