跳到主要内容
火花工坊
一个 skill 优化 skill:9 维评分 + 独立 judge + 人在回路

一个 skill 优化 skill:9 维评分 + 独立 judge + 人在回路

来源:GitHub 仓库 hanzhenlin/tidex-awesome-skills 文件约 400 行,约 18 KB

一个自主优化 skill 的 skill,Darwin Skill 2.0。

它解决的是:手里有 skill,但不知道怎么系统地评估它、改进它。

它的流程:

  • Phase 0:初始化
  • Phase 0.5:测试 Prompt 设计
  • Phase 1:基线评估(9 维 rubric + 子 agent 实测)
  • Phase 2:优化循环(诊断短板 → 提改进方案 → 执行 → paired 重评估 → 多数决 keep/revert)
  • Phase 2.5:探索性重写(按需触发)
  • Phase 3:汇总报告

9 维评估 rubric(总分 100):

  • 结构维度(59 分):Frontmatter 质量、工作流清晰度、失败模式编码、检查点设计、可执行具体性、资源整合度
  • 效果维度(35 分):整体架构、实测表现
  • Meta-skill 维度(6 分):反例与黑名单

几个关键设计:

  • paired 比较取代绝对分:同一 judge 一次读改前+改后,消除换尺噪音
  • 奇数 N 多数决:3 个独立 judge 投票,避免单个 judge 的偏见
  • 人在回路:每个 skill 优化完后暂停,用户确认再继续
  • Runtime 中立性审查:skill 必须能在 50+ runtime 通用

它还有 8 条操作反例黑名单、10 条异常 fallback、学术依据(Microsoft Research SkillLens、SkillOpt、Karpathy autoresearch)。

适合谁:

  • 做自己 skill、想系统提升质量的科研小组成员
  • 需要 skill 评分和优化的人
  • 想学“paired 比较 + 奇数多数决”方法论的人

用法: 把 SKILL.md 内容复制到你的 AI 工具里,说“优化 skill”或“skill 评分”触发。

评论 0

更多

登录后可点赞、收藏、评论和举报。

还没有评论,先发起一个具体问题。

0/2000
一个 skill 优化 skill:9 维评分 + 独立 judge + 人在回路 - 火花工坊