正解データで精度を測る

しくみ

Anthropic の公式ドキュメントでは、スキルを作るときは「評価（テスト）を先に作る」ことが勧められています。手順は次のとおりです。

1. スキルなしでClaudeに頼み、うまくいかない点を見つける
2. その点を確かめるテストを、3つ作る
3. スキルなしでの結果を記録する（比べる基準にする）
4. うまくいかない点を補う、最小限の指示をスキルに書く
5. テストをやり直し、結果を見ながら直していく

Agent Skills のベストプラクティスでは、評価を自動で実行する仕組みは標準では用意されておらず、利用者が自分で評価の方法を作るものとされています。ただし Claude Code には、評価を手伝う skill-creator プラグインや、プラグインに入れたスキルを評価する claude plugin eval という命令があります（公式ドキュメントより）。これらは、それぞれ独自の形式の評価ファイルを使います。また、「評価は、スキルの効果を測るための、よりどころ（source of truth）」と説明されています。

経理の仕事には、もともと正解がはっきりしている作業が多くあります（照合の差異、税区分の判定など）。このサイトの練習データの「答え合わせ用ファイル」は、そのまま評価セットとして使えます。

評価セットの形

公式ドキュメントで紹介されている形にならい、ひな形の evals.json では、テストを次のように書いています（1つ目のテストの例）。

{
  "skills": ["shiwake-check"],
  "query": "test-files/r5_shiwake_202609.csv の仕訳をチェックしてください。",
  "files": ["test-files/r5_shiwake_202609.csv"],
  "expected_behavior": [
    "チェックした件数を30件と答える",
    "伝票0003・0004・0005・0007・0008・0014・0015・0017・0025の9件を「誤り」として指摘する",
    "伝票0016を「誤り」ではなく「要確認」として挙げる",
    "税区分の指摘ごとに、国税庁のタックスアンサーなど公式の根拠の名前を挙げる"
  ]
}

ひな形の3つのテスト

経理のチェックでは、誤りを見逃さないことと同じくらい、正しいものを誤りと言わないことが大切です。誤った指摘が多いと、確認の手間が増え、やがて指摘が信用されなくなるからです。T2・T3 は、そのためのテストです。

進め方

1. ひな形（keiri-evals.zip）を展開します。
2. R5 のスキル（shiwake-check）を登録した状態で、新しいチャットを始め、T1 の文章とファイルを渡します。
3. 結果を「期待される動き」と見比べ、採点表（saiten_hyou.csv）に○×と気づいたことを書きます。
4. T2・T3 も、それぞれ新しいチャットで同じように行います。
5. スキルをオフにして同じテストを行い、スキルあり・なしの結果を比べます。公式ドキュメントでも、スキルがある場合とない場合を、それぞれ新しいセッションで比べる方法が案内されています。

採点表の記入例（架空の結果です）：

×がついたテストがあれば、スキルの指示を直し、すべてのテストをやり直します。この記録を続けると、「このスキルは、どのテストに合格した版か」を説明できるようになります。