測定する項目
タスクの正確性、セキュリティ指摘、回帰不具合、検証完了までの時間、人による修正、トークン使用量。
検証プログラム
本当に重要な成果を、 測る。
価値は検証できてこそ伝わります。ブラインド評価を実施中です。手法と検証済みの結果をここに公表します。
ブラインド評価を実施中
比較結果の報告方法
比較可能な課題、明示したエージェント・モデルの版、固定条件、適切な場合のブラインド評価を採用。サンプル数、日付、不確実性を記載します。
現在確認できること
製品機能は文書化済みです。評価未完了のため比較性能は未公表。モデル順位や改善率は示していません。
CodePulse
次の変更を、 根拠を持って送り出す。
エージェントはそのままに。アプリケーションの管理を手元に。リリースの判断には証拠を。