Kev API 互換性：サードパーティ適合性レポート

主張する互換性ではなく、実際にテストできる互換性

「Jev APIと互換性がある」は言うのは簡単だが、検証するのは難しい。そこでコミュニティのメンバーがテスト可能な仕様としてまとめ上げた：jevcompat — POST /v1/systemone契約に関する48の要件で、それぞれがTypeSafeのドキュメント、OpenAPIファイル、またはSDKソースを引用している。その後、このスイートは、APIを実装している最もスター数の多い8つのオープンサーバーに対して実行された。

Kev-0.8B (2874258, MLX, M1 Pro) は、MUSTの全32項目をクリアする2つのサーバーのうち1つです。具体的には以下が含まれます：

• 255オプションの制限まで選択オプションを受け入れる
• 10レベルの制限までスコアレベルを受け入れる
• model: "jev-latest"エイリアス解決
• 混合バッテリー — 1つのリクエスト内にノウル、選択、スコア質問を混在させ、回答はあなたのIDでキー指定
• オプション名を通じた非ASCIIテキストのラウンドトリッピング
• 公式typesafe-sdkによる、すべての回答タイプを修正せずに解析

記録されたすべてのやり取りを含む完全なレポート： results/kev/report.md — RUN.mdのserveコマンドと重みを、 あなたのマシン上で再現可能。

適合性でカバーされない事項

このスイートは、SHOULDレベルの要件も追跡している（Kevは12中10をパス；2つの未達成は認証エラー応答であり、報告された実行が認証オフで実行されたため未テスト、さらに1つのチェックは、サーバーがその対象となるエラーを生成しなかったため実行されなかった）。著者が後から提出した2つのSHOULDレベルの注釈がより興味深い部分である。なぜなら、両方とも、バイト同一の応答が依然としてより不適切な答えとなり得る箇所だからである：

スコア信頼度の正規化。 Kevは、スコア信頼度を 1 − E|level − mode| / (L − 1); TypeSafeの文書化された例では 1 − E|level − mode| / D、ここでDは分布の広がり。同じ証拠、 異なる分母 — 3段階の質問で測定した場合、Kevは信頼度 0.7535を返したが、参照式では0.260となる。クライアントがバックエンド間で信頼度 数値を比較すると、判断の質が同一でも異なる分布が見える。もし絶対閾値に基づくルーティング（ confidence-routing パターン）を行う場合、バックエンドごとにキャリブレーションを行うか、両方のバックエンドが公開する生の分布に基づいてルーティングを行う。

長文コンテキストにおける性能劣化はモデルの特性であり、仕様違反ではない。 スイートは合格しています。Kevの384トークンのトレーニングコンテキストを超えた精度は、仕様内に維持されません。スイートのTypeSafe選択項目において、Kev-9Bはトレーニングコンテキスト内で0.92のスコアを記録しましたが、より長いドキュメントでは0.75–0.79でした（Kev-4B: 0.88 / 0.88 / 0.81）。詳細な内訳と著者による提案された修正策については、長文コンテキストレシピをご覧ください。ステート設計に関するガイダンスはあらゆるバックエンドに適用されます。ステートのサイズはページのサイズではなく、意思決定のサイズに合わせてください。

broader point

48項目仕様はバックエンド非依存です。Kevを他の自己ホスト型Jev APIサーバーと比較検討している場合は、READMEではなく同じスイートを実行して数値を比較してください。仕様に準拠する2つの実装は、仕様の範囲外でも測定可能な違い（信頼度分布の形状、長期文脈の保持など）で異なりますが、これは適合性レポートでは可視化され、機能比較表では隠蔽されてしまうような性質のものです。

はじめに

• GitHub上のKev — 0.8B–9Bモデルファミリー
• jevcompat仕様 — 48件の要件
• HTTP APIリファレンス — テストされている公式契約
• 信頼度ゲート型ルーティング — 分布に基づいてルーティングし、バックエンドごとにキャリブレーション
• 自己一貫性テスト — 任意のバックエンドを同じ方法でストレステスト