最新があなたにとって最高とは限らない
新しいモデルのリリースごとにベンチマークスコアの表が提供されますが、それらのスコアのいずれもあなたのプロンプトで測定されたものではありません。glm 5.2 api keyをお探しの場合、バージョン番号を結果ではなくテストを実行する理由として扱ってください。リリース日、価格、コンテキストウィンドウ、制限などのモデルの詳細は検証できないため、ベンダーの公式ドキュメントで確認してください。
重要なのはより狭い質問です:あなたのワークロードにおいて、新しいモデルは拒否を減らし、回答の品質を高め、タスク完了時のコストを削減するか?もしその恩恵を特定できないなら、切り替える意味はありません。
また、過大評価と必要性を区別することも役立ちます。モデルの名前は、要件が変化するよりも速く変わることがよくあります。あなたの要件は、「フィクションのプロンプトを常に拒否しない」、「有効なJSONで回答する」、「1千リクエストあたりのコストが指定された金額を下回る」などのものです。それらを書き留め、各候補をそのリストに対して評価してください。
単一モデルのエンドポイント
代替案は意図的に退屈です。このAPIは、独立したプロバイダーが運営するオープンウェイトモデルである、モデルID uncensoredを公開します。これはベンダー間のルーターではなく、Zhipu、Z.ai、またはその他のラボの公式APIでもありません。あなたのコードはバージョン間で選択しないため、モデル名の移行を計画する必要はありません。
| プロパティ | 内容 |
|---|---|
| ベース URL | https://api.apikeyglm.com/v1 |
| モデル ID | uncensored |
| コンテキストウィンドウ | 100,000 トークン(プロンプトと補完を含む) |
| 料金 | 入力 1M トークンあたり $0.15、出力 1M トークンあたり $0.50 |
| 機能 | ストリーミング、関数呼び出し、JSON モード、透過的なサンプリングパラメータ |
| 制限 | フルキー:同時8件、1分あたり300件。トライアル:2件と60件 |
| 提供不可 | 画像、オーディオ、ビデオ、埋め込み、ファインチューニング |
詳細はdocsにあります。1つのモデルIDは監視すべき対象が1つであることを意味します。プロバイダーが時間とともに基盤となる重みを変更した場合、回帰テスト用セットでそれを知ることができます。
トレードオフは現実的です。単一の安定したモデルでは、リリース日に最新のリリースを提供することはできず、リクエストごとにパラメータ数の多いまたは少ないバリエーションを選択することもできません。その代わりに、短い統合、1つの価格、およびアナウンスを追跡する必要がないという利点が得られます。
まず回帰テストセットを構築する
実際の作業を模倣する20〜30個のプロンプトを作成します:典型的なユーザーメッセージを備えたシステムプロンプト、長いドキュメントの質問、構造化出力の要求、関数呼び出しのケース、および以前に拒否を引き起こしたいくつかのプロンプト。受け入れた回答とともに保存します。次に、候補モデルのすべてに対してセットを実行して比較します。このスクリプトは、JSONリストに保存されたプロンプトを使用して、セットをエンドポイントに送信し、回答をファイルに書き込みます:
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.apikeyglm.com/v1", api_key="YOUR_KEY")
prompts = json.load(open("prompts.json")) # a list of strings
results = []
for p in prompts:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p}],
temperature=0.2,
seed=7,
)
results.append({
"prompt": p,
"answer": r.choices[0].message.content,
"tokens_in": r.usage.prompt_tokens,
"tokens_out": r.usage.completion_tokens,
})
json.dump(results, open("answers_uncensored.json", "w"), indent=2)
ベースURL、キー、モデル名を変更して、他のプロバイダに対して同じスクリプトを実行します。最初のラウンドは手動で2つの出力ファイルを比較します。どの違いが重要かを知った後に、自動スコアリングを行います。
比較すべき項目
拒否
拒否または強く限定された回答を得たプロンプトを数えます。法的なコンテンツ(ダークなテーマを持つフィクションなど)が継続して拒否される場合、それは移動するための具体的な理由です。あなたのセット内のどのプロンプトも拒否を引き起こさない場合、この軸はタイになります。
コンテキスト
実際の最長入力を送信します。このAPIはプロンプトとコンプリーションの合計で最大100,000トークンを処理します。他のモデルの制限をドキュメントで確認し、リクエストが受け入れられるだけでなく、長いプロンプトの最後近くでの回答の質が維持されるか確認してください。
レイテンシ
ストリーミングを使用して、1日のさまざまな時間帯で、あなたのコードを実行するサーバーから初トークンまでの時間を測定します。ブログ記事から数字をコピーしないでください。
タスクあたりのコスト
スクリプトが保存したトークン数を使用してください。3,000の入力トークンと500の出力トークンを持つタスクの場合、このAPIのコストは 0.003 x $0.15 + 0.0005 x $0.50 = $0.00045 + $0.00025 = $0.0007 です。他のプロバイダーの料金を同じ数に適用してください。料金ページにはレートカードとチャージボーナスが記載されています。
驚きなくプロンプトを移行する
OpenAI互換のエンドポイントであっても、モデルは指示の読み取り方が異なります。以下の変更を計画してください:
- システムプロンプト。 1つのモデル向けに調整されたプロンプトは、別のモデルでは異なる読み方をする可能性があります。トーンとフォーマットルールを再テストしてください。
- サンプリング設定。 1つのモデルに適した温度は、別のモデルでは高すぎたり低すぎたりする可能性があります。創造的な作業には0.7、構造化出力には0.2から始めて、調整してください。
- ツールスキーマ。 説明は短くし、冗長な解釈を避けてください。必須フィールドが実際に埋められていることをテストしてください。
- 出力フォーマット。 JSONを解析する場合は、
response_formatを介してJSONモードを使用し、解析エラー用のフォールバックを保持してください。 - ストップシーケンス。
stopパラメータは透過的に渡されますが、区切り文字が通常の出力に含まれないか確認してください。
一度に1つの変更を行ってください。モデルを交換し、同じステップでプロンプトを書き直す場合、どちらの変更が役立ったか分かりません。
新しい名前に留まるべき時
- テストにより、あなたのプロンプトに対して明らかに優れた回答が得られます。
- 画像入力や埋め込みなど、このAPIが欠いている機能が必要です。
- ベンダーの公式サポート条項またはコンプライアンス書類が必要です。
安定したエンドポイントを優先すべき場合:バージョンアップのない予測可能なコードを望む場合、OpenAI形式のドロップインを望む場合、前払いクレジットから暗号資産で支払う場合、または他のモデルが拒否するコンテンツを扱う場合。このモデルは、法的な成人利用に対してコンテンツ拒否なしで回答します。唯一の厳格な制限は、未成年者が関わる性的コンテンツの禁止です。
短い決定記録
後で再検討できるように決定を書き留めてください。4行で十分です:
- 移行の理由。可能であれば数字を含む1文で。
- 日付と回帰セットのサイズ。
- 拒否、品質、レイテンシ、タスクあたりのコストの結果。
- 再検討させる条件(テストしたい新しいリリースなど)。
これにより、モデル名の追跡が習慣になるのを防ぎます。新しいバージョンが登場すると、同じセットを再実行し、同じ4つの列を比較します。プロジェクト並みの手間ではなく、半日で終わります。
実際の切り替え
APIはOpenAI形式に従うため、OpenAIスタイルのエンドポイントにすでにアクセスしているクライアントで試すには、ベースURL、キー、モデル名の3つの変更が必要です。失敗または拒否されたリクエストは請求されないため、エラーが発生するテストランはクレジットを消費しません。キーページで$0.50のトライアルを受け取り、7日間有効でカード不要、回帰セットを実行してください。429が表示された場合、エラーコードを読んでください:rate_limitedは1分あたりのリクエスト数を意味し、concurrencyは一度に多すぎます、Retry-After: 5ヘッダーは一時的な過負荷を示します。
他のモデルブランドとの統合パターンについては、Kimi apikey統合ガイドを参照してください。
トラフィックの一部のみを移動する場合は、構成にスイッチを追加して数分でロールバックできるようにしてください。どのモデルが各リクエストに応答したかのログを保持し、苦情をバージョンに追跡できるようにしてください。
