音声原稿 04-c：バッチとレビューの分け方
このパートでは、待ち時間が許されない仕事をバッチに置かないことと、レビューを書いた会話から切り離し、パスを分けることを扱います。ノートの、バッチの窓、失敗だけを戻す、誰が何パスで見るか、空のキャッチの判定、と同じ中身です。
メッセージバッチのAPIは、同期の呼び出しより、費用がおよそ半分です。その代わり、処理の窓は最大で二十四時間で、遅延の保証はありません。多くの場合は早い、は、マージのボタンの前で待っている人の保証になりません。
向くのは、夜間の報告、週次の監査、夜間のテスト生成です。マージ前の危険な変更のチェックのように、結果が来るまで次へ進めない仕事は、同期のAPIです。両方をバッチへ移す提案は、費用の半分と、待ちの上限を同時に見て、否にします。遅いときだけ同期へ落とす切替は、用途を分ける前の複雑さです。最初から、同期に置きます。
バッチの一つの依頼は、途中でツールを実行して結果を戻し、続きを生成する、という往復ができません。ツールの往復が必要なエージェントのループを、バッチの一行に押し込めません。抽出のように、文書を渡して構造が返る単発は置けます。
依頼と応答は、カスタムアイディーで結びます。失敗した文書だけを再送します。成功分まで投げ直すと、半分になった費用が戻ります。文脈に入らなかった文書は、分割してから再送します。同じ識別子のまま再送すると、どの版の失敗かがログで混ざるので、再送は新しい識別子にし、元の識別子を欄に残します。
百件に、ドックゼロゼロ一から識別子を振り、夜間に送ります。朝、四件が文脈の長さで失敗し、九十六件は成功です。再送は四件をページで分割し、ドックゼロ一四のピー一、のように新しい識別子を付け、元の識別子を参照欄に残します。九十六件を同じバッチへ混ぜると、成功分の費用がもう一度かかり、同じ抽出が二版できます。下流は、識別子で、この文書の最新の成功を一枚に決めます。
大量投入の前に、数十件の見本で、プロンプトとスキーマを直します。初回の失敗率が高いまま一万件を送ると、再送が本実行より高くなります。
送信の間隔は、約束した時間から逆算します。処理が最大二十四時間なら、到着から次の送信までの最悪の待ちと、二十四時間の和が、約束の内側に要ります。三十時間の約束に対して四時間ごとに送ると、四足す二十四は二十八で、内側に収まります。間隔を六時間に広げると、六足す二十四で、約束を割れます。間隔は、約束から最大の処理を引いた残りより、短く取ります。たいてい早い、は、この最悪の計算に入れません。
誰がレビューを見るか、です。同じ会話の自己レビューは、生成のとき、この境界でよい、と判断した文が履歴に残っています。見直せ、と言われると、その判断を擁護します。思考を長くする指定も、同じ履歴の上で起きます。差分と基準だけを渡した、別の実行のほうが、前提を持たないので矛盾を見つけます。
十四ファイルを一つのパスで見ると、注意が一部に寄ります。あるファイルは詳細で、別のファイルは表面的で、同じパターンを片方では指摘し、片方では通します。ファイルごとの局所パスと、ファイルをまたぐデータの流れのパスに分けます。より大きい窓のモデルへ取り替えても、一度に配る注意の偏りは残ります。開発者に小さい変更だけを義務づけるのは、レビューの構造を直していません。三回実行して、二回以上出たものだけ残す多数決は、たまにしか出ない本物の欠陥を、合意が無いという理由で落とします。
三つのファイルに、同じ空のキャッチがあります。一つのパスでは、最初のファイルだけを、例外を消している、と書き、三番目は、既存の様式、と書きます。ファイルごとに同じ基準の文を渡すと、三ファイルとも同じ重大度になります。そのあと横断のパスは、そのキャッチが呼ぶ先のエラーが、別のサービスへ伝わるかを見ます。局所のパスは様式を揃え、横断のパスは影響の到達を見ます。一つのパスに両方を頼むと、様式の判断と影響の判断が、同じ注意の中で入れ替わります。
各指摘に確信度を添えるパスは、人へ回す優先の材料にはなります。その数値を確率として閾値に使う前に、ラベルの付いた集合で校正します。校正は、次の章です。未校正の数値で、自動的に通してはいけません。指摘には、検出したパターンを残し、却下された形を基準の改善に戻します。
このパートの判断は、こうです。バッチは、人を待たせず、ツールの往復も要らない仕事です。失敗は識別子単位で、新しい識別子にして再送します。間隔は、約束から最大の処理を引いた残りより短くします。レビューは別の実行です。多数のファイルは、ファイル単位のあと横断です。多数決と、より大きい窓は、注意の偏りを直しません。
窓の計算を、時刻で置き直します。文書は午前零時に届きます。送信が四時間ごとなら、最悪でも四時には送られます。処理が上限の二十四時間を使っても、翌朝の四時、つまり届いてから二十八時間です。三十時間の約束の内側です。送信が六時間ごとなら、六時の送信が、その二十四時間後、届いてから三十時間を超えます。間隔は、約束から最大の処理を引いた残りより短く取ります。たいてい朝には終わる、は、この最悪に入れません。マージの前の危険チェックを、遅かったら同期に落とす、でバッチへ入れると、落ちるまでの待ちがマージの待ちです。最初から同期に置きます。バッチは、夜間の報告のように人が待っておらず、文書を渡して構造が返る単発だけです。途中でツールを往復するループは、一行に押し込めません。
失敗の再送を、百件で追います。朝、四件が文脈の長さで失敗し、九十六件は成功です。再送は四件だけをページで分割し、新しい識別子を付け、元の識別子を参照に残します。九十六件を混ぜると、成功分の費用がもう一度かかり、同じ抽出が二版できます。下流は、文書ごとに最新の成功を一枚に決めます。同じ識別子のまま再送すると、どの版の失敗かがログで混ざります。大量の前に数十件で失敗率を見ます。高いまま一万件を送ると、再送が本実行より高くなります。費用がおよそ半分になるのは、この制約を飲んだ仕事だけです。
空のキャッチが三ファイルにあるとき、一つのパスは最初だけを例外の握りつぶしと書き、三番目を既存の様式と書きます。ファイルごとに同じ基準を渡すと、重大度が揃います。横断のパスは、その握りつぶしが別サービスの呼び出し元で成功に見えるかを見ます。局所は様式、横断は影響、です。一つのパスに両方を頼むと、判断が入れ替わります。より大きい窓も、変更を三ファイルに限る規則も、三回の多数決も、パスの入力を小さくしません。多数決は、たまにしか出ない本物を、合意が無いという理由で落とします。指摘には検出したパターンを残し、却下された形を基準へ戻します。レビューは、差分と基準だけの別実行です。生成の理由が履歴にある会話は、その理由を擁護します。
多数決が落とす欠陥の具体です。十四ファイルのうち、認証の抜けが一つのファイルにだけあり、三回の実行のうち一回しか指摘されません。二回以上だけ残す規則は、その抜けを落とします。注意の偏りは、回数を増やしても、一つのパスの入力が大きいままなら残ります。ファイルごとに同じ基準を渡すと、その抜けは毎回同じ重大度になります。横断のパスは、その抜けが別サービスへ届くかを見ます。窓を大きくするだけの置換は、配る注意の偏りを残します。提出を三ファイルに限る規則は、レビューの構造を変えていません。