koudenpaのブログ

趣味のブログです。株式会社はてなでWebアプリケーションエンジニアをやっています。職業柄IT関連の記事が多いと思います。

OpenAI Batch APIを実際に使って分かった「24時間」の問題

※本記事はOpenAI Batch APIの体験があまりにも悪いことにムカついた気持ちと実績をChatGPTにまとめてもらったものです。24時間のウィンドウが示されていても普通はキューに貯まったジョブが順次処理されて早期に完了して応答あるでしょ? 実際Geminiはそうじゃん?? あまつさえ24時間超過して期限切れとかゴミすぎるだろ??? 位の気持ちが完全にスポイルされて社会性とエクスキューズにまみれた記事に仕上がっています。


OpenAI APIには、大量のリクエストを非同期で処理するためのBatch APIがあります。

通常のAPIリクエストとは異なり、Batchでは即時レスポンスを必要としない処理をまとめて投入できます。その代わり、同期APIより低コストで利用できることが特徴です。

OpenAIの公式ドキュメントでは、Batch APIについて24時間以内の処理を目標としており、同期APIと比較して50%のコスト割引が案内されています。

https://help.openai.com/ja-jp/articles/9197833-batch-api-faq

今回、画像生成APIをBatchで実際に運用してみたところ、気になった問題がありました。

それは、

Batchが in_progress になっていても、実際にリクエストの処理が始まっているのか、それとも単に待機しているのかが分からない

という問題です。

さらに、同じような非同期Batch処理を提供しているGoogle Gemini APIとも比較してみると、この違いがより分かりやすく感じられました。

1. Batch APIを使う理由

Batch APIを使う理由は明確です。

例えば大量の画像を生成する場合、すべてを同期APIで処理する必要がなければ、Batchにまとめて投入することでコストを抑えられます。

OpenAIはBatch APIについて、通常の同期APIと比較して50%のコスト割引を案内しています。

つまり、

通常API
↓
高コストだが即時実行

Batch API
↓
非同期
↓
低コスト

という使い分けを期待できます。

本番環境で大量処理を行う場合、この価格差は無視できません。


2. 問題は in_progress の意味

今回、画像生成Batchを投入すると、ほぼすぐに

in_progress

へ移行しました。

しかし、ここで疑問が生じます。

この in_progress は、

キューに入って待機している

のでしょうか。

それとも、

Workerが割り当てられている

のでしょうか。

あるいは、

実際に画像生成モデルの推論が開始されている

のでしょうか。

公開されているBatchステータスだけでは、これらを区別できません。

OpenAIの公式ドキュメントでは、Batchのステータスとして validating、in_progress、finalizing、completed、expired、cancelling、cancelled などが定義されています。

in_progressについては、ファイルの検証が成功し、Batchプロセスが進行中であると説明されています。

しかし、ユーザーから見て、

「待機中なのか、実行中なのか」

を判断できる専用ステータスはありません。


3. 実際に発生したBatch

今回の検証では、複数のBatchを投入しました。

実際のBatch IDやUUID、時刻などは公開しないため、以下ではすべて匿名化・架空化しています。

例えば、

batch_example_001
batch_example_002
batch_example_003

とします。

最初のBatchでは、

Batch created
↓
in_progress
↓
約24時間経過
↓
expired

という状態になりました。

最終的な各リクエストには、

{
  "error": {
    "code": "batch_expired",
    "message": "This request could not be executed before the completion window expired."
  }
}

というエラーが記録されました。

つまり、

Batch自体は in_progress だったが、リクエストは実行されないままcompletion windowを迎えた

という結果です。


4. 複数Batchで同様の結果

さらに別のBatchでも同様の状態を確認しました。

匿名化した結果を表にすると、次のようになります。

Batch 最終状態 リクエスト数 実行されたリクエスト
batch_example_001 expired 4 0
batch_example_002 expired 4 0
batch_example_003 cancelled 4 0

最初の2つは期限切れまで待ちました。

3つ目は長時間 in_progress のままだったため、手動でキャンセルしました。

結果として、3つのBatchを合わせた12件のリクエストでは、実行されたリクエストはありませんでした。


5. ここで問題になる「観測可能性」

今回の問題は単純に、

Batchの処理が遅かった

という話ではありません。

問題は、

処理が実際に進んでいるのかどうかをユーザー側から判断できない

ことです。

例えば、

in_progress

と表示されていても、

┌────────────────────────────┐
│ in_progress                │
├────────────────────────────┤
│ キュー待機中?              │
│                            │
│ Worker割り当て済み?        │
│                            │
│ 推論開始済み?              │
│                            │
│ 実際に処理中?              │
└────────────────────────────┘

のどこにいるのか分かりません。

そのため、

「このBatchは順調に進んでいるから待つべき」

なのか、

「まだ実行すらされていないので、別の方法に切り替えるべき」

なのかを判断できません。


6. Gemini Batch APIとの比較

ここで、同じような非同期Batch処理を提供しているGoogle Gemini APIと比較してみました。

Gemini Batch APIも、標準料金の50%で利用でき、24時間のターンアラウンドを目標としています。

一方で、ジョブの状態については、

JOB_STATE_PENDING
JOB_STATE_RUNNING
JOB_STATE_SUCCEEDED
JOB_STATE_FAILED
JOB_STATE_CANCELLED
JOB_STATE_EXPIRED

という状態が定義されています。

特に重要なのが、

JOB_STATE_PENDING

と

JOB_STATE_RUNNING

が分離されていることです。

公式ドキュメントでは、PENDING はサービスによる処理を待機している状態、RUNNING はジョブが進行中の状態として区別されています。

つまり少なくともAPI上は、

PENDING
↓
処理待ち

RUNNING
↓
処理中

というライフサイクルを観測できます。

OpenAIのBatch APIでは、これに相当する独立した pending / queued 状態が公開されていません。

この違いは、実際の運用ではかなり大きいと感じました。


7. 実際のGemini Batchでの体感

これは公式ベンチマークではなく、私自身が同時期に実際に利用した際の経験です。

Gemini Batchでは、ジョブを投入すると、

待機
↓
処理開始
↓
完了

という流れが比較的素直に観測できました。

もちろん、Batchなので即時実行されるわけではありません。

一定の待ち時間はあります。

しかし、

「待っているだけなのか、処理が進んでいるのか分からない」

という不透明さは、今回のOpenAI Batchほど強く感じませんでした。


8. 大量画像生成での比較

特に印象的だったのが、先行してGeminiに投入した画像生成Batchです。

約80枚の画像生成リクエストをBatchとして投入したところ、

約7分程度で全件成功して完了

しました。

これはあくまで私自身の一回の実測であり、Gemini Batchの一般的な性能を保証するベンチマークではありません。

システム負荷、モデル、リクエスト数、画像サイズなどによって結果は変わるはずです。

しかし、少なくとも同じような「大量画像生成を非同期Batchで処理する」という用途で、

Gemini
大量投入
↓
一定の待ち時間
↓
処理
↓
約7分で約80件完了

という体験が得られた一方で、

OpenAI
投入
↓
in_progress
↓
長時間経過
↓
実際に処理されたか分からない
↓
最終的にexpired

という経験になったことは、利用者として無視できない違いでした。


9. これは「Geminiの方が速い」という単純な比較ではない

ここは明確にしておきたいところです。

今回の比較から、

「Gemini Batchの方が常に速い」

とは言えません。

私が行ったGeminiの約80件・約7分という結果は、あくまで一回の実測です。

また、両サービスでは、

  • 使用モデル
  • リクエスト内容
  • 画像サイズ
  • システム負荷
  • アカウントの利用状況
  • バッチサイズ

などの条件が異なる可能性があります。

したがって、単純な速度ランキングを作ることがこの記事の目的ではありません。

重要なのは、

ジョブがどの状態にあり、処理が実際に進んでいるのかを利用者が判断できるか

という点です。


10. 「24時間」という数字だけでは足りない

OpenAIの公式FAQでは、Batchについて24時間以内の処理を目指すと説明されています。

しかし、ユーザーが必要としているのは、最終的な24時間という数字だけではありません。

例えば、

投入
↓
30分経過
↓
1時間経過
↓
3時間経過
↓
6時間経過

となった場合、

正常に処理中

なのか、

6時間ずっとキューで待っている

のかによって、取るべき行動が全く違います。


11. 本番システムでは「待ち続ける」という選択ができない

これは開発者にとって非常に重要です。

Batchを使う場合、

Batchに投入
↓
いつか完了する
↓
結果を取得

というワークフローを作りたくなります。

しかし、本番システムでは、

いつ処理が始まるか分からない

という状態は、そのまま運用上のリスクになります。

例えば、

Batchを待つ
↓
一定時間を超える
↓
同期APIにフォールバック

という仕組みを作る必要が出てきます。


12. 結果としてコストが増える

ここにはBatchの価格設計との矛盾もあります。

Batchを利用する理由の一つは、

同期APIより低コストで大量処理できる

ことです。

しかし、

Batch
↓
処理開始時期が分からない
↓
本番処理を待たせられない
↓
同期APIへフォールバック

となれば、

Batchを使うことで期待していたコストメリットを享受できない

という問題になります。

むしろ、フォールバック用の同期API実行によって追加コストが発生します。

今回のケースでは、Batchの信頼性が確保できないため、業務を止めないために同期実行へ切り替える必要が生じました。

これは単なる「速度の問題」ではなく、実際の運用コストに関係する問題です。


13. こういう情報が欲しい

Batch APIを本番環境で利用するなら、個人的には次のような情報があると非常に助かります。

Batch単位

queued_at
worker_assigned_at
execution_started_at
completed_at
queue_wait_duration
processing_duration

リクエスト単位

queued
assigned
executing
completed
failed
expired_without_execution

例えば、

Batch: in_progress

Queue status:
  waiting

Requests:
  4 / 4 waiting

Queue wait:
  3h 42m

Execution:
  not started

のような情報があれば、利用者は状況を判断できます。


14. 特に欲しいのは「実行されていない」という情報

今回もっとも困ったのは、

in_progress

という表示だけでは、

「4件の画像生成が実際に開始された」

とは判断できなかったことです。

最終的には、

batch_expired

となり、

This request could not be executed before the completion window expired.

という結果になりました。

つまり、

Batchが存在していること

と

Batch内のリクエストが実際に実行されていること

は別の問題です。

この区別をAPI/UI上で明確にしてほしい、というのが今回の主な問題提起です。


15. エラーリカバリでも同じ問題が起きる

最初のBatchが期限切れになったため、エラーリカバリとして新しいBatchを投入しました。

このBatchも、

created
↓
in_progress
↓
0 completed
0 failed

という状態になりました。

もちろん、これだけの経過時間で障害と断定することはできません。

しかし、

「今回は正常にキューで待っているのか?」

「また実行されないまま期限切れになる可能性があるのか?」

を利用者側から判断できないことが問題です。


16. Batchは「速度」だけではなく「可観測性」が重要

今回の経験から、Batch APIを評価するときには、

処理速度

だけではなく、

可観測性

も重要だと感じました。

特に大量処理では、

  • 今どこまで進んでいるのか
  • まだ待機中なのか
  • 実行が開始されたのか
  • 失敗したのか
  • いつまで待つべきなのか

が分からないと、システム側で適切な判断ができません。


17. OpenAIに改善してほしいこと

個人的には、以下のような改善を期待しています。

1. queued / pending と executing の分離

少なくとも、

pending
↓
running
↓
finalizing
↓
completed

のように、待機と実行を区別してほしいです。

2. 実行開始時刻の公開

execution_started_at

があれば、

「まだ一度も実行されていない」

ことを判断できます。

3. キュー待ち時間の公開

queue_wait_duration

があれば、現在のBatchがどれくらい待機しているのか把握できます。

4. リクエスト単位の状態

Batch全体ではなく、

4 requests

queued: 4
running: 0
completed: 0
failed: 0

のような状態が見えると、運用性が大きく向上します。


18. まとめ

今回の経験から感じた問題をまとめると、

OpenAI Batch APIの問題は、単純に「処理が遅い」ことではない。

より重要なのは、

in_progress の中で何が起きているのかが利用者から見えないこと

です。

Gemini Batchでは公式仕様上、

PENDING
↓
RUNNING
↓
SUCCEEDED

という状態が明確に分離されています。

一方、OpenAI Batchでは公開されている状態だけでは、待機と実行を同じ in_progress として扱うことになります。

私自身の利用では、Geminiで約80件の画像生成Batchを投入した際、約7分程度で全件成功して完了しました。

一方、OpenAIでは複数の小規模Batchで、in_progress の状態から実際のリクエストが実行されないまま期限切れになるケースを経験しました。

もちろん、この一連の結果だけから両サービスの一般的な性能を断定することはできません。

しかし、

「自分のジョブが今どこにあるのか」を利用者が判断できること

は、本番環境で非同期処理を利用する上で非常に重要です。

Batch APIを本番利用するのであれば、

安いことだけではなく、待機・実行・完了までのライフサイクルが観測できること

も重要な品質だと思います。


参考資料


注意事項

この記事では、実際に発生した事象を説明するために、Batchの状態やエラーの種類などを記載しています。

一方、個別のBatch ID、request ID、UUID、正確な時刻、ファイル名などの識別情報は公開していません。

また、OpenAIおよびGoogleのBatch APIについて、単一の実測結果からサービス全体の性能を断定することは避けています。

Geminiについて記載した「約80件を約7分で完了」という数値は、筆者自身の特定条件下での実測値であり、一般的な処理時間を保証するものではありません。

この記事の目的は、特定のサービスを一方的に評価することではなく、非同期APIにおけるジョブ状態の可観測性と、本番運用時の信頼性について考えることです。