shirokuronoir

AI計算コスト、GPU追加前に測る3指標

AI計算コスト、GPU追加前に測る3指標

AI計算コスト、GPU追加前に測る3指標

AIの処理が遅くなると、最初に考えがちなのはGPUやクラウド枠の追加です。しかし、現在の設備がどれだけ使われ、1件の成功処理にいくら掛かっているかが見えないまま増強すると、支出だけが先に膨らみます。

先に結論

追加投資の前に、次の3指標を同じ期間、同じ処理単位で記録します。

1. 成功処理1件あたりの総コスト

2. GPUの実効利用率とアイドル時間

3. 業務成果1件あたりのAIコスト

価格表の「100万トークンあたり単価」だけでは、再試行、待機、データ転送、保存、監視まで含む総コストは分かりません。まず1週間だけ実測し、無駄を減らしてから増強を判断するのが安全です。

計測より購入が先になっている

VentureBeatの調査では、従業員100人超の組織107件を対象にAIインフラの運用状況を確認しています。GPUを運用する100組織のうち83組織が利用率50%以下と回答し、AI計算費用と効果を厳密に追跡できている組織は44%でした。

一方、64%は12カ月以内にインフラ提供元を変更または追加する意向を示しています。購入先の判断材料は既存環境との統合が41%、総保有コストが35%で、100万トークンあたりの単価は8%でした。

これは「安い単価を探す前に、現在の設備と処理の実態を測る必要がある」と読むべき結果です。ただし、調査は2026年6月の単一波、自己選択式で中規模組織に寄った107件です。市場全体の精密な推計ではなく、方向を判断する材料として扱います。

今日から測る3指標

1. 成功処理1件あたりの総コスト

請求額をリクエスト数で割るだけでは、失敗や再試行が隠れます。次の形で成功した処理を分母にします。

`成功処理単価 = (計算費 + API費 + 転送費 + 保存費 + 監視費) ÷ 成功件数`

バッチ処理なら完了ジョブ数、生成AIなら採用された出力数を成功件数にします。失敗件数と再試行回数も別列に残すと、単価上昇の原因を追えます。

2. GPUの実効利用率とアイドル時間

平均利用率だけでなく、割り当てた時間のうち実際に処理した時間を見ます。

`実効利用率 = GPUが処理した時間 ÷ GPUを確保した時間`

NVIDIAの公式ドキュメントでは、DCGM ExporterでGPU指標をPrometheusへ公開し、Grafanaで可視化する構成が案内されています。日別平均に加え、0%付近の時間帯、メモリ使用量、処理待ち時間を並べると、過剰割り当てやスケジュールの偏りを見つけやすくなります。

3. 業務成果1件あたりのAIコスト

技術指標が良くても、業務で使われなければ投資判断はできません。記事なら公開採用数、問い合わせ対応なら解決件数、開発支援なら受け入れられた変更数など、実際の成果を分母にします。

`成果単価 = 対象期間のAI総コスト ÷ 採用・完了した成果数`

品質確認で却下された出力を成功扱いにしないことが重要です。

30分で作る計測表

最初から大きなダッシュボードを作る必要はありません。表計算に次の列を用意し、まず7日間記録します。

| 日付 | 処理名 | 提供元・モデル | 成功件数 | 失敗件数 | GPU確保時間 | 平均利用率 | 総コスト | 成功処理単価 | 業務成果 |

|—|—|—|—:|—:|—:|—:|—:|—:|—:|

| 7/18 | 画像生成 | 例: GPU-A | 42 | 6 | 12時間 | 34% | 4,800円 | 114円 | 31件 |

複数クラウドの請求データを合わせる場合は、FinOps Open Cost and Usage Specification（FOCUS）が役立ちます。FOCUSはAI、クラウド、SaaS、データセンターなどの請求データを共通形式へ正規化する公開仕様です。

買い増し判断の順序

1. 同じ処理単位で7日間測る

2. アイドル時間、失敗、再試行の多い箇所を特定する

3. バッチ化、実行時間の集約、割り当て縮小を試す

4. 同じ処理を候補環境で小さく比較する

5. 成功処理単価と成果単価が改善した場合だけ増強する

特に、平均利用率が低いのにピーク時だけ遅い場合は、常時増強よりキュー制御や時間帯分散のほうが安く解決できる可能性があります。

運用上の注意

クラウド請求とGPU監視では、時刻、集計間隔、割引の反映時期が異なります。日付とタイムゾーンを揃え、確定請求と速報値を混ぜないようにします。

また、提供元の価格表だけで比較せず、転送、保存、監視、最低利用時間、予約契約を含めてください。測定期間が短い場合は、結論ではなく仮説として扱います。

関連記事

著者情報

しろのあ。Codexを使ったブログ運用、AIツールの検証、個人開発の記録を、実際の手順と一次情報を確認しながらまとめています。

出典