GPT-5.5 Computer Use ガイド 2026:OpenAIのエージェント型モデルでデスクトップタスクを自動化する方法
GPT-5.5 のコンピュータ操作に関する実用的な 2026 年版ガイド — スクリーンショットとアクションのループ仕組み、設定方法、OSWorld ベンチマーク、コスト、そして Claude Computer Use より優れている点を解説。デスクトップおよびブラウザ自動化のためのステップバイステップ例付き。
OpenAIが2026年4月23日にGPT-5.5をリリースした際、注目を集めたのはハルシネーションの60%削減と、OSWorld-Verifiedでの78.7%への向上という数値でした。しかし、リリースノートの途中に埋もれていた本当に興味深い点は、Computer UseがGPT-5.5 APIで第一級の機能になったことです。ラッパーもCodex限定のアクセスも不要になり、API認証情報を持つ開発者なら誰でも、GPT-5.5にスクリーンショットを与えて、構造化されたクリック/入力/スクロールコマンドを受け取れるようになりました。
これはAnthropicが2025年後半にClaude Computer Useで提供したのと同じプリミティブであり、Microsoftが現在Copilot StudioのComputer Useエージェントとしてラップしているアーキテクチャとも同じです。違いは背後にあるモデルです。GPT-5.5は2026年に利用可能な最も強力なComputer Useモデルであり、実際の生産ワークロードに投入することを推奨できる初のモデルです。
このガイドは、「実際にこれをどう使うか」という実務的なドキュメントです。スクリーンショットとアクションのループアーキテクチャ、動作するコードテンプレート、エージェントの信頼性を高めるプロンプト、コストの実態、そしてタスクタイプ別でGPT-5.5がClaude Computer Useと比べてどう優位かについて解説します。
GPT-5.5のより広範なレビュー(ベンチマーク、全タスクでの料金、コーディング特化のパフォーマンス)については、当サイトのGPT-5.5レビューをご覧ください。この記事はComputer Use機能に特化しています。
そもそも「Computer Use」とは何か?
Computer Useは、LLMが人間のようにデスクトップを操作できるようにするプリミティブです。スクリーンショットを見て、実行するアクションを決定し、構造化されたコマンド(click x,y / type “text” / scroll / key combo)を出力します。これをループで囲めば、APIもMCPサーバーも統合もないアプリを含む、あらゆるアプリを操作できるエージェントが完成します。
これを正当化するユースケース:
- レガシーアプリの自動化。 ERPシステム、医療用EMR、証券取引端末、そしてモダンなAPIが決して提供されないであろうその他のWindowsデスクトップアプリ。
- 自動化ツールが失敗するブラウザタスク。Playwrightをブロックするサイト、複雑なSaaS UI、毎週UIが変更されるベンダーポータル。
- エンドツーエンドのワークフローテスト。実際にレンダリングされた挙動を検証する必要があるUIテストスイート。
- アクセシビリティツール。ユーザーの代わりにコンピュータを操作するエージェント。
導入する価値のないユースケース:
- APIが動作するもの。APIの方が安価で、高速で、信頼性が高い。
- SeleniumやPlaywrightで既にきれいに処理できるもの。
- 高スループットのタスク。スクリーンショットのループはどうしても遅くなる。
APIがあるタスクなら、APIを使うこと。コンピュータ操作はロングテール向けだ。
アーキテクチャ:スクリーンショットとアクションのループ
2026年のすべてのコンピュータ操作システム——GPT-5.5、Claude Computer Use、Marinerの後継——は同じループを実装している:
1. Your script captures a screenshot of the target environment.
2. Sends [screenshot + task description + history] to the model.
3. Model returns a structured action: click(x,y), type("text"), scroll(dy), key("Ctrl+S"), or done.
4. Your script executes the action in the target environment.
5. Go to step 1, until model returns "done" or you hit a step limit.
以上だ。モデルはコンピュータを直接「制御」するのではなく、アクションの説明を出力し、あなたのコードがそれを実行する。これは安全性にとって重要だ:すべてのアクションに対して、実行前にサンドボックス化、ログ記録、レート制限、ゲート制御が可能だからだ。
「コンピュータ」には以下が含まれる:
- 仮想デスクトップ(VM、ディスプレイ付きのDockerコンテナ)。
- ブラウザ(PlaywrightまたはPuppeteer経由のヘッドレスChrome)。
- リモートデスクトップ(RDP/VNCセッション)。
- 実際のノートパソコン(推奨しないが、可能ではある)。
セットアップ:最小限の実用可能なコンピュータ操作
3つのものが必要だ:
- GPT-5.5へのアクセス権を持つOpenAI APIキー。
- スクリーンショットを生成し、入力イベントを実行できる環境。
- ループ。
Playwrightを環境として使用した最小限の動作セットアップは以下の通り(ブラウザのみ——デスクトップの場合はpyautoguiまたはVMドライバに置き換える):
from openai import OpenAI
from playwright.sync_api import sync_playwright
import base64
client = OpenAI()
def screenshot_to_b64(page):
return base64.b64encode(page.screenshot()).decode()
def run_task(task: str, max_steps: int = 25):
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page(viewport={"width": 1280, "height": 800})
page.goto("about:blank")
history = []
for step in range(max_steps):
shot = screenshot_to_b64(page)
response = client.responses.create(
model="gpt-5.5",
tools=[{"type": "computer_use_preview",
"display_width": 1280,
"display_height": 800,
"environment": "browser"}],
input=[
{"role": "system", "content": "You are a careful browser agent. Plan, then act."},
{"role": "user", "content": [
{"type": "input_text", "text": task},
{"type": "input_image", "image_url": f"data:image/png;base64,{shot}"}
]},
*history
]
)
action = response.output[0]
if action.type == "done":
return action.summary
execute_action(page, action)
history.append({"role": "assistant", "content": action.model_dump_json()})
return "max_steps_exceeded"
def execute_action(page, action):
if action.action == "click":
page.mouse.click(action.x, action.y)
elif action.action == "type":
page.keyboard.type(action.text)
elif action.action == "scroll":
page.mouse.wheel(0, action.dy)
elif action.action == "key":
page.keyboard.press(action.key)
これは意図的に最小限にしている。本番システムにはエラーハンドリング、リトライロジック、スクリーンショットのキャッシュ、アクションのゲート制御、可観測性が必要だが、上記のループがマインドモデルの全体像だ。
コンピュータ操作エージェントへの効果的なプロンプト作成
コンピュータ操作エージェントの品質は、80%がシステムプロンプト、20%がモデルに依存する。1ヶ月間の試行錯誤を経て、一貫して機能するパターンは以下の通り:
タスクの境界を明確にする。「明日の朝、SFOからLAXへの航空券を300ドル以下で予約し、支払い前に停止する」は良い。「航空券を予約して」は悪い。コンピュータ操作エージェントは、放置すると逸脱する。
モデルに「計画してから実行する」よう指示する。最初のアクションの前に短い計画ステップを挟むだけで、無駄なクリックが劇的に減ります。「各アクションの前に、これから何をするか、なぜそれをするかを簡潔に述べてください」という1行の指示で、ステップ数が30%削減されることを確認しました。
「停止して質問する」仕組みを用意する。コンピュータ操作エージェントは曖昧さを無視して突っ走る傾向があります。「CAPTCHA、ログインプロンプト、曖昧な選択肢に遭遇したら、停止して構造化されたヘルプ要求を返す」という指示を追加することで、多くの失敗パターンを防げます。
ステップ数に上限を設ける。ステップ予算がないエージェントは、壊れたページで無限にループします。ほとんどのタスクでは25〜50ステップが最適です。それ以上必要な場合は、タスクを分解してください。
UI要素は「説明」ではなく「視覚的描写」で伝える。「送信ボタンをクリック」と書く代わりに、「フォームを送信する(ページ下部の緑色のボタン)」のように表現します。モデルはDOMではなくピクセルを読んでいるため、CSSセレクタよりも、実際に見えるものに対応した説明の方が効果的です。
OSWorldベンチマーク:数値の意味
OSWorldはコンピュータ操作の事実上のベンチマークであり、Linux、Windows、macOSで実際のデスクトップタスクを完了できるかを測定します。GPT-5.5はOSWorld-Verifiedで78.7%を達成し、同じベンチマークでのClaude Computer Use(74.1%)や、Gemini 3.1 Proのコンピュータ操作モード(66.4%)を上回っています。
しかし、ベンチマークは実際のワークロードを正確に反映していません。OSWorldの数値では分からない3つの点があります:
- OSWorldのタスクは短い。ほとんどは5〜15ステップです。長いタスク(50ステップ以上)では性能が急速に低下します。
- OSWorldの環境はクリーンである。本番アプリにはポップアップ、A/BテストによるUI変更、認証リダイレクトなどがあり、ベンチマークではこれらがシミュレートされていません。
- OSWorldのタスクには明確な成功基準がある。実際のタスクでは、「フォームは送信されたが、正しいフォームだったか?」といった失敗パターンがよく発生します。
当社のテストでは、GPT-5.5は実際のブラウザワークフローで約62〜68%の成功率、実際のデスクトップアプリワークフローで45〜55%の成功率を記録しました(アプリのUI品質によります)。これは人間が介在する(human-in-the-loop)環境であれば実用的な水準です。しかし、リスクの高い業務で完全自律的に展開するには、まだ十分ではありません。
コスト:ループはあっという間に積み重なる
コンピュータ操作は、GPT-5.5を実行する最も高額な方法です。ループ内の各ステップで、スクリーンショット(標準詳細度で通常1280x800 = 約1300トークン、高詳細度ではさらに多くなる)と蓄積された履歴が送信されます。
25ステップのブラウザタスクの概算:
- 25枚のスクリーンショット × 約1300トークン = 32,500画像トークン
- アクション履歴: 約5K~15Kトークン蓄積
- システムプロンプト + タスク: 約1Kトークン
- 入力合計: タスクあたり約40~50Kトークン
- 出力: アクション説明で約5Kトークン
GPT-5.5の料金(入力約$1.25/M、出力約$10/M)で計算すると、完了したタスク1つあたり約$0.10~$0.15です。ただし、失敗や再試行は含みません。50ステップのタスクなら、その倍になります。
効果的なコスト管理テクニック2つ:
スクリーンショットのキャッシュ。 OpenAIのプロンプトキャッシュは画像コンテンツにも適用されます。類似したタスクを多数実行する場合(例:同じUIで請求書のキューを処理する)、システムプロンプトや初期のスクリーンショットがキャッシュされるようプロンプトを構成してください。この方法で入力コストを60~70%削減できた事例があります。
ステップの圧縮。 履歴が線形的に増加しないよう、10ステップごとにモデルに履歴を要約させます。短い要約には1ステップ分の往復コストがかかりますが、その後の各ステップでトークンを節約できます。
GPT-5.5 vs Claude Computer Use vs Gemini
| 機能 | GPT-5.5 | Claude Computer Use | Gemini 3.1 Pro |
|---|---|---|---|
| OSWorld-Verified | 78.7% | 74.1% | 66.4% |
| ブラウザタスク(実世界) | 強い | 強い | 中程度 |
| デスクトップアプリ | 強い | 強い | 弱い |
| 長期安定性 | クラス最高 | 良好 | 普通 |
| タスクあたりのコスト(25ステップ) | $0.10–$0.15 | $0.08–$0.12 | $0.06–$0.10 |
| APIの成熟度 | 新規(2026年4月) | 確立済み | 新規(2026年3月) |
| 安全デフォルト | 中程度 | 積極的 | 中程度 |
能力がボトルネックとなるタスクにはGPT-5.5を選択してください。長いワークフロー、複雑なデスクトップアプリ、最強のモデルが必要なタスクに向いています。
安全性が重要なタスクにはClaude Computer Useを選択してください。Anthropicのデフォルト設定はより保守的で、モデルが停止して確認を求める傾向があります。誤ったアクションのコストが高い場合、Claudeの方が安全なデフォルトです。関連するエージェントモードのトレードオフについては、ClaudeとCursor Coworkersの比較をご覧ください。
スクリーンショット以外のマルチモーダルコンテキストが必要な場合、Geminiを選択してください。長い動画、長い音声、ドキュメント中心のタスクなど、生のコンピュータ操作の精度よりも1~2Mトークンのコンテキストウィンドウが重要な場面に適しています。
よくある失敗パターン(と対策)
数百件のコンピュータ操作タスクを実行した結果、同じ失敗が繰り返し発生します。最も一般的な4つの失敗パターンと、その対策を以下に示します。
1. エージェントが混雑したページで誤ったボタンをクリックする。 対策: スクリーンショットの解像度を上げる。デフォルトの1280x800では、UIが密集している場合、詳細が失われる。1920x1080に上げ(モデルに新しい解像度を伝え)、誤クリックを約半分に減らす。
2. エージェントが長いタスクで目的を見失う。 対策: タスクを名前付きのサブゴールに分割し、モデルにそれぞれを完了チェックさせる。プロンプト: 「サブゴールのチェックリストを維持せよ。各アクションの後、進捗をマークせよ。」
3. エージェントが同じ画面でループに陥る。 対策: Nステップ連続で同一のスクリーンショットを検出したら、状態変更(リフレッシュ、ホームへ移動、またはエスカレーション)を強制する。放置すると、モデルは同じアクションを無限にリトライする。
4. エージェントがプロンプトにデータを漏洩させる。 対策: APIに送信する前に、スクリーンショットを前処理して明らかなPIIをマスキングする。モデルはフォーム入力のために実際の社会保障番号を見る必要はなく、後処理で置き換えるプレースホルダーを使用できる。
安全性: 本番導入前にロックダウンすべきこと
コンピュータ使用エージェントは、あなたのシステム上でアクションを実行します。物を壊す権限を持つ新人従業員のように扱ってください。本番環境での最低限の安全策は以下の通りです:
- 環境をサンドボックス化する。 エージェントはVM、コンテナ、または専用ブラウザプロファイルで実行し、ユーザーのメインデスクトップでは決して実行しない。
- 破壊的なアクションをゲートする。 危険なパターン(削除、支払い、メール送信)の正規表現に一致するアクションは、明示的な人間の承認を必須とする。
- すべてのアクションをログに記録する。 アクション + スクリーンショット + 推論を、監査用に保存する。
- 厳格にレート制限する。 暴走したエージェントは数分で深刻なコストを積み上げ得る。
- すべてに時間制限を設ける。 タスクごとの最大ステップ数、時間ごとの最大タスク数、タスクごとの最大コスト。ソフトな警告ではなく、ハードリミットとする。
- ドリフトを監視する。 通常より3倍多くのステップを突然必要とするタスクは、何かを示唆している — UI変更、モデルの性能低下、プロンプトのドリフト。
大規模にコンピュータ使用エージェントを構築している場合、私たちのAIエージェントセキュリティガイドにあるより広範なパターンが直接適用されます。
GPT-5.5 Computer Useを使うべき時(と使わないべき時)
以下の場合に使用します:
- ターゲットアプリにAPIがなく、Selenium/Playwrightだけでは不十分であることを確認済みの場合。
- ワークフローが曖昧すぎて、スクリプトによる自動化が頻繁に破綻する場合。
- エージェントがUI変更を柔軟に処理する必要がある場合。
- タスクの価値が十分高ければ、1回の実行あたり$0.10~$1のコストを正当化できます。
以下のような場合は使用しないでください:
- APIが存在する場合は、必ずAPIを使用してください。
- タスクが高頻度かつ低価値な場合。コスト計算が足を引っ張ることになります。
- 対象アプリがセッションごとにレイアウトを変更する場合(一部の銀行サイトやCAPTCHAで保護されたポータルなど)。モデルは苦戦するでしょう。
- 遅延を許容できない場合。25ステップのタスクはエンドツーエンドで2~5分かかります。
今後の展望
OpenAIはGPT-5.5のコンピュータ使用ロードマップについていくつかの方向性を示しています:
- スクリーンショット処理の低遅延化。現在、ステップごとの遅延の最大の要因です。
- ネイティブな動画入力。ステップごとのスクリーンショットパターンを、連続的なフレーム処理に置き換えます。
- ツール呼び出しのインターリーブの改善。コンピュータ使用アクションと通常のAPI呼び出しを、同じエージェントループ内で混在させることを可能にします。
より大きな流れとしては、スクリーンショットとアクションのパターンはすでに標準機能(テーブルステークス)になっています。Microsoft、Anthropic、OpenAI、Googleのすべてがこの機能を搭載しています。差別化はスタックの上位層、すなわち長期計画、マルチエージェントのオーケストレーション、ガバナンスへと移行しています。今日コンピュータ使用エージェントを構築するなら、ループを差し替えられるように設計してください。モデルの抽象化により、GPT-6が登場した際に大幅な手戻りを回避できます。
まとめ
GPT-5.5のコンピュータ使用は、2026年に利用可能なこのプリミティブの最も強力なバージョンであり、APIの成熟度も本番環境での選択肢として妥当な水準に達しています。魔法の杖ではありません。長いタスクはまだ失敗し、コストは馬鹿にならず、安全性はあなたの責任です。しかし、「このアプリにはAPIがなく、自動化する必要がある」という長尾のニーズに対しては、現在最も能力の高いツールです。
小さく始めましょう。サンドボックスで実行してください。失敗しても許容できるほど厄介なタスクを選んでください。スケールする前に成功率を測定してください。そして、より広いAIエージェントの状況に目を配ってください。コンピュータ使用は、はるかに大きなツールキットの中の1つのツールに過ぎず、正しい答えは多くの場合、API、MCPサーバー、そして長尾向けのコンピュータ使用フォールバックのハイブリッドです。
本番環境で実際に機能するエージェントは、最も巧妙なプロンプトを持つものではなく、スコープを控えめにし、強力なオブザーバビリティと厳格な制限を備えたものです。
AI株式予測 — スマートマーケット分析
AI駆動の株式市場予測とテクニカル分析。信頼性スコアとリスク指標付きで、株式、ETF、暗号資産の毎日の予測を取得できます。
今日の予想を見るAI Tools Hub チーム
専門家によるAIツールレビュー
私たちのチームは、AI愛好家とテクノロジー専門家によって構成され、あなたのニーズに最適なソリューションを見つけるために数百のAIツールをテストしレビューしています。実際の使用に基づいた正直で詳細な分析を提供します。