メッセージツール

コンピュータ使用ツール

コンピュータ使用ツールを使用して、Claudeにデスクトップ環境のスクリーンショット、マウス、キーボードの制御を提供します。

Claudeは、スクリーンショット機能とマウス/キーボード制御を提供し、自律的なデスクトップ操作を可能にするコンピュータ使用ツールを通じて、コンピュータ環境と対話できます。

概要

コンピュータ使用は、Claudeがデスクトップ環境と対話できるようにするベータ機能です。このツールは以下を提供します。

スクリーンショットキャプチャ： 現在画面に表示されている内容を確認
マウス制御： クリック、ドラッグ、カーソル移動
キーボード入力： テキスト入力とキーボードショートカットの使用
デスクトップ自動化： あらゆるアプリケーションやインターフェースとの対話

コンピュータ使用は、より包括的な自動化ワークフローのためにbashやテキストエディタなどの他のツールで拡張できますが、コンピュータ使用とは具体的には、デスクトップ環境を見て制御するコンピュータ使用ツールの機能を指します。

モデルのサポートについては、ツールリファレンスを参照してください。

セキュリティに関する考慮事項

コンピュータ使用は、標準的なAPI機能とは異なる固有のリスクを伴うベータ機能です。これらのリスクは、インターネットと対話する際に高まります。

リスクを最小限に抑えるために、以下のような予防措置を検討してください。

直接的なシステム攻撃や事故を防ぐために、最小限の権限を持つ専用の仮想マシンまたはコンテナを使用する。
情報の盗難を防ぐために、アカウントのログイン情報などの機密データへのアクセスをモデルに与えない。
悪意のあるコンテンツへの露出を減らすために、インターネットアクセスをドメインの許可リストに制限する。
現実世界で重大な結果をもたらす可能性のある決定や、Cookieの受け入れ、金融取引の完了、利用規約への同意など、明示的な同意を必要とするタスクについては、人間に確認を求める。

状況によっては、Claudeはコンテンツ内に見つかったコマンドに従うことがあり、それがあなたの指示と矛盾する場合でも従うことがあります。たとえば、ウェブページ上の指示や画像に含まれる指示が、あなたの指示を上書きしたり、Claudeにミスを引き起こしたりする可能性があります。プロンプトインジェクションに関連するリスクを回避するために、Claudeを機密データやアクションから隔離する予防措置を講じてください。

Anthropicは、これらのプロンプトインジェクションに抵抗するようにモデルを訓練し、追加の防御層を追加しました。コンピュータ使用ツールを使用すると、プロンプトに対して分類器が自動的に実行され、プロンプトインジェクションの可能性のあるインスタンスにフラグが立てられます。これらの分類器がスクリーンショット内で潜在的なプロンプトインジェクションを特定すると、次のアクションに進む前にユーザーの確認を求めるようにモデルを自動的に誘導します。この追加の保護は、すべてのユースケース（たとえば、人間が介在しないユースケース）に理想的とは限らないため、オプトアウトして無効にしたい場合は、サポートにお問い合わせください。

分類器による防御層が設置されていても、これらの予防措置は引き続き重要です。

自社製品でコンピュータ使用を有効にする前に、エンドユーザーに関連するリスクを通知し、同意を得てください。

コンピュータ使用リファレンス実装

ウェブインターフェース、Dockerコンテナ、ツール実装例、エージェントループを含むコンピュータ使用リファレンス実装から始めましょう。

クイックスタート

コンピュータ使用を始める方法は次のとおりです。

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-5",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)

コンピュータ使用の仕組み

Claudeにコンピュータ使用ツールとユーザープロンプトを提供する
- APIリクエストにコンピュータ使用ツール（およびオプションで他のツール）を追加します。
- デスクトップ操作を必要とするユーザープロンプトを含めます。たとえば、「猫の画像をデスクトップに保存してください」などです。
Claudeがコンピュータ使用ツールを選択する
- Claudeは、コンピュータ使用ツールがユーザーのクエリに役立つかどうかを評価します。
- 役立つ場合、Claudeは適切にフォーマットされたツール使用リクエストを構築します。
- APIレスポンスのstop_reasonはtool_useとなり、ツール使用リクエストを示します。
ツール入力を抽出し、コンピュータ上でツールを評価し、結果を返す
- あなたの側で、Claudeのリクエストからツール名と入力を抽出します。
- コンテナまたは仮想マシン上でツールを使用します。
- tool_resultコンテンツブロックを含む新しいuserメッセージで会話を続けます。
Claudeはタスクが完了するまでコンピュータ使用ツールを呼び出し続ける
- Claudeはツールの結果を分析して、さらにツール使用が必要か、タスクが完了したかを判断します。
- Claudeが別のツールが必要と判断した場合、再びtool_useのstop_reasonで応答し、ステップ3に戻る必要があります。
- それ以外の場合は、ユーザーへのテキスト応答を作成します。

ユーザー入力なしでステップ3と4を繰り返すことを「エージェントループ」と呼びます（つまり、Claudeがツール使用リクエストで応答し、アプリケーションがそのリクエストを評価した結果をClaudeに返すことです）。

コンピューティング環境

コンピュータ使用には、Claudeがアプリケーションやウェブと安全に対話できるサンドボックス化されたコンピューティング環境が必要です。この環境には以下が含まれます。

仮想ディスプレイ： Claudeがスクリーンショットを通じて見て、マウス/キーボードアクションで制御するデスクトップインターフェースをレンダリングする仮想X11ディスプレイサーバー（Xvfbを使用）。
デスクトップ環境： Linux上で動作するウィンドウマネージャー（Mutter）とパネル（Tint2）を備えた軽量UIで、Claudeが対話するための一貫したグラフィカルインターフェースを提供します。
アプリケーション： Firefox、LibreOffice、テキストエディタ、ファイルマネージャーなど、Claudeがタスクを完了するために使用できるプリインストールされたLinuxアプリケーション。
ツール実装： Claudeの抽象的なツールリクエスト（「マウスを移動」や「スクリーンショットを撮る」など）を仮想環境での実際の操作に変換する統合コード。
エージェントループ： Claudeと環境間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を利用する際、Claudeはこの環境に直接接続しません。代わりに、アプリケーションが以下を行います。

Claudeのツール使用リクエストを受信する
それらをコンピューティング環境でのアクションに変換する
結果（スクリーンショットやコマンド出力など）をキャプチャする
これらの結果をClaudeに返す

セキュリティと分離のために、リファレンス実装はこれらすべてを、環境の表示と対話のための適切なポートマッピングを備えたDockerコンテナ内で実行します。

コンピュータ使用の実装方法

リファレンス実装から始める

コンピュータ使用を始めるために必要なすべてを含むリファレンス実装が利用可能です。

Claudeでのコンピュータ使用に適したコンテナ化された環境
コンピュータ使用ツールの実装
Claude APIと対話し、コンピュータ使用ツールを実行するエージェントループ
コンテナ、エージェントループ、ツールと対話するためのウェブインターフェース

エージェントループを理解する

コンピュータ使用の中核は「エージェントループ」です。これは、Claudeがツールアクションをリクエストし、アプリケーションがそれらを実行し、結果をClaudeに返すサイクルです。このループは、クイックスタートで作成したクライアント、クイックスタートのtools配列のような形式のツールリスト、およびClaudeのツール呼び出しを処理するで定義されたツール呼び出し処理ヘルパーを使用します。以下は簡略化された例です。

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

ループは、Claudeがツールをリクエストせずに応答する（タスク完了）か、最大反復回数に達するまで続きます。この安全策により、予期しないAPIコストにつながる可能性のある無限ループを防ぎます。

このドキュメントの残りを読む前に、リファレンス実装を試してみてください。

プロンプトでモデルのパフォーマンスを最適化する

最高品質の出力を得るためのヒントをいくつか紹介します。

シンプルで明確に定義されたタスクを指定し、各ステップに明示的な指示を提供します。
Claudeは、アクションの結果を明示的に確認せずに結果を仮定することがあります。これを防ぐために、After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.とClaudeにプロンプトを与えることができます。
一部のUI要素（ドロップダウンやスクロールバーなど）は、Claudeがマウス操作で扱うのが難しい場合があります。このような場合は、キーボードショートカットを使用するようにモデルにプロンプトを与えてみてください。
繰り返し可能なタスクやUI操作については、成功した結果のスクリーンショット例とツール呼び出しをプロンプトに含めてください。
モデルにログインさせる必要がある場合は、<robot_credentials>などのXMLタグ内にユーザー名とパスワードをプロンプトで提供してください。ログインが必要なアプリケーション内でコンピュータ使用を利用すると、プロンプトインジェクションによる悪い結果のリスクが高まります。モデルにログイン認証情報を提供する前に、ジェイルブレイクとプロンプトインジェクションの軽減を確認してください。
ユーザーターンのcontent配列を構築する際は、指示テキストをスクリーンショット画像の前に配置してください。画像が処理される前にターゲットの説明を提供することで、クリックの精度が向上します。
enable_zoom: trueを設定してcomputer_20251124を使用する場合、Claudeは、サイドバーのファイル名、タブタイトル、ステータスバーのテキスト、行番号、ボタンラベルなど、スクリーンショットのデフォルト解像度では判読できない小さなテキストや特定のUI要素について尋ねられたときに、その領域にズームインします。期待どおりにClaudeがズームしない場合は、画面全体ではなく特定の領域や要素について尋ねてください。

システムプロンプト

AnthropicスキーマツールのいずれかがClaude APIを通じてリクエストされると、コンピュータ使用固有のシステムプロンプトが生成されます。これはツール使用システムプロンプトに似ていますが、次のように始まります。

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

通常のツール使用と同様に、ユーザーが提供したsystemパラメータは引き続き尊重され、結合されたシステムプロンプトの構築に使用されます。

利用可能なアクション

コンピュータ使用ツールは以下のアクションをサポートしています。

基本アクション（すべてのバージョン）

screenshot： 現在のディスプレイをキャプチャ
left_click： 座標[x, y]でクリック
type： テキスト文字列を入力
key： キーまたはキーの組み合わせを押す（例：「ctrl+s」）
mouse_move： カーソルを座標に移動

拡張アクション（computer_20250124以降） computer_20250124およびcomputer_20251124で利用可能：

scroll： 量を制御して任意の方向にスクロール
left_click_drag： 座標間でクリックしてドラッグ
right_click、middle_click： 追加のマウスボタン
double_click、triple_click： 複数回クリック
left_mouse_down、left_mouse_up： きめ細かいクリック制御
hold_key： 指定された時間（秒単位）キーを押し続ける
wait： アクション間で一時停止

拡張アクション（computer_20251124） Claude Opus 5、Claude Sonnet 5、Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6、Claude Sonnet 4.6、Claude Opus 4.5で利用可能：

computer_20250124のすべてのアクション
zoom： 画面の特定の領域をフル解像度で表示。ツール定義でenable_zoom: trueが必要です。検査する領域の左上と右下の角を定義する座標[x1, y1, x2, y2]を持つregionパラメータを受け取ります。

ツールパラメータ

パラメータ	必須	説明
`type`	はい	ツールバージョン（`computer_20251124`または`computer_20250124`）
`name`	はい	「computer」である必要があります
`display_width_px`	はい	ディスプレイの幅（ピクセル単位）
`display_height_px`	はい	ディスプレイの高さ（ピクセル単位）
`display_number`	いいえ	X11環境のディスプレイ番号
`enable_zoom`	いいえ	ズームアクションを有効にする（`computer_20251124`のみ）。Claudeが特定の画面領域にズームインできるようにするには`true`に設定します。デフォルト：`false`

思考との組み合わせ

コンピュータ使用と思考を組み合わせる方法については、思考を参照してください。

コンピュータ使用に特化した内部ベンチマークでは、以下のeffort設定が推奨されます。

Claude Opus 4.7： デフォルトとしてhighを使用します。高スループットまたはコスト重視のワークロードにはlowを使用します。
Claude Sonnet 4.6およびClaude Opus 4.6： デフォルトとしてmediumを使用します（精度とコストの比率が最良）。maxは避けてください。UIタスクでは精度を向上させずにトークンコストが増加します。これらのモデルでは、lowは思考を完全に無効にするよりも少ない出力トークンを使用します（ミスが少ないほど再試行が少なくなるため）。これにより、コスト重視のループに適したオプションとなります。

他のツールでコンピュータ使用を拡張する

コンピュータ使用と並行して他のツールを追加するには、同じtools配列に含めます。クイックスタートセクションでは、bashツールとテキストエディタツールを使用したこのパターンを示しています。独自のカスタムツール定義も同じ方法で追加できます。

カスタムコンピュータ使用環境を構築する

リファレンス実装は、コンピュータ使用を始めるのに役立つことを目的としています。Claudeにコンピュータを使用させるために必要なすべてのコンポーネントが含まれています。ただし、ニーズに合わせて独自のコンピュータ使用環境を構築することもできます。以下が必要です。

Claudeでのコンピュータ使用に適した仮想化またはコンテナ化された環境
Anthropicスキーマのコンピュータ使用ツールの少なくとも1つの実装
Claude APIと対話し、ツール実装を使用してtool_useの結果を実行するエージェントループ
エージェントループを開始するためのユーザー入力を可能にするAPIまたはUI

コンピュータ使用ツールを実装する

コンピュータ使用ツールはスキーマレスツールとして実装されています。このツールを使用する場合、他のツールのように入力スキーマを提供する必要はありません。スキーマはClaudeのモデルに組み込まれており、変更できません。

コンピューティング環境をセットアップする
Claudeが対話する仮想ディスプレイを作成するか、既存のディスプレイに接続します。これには通常、Xvfb（X Virtual Framebuffer）または同様の技術のセットアップが含まれます。

アクションハンドラーを実装する

Claudeがリクエストする可能性のある各アクションタイプを処理する関数を作成します。

def capture_screenshot():
    return "<screenshot data>"


def click_at(x, y):
    return f"clicked at ({x}, {y})"


def type_text(text):
    return f"typed: {text}"


def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # 必要に応じて他のアクションを処理
    return f"unhandled action: {action_type}"

Claudeのツール呼び出しを処理する

Claudeのレスポンスからツール呼び出しを抽出して実行します。

def process_tool_calls(response):
    tool_results = []
    for block in response.content:
        if block.type == "tool_use":
            action = block.input["action"]
            result = handle_computer_action(action, block.input)
            tool_results.append(
                {
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result,
                }
            )
    return tool_results

エージェントループを実装する

Claudeがタスクを完了するまで続くループを作成します。

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

エラーを処理する

コンピュータ使用ツールを実装する際、さまざまなエラーが発生する可能性があります。以下はそれらの処理方法です。

画像制限に合わせてスクリーンショットのサイズを調整する

コンピュータツールに送信されるスクリーンショットは、Claudeの画像サイズ制限内に収まる必要があります（画像サイズ制限を参照）。APIはClaudeが見る前にサイズ超過の画像を縮小し、Claudeは自分が見た画像に対する座標を返すため、サーバー側の縮小に依存すると、それらの座標を画面にマッピングし直すために必要なスケール係数がわからなくなります。APIの別のリクエスト制限（たとえば、一辺が8,000ピクセルを超える）を超える画像のみが、縮小されるのではなく検証エラーで拒否されます。

画面が制限よりも大きい場合は、送信前にスクリーンショットのサイズを変更し、display_width_px/display_height_pxをサイズ変更後の寸法に設定し、Claudeが返した座標を元の画面空間にスケールし直します。

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# スクリーンショットを取得する際
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Claudeに送信する前に、画像をスケーリングされた寸法にリサイズします
screenshot = capture_and_resize(scaled_width, scaled_height)


# Claudeの座標を処理する際は、元のサイズにスケールアップして戻します
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)

クリックの問題を診断する

クリックがターゲットを外す場合、原因は通常以下のいずれかです。

症状	考えられる原因	対処法
クリックが一貫して一方向にずれる	`display_width_px`/`display_height_px`が実際に送信された画像の寸法と一致していない	ディスプレイの寸法が送信するスクリーンショットと正確に一致していることを確認する
クリックが正しい領域に着地するがターゲットを外す	ターゲットが非常に小さい、4K以上のソースを縮小する際に詳細が失われた、またはアスペクト比が歪んだ	`enable_zoom: true`を設定する。低いDPIでキャプチャするか、関連する領域にトリミングする。サイズ変更時にアスペクト比を維持する
Claudeが完全に間違った要素をクリックする	曖昧な指示、または近くに視覚的に類似した要素がある	位置を指定したプロンプトを使用する（「右下の青いSubmitボタン」）。操作をより小さなステップに分割する
精度が一貫して低い	解像度が低すぎる	ベースラインとして1280x720を試す

実装のベストプラクティスに従う

コンピュータ使用の制限事項を理解する

コンピュータ使用はベータ版です。以下の制限事項に留意してください。

レイテンシ： 現在の人間とAIの対話におけるコンピュータ使用の「latency」（レイテンシ）は、通常の人間主導のコンピュータアクションと比較して遅すぎる可能性があります。信頼できる環境で、速度が重要でないユースケース（たとえば、バックグラウンドでの情報収集、自動ソフトウェアテスト）に焦点を当ててください。
コンピュータビジョンの精度と信頼性： Claudeは、アクションを生成する際に特定の座標を出力するときにミスをしたり、幻覚を起こしたりする可能性があります。拡張思考は、モデルの推論を理解し、潜在的な問題を特定するのに役立ちます。
ツール選択の精度と信頼性： Claudeは、アクションを生成する際にツールを選択するときにミスをしたり、幻覚を起こしたり、問題を解決するために予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションと同時に対話する場合、信頼性が低下する可能性があります。複雑なタスクをリクエストする際は、モデルに慎重にプロンプトを与えてください。
スクロールの信頼性： スクロールアクションは方向制御（上、下、左、右）と指定された量をサポートしています。スクロールが効果を発揮しないアプリケーションでは、Page Downなどのキーボードの代替手段が役立ちます。
スプレッドシート操作： きめ細かいマウス制御アクション（left_mouse_down、left_mouse_up）と修飾キーの組み合わせを使用して、個々のセルを選択します。複雑なスプレッドシート操作には、複数回の試行が必要な場合があります。
ソーシャルおよびコミュニケーションプラットフォームでのアカウント作成とコンテンツ生成： Claudeはウェブサイトを訪問しますが、ソーシャルメディアのウェブサイトやプラットフォーム全体でアカウントを作成したり、コンテンツを生成して共有したり、その他の方法で人間のなりすましを行ったりするClaudeの能力は制限されています。この機能は将来更新される可能性があります。
脆弱性： ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータ版のコンピュータ使用APIを含むフロンティアAIシステム全体で存続する可能性があります。状況によっては、Claudeはコンテンツ内に見つかったコマンドに従うことがあり、それがあなたの指示と矛盾する場合でも従うことがあります。たとえば、ウェブページ上の指示や画像に含まれる指示が、あなたの指示を上書きしたり、Claudeにミスを引き起こしたりする可能性があります。以下を検討してください。
- コンピュータ使用を、最小限の権限を持つ仮想マシンやコンテナなどの信頼できる環境に制限する
- 厳格な監視なしに機密アカウントやデータへのコンピュータ使用アクセスを与えない
- アプリケーションでコンピュータ使用機能を有効にする、またはそれに必要な権限をリクエストする前に、エンドユーザーに関連するリスクを通知し、同意を得る
不適切または違法な行為： Anthropicの利用規約に基づき、法律または利用規定に違反するためにコンピュータ使用を利用してはなりません。

Claudeのコンピュータ使用アクションとログを常に慎重に確認および検証してください。人間の監視なしに、完璧な精度や機密ユーザー情報を必要とするタスクにClaudeを使用しないでください。

データ保持

コンピュータ使用はクライアント側のツールです。セッションに関わるすべてのスクリーンショット、マウスアクション、キーボード入力、およびファイルは、Anthropicではなく、あなたの環境でキャプチャおよび保存されます。Anthropicは、API呼び出しの一部としてスクリーンショット画像とアクションリクエストをリアルタイムで処理します。これらのAPIリクエストの保持は、APIとデータ保持によって管理されます。

アプリケーションがコンピュータ使用データの保存場所と方法を制御するため、コンピュータ使用はZDR対象です。すべての機能にわたるZDR対象については、APIとデータ保持を参照してください。

料金

コンピュータ使用は標準のツール使用の価格に従います。コンピュータ使用ツールを使用する場合：

システムプロンプトのオーバーヘッド: コンピュータ使用ベータは、システムプロンプトに466〜499トークンを追加します

コンピュータ使用ツールのトークン使用量:

モデル	ツール定義あたりの入力トークン
Claude 4.x モデル	735トークン

追加のトークン消費:

スクリーンショット画像（Visionの価格を参照）
Claudeに返されるツール実行結果

次のステップ

ツール使用のトラブルシューティング

症状から修正方法への診断表で、最も一般的なツール使用エラーを修正します。

リファレンス実装

完全なDockerベースの実装から始めましょう

Claudeでのツール使用

Claudeを外部ツールやAPIに接続します。ツールがどこで実行されるか、Claudeがいつそれらを呼び出すか、どのツールがタスクに適しているかを確認してください。

ベストプラクティスの詳細

解像度、思考の労力、コンテキスト管理に関するベンチマーク済みの推奨事項

Compatibility

Supported models	Opus 4.5, 4.6, 4.7, 4.8, and 5 Sonnet 4.6 and 5
Supported platforms	Claude APIBeta Claude Platform on AWSBeta Amazon BedrockBeta Google CloudBeta Microsoft FoundryBeta

Was this page helpful?

メッセージツール

コンピュータ使用ツール

コンピュータ使用ツールを使用して、Claudeにデスクトップ環境のスクリーンショット、マウス、キーボードの制御を提供します。

概要

コンピュータ使用は、Claudeがデスクトップ環境と対話できるようにするベータ機能です。このツールは以下を提供します。

スクリーンショットキャプチャ： 現在画面に表示されている内容を確認
マウス制御： クリック、ドラッグ、カーソル移動
キーボード入力： テキスト入力とキーボードショートカットの使用
デスクトップ自動化： あらゆるアプリケーションやインターフェースとの対話

モデルのサポートについては、ツールリファレンスを参照してください。

セキュリティに関する考慮事項

リスクを最小限に抑えるために、以下のような予防措置を検討してください。

直接的なシステム攻撃や事故を防ぐために、最小限の権限を持つ専用の仮想マシンまたはコンテナを使用する。
情報の盗難を防ぐために、アカウントのログイン情報などの機密データへのアクセスをモデルに与えない。
悪意のあるコンテンツへの露出を減らすために、インターネットアクセスをドメインの許可リストに制限する。
現実世界で重大な結果をもたらす可能性のある決定や、Cookieの受け入れ、金融取引の完了、利用規約への同意など、明示的な同意を必要とするタスクについては、人間に確認を求める。

分類器による防御層が設置されていても、これらの予防措置は引き続き重要です。

自社製品でコンピュータ使用を有効にする前に、エンドユーザーに関連するリスクを通知し、同意を得てください。

コンピュータ使用リファレンス実装

ウェブインターフェース、Dockerコンテナ、ツール実装例、エージェントループを含むコンピュータ使用リファレンス実装から始めましょう。

クイックスタート

コンピュータ使用を始める方法は次のとおりです。

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-5",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)

コンピュータ使用の仕組み

Claudeにコンピュータ使用ツールとユーザープロンプトを提供する
- APIリクエストにコンピュータ使用ツール（およびオプションで他のツール）を追加します。
- デスクトップ操作を必要とするユーザープロンプトを含めます。たとえば、「猫の画像をデスクトップに保存してください」などです。
Claudeがコンピュータ使用ツールを選択する
- Claudeは、コンピュータ使用ツールがユーザーのクエリに役立つかどうかを評価します。
- 役立つ場合、Claudeは適切にフォーマットされたツール使用リクエストを構築します。
- APIレスポンスのstop_reasonはtool_useとなり、ツール使用リクエストを示します。
ツール入力を抽出し、コンピュータ上でツールを評価し、結果を返す
- あなたの側で、Claudeのリクエストからツール名と入力を抽出します。
- コンテナまたは仮想マシン上でツールを使用します。
- tool_resultコンテンツブロックを含む新しいuserメッセージで会話を続けます。
Claudeはタスクが完了するまでコンピュータ使用ツールを呼び出し続ける
- Claudeはツールの結果を分析して、さらにツール使用が必要か、タスクが完了したかを判断します。
- Claudeが別のツールが必要と判断した場合、再びtool_useのstop_reasonで応答し、ステップ3に戻る必要があります。
- それ以外の場合は、ユーザーへのテキスト応答を作成します。

コンピューティング環境

仮想ディスプレイ： Claudeがスクリーンショットを通じて見て、マウス/キーボードアクションで制御するデスクトップインターフェースをレンダリングする仮想X11ディスプレイサーバー（Xvfbを使用）。
デスクトップ環境： Linux上で動作するウィンドウマネージャー（Mutter）とパネル（Tint2）を備えた軽量UIで、Claudeが対話するための一貫したグラフィカルインターフェースを提供します。
アプリケーション： Firefox、LibreOffice、テキストエディタ、ファイルマネージャーなど、Claudeがタスクを完了するために使用できるプリインストールされたLinuxアプリケーション。
ツール実装： Claudeの抽象的なツールリクエスト（「マウスを移動」や「スクリーンショットを撮る」など）を仮想環境での実際の操作に変換する統合コード。
エージェントループ： Claudeと環境間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を利用する際、Claudeはこの環境に直接接続しません。代わりに、アプリケーションが以下を行います。

Claudeのツール使用リクエストを受信する
それらをコンピューティング環境でのアクションに変換する
結果（スクリーンショットやコマンド出力など）をキャプチャする
これらの結果をClaudeに返す

コンピュータ使用の実装方法

リファレンス実装から始める

コンピュータ使用を始めるために必要なすべてを含むリファレンス実装が利用可能です。

Claudeでのコンピュータ使用に適したコンテナ化された環境
コンピュータ使用ツールの実装
Claude APIと対話し、コンピュータ使用ツールを実行するエージェントループ
コンテナ、エージェントループ、ツールと対話するためのウェブインターフェース

エージェントループを理解する

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

このドキュメントの残りを読む前に、リファレンス実装を試してみてください。

プロンプトでモデルのパフォーマンスを最適化する

最高品質の出力を得るためのヒントをいくつか紹介します。

シンプルで明確に定義されたタスクを指定し、各ステップに明示的な指示を提供します。
Claudeは、アクションの結果を明示的に確認せずに結果を仮定することがあります。これを防ぐために、After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.とClaudeにプロンプトを与えることができます。
一部のUI要素（ドロップダウンやスクロールバーなど）は、Claudeがマウス操作で扱うのが難しい場合があります。このような場合は、キーボードショートカットを使用するようにモデルにプロンプトを与えてみてください。
繰り返し可能なタスクやUI操作については、成功した結果のスクリーンショット例とツール呼び出しをプロンプトに含めてください。
モデルにログインさせる必要がある場合は、<robot_credentials>などのXMLタグ内にユーザー名とパスワードをプロンプトで提供してください。ログインが必要なアプリケーション内でコンピュータ使用を利用すると、プロンプトインジェクションによる悪い結果のリスクが高まります。モデルにログイン認証情報を提供する前に、ジェイルブレイクとプロンプトインジェクションの軽減を確認してください。
ユーザーターンのcontent配列を構築する際は、指示テキストをスクリーンショット画像の前に配置してください。画像が処理される前にターゲットの説明を提供することで、クリックの精度が向上します。
enable_zoom: trueを設定してcomputer_20251124を使用する場合、Claudeは、サイドバーのファイル名、タブタイトル、ステータスバーのテキスト、行番号、ボタンラベルなど、スクリーンショットのデフォルト解像度では判読できない小さなテキストや特定のUI要素について尋ねられたときに、その領域にズームインします。期待どおりにClaudeがズームしない場合は、画面全体ではなく特定の領域や要素について尋ねてください。

システムプロンプト

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

通常のツール使用と同様に、ユーザーが提供したsystemパラメータは引き続き尊重され、結合されたシステムプロンプトの構築に使用されます。

利用可能なアクション

コンピュータ使用ツールは以下のアクションをサポートしています。

基本アクション（すべてのバージョン）

screenshot： 現在のディスプレイをキャプチャ
left_click： 座標[x, y]でクリック
type： テキスト文字列を入力
key： キーまたはキーの組み合わせを押す（例：「ctrl+s」）
mouse_move： カーソルを座標に移動

拡張アクション（computer_20250124以降） computer_20250124およびcomputer_20251124で利用可能：

scroll： 量を制御して任意の方向にスクロール
left_click_drag： 座標間でクリックしてドラッグ
right_click、middle_click： 追加のマウスボタン
double_click、triple_click： 複数回クリック
left_mouse_down、left_mouse_up： きめ細かいクリック制御
hold_key： 指定された時間（秒単位）キーを押し続ける
wait： アクション間で一時停止

拡張アクション（computer_20251124） Claude Opus 5、Claude Sonnet 5、Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6、Claude Sonnet 4.6、Claude Opus 4.5で利用可能：

computer_20250124のすべてのアクション
zoom： 画面の特定の領域をフル解像度で表示。ツール定義でenable_zoom: trueが必要です。検査する領域の左上と右下の角を定義する座標[x1, y1, x2, y2]を持つregionパラメータを受け取ります。

ツールパラメータ

パラメータ	必須	説明
`type`	はい	ツールバージョン（`computer_20251124`または`computer_20250124`）
`name`	はい	「computer」である必要があります
`display_width_px`	はい	ディスプレイの幅（ピクセル単位）
`display_height_px`	はい	ディスプレイの高さ（ピクセル単位）
`display_number`	いいえ	X11環境のディスプレイ番号
`enable_zoom`	いいえ	ズームアクションを有効にする（`computer_20251124`のみ）。Claudeが特定の画面領域にズームインできるようにするには`true`に設定します。デフォルト：`false`

思考との組み合わせ

コンピュータ使用と思考を組み合わせる方法については、思考を参照してください。

コンピュータ使用に特化した内部ベンチマークでは、以下のeffort設定が推奨されます。

Claude Opus 4.7： デフォルトとしてhighを使用します。高スループットまたはコスト重視のワークロードにはlowを使用します。
Claude Sonnet 4.6およびClaude Opus 4.6： デフォルトとしてmediumを使用します（精度とコストの比率が最良）。maxは避けてください。UIタスクでは精度を向上させずにトークンコストが増加します。これらのモデルでは、lowは思考を完全に無効にするよりも少ない出力トークンを使用します（ミスが少ないほど再試行が少なくなるため）。これにより、コスト重視のループに適したオプションとなります。

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

Claudeでのコンピュータ使用に適した仮想化またはコンテナ化された環境
Anthropicスキーマのコンピュータ使用ツールの少なくとも1つの実装
Claude APIと対話し、ツール実装を使用してtool_useの結果を実行するエージェントループ
エージェントループを開始するためのユーザー入力を可能にするAPIまたはUI

コンピュータ使用ツールを実装する

コンピューティング環境をセットアップする
Claudeが対話する仮想ディスプレイを作成するか、既存のディスプレイに接続します。これには通常、Xvfb（X Virtual Framebuffer）または同様の技術のセットアップが含まれます。

アクションハンドラーを実装する

Claudeがリクエストする可能性のある各アクションタイプを処理する関数を作成します。

def capture_screenshot():
    return "<screenshot data>"


def click_at(x, y):
    return f"clicked at ({x}, {y})"


def type_text(text):
    return f"typed: {text}"


def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # 必要に応じて他のアクションを処理
    return f"unhandled action: {action_type}"

Claudeのツール呼び出しを処理する

Claudeのレスポンスからツール呼び出しを抽出して実行します。

def process_tool_calls(response):
    tool_results = []
    for block in response.content:
        if block.type == "tool_use":
            action = block.input["action"]
            result = handle_computer_action(action, block.input)
            tool_results.append(
                {
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result,
                }
            )
    return tool_results

エージェントループを実装する

Claudeがタスクを完了するまで続くループを作成します。

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

エラーを処理する

コンピュータ使用ツールを実装する際、さまざまなエラーが発生する可能性があります。以下はそれらの処理方法です。

画像制限に合わせてスクリーンショットのサイズを調整する

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# スクリーンショットを取得する際
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Claudeに送信する前に、画像をスケーリングされた寸法にリサイズします
screenshot = capture_and_resize(scaled_width, scaled_height)


# Claudeの座標を処理する際は、元のサイズにスケールアップして戻します
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)

クリックの問題を診断する

クリックがターゲットを外す場合、原因は通常以下のいずれかです。

症状	考えられる原因	対処法
クリックが一貫して一方向にずれる	`display_width_px`/`display_height_px`が実際に送信された画像の寸法と一致していない	ディスプレイの寸法が送信するスクリーンショットと正確に一致していることを確認する
クリックが正しい領域に着地するがターゲットを外す	ターゲットが非常に小さい、4K以上のソースを縮小する際に詳細が失われた、またはアスペクト比が歪んだ	`enable_zoom: true`を設定する。低いDPIでキャプチャするか、関連する領域にトリミングする。サイズ変更時にアスペクト比を維持する
Claudeが完全に間違った要素をクリックする	曖昧な指示、または近くに視覚的に類似した要素がある	位置を指定したプロンプトを使用する（「右下の青いSubmitボタン」）。操作をより小さなステップに分割する
精度が一貫して低い	解像度が低すぎる	ベースラインとして1280x720を試す

実装のベストプラクティスに従う

コンピュータ使用の制限事項を理解する

コンピュータ使用はベータ版です。以下の制限事項に留意してください。

レイテンシ： 現在の人間とAIの対話におけるコンピュータ使用の「latency」（レイテンシ）は、通常の人間主導のコンピュータアクションと比較して遅すぎる可能性があります。信頼できる環境で、速度が重要でないユースケース（たとえば、バックグラウンドでの情報収集、自動ソフトウェアテスト）に焦点を当ててください。
コンピュータビジョンの精度と信頼性： Claudeは、アクションを生成する際に特定の座標を出力するときにミスをしたり、幻覚を起こしたりする可能性があります。拡張思考は、モデルの推論を理解し、潜在的な問題を特定するのに役立ちます。
ツール選択の精度と信頼性： Claudeは、アクションを生成する際にツールを選択するときにミスをしたり、幻覚を起こしたり、問題を解決するために予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションと同時に対話する場合、信頼性が低下する可能性があります。複雑なタスクをリクエストする際は、モデルに慎重にプロンプトを与えてください。
スクロールの信頼性： スクロールアクションは方向制御（上、下、左、右）と指定された量をサポートしています。スクロールが効果を発揮しないアプリケーションでは、Page Downなどのキーボードの代替手段が役立ちます。
スプレッドシート操作： きめ細かいマウス制御アクション（left_mouse_down、left_mouse_up）と修飾キーの組み合わせを使用して、個々のセルを選択します。複雑なスプレッドシート操作には、複数回の試行が必要な場合があります。
ソーシャルおよびコミュニケーションプラットフォームでのアカウント作成とコンテンツ生成： Claudeはウェブサイトを訪問しますが、ソーシャルメディアのウェブサイトやプラットフォーム全体でアカウントを作成したり、コンテンツを生成して共有したり、その他の方法で人間のなりすましを行ったりするClaudeの能力は制限されています。この機能は将来更新される可能性があります。
脆弱性： ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータ版のコンピュータ使用APIを含むフロンティアAIシステム全体で存続する可能性があります。状況によっては、Claudeはコンテンツ内に見つかったコマンドに従うことがあり、それがあなたの指示と矛盾する場合でも従うことがあります。たとえば、ウェブページ上の指示や画像に含まれる指示が、あなたの指示を上書きしたり、Claudeにミスを引き起こしたりする可能性があります。以下を検討してください。
- コンピュータ使用を、最小限の権限を持つ仮想マシンやコンテナなどの信頼できる環境に制限する
- 厳格な監視なしに機密アカウントやデータへのコンピュータ使用アクセスを与えない
- アプリケーションでコンピュータ使用機能を有効にする、またはそれに必要な権限をリクエストする前に、エンドユーザーに関連するリスクを通知し、同意を得る
不適切または違法な行為： Anthropicの利用規約に基づき、法律または利用規定に違反するためにコンピュータ使用を利用してはなりません。

データ保持

料金

コンピュータ使用は標準のツール使用の価格に従います。コンピュータ使用ツールを使用する場合：

システムプロンプトのオーバーヘッド: コンピュータ使用ベータは、システムプロンプトに466〜499トークンを追加します

コンピュータ使用ツールのトークン使用量:

モデル	ツール定義あたりの入力トークン
Claude 4.x モデル	735トークン

追加のトークン消費:

スクリーンショット画像（Visionの価格を参照）
Claudeに返されるツール実行結果

次のステップ

ツール使用のトラブルシューティング

症状から修正方法への診断表で、最も一般的なツール使用エラーを修正します。

リファレンス実装

完全なDockerベースの実装から始めましょう

Claudeでのツール使用

ベストプラクティスの詳細

解像度、思考の労力、コンテキスト管理に関するベンチマーク済みの推奨事項

Compatibility

Supported models	Opus 4.5, 4.6, 4.7, 4.8, and 5 Sonnet 4.6 and 5
Supported platforms	Claude APIBeta Claude Platform on AWSBeta Amazon BedrockBeta Google CloudBeta Microsoft FoundryBeta

Was this page helpful?

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

アクションの例

クリックおよびスクロールアクションでの修飾キー

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

スクリーンショットキャプチャの失敗

無効な座標

アクション実行の失敗

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

適切なディスプレイ解像度を使用する

適切なスクリーンショット処理を実装する

プロンプトキャッシングのためにスクリーンショット履歴を管理する

アクション遅延を追加する

実行前にアクションを検証する

デバッグのためにアクションをログに記録する

コンピュータ使用の制限事項を理解する

データ保持

料金

次のステップ

Compatibility

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

アクションの例

クリックおよびスクロールアクションでの修飾キー

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

スクリーンショットキャプチャの失敗

無効な座標

アクション実行の失敗

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

適切なディスプレイ解像度を使用する

適切なスクリーンショット処理を実装する

プロンプトキャッシングのためにスクリーンショット履歴を管理する

アクション遅延を追加する

実行前にアクションを検証する

デバッグのためにアクションをログに記録する

コンピュータ使用の制限事項を理解する

データ保持

料金

次のステップ

Compatibility

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

コンピュータ使用の制限事項を理解する

データ保持

料金

次のステップ

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

コンピュータ使用の制限事項を理解する

データ保持

料金

次のステップ