Computer-Use-Tool

Claude kann über das Computer-Use-Tool mit Computerumgebungen interagieren. Dieses Tool bietet Screenshot-Funktionen sowie Maus- und Tastatursteuerung für autonome Desktop-Interaktion.



Überblick

„Computer use" (Computernutzung) ist ein Beta-Feature, das Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen, was aktuell auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, Ziehen und Bewegen des Cursors
• Tastatureingabe: Text eingeben und Tastenkombinationen verwenden
• Desktop-Automatisierung: Mit beliebigen Anwendungen oder Oberflächen interagieren

Computer Use kann zwar mit anderen Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows erweitert werden, bezieht sich aber speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Informationen zur Modellunterstützung findest du in der Tool-Referenz.



Sicherheitsüberlegungen

Computer Use ist ein Beta-Feature mit besonderen Risiken, die sich von Standard-API-Features unterscheiden. Diese Risiken sind bei der Interaktion mit dem Internet erhöht.

Unter bestimmten Umständen folgt Claude Befehlen, die in Inhalten gefunden werden, selbst wenn sie deinen Anweisungen widersprechen. Beispielsweise könnten Anweisungen auf Webseiten oder in Bildern deine Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Triff Vorkehrungen, um Claude von sensiblen Daten und Aktionen zu isolieren und so Risiken im Zusammenhang mit Prompt-Injection zu vermeiden.

Anthropic hat das Modell darauf trainiert, diesen Prompt-Injections zu widerstehen, und eine zusätzliche Verteidigungsebene hinzugefügt. Wenn du die Computer-Use-Tools verwendest, werden automatisch Klassifikatoren auf deine Prompts angewendet, um potenzielle Fälle von Prompt-Injections zu erkennen. Wenn diese Klassifikatoren potenzielle Prompt-Injections in Screenshots identifizieren, steuern sie das Modell automatisch so, dass es vor der nächsten Aktion eine Benutzerbestätigung anfordert. Dieser zusätzliche Schutz ist nicht für jeden Anwendungsfall ideal (zum Beispiel für Anwendungsfälle ohne Human-in-the-Loop). Wenn du dich also abmelden und ihn deaktivieren möchtest, kontaktiere den Support.

Diese Vorsichtsmaßnahmen bleiben auch mit der Klassifikator-Verteidigungsebene wichtig.

Informiere Endnutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Computer Use in deinen eigenen Produkten aktivierst.



Schnellstart

So startest du mit Computer Use:

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-5",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)



Wie Computer Use funktioniert

Die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe wird als „agent loop" (Agenten-Schleife) bezeichnet (das heißt, Claude antwortet mit einer Tool-Use-Anfrage und deine Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage).



Die Computing-Umgebung

Computer Use erfordert eine Sandbox-Computing-Umgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:

1. Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Oberfläche rendert, die Claude über Screenshots sieht und mit Maus-/Tastaturaktionen steuert.

2. Desktop-Umgebung: Eine leichtgewichtige UI mit Fenstermanager (Mutter) und Panel (Tint2) unter Linux, die eine konsistente grafische Oberfläche für Claudes Interaktion bereitstellt.

3. Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben nutzen kann.

4. Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie „Maus bewegen" oder „Screenshot erstellen") in tatsächliche Operationen in der virtuellen Umgebung übersetzt.

5. Agent-Loop: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung abwickelt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

Wenn du Computer Use verwendest, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen macht deine Anwendung Folgendes:

1. Empfängt Claudes Tool-Use-Anfragen
2. Übersetzt sie in Aktionen in deiner Computing-Umgebung
3. Erfasst die Ergebnisse (wie Screenshots und Befehlsausgaben)
4. Gibt diese Ergebnisse an Claude zurück

Aus Sicherheits- und Isolationsgründen führt die Referenzimplementierung all dies innerhalb eines Docker-Containers mit entsprechenden Port-Mappings aus, um die Umgebung anzuzeigen und mit ihr zu interagieren.



Wie du Computer Use implementierst



Starte mit der Referenzimplementierung

Es steht eine Referenzimplementierung zur Verfügung, die alles enthält, was du für den Einstieg in Computer Use benötigst:

• Eine containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
• Implementierungen der Computer-Use-Tools
• Eine Agent-Loop, die mit der Claude API interagiert und die Computer-Use-Tools ausführt
• Eine Weboberfläche zur Interaktion mit dem Container, der Agent-Loop und den Tools.



Die Agent-Loop verstehen

Der Kern von Computer Use ist die „agent loop" (Agenten-Schleife): ein Zyklus, in dem Claude Tool-Aktionen anfordert, deine Anwendung sie ausführt und die Ergebnisse an Claude zurückgibt. Die Schleife verwendet den Client, den du im Schnellstart erstellt hast, eine Tool-Liste in der Form des tools-Arrays aus dem Schnellstart und den Helper zur Verarbeitung von Tool-Aufrufen, der in Claudes Tool-Aufrufe verarbeiten definiert ist. Hier ein vereinfachtes Beispiel:

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Füge Claudes Antwort zum Konversationsverlauf hinzu
        messages.append({"role": "assistant", "content": response.content})

        # Führe alle von Claude angeforderten Tools aus und sammle die Ergebnisse
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # Sende die Tool-Ergebnisse für die nächste Iteration an Claude zurück
        messages.append({"role": "user", "content": tool_results})

    return messages

Die Schleife läuft weiter, bis entweder Claude antwortet, ohne Tools anzufordern (Aufgabe abgeschlossen), oder das maximale Iterationslimit erreicht ist. Diese Absicherung verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.

Probiere die Referenzimplementierung aus, bevor du den Rest dieser Dokumentation liest.



Modellleistung durch Prompting optimieren

Hier einige Tipps, wie du die besten Ergebnisse erzielst:

1. Gib einfache, klar definierte Aufgaben an und liefere explizite Anweisungen für jeden Schritt.
2. Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne sie explizit zu überprüfen. Um dies zu verhindern, kannst du Claude mit folgendem Prompt anweisen: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Einige UI-Elemente (wie Dropdowns und Scrollbars) können für Claude schwierig mit Mausbewegungen zu bedienen sein. Wenn du dies feststellst, versuche, das Modell anzuweisen, Tastenkombinationen zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen füge Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in deinen Prompt ein.
5. Wenn das Modell sich anmelden muss, gib ihm den Benutzernamen und das Passwort in deinem Prompt innerhalb von XML-Tags wie <robot_credentials> an. Die Verwendung von Computer Use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko negativer Ergebnisse durch Prompt-Injection. Lies Jailbreaks und Prompt-Injections abschwächen, bevor du dem Modell Anmeldedaten bereitstellst.
6. Wenn du das content-Array eines User-Turns erstellst, platziere den Anweisungstext vor dem Screenshot-Bild. Die Angabe der Zielbeschreibung vor der Bildverarbeitung verbessert die Klickgenauigkeit.
7. Wenn du computer_20251124 mit enable_zoom: true verwendest, zoomt Claude in einen Bereich hinein, wenn nach kleinem Text oder bestimmten UI-Elementen gefragt wird, die bei der Standardauflösung des Screenshots nicht lesbar sind, wie Dateinamen in einer Seitenleiste, Tab-Titel, Statusleistentext, Zeilennummern oder Button-Beschriftungen. Wenn Claude nicht zoomt, obwohl du es erwartest, frage nach einem bestimmten Bereich oder Element statt nach dem Bildschirm als Ganzes.



System-Prompts

Wenn eines der Anthropic-Schema-Tools über die Claude API angefordert wird, wird ein Computer-Use-spezifischer System-Prompt generiert. Er ähnelt dem Tool-Use-System-Prompt, beginnt aber mit:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Wie bei der regulären Tool-Nutzung wird der vom Nutzer bereitgestellte system-Parameter weiterhin berücksichtigt und bei der Erstellung des kombinierten System-Prompts verwendet.



Verfügbare Aktionen

Das Computer-Use-Tool unterstützt diese Aktionen:

Basisaktionen (alle Versionen)

• screenshot: Aktuelles Display erfassen
• left_click: Klick an Koordinaten [x, y]
• type: Textstring eingeben
• key: Taste oder Tastenkombination drücken (zum Beispiel „ctrl+s")
• mouse_move: Cursor zu Koordinaten bewegen

Erweiterte Aktionen (computer_20250124 und später) Verfügbar in computer_20250124 und computer_20251124:

• scroll: In beliebige Richtung mit Mengensteuerung scrollen
• left_click_drag: Klicken und zwischen Koordinaten ziehen
• right_click, middle_click: Zusätzliche Maustasten
• double_click, triple_click: Mehrfachklicks
• left_mouse_down, left_mouse_up: Feingranulare Klicksteuerung
• hold_key: Eine Taste für eine bestimmte Dauer (in Sekunden) gedrückt halten
• wait: Pause zwischen Aktionen

Erweiterte Aktionen (computer_20251124) Verfügbar in Claude Opus 5, Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 und Claude Opus 4.5:

• Alle Aktionen aus computer_20250124
• zoom: Einen bestimmten Bildschirmbereich in voller Auflösung anzeigen. Erfordert enable_zoom: true in der Tool-Definition. Nimmt einen region-Parameter mit Koordinaten [x1, y1, x2, y2] entgegen, die die obere linke und untere rechte Ecke des zu untersuchenden Bereichs definieren.



Tool-Parameter



Kombination mit Thinking

Zur Kombination von Computer Use mit Thinking siehe Thinking.



Computer Use mit anderen Tools erweitern

Um weitere Tools neben Computer Use hinzuzufügen, füge sie in dasselbe tools-Array ein. Der Abschnitt Schnellstart zeigt dieses Muster mit dem Bash-Tool und dem Text-Editor-Tool. Du kannst deine eigenen benutzerdefinierten Tool-Definitionen auf die gleiche Weise hinzufügen.



Eine eigene Computer-Use-Umgebung erstellen

Die Referenzimplementierung soll dir den Einstieg in Computer Use erleichtern. Sie enthält alle Komponenten, die benötigt werden, damit Claude einen Computer nutzen kann. Du kannst jedoch auch deine eigene Umgebung für Computer Use erstellen, die deinen Anforderungen entspricht. Du benötigst:

• Eine virtualisierte oder containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
• Eine Implementierung von mindestens einem der Anthropic-Schema-Computer-Use-Tools
• Eine Agent-Loop, die mit der Claude API interagiert und die tool_use-Ergebnisse mit deinen Tool-Implementierungen ausführt
• Eine API oder UI, die Benutzereingaben ermöglicht, um die Agent-Loop zu starten



Das Computer-Use-Tool implementieren

Das Computer-Use-Tool ist als schemaloses Tool implementiert. Bei der Verwendung dieses Tools musst du kein Input-Schema wie bei anderen Tools angeben; das Schema ist in Claudes Modell integriert und kann nicht geändert werden.



Fehler behandeln

Bei der Implementierung des Computer-Use-Tools können verschiedene Fehler auftreten. So behandelst du sie:



Screenshots an Bildgrößenlimits anpassen

Screenshots, die an das Computer-Tool gesendet werden, sollten innerhalb von Claudes Bildgrößenlimits liegen (siehe Bildgrößenlimits). Die API skaliert zu große Bilder herunter, bevor Claude sie sieht, und Claude gibt Koordinaten für das Bild zurück, das es sieht. Wenn du dich also auf die serverseitige Herunterskalierung verlässt, fehlt dir der Skalierungsfaktor, den du benötigst, um diese Koordinaten auf deinen Bildschirm zurückzurechnen. Nur Bilder, die die separaten Request-Limits der API überschreiten (zum Beispiel mehr als 8.000 px auf einer Seite), werden mit einem Validierungsfehler abgelehnt statt herunterskaliert.

Wenn dein Bildschirm größer als das Limit ist, skaliere den Screenshot vor dem Senden herunter, setze display_width_px/display_height_px auf die skalierten Abmessungen und rechne Claudes zurückgegebene Koordinaten auf den ursprünglichen Bildschirmbereich zurück:

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# Beim Erstellen eines Screenshots
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Skaliere das Bild auf die angepassten Abmessungen, bevor du es an Claude sendest
screenshot = capture_and_resize(scaled_width, scaled_height)


# Beim Verarbeiten von Claudes Koordinaten skaliere sie wieder hoch
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)



Klickprobleme diagnostizieren

Wenn Klicks ihre Ziele verfehlen, liegt die Ursache meist in einem der folgenden Punkte:



Best Practices für die Implementierung befolgen



Einschränkungen von Computer Use verstehen

Computer Use befindet sich in der Beta-Phase. Beachte die folgenden Einschränkungen:

1. Latenz: Die aktuelle Computer-Use-Latenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären menschengesteuerten Computeraktionen zu langsam sein. Konzentriere dich auf Anwendungsfälle, bei denen Geschwindigkeit nicht kritisch ist (zum Beispiel Informationssammlung im Hintergrund, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.

2. Genauigkeit und Zuverlässigkeit der Computer Vision: Claude kann Fehler machen oder halluzinieren, wenn es beim Generieren von Aktionen spezifische Koordinaten ausgibt. Erweitertes Denken kann dir helfen, die Argumentation des Modells zu verstehen und potenzielle Probleme zu identifizieren.

3. Genauigkeit und Zuverlässigkeit der Tool-Auswahl: Claude kann Fehler machen oder halluzinieren, wenn es beim Generieren von Aktionen Tools auswählt, oder unerwartete Aktionen zur Problemlösung durchführen. Zusätzlich kann die Zuverlässigkeit geringer sein, wenn mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig interagiert wird. Formuliere deine Prompts sorgfältig, wenn du komplexe Aufgaben anforderst.

4. Scroll-Zuverlässigkeit: Die Scroll-Aktion unterstützt Richtungssteuerung (hoch, runter, links, rechts) und eine angegebene Menge. In Anwendungen, in denen Scrollen nicht wirkt, können Tastaturalternativen wie Page Down helfen.

5. Tabellenkalkulations-Interaktion: Verwende die feingranularen Maussteuerungsaktionen (left_mouse_down, left_mouse_up) und Modifikatortasten-Kombinationen, um einzelne Zellen auszuwählen. Komplexe Tabellenkalkulationsoperationen können dennoch mehrere Versuche erfordern.

6. Kontoerstellung und Inhaltserstellung auf Social-Media- und Kommunikationsplattformen: Claude besucht zwar Websites, aber Claudes Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig als Mensch auszugeben, ist auf Social-Media-Websites und -Plattformen eingeschränkt. Diese Fähigkeit kann in Zukunft aktualisiert werden.

7. Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt-Injection können in führenden KI-Systemen bestehen bleiben, einschließlich der Beta-Computer-Use-API. Unter bestimmten Umständen folgt Claude Befehlen, die in Inhalten gefunden werden, manchmal selbst dann, wenn sie deinen Anweisungen widersprechen. Beispielsweise könnten Anweisungen auf Webseiten oder in Bildern deine Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Berücksichtige Folgendes:

   • Beschränke Computer Use auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen
   • Vermeide es, Computer Use ohne strenge Aufsicht Zugriff auf sensible Konten oder Daten zu geben
   • Informiere Endnutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Computer-Use-Features in deinen Anwendungen aktivierst oder die dafür erforderlichen Berechtigungen anforderst

8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic darfst du Computer Use nicht einsetzen, um gegen Gesetze oder die Acceptable Use Policy zu verstoßen.

Überprüfe und verifiziere Claudes Computer-Use-Aktionen und -Protokolle immer sorgfältig. Verwende Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen erfordern, ohne menschliche Aufsicht.



Datenspeicherung

Computer Use ist ein clientseitiges Tool. Alle Screenshots, Mausaktionen, Tastatureingaben und alle an einer Sitzung beteiligten Dateien werden in deiner Umgebung erfasst und gespeichert, nicht von Anthropic. Anthropic verarbeitet die Screenshot-Bilder und Aktionsanfragen in Echtzeit als Teil des API-Aufrufs. Die Speicherung dieser API-Anfragen unterliegt API und Datenspeicherung.

Da deine Anwendung steuert, wo und wie Computer-Use-Daten gespeichert werden, ist Computer Use ZDR-fähig. Zur ZDR-Fähigkeit über alle Features hinweg siehe API und Datenspeicherung.



Preise

Computer use folgt der standardmäßigen Preisgestaltung für Tool-Nutzung. Bei der Verwendung des Computer-use-Tools:

System-Prompt-Overhead: Die Computer-use-Beta fügt dem System-Prompt 466–499 Token hinzu

Token-Verbrauch des Computer-use-Tools:

Zusätzlicher Token-Verbrauch:

• Screenshot-Bilder (siehe Vision-Preisgestaltung)
• Tool-Ausführungsergebnisse, die an Claude zurückgegeben werden



Nächste Schritte