Guida GPT-5.5 Computer Use nel 2026: come automatizzare i compiti desktop con il modello agentico di OpenAI
Una guida pratica al 2026 per l'uso del computer con GPT-5.5: come funziona il ciclo screenshot-azione, come configurarlo, benchmark OSWorld, costi e dove supera Claude Computer Use. Esempi passo dopo passo per l'automazione desktop e del browser.
1X2.TV — Previsioni calcistiche AI
Previsioni di partite di calcio, consigli per scommesse e analisi approfondite basate sull'AI. Alimentato da algoritmi di machine learning che analizzano oltre 50.000 partite.
Ottieni previsioniQuando OpenAI ha rilasciato GPT-5.5 il 23 aprile 2026, i numeri principali erano la riduzione delle allucinazioni del 60% e l'aumento al 78,7% su OSWorld-Verified. L'aspetto davvero interessante, sepolto a metà delle note di rilascio, era che computer use è ora di prima classe nell'API di GPT-5.5. Niente più wrapper, niente più accesso riservato a Codex: qualsiasi sviluppatore con credenziali API può fornire a GPT-5.5 uno screenshot e ricevere comandi strutturati di click, digitazione e scorrimento.
È la stessa primitiva che Anthropic ha rilasciato a fine 2025 con Claude Computer Use e la stessa architettura che Microsoft sta ora integrando negli agenti computer-use di Copilot Studio. La differenza è il modello sottostante: GPT-5.5 è il miglior modello per computer use disponibile nel 2026 ed è il primo che consiglieremmo di usare su carichi di lavoro di produzione reali.
Questa guida è il documento pratico su "come usarlo davvero". Tratteremo l'architettura del ciclo screenshot-azione, un modello di codice funzionante, i prompt che rendono affidabili gli agenti, i costi reali e come GPT-5.5 si confronta con Claude Computer Use per diversi tipi di attività.
Per una recensione più ampia di GPT-5.5 (benchmark, prezzi per tutte le attività, prestazioni specifiche per la programmazione), consulta la nostra recensione di GPT-5.5. Questo articolo si concentra specificamente sulla funzione computer use.
Che cos'è "Computer Use"?
Computer use è una primitiva che consente a un LLM di operare un desktop come farebbe un umano: vede gli screenshot, decide quale azione intraprendere ed emette comandi strutturati (click x,y / digita "testo" / scorri / combinazione di tasti). Inseriscilo in un ciclo e ottieni un agente in grado di controllare qualsiasi app, incluse quelle senza API, senza server MCP e senza integrazioni.
I casi d'uso che lo giustificano:
- Automazione di app legacy. Sistemi ERP, cartelle cliniche elettroniche sanitarie, terminali di brokeraggio e altre app desktop Windows che non avranno mai un'API moderna.
- Attività nel browser dove gli strumenti di automazione falliscono. Siti che bloccano Playwright, interfacce SaaS complesse, portali fornitori con modifiche settimanali dell’interfaccia.
- Test del flusso di lavoro end-to-end. Suite di test UI che devono validare il comportamento effettivo renderizzato.
- Strumenti di accessibilità. Agenti che operano i computer per conto degli utenti.
I casi d’uso che non lo giustificano:
- Qualsiasi cosa con un’API funzionante. Le API sono più economiche, più veloci e più affidabili.
- Qualsiasi cosa che Selenium o Playwright gestiscano già in modo pulito.
- Attività ad alta produttività. Il ciclo di screenshot è lento per definizione.
Se un’attività ha un’API, usa l’API. L’uso del computer è per la coda lunga.
L’architettura: un ciclo screenshot-azione
Ogni sistema di uso del computer nel 2026 — GPT-5.5, Claude Computer Use, i discendenti di Mariner — implementa lo stesso ciclo:
1. Your script captures a screenshot of the target environment.
2. Sends [screenshot + task description + history] to the model.
3. Model returns a structured action: click(x,y), type("text"), scroll(dy), key("Ctrl+S"), or done.
4. Your script executes the action in the target environment.
5. Go to step 1, until model returns "done" or you hit a step limit.
Questo è tutto. Il modello non “controlla” mai direttamente il tuo computer — emette descrizioni delle azioni e il tuo codice le esegue. Questo è importante per la sicurezza: puoi isolare in sandbox, registrare, limitare la frequenza e controllare ogni azione prima che avvenga.
Il “computer” può essere:
- Un desktop virtuale (VM, contenitore Docker con display).
- Un browser (Chrome headless tramite Playwright o Puppeteer).
- Un desktop remoto (sessione RDP/VNC).
- Il tuo laptop reale (non farlo, ma puoi).
Configurazione: uso minimo del computer
Ti servono tre cose:
- Una chiave API OpenAI con accesso a GPT-5.5.
- Un ambiente in grado di produrre screenshot ed eseguire eventi di input.
- Un ciclo.
Ecco la configurazione minima funzionante usando Playwright come ambiente (solo browser — per il desktop, sostituisci con pyautogui o un driver VM):
from openai import OpenAI
from playwright.sync_api import sync_playwright
import base64
client = OpenAI()
def screenshot_to_b64(page):
return base64.b64encode(page.screenshot()).decode()
def run_task(task: str, max_steps: int = 25):
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page(viewport={"width": 1280, "height": 800})
page.goto("about:blank")
history = []
for step in range(max_steps):
shot = screenshot_to_b64(page)
response = client.responses.create(
model="gpt-5.5",
tools=[{"type": "computer_use_preview",
"display_width": 1280,
"display_height": 800,
"environment": "browser"}],
input=[
{"role": "system", "content": "You are a careful browser agent. Plan, then act."},
{"role": "user", "content": [
{"type": "input_text", "text": task},
{"type": "input_image", "image_url": f"data:image/png;base64,{shot}"}
]},
*history
]
)
action = response.output[0]
if action.type == "done":
return action.summary
execute_action(page, action)
history.append({"role": "assistant", "content": action.model_dump_json()})
return "max_steps_exceeded"
def execute_action(page, action):
if action.action == "click":
page.mouse.click(action.x, action.y)
elif action.action == "type":
page.keyboard.type(action.text)
elif action.action == "scroll":
page.mouse.wheel(0, action.dy)
elif action.action == "key":
page.keyboard.press(action.key)
È intenzionalmente minimale. Un sistema di produzione richiede gestione degli errori, logica di retry, cache degli screenshot, controllo delle azioni e osservabilità — ma il ciclo sopra è l’intero modello mentale.
Prompting efficace per agenti di uso del computer
La qualità di un agente di uso del computer dipende per l’80% dal prompt di sistema e per il 20% dal modello. Dopo un mese di iterazioni, i pattern che funzionano costantemente:
Sii esplicito sui confini del compito. “Prenota un volo da SFO a LAX per domani mattina, sotto i 300 $, e fermati prima del pagamento” è bene. “Prenotami un volo” è male. Gli agenti di uso del computer deriveranno se li lasci fare.
Chiedi al modello di pianificare, poi di agire. Un breve passaggio di pianificazione prima della prima azione riduce drasticamente i clic inutili. Abbiamo riscontrato una riduzione del 30% del numero di passaggi con un’istruzione di una riga: “Prima di ogni azione, indica brevemente cosa stai per fare e perché”.
Concedi un’opzione “fermati e chiedi”. Gli agenti per l’uso del computer tendono a procedere a testa bassa di fronte alle ambiguità. Aggiungere “Se incontri un CAPTCHA, una richiesta di login o una scelta ambigua, fermati e restituisci una richiesta strutturata di aiuto” previene la maggior parte delle modalità di errore.
Limita i passaggi. Gli agenti senza un budget di passaggi gireranno a vuoto per sempre su pagine rotte. 25–50 passaggi sono l’ideale per la maggior parte dei compiti. Se ne servono di più, scompone il compito.
Mostra, non dire, per gli elementi dell’interfaccia. Invece di “clicca sul pulsante di invio”, preferisci “invia il modulo (il pulsante verde in fondo alla pagina)”. Il modello legge i pixel, non il DOM: le descrizioni che corrispondono a ciò che vede funzionano meglio dei selettori CSS.
Benchmark OSWorld: cosa significano i numeri
OSWorld è il benchmark di riferimento per l’uso del computer e misura se un modello può completare compiti reali sul desktop su Linux, Windows e macOS. GPT-5.5 raggiunge il 78,7% su OSWorld-Verified, mettendosi davanti a Claude Computer Use (74,1% sullo stesso benchmark) e ben davanti alla modalità di uso del computer di Gemini 3.1 Pro (66,4%).
Ma i benchmark mentono sui carichi di lavoro reali. Tre cose che il numero di OSWorld non ti dice:
- I compiti di OSWorld sono brevi. La maggior parte richiede 5–15 passaggi. I compiti lunghi (50+ passaggi) peggiorano molto più rapidamente.
- Gli ambienti di OSWorld sono puliti. Le app di produzione hanno popup, modifiche all’interfaccia testate con A/B e reindirizzamenti di autenticazione che i benchmark non simulano.
- I compiti di OSWorld hanno criteri di successo non ambigui. I compiti reali spesso presentano modalità di errore del tipo “il modulo è stato inviato, ma è quello giusto?”.
Nei nostri test, GPT-5.5 si attesta a circa il 62–68% di successo sui flussi di lavoro reali nel browser e il 45–55% sui flussi di lavoro reali nelle app desktop, a seconda della qualità dell’interfaccia dell’app. È sufficiente per essere utile con un umano nel ciclo. Non è ancora sufficiente per un deploy completamente autonomo per lavori ad alto rischio.
Costi: il ciclo si accumula rapidamente
L'uso del computer è il modo più costoso per eseguire GPT-5.5, punto. Ogni passaggio nel ciclo invia uno screenshot (tipicamente 1280x800 = ~1300 token a dettaglio standard, molti di più a dettaglio elevato) più la cronologia accumulata.
Calcolo approssimativo per un'attività di browser da 25 passaggi:
- 25 screenshot × ~1300 token = 32.500 token immagine
- Cronologia delle azioni: ~5K–15K token accumulati
- Prompt di sistema + attività: ~1K token
- Input totale: ~40–50K token per attività
- Output: ~5K token di descrizioni delle azioni
Ai prezzi di GPT-5.5 (~$1,25/M input, ~$10/M output), sono circa $0,10–$0,15 per attività completata — prima di contare errori e tentativi. Per un'attività di 50 passaggi, raddoppia.
Due tecniche di controllo dei costi che funzionano:
Cache degli screenshot. La cache dei prompt di OpenAI si applica ai contenuti delle immagini. Se esegui molte attività simili (ad es., elaborare una coda di fatture tramite la stessa interfaccia utente), struttura i tuoi prompt in modo che il prompt di sistema e i primi screenshot siano memorizzabili in cache. Abbiamo visto una riduzione dei costi di input del 60–70% in questo modo.
Compressione dei passaggi. Fai riassumere la cronologia al modello ogni 10 passaggi in modo che il contesto non cresca linearmente. Un breve riassunto ti costa un round trip di 1 passaggio ma risparmia token su ogni passaggio successivo.
GPT-5.5 contro Claude Computer Use contro Gemini
| Capacità | GPT-5.5 | Claude Computer Use | Gemini 3.1 Pro |
|---|---|---|---|
| OSWorld-Verified | 78.7% | 74.1% | 66.4% |
| Attività di browser (mondo reale) | Forte | Forte | Moderata |
| Applicazioni desktop | Forte | Forte | Più debole |
| Stabilità a lungo termine | Il migliore della categoria | Buono | Discreta |
| Costo per attività (25 passaggi) | $0.10–$0.15 | $0.08–$0.12 | $0.06–$0.10 |
| Maturità dell’API | Nuovo (Apr 2026) | Consolidato | Nuovo (Mar 2026) |
| Impostazioni di sicurezza predefinite | Moderata | Aggressivo | Moderata |
Scegli GPT-5.5 per le attività in cui la capacità è il collo di bottiglia — flussi di lavoro lunghi, applicazioni desktop complesse, tutto ciò che richiede il modello più potente.
Scegli Claude Computer Use per le attività sensibili alla sicurezza. Le impostazioni predefinite di Anthropic sono più conservative e il modello è più propenso a fermarsi e chiedere. Se il costo di un'azione errata è elevato, Claude è l'opzione predefinita più sicura. Vedi il nostro confronto tra i colleghi Claude e Cursor per i compromessi correlati sulla modalità agente.
Scegli Gemini quando hai bisogno di un contesto multimodale oltre agli screenshot — video lunghi, audio lunghi, attività ricche di documenti in cui la finestra di contesto da 1–2M token conta più della pura accuratezza nell'uso del computer.
Modalità di errore comuni (e soluzioni)
Dopo aver eseguito centinaia di attività di uso del computer, gli stessi errori si ripresentano. Ecco i quattro più comuni e come risolverli:
1. L’agente clicca sul pulsante sbagliato in una pagina affollata. Rimedio: Aumenta la risoluzione degli screenshot. Il valore predefinito 1280x800 perde dettagli nelle interfacce dense. Passare a 1920x1080 (e comunicare al modello la nuova risoluzione) riduce i clic errati di circa la metà.
2. L’agente perde il filo nei task lunghi. Rimedio: Suddividi il task in sotto-obiettivi denominati e fai spuntare al modello ciascuno di essi. Prompt: “Mantieni una checklist dei sotto-obiettivi. Dopo ogni azione, segna i progressi.”
3. L’agente resta bloccato in un loop sulla stessa schermata. Rimedio: Rileva screenshot identici per N passaggi consecutivi e forza un cambio di stato (aggiorna, torna alla home o escala). I modelli ripeteranno la stessa azione all’infinito se glielo consenti.
4. L’agente fa trapelare dati nei prompt. Rimedio: Pre-elabora gli screenshot per oscurare le PII evidenti prima di inviarli all’API. Il modello non ha bisogno di vedere veri numeri di previdenza sociale per compilare un modulo; può usare segnaposto che la tua post-elaborazione sostituisce.
Sicurezza: cosa bloccare prima della produzione
Gli agenti computer-use agiscono sui tuoi sistemi. Trattali come un dipendente junior con i permessi per rompere le cose. Misure di salvaguardia minime per la produzione:
- Sandboxa l’ambiente. Esegui gli agenti in VM, container o profili browser dedicati — mai sul desktop principale dell’utente.
- Regola le azioni distruttive. Qualsiasi azione che corrisponda a una regex di pattern pericolosi (eliminazione, pagamento, invio email) dovrebbe richiedere l’approvazione esplicita di un umano.
- Registra ogni azione. Azione + screenshot + ragionamento, archiviati per l’audit.
- Limita la frequenza in modo aggressivo. Un agente fuori controllo può accumulare costi seri in pochi minuti.
- Imposta limiti temporali per tutto. Passaggi massimi per task, task massimi per ora, costo massimo per task. Limiti rigidi, non avvisi soft.
- Monitora la deriva. Un task che improvvisamente richiede 3x più passaggi del solito è un segnale — modifica dell’UI, regressione del modello, deriva del prompt.
Se stai costruendo agenti computer-use su larga scala, i pattern più ampi della nostra guida alla sicurezza degli agenti AI si applicano direttamente.
Quando usare GPT-5.5 Computer Use (e quando no)
Usalo quando:
- L’app target non ha un’API e hai confermato che Selenium/Playwright non bastano da soli.
- Il flusso di lavoro è abbastanza ambiguo da far fallire spesso l’automazione scriptata.
- Hai bisogno che un agente gestisca con eleganza le modifiche dell’UI.
- Il valore del task è sufficientemente alto da giustificare 0,10–1 $ per esecuzione.
Non usarlo quando:
- Esiste un'API. Usa l'API. Sempre.
- Il task è ad alto volume e basso valore. Il calcolo dei costi ti mangerà vivo.
- L'app target cambia layout a ogni sessione (alcuni siti bancari, alcuni portali protetti da captcha). Il modello farà fatica.
- Non puoi tollerare la latenza. Un task da 25 passaggi richiede 2–5 minuti end-to-end.
Cosa ci aspetta
OpenAI ha anticipato alcune cose sulla roadmap computer-use di GPT-5.5:
- Elaborazione degli screenshot a latenza ridotta. Attualmente la principale fonte di latenza per singolo passaggio.
- Input video nativo. Sostituisce il pattern screenshot-per-passaggio con l'elaborazione continua dei frame.
- Migliore interlacciamento delle chiamate agli strumenti. Consente di mescolare le azioni computer-use con le normali chiamate API nello stesso ciclo dell'agente.
La notizia più importante è che il pattern screenshot-azione è ormai un requisito base. Microsoft, Anthropic, OpenAI e Google lo offrono tutti. La differenziazione si sta spostando verso l'alto dello stack — verso la pianificazione a lungo termine, l'orchestrazione multi-agente e la governance. Se oggi stai costruendo agenti computer-use, progetta il ciclo in modo che possa essere sostituito — l'astrazione del modello ti risparmierà un notevole lavoro di riscrittura quando arriverà GPT-6.
Considerazioni finali
GPT-5.5 computer use è la versione più potente di questa primitiva disponibile nel 2026, e la maturità dell'API è sufficiente per farne una scelta ragionevole per la produzione. Non è una bacchetta magica — i task lunghi falliscono ancora, i costi non sono trascurabili e la sicurezza è responsabilità tua — ma per la coda lunga di "questa app non ha un'API e devo automatizzarla", è lo strumento più capace che abbiamo.
Inizia in piccolo. Esegui in una sandbox. Scegli un task doloroso ma tollerabile se fallisce. Misura il tasso di successo prima di scalare. E tieni d'occhio il più ampio panorama degli agenti AI — computer use è solo uno strumento in una cassetta degli attrezzi molto più grande, e la risposta giusta è spesso un ibrido di API, server MCP e fallback computer-use per la coda lunga.
Gli agenti che funzionano davvero in produzione non sono quelli con i prompt più ingegnosi. Sono quelli con uno scope umile, una forte osservabilità e limiti rigidi.
Previsioni azionarie AI — Analisi di mercato intelligente
Previsioni di mercato e analisi tecnica basate sull'AI. Ricevi previsioni giornaliere per azioni, ETF e criptovalute con punteggi di confidenza e metriche di rischio.
Vedi le previsioni di oggiStai creando o commercializzando uno strumento AI?
Fatti inserire, recensire o mettere in evidenza su AI Tools Hub — Inserzioni sponsorizzate di 12 mesi, multilingue. Da $49.
Team AI Tools Hub
Recensori esperti di strumenti AI
Il nostro team di appassionati di AI ed esperti di tecnologia testa e recensisce centinaia di strumenti AI per aiutarti a trovare la soluzione perfetta per le tue esigenze. Forniamo analisi oneste e approfondite basate sull'uso reale.