1X2.TV — Prévisions football IA
Prédictions de matchs et conseils de paris propulsés par l'IA
Prévisions boursières IA
Prévisions et analyses du marché boursier propulsées par l'IA

Guide GPT-5.5 Computer Use 2026 : Comment automatiser les tâches de bureau avec le modèle agentique d'OpenAI

Guide pratique 2026 de l'utilisation informatique de GPT-5.5 : fonctionnement de la boucle capture d'écran-action, configuration, benchmarks OSWorld, coûts et avantages face à Claude Computer Use. Exemples étape par étape pour l'automatisation du bureau et du navigateur.

Équipe AI Tools Hub
|
GPT-5.5 Computer Use Guide 2026: How to Automate Desktop Tasks with OpenAI's Agentic Model
Notre projet

1X2.TV — Prévisions football IA

Prédictions de matchs de football, conseils de paris et analyses approfondies propulsés par l'IA. Alimenté par des algorithmes d'apprentissage automatique analysant plus de 50 000 matchs.

Obtenir les prédictions

Lorsqu'OpenAI a lancé GPT-5.5 le 23 avril 2026, les chiffres phares étaient la réduction de 60 % des hallucinations et le passage à 78,7 % sur OSWorld-Verified. L'élément réellement intéressant, enfoui à mi-chemin des notes de version, était que l'utilisation de l'ordinateur est désormais une fonctionnalité de premier plan dans l'API GPT-5.5. Fini les wrappers, fini l'accès réservé à Codex — tout développeur disposant d'identifiants API peut fournir une capture d'écran à GPT-5.5 et recevoir en retour des commandes structurées de clic/saisie/défilement.

C'est la même primitive qu'Anthropic a lancée fin 2025 avec Claude Computer Use, et la même architecture que Microsoft intègre désormais dans les agents d'utilisation de l'ordinateur de Copilot Studio. La différence réside dans le modèle sous-jacent : GPT-5.5 est le meilleur modèle d'utilisation de l'ordinateur disponible en 2026, et c'est le premier que nous recommanderions pour des charges de travail de production réelles.

Ce guide est le document pratique « comment l'utiliser concrètement ». Nous aborderons l'architecture de la boucle capture d'écran-action, un modèle de code fonctionnel, les invites qui rendent les agents fiables, la réalité des coûts, et la façon dont GPT-5.5 se compare à Claude Computer Use pour différents types de tâches.

Pour un test plus large de GPT-5.5 (benchmarks, tarifs pour toutes les tâches, performances spécifiques au codage), consultez notre test de GPT-5.5. Cet article se concentre spécifiquement sur la fonctionnalité d'utilisation de l'ordinateur.

Qu'est-ce que l'« utilisation de l'ordinateur » exactement ?

L'utilisation de l'ordinateur est une primitive qui permet à un LLM d'opérer un bureau comme le ferait un humain : il voit des captures d'écran, décide de l'action à entreprendre et émet des commandes structurées (clic x,y / saisie de « texte » / défilement / combinaison de touches). Enveloppez cela dans une boucle et vous obtenez un agent capable de piloter n'importe quelle application — y compris celles qui n'ont ni API, ni serveur MCP, ni intégration.

Les cas d'usage qui le justifient :

  • Automatisation d'applications héritées. Systèmes ERP, dossiers médicaux électroniques (EMR) dans le secteur de la santé, terminaux de courtage et autres applications de bureau Windows qui n'auront jamais d'API moderne.
  • Tâches de navigateur où les outils d’automatisation échouent. Sites qui bloquent Playwright, interfaces SaaS complexes, portails fournisseurs avec des modifications d’interface chaque semaine.
  • Tests de flux de travail de bout en bout. Suites de tests d’interface qui doivent valider le comportement réel affiché.
  • Outils d’accessibilité. Agents qui pilotent des ordinateurs pour le compte des utilisateurs.

Les cas d’usage qui ne le justifient pas :

  • Tout ce qui dispose d’une API fonctionnelle. Les API sont moins chères, plus rapides et plus fiables.
  • Tout ce que Selenium ou Playwright gèrent déjà proprement.
  • Tâches à haut débit. La boucle de capture d’écran est lente par définition.

Si une tâche dispose d’une API, utilisez l’API. L’usage de l’ordinateur est réservé à la longue traîne.

L’architecture : une boucle capture d’écran-action

Tous les systèmes d’usage de l’ordinateur en 2026 — GPT-5.5, Claude Computer Use, les descendants de Mariner — implémentent la même boucle :

1. Your script captures a screenshot of the target environment.
2. Sends [screenshot + task description + history] to the model.
3. Model returns a structured action: click(x,y), type("text"), scroll(dy), key("Ctrl+S"), or done.
4. Your script executes the action in the target environment.
5. Go to step 1, until model returns "done" or you hit a step limit.

C’est tout. Le modèle ne « pilote » jamais directement votre ordinateur — il émet des descriptions d’actions, et votre code les exécute. C’est important pour la sécurité : vous pouvez isoler, journaliser, limiter le débit et valider chaque action avant qu’elle ne se produise.

L’« ordinateur » peut être :

  • Un bureau virtuel (VM, conteneur Docker avec un affichage).
  • Un navigateur (Chrome sans interface via Playwright ou Puppeteer).
  • Un bureau distant (session RDP/VNC).
  • Votre ordinateur portable réel (à éviter, mais possible).

Configuration : usage minimal viable de l’ordinateur

Vous avez besoin de trois éléments :

  1. Une clé API OpenAI avec accès à GPT-5.5.
  2. Un environnement capable de produire des captures d’écran et d’exécuter des événements d’entrée.
  3. Une boucle.

Voici la configuration minimale fonctionnelle utilisant Playwright comme environnement (navigateur uniquement — pour le bureau, remplacez par pyautogui ou un pilote de VM) :

from openai import OpenAI
from playwright.sync_api import sync_playwright
import base64

client = OpenAI()

def screenshot_to_b64(page):
    return base64.b64encode(page.screenshot()).decode()

def run_task(task: str, max_steps: int = 25):
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=False)
        page = browser.new_page(viewport={"width": 1280, "height": 800})
        page.goto("about:blank")

        history = []
        for step in range(max_steps):
            shot = screenshot_to_b64(page)
            response = client.responses.create(
                model="gpt-5.5",
                tools=[{"type": "computer_use_preview",
                        "display_width": 1280,
                        "display_height": 800,
                        "environment": "browser"}],
                input=[
                    {"role": "system", "content": "You are a careful browser agent. Plan, then act."},
                    {"role": "user", "content": [
                        {"type": "input_text", "text": task},
                        {"type": "input_image", "image_url": f"data:image/png;base64,{shot}"}
                    ]},
                    *history
                ]
            )

            action = response.output[0]
            if action.type == "done":
                return action.summary

            execute_action(page, action)
            history.append({"role": "assistant", "content": action.model_dump_json()})

        return "max_steps_exceeded"

def execute_action(page, action):
    if action.action == "click":
        page.mouse.click(action.x, action.y)
    elif action.action == "type":
        page.keyboard.type(action.text)
    elif action.action == "scroll":
        page.mouse.wheel(0, action.dy)
    elif action.action == "key":
        page.keyboard.press(action.key)

C’est volontairement minimal. Un système de production nécessite une gestion des erreurs, une logique de nouvelle tentative, une mise en cache des captures d’écran, un contrôle des actions et une observabilité — mais la boucle ci-dessus constitue l’ensemble du modèle mental.

Bien inviter les agents d’usage de l’ordinateur

La qualité d’un agent d’usage de l’ordinateur dépend à 80 % de l’invite système et à 20 % du modèle. Après un mois d’itération, les modèles qui fonctionnent systématiquement :

Soyez explicite sur les limites de la tâche. « Réservez un vol de SFO à LAX pour demain matin, à moins de 300 $, et arrêtez-vous avant le paiement » est bien. « Réservez-moi un vol » est mauvais. Les agents d’usage de l’ordinateur dériveront si vous les laissez faire.

Demandez au modèle de planifier, puis d’agir. Une courte étape de planification avant la première action réduit considérablement les clics inutiles. Nous avons constaté une réduction de 30 % du nombre d’étapes avec une instruction d’une ligne : « Avant chaque action, indiquez brièvement ce que vous allez faire et pourquoi ».

Offrez-lui une option « s’arrêter et demander ». Les agents d’utilisation de l’ordinateur ont tendance à traverser l’ambiguïté sans s’arrêter. Ajouter « Si vous rencontrez un CAPTCHA, une invite de connexion ou un choix ambigu, arrêtez-vous et renvoyez une demande d’aide structurée » prévient la plupart des modes de défaillance.

Plafonnez les étapes. Les agents sans budget d’étapes tourneront indéfiniment sur des pages cassées. 25 à 50 étapes est la fourchette idéale pour la plupart des tâches. Si vous avez besoin de plus, décomposez la tâche.

Montrez, ne dites pas, pour les éléments d’interface. Au lieu de « cliquez sur le bouton Envoyer », préférez « soumettez le formulaire (le bouton vert en bas de la page) ». Le modèle lit des pixels, pas le DOM — les descriptions qui correspondent à ce qu’il voit fonctionnent mieux que les sélecteurs CSS.

Benchmarks OSWorld : ce que signifient les chiffres

OSWorld est le benchmark de référence pour l’utilisation de l’ordinateur, mesurant si un modèle peut accomplir de vraies tâches de bureau sous Linux, Windows et macOS. GPT-5.5 atteint 78,7 % sur OSWorld-Verified, le plaçant devant Claude Computer Use (74,1 % sur le même benchmark) et nettement devant le mode d’utilisation de l’ordinateur de Gemini 3.1 Pro (66,4 %).

Mais les benchmarks mentent sur les charges de travail réelles. Trois choses que le chiffre OSWorld ne vous dit pas :

  1. Les tâches OSWorld sont courtes. La plupart font 5 à 15 étapes. Les tâches longues (50+ étapes) se dégradent beaucoup plus vite.
  2. Les environnements OSWorld sont propres. Les applications de production ont des popups, des changements d’interface testés en A/B et des redirections d’authentification que les benchmarks ne simulent pas.
  3. Les tâches OSWorld ont des critères de succès sans ambiguïté. Les tâches réelles ont souvent des modes de défaillance du type « le formulaire est soumis, mais est-ce le bon formulaire ? ».

Dans nos tests, GPT-5.5 obtient environ 62 à 68 % de réussite sur de vrais flux de travail dans le navigateur et 45 à 55 % sur de vrais flux de travail d’applications de bureau, selon la qualité de l’interface de l’application. C’est suffisant pour être utile avec un humain dans la boucle. Ce n’est pas encore suffisant pour un déploiement entièrement autonome sur des travaux à enjeux élevés.

Coût : la boucle s’accumule vite

L’utilisation de l’ordinateur est la façon la plus coûteuse d’exécuter GPT-5.5, point final. Chaque étape de la boucle envoie une capture d’écran (généralement 1280x800 = ~1300 jetons en détail standard, bien plus en détail élevé) ainsi que l’historique accumulé.

Calcul approximatif pour une tâche de navigateur de 25 étapes :

  • 25 captures d’écran × ~1300 jetons = 32 500 jetons d’image
  • Historique des actions : ~5K–15K jetons accumulés
  • Invite système + tâche : ~1K jetons
  • Total en entrée : ~40–50K jetons par tâche
  • Sortie : ~5K jetons de descriptions d’actions

Aux tarifs de GPT-5.5 (~1,25 $/M en entrée, ~10 $/M en sortie), cela représente environ 0,10–0,15 $ par tâche terminée — sans compter les échecs et les tentatives supplémentaires. Pour une tâche de 50 étapes, doublez ce montant.

Deux techniques de maîtrise des coûts qui fonctionnent :

Mise en cache des captures d’écran. La mise en cache des invites d’OpenAI s’applique au contenu des images. Si vous exécutez de nombreuses tâches similaires (par exemple, le traitement d’une file d’attente de factures via la même interface), structurez vos invites afin que l’invite système et les premières captures d’écran soient mises en cache. Nous avons observé une réduction des coûts d’entrée de 60–70 % grâce à cette méthode.

Compression des étapes. Demandez au modèle de résumer l’historique toutes les 10 étapes afin que le contexte n’augmente pas de façon linéaire. Un résumé court vous coûte un aller-retour d’une étape, mais permet d’économiser des jetons à chaque étape suivante.

GPT-5.5 contre Claude Computer Use contre Gemini

CapacitéGPT-5.5Claude Computer UseGemini 3.1 Pro
OSWorld-Verified78.7%74.1%66.4%
Tâches de navigateur (monde réel)FortFortModérée
Applications de bureauFortFortPlus faible
Stabilité sur le long termeMeilleur de sa catégorieBonCorrecte
Coût par tâche (25 étapes)$0.10–$0.15$0.08–$0.12$0.06–$0.10
Maturité de l’APINouveau (Avr 2026)ÉtabliNouveau (Mars 2026)
Paramètres de sécurité par défautModéréeAgressifModérée

Choisissez GPT-5.5 pour les tâches où la capacité est le facteur limitant — flux de travail longs, applications de bureau complexes, tout ce qui nécessite le modèle le plus performant.

Choisissez Claude Computer Use pour les tâches sensibles à la sécurité. Les paramètres par défaut d’Anthropic sont plus conservateurs, et le modèle est plus enclin à s’arrêter pour demander. Si le coût d’une mauvaise action est élevé, Claude est le choix par défaut le plus sûr. Consultez notre comparatif des collaborateurs Claude et Cursor pour connaître les compromis liés aux modes agent.

Choisissez Gemini lorsque vous avez besoin d’un contexte multimodal au-delà des captures d’écran — longues vidéos, longs fichiers audio, tâches riches en documents où la fenêtre de contexte de 1–2M de jetons prime sur la précision brute de l’utilisation de l’ordinateur.

Modes d’échec courants (et solutions)

Après avoir exécuté des centaines de tâches d’utilisation de l’ordinateur, les mêmes échecs reviennent sans cesse. Voici les quatre plus courants et comment les corriger :

1. L’agent clique sur le mauvais bouton sur une page chargée. Correction : Augmentez la résolution des captures d’écran. La résolution par défaut de 1280x800 perd des détails sur les interfaces denses. Passer à 1920x1080 (et indiquer la nouvelle résolution au modèle) réduit les clics erronés d’environ moitié.

2. L’agent perd le fil sur les tâches longues. Correction : Décomposez la tâche en sous-objectifs nommés et demandez au modèle de cocher chacun d’entre eux. Invite : « Maintenez une liste de contrôle des sous-objectifs. Après chaque action, marquez la progression. »

3. L’agent reste bloqué dans une boucle sur le même écran. Correction : Détectez les captures d’écran identiques sur N étapes consécutives et forcez un changement d’état (actualisation, retour à l’accueil ou escalade). Les modèles répéteront la même action indéfiniment si vous les laissez faire.

4. L’agent fuite des données dans les invites. Correction : Pré-traitez les captures d’écran pour masquer les PII évidents avant l’envoi à l’API. Le modèle n’a pas besoin de voir de vrais numéros de sécurité sociale pour remplir un formulaire ; il peut utiliser des espaces réservés que votre post-traitement remplace.

Sécurité : ce qu’il faut verrouiller avant la mise en production

Les agents d’utilisation de l’ordinateur agissent sur vos systèmes. Traitez-les comme un employé junior ayant les permissions de tout casser. Les garde-fous minimaux pour la production :

  • Isoler l’environnement dans un bac à sable. Exécutez les agents dans des VM, des conteneurs ou des profils de navigateur dédiés — jamais sur le bureau principal d’un utilisateur.
  • Contrôler les actions destructrices. Toute action correspondant à une expression régulière de motifs dangereux (suppression, paiement, envoi d’e-mail) doit nécessiter une approbation humaine explicite.
  • Journaliser chaque action. Action + capture d’écran + raisonnement, stockés pour l’audit.
  • Limiter le débit de manière agressive. Un agent débridé peut engendrer des coûts importants en quelques minutes.
  • Limiter la durée de tout. Nombre maximal d’étapes par tâche, nombre maximal de tâches par heure, coût maximal par tâche. Des limites strictes, pas des avertissements souples.
  • Surveiller la dérive. Une tâche qui soudainement prend 3x plus d’étapes que d’habitude signale quelque chose — changement d’interface, régression du modèle, dérive de l’invite.

Si vous construisez des agents d’utilisation de l’ordinateur à grande échelle, les tendances plus larges de notre guide de sécurité des agents IA s’appliquent directement.

Quand utiliser GPT-5.5 Computer Use (et quand ne pas l’utiliser)

Utilisez-le quand :

  • L’application cible n’a pas d’API et vous avez confirmé que Selenium/Playwright ne suffisent pas seuls.
  • Le flux de travail est suffisamment ambigu pour que l’automatisation scriptée échoue fréquemment.
  • Vous avez besoin d’un agent pour gérer les changements d’interface avec élégance.
  • La valeur de la tâche est suffisamment élevée pour justifier 0,10 à 1 $ par exécution.

Ne l’utilisez pas quand :

  • Une API existe. Utilisez l’API. Toujours.
  • La tâche est à fort volume et à faible valeur. Le calcul des coûts vous coûtera cher.
  • L’application cible change de mise en page à chaque session (certains sites bancaires, certains portails protégés par captcha). Le modèle aura du mal.
  • Vous ne pouvez pas tolérer la latence. Une tâche de 25 étapes prend 2 à 5 minutes de bout en bout.

Ce qui arrive ensuite

OpenAI a donné quelques indications sur la feuille de route de l’utilisation de l’ordinateur avec GPT-5.5 :

  • Traitement des captures d’écran à plus faible latence. Actuellement la principale source de latence par étape.
  • Entrée vidéo native. Remplacer le schéma de capture d’écran par étape par un traitement continu des images.
  • Meilleure intercalation des appels d’outils. Permettre aux actions d’utilisation de l’ordinateur de se mélanger aux appels API classiques dans la même boucle d’agent.

L’enjeu plus large est que le schéma capture d’écran-action est désormais un prérequis. Microsoft, Anthropic, OpenAI et Google le proposent tous. La différenciation se déplace vers le haut de la pile — vers la planification à long terme, l’orchestration multi-agents et la gouvernance. Si vous construisez des agents d’utilisation de l’ordinateur aujourd’hui, concevez-les de manière à ce que la boucle puisse être remplacée — l’abstraction du modèle vous évitera un retravail significatif lorsque GPT-6 arrivera.

Réflexions finales

L’utilisation de l’ordinateur avec GPT-5.5 est la version la plus aboutie de cette primitive disponible en 2026, et la maturité de l’API a suffisamment progressé pour en faire un choix de production raisonnable. Ce n’est pas une baguette magique — les tâches longues échouent encore, les coûts ne sont pas négligeables et la sécurité vous incombe — mais pour la longue traîne des « cette application n’a pas d’API et j’ai besoin de l’automatiser », c’est l’outil le plus performant dont nous disposons.

Commencez petit. Exécutez-le dans un bac à sable. Choisissez une tâche pénible mais dont l’échec est tolérable. Mesurez le taux de réussite avant de passer à l’échelle. Et gardez un œil sur le paysage plus large des agents IA — l’utilisation de l’ordinateur est un outil parmi d’autres dans une boîte à outils bien plus grande, et la bonne réponse est souvent un hybride d’APIs, de serveurs MCP et de repli sur l’utilisation de l’ordinateur pour la longue traîne.

Les agents qui fonctionnent réellement en production ne sont pas ceux qui ont les invites les plus astucieuses. Ce sont ceux qui ont un périmètre modeste, une forte observabilité et des limites strictes.

Notre projet

Prédictions boursières IA — Analyse de marché intelligente

Prévisions boursières et analyse technique alimentées par l'IA. Obtenez des prédictions quotidiennes pour les actions, les ETF et les cryptomonnaies avec des scores de confiance et des indicateurs de risque.

Voir les prévisions du jour
Pour les créateurs d'outils

Vous créez ou commercialisez un outil IA ?

Obtenez un listing, un test ou une mise en avant sur AI Tools Hub — placements sponsorisés sur 12 mois, multilingues. À partir de 49 $.

Équipe AI Tools Hub

Experts en tests d'outils IA

Notre équipe d'amoureux de l'IA et d'experts technologiques teste et évalue des centaines d'outils IA pour vous aider à trouver la solution idéale pour vos besoins. Nous fournissons une analyse honnête et approfondie basée sur une utilisation réelle.

Partager cet article : Publier Partager LinkedIn

Plus de projets alimentés par l'IA par notre équipe

Découvrez nos autres outils et prévisions alimentés par l'IA