Pular para o conteúdo principal
Devin tem acesso a um ambiente de desktop Linux completo — não apenas a um navegador. Ele pode mover o mouse, clicar em elementos da interface, digitar no teclado, tirar capturas de tela e interagir com qualquer aplicativo que seja executado em um desktop Linux. Essa capacidade é chamada de Uso do Computador e permite que o Devin teste e interaja com seu software da mesma forma que um humano faria.

​
O que é Computer Use?

Computer Use concede ao Devin acesso direto a um ambiente de desktop gráfico com mouse e teclado. Isso vai além da simples automação de navegador — o Devin pode interagir com qualquer aplicativo que apareça na tela, incluindo:
  • Aplicativos web no Chrome (clicar em botões, preencher formulários, navegar entre páginas)
  • Aplicativos desktop que rodam em Linux (apps Electron, GUIs nativas, IDEs)
  • Interfaces baseadas em terminal (programas TUI, CLIs interativas)
  • Qualquer interface visual que possa ser exibida no desktop
O Devin vê a tela como um display de 1024×768 pixels e pode executar ações como clicar, digitar, rolar, arrastar e tirar capturas de tela — como um humano sentado em frente ao computador.

​
Como ativar

O Computer Use é controlado pela opção Enable desktop mode nas opções de personalização da sua organização.
  1. Acesse Configurações > Customization
  2. Na seção Browser interaction, ative Enable desktop mode
  3. O Devin agora usará seu ambiente de desktop durante as sessões
O modo Desktop está disponível em todos os planos. Somente administradores da organização podem alterar essa configuração.

​
Quando o Computer Use é acionado

Depois que o modo Desktop é ativado, o Computer Use fica disponível em todas as sessões. Há três maneiras de ele ser usado:

​
Após criar um PR

Quando Devin cria um PR, ele exibe o botão Test the app. Clicar nesse botão aciona o fluxo de testes completo — Devin inicia seu app, usa Computer Use para interagir com a área de trabalho, testa as alterações e envia uma gravação para você.
Botão Test the app

​
Sob demanda durante uma sessão

Você pode pedir para o Devin testar a qualquer momento durante uma sessão — não é necessária nenhuma sintaxe especial, basta usar linguagem natural. Por exemplo:
  • “Teste as alterações que você acabou de fazer e me envie uma gravação”
  • “Abra o aplicativo no navegador e verifique se a página de login está funcionando”
  • “Inicie o aplicativo para desktop e confira se o novo item de menu aparece”

​
De forma autônoma quando apropriado

Devin decide por conta própria quando a interação com a área de trabalho é a ferramenta certa para a tarefa. Se uma tarefa envolver clicar em elementos de UI, navegar em um aplicativo, preencher formulários ou verificar algo visualmente, Devin usará Computer Use sem que você precise solicitar isso explicitamente. Você não precisa dizer ao Devin como interagir com a tela — apenas o que deseja que ele faça.

​
O que o Devin pode fazer usando o computador

​
Testar aplicações web de ponta a ponta

Devin pode iniciar seu app localmente, abri-lo no Chrome e percorrer fluxos de usuário completos — login, navegação, envio de formulários, checkout — verificando se tudo funciona conforme o esperado.

​
Testar aplicativos de desktop

Qualquer aplicativo que seja executado em Linux pode ser testado. Devin pode abrir o aplicativo, interagir com sua interface gráfica (GUI) e verificar seu comportamento. Isso inclui aplicativos Electron, Java Swing/AWT, GTK/Qt e outros.

​
Verificação visual

Devin pode fazer capturas de tela em pontos específicos durante os testes para verificar se layouts, estilos e elementos da interface estão corretos. Ele pode comparar o que vê na tela com o comportamento esperado e sinalizar problemas visuais.

​
Interagir com fluxos complexos de UI

Alguns cenários de teste exigem interações de GUI em múltiplas etapas que vão além de chamadas simples de API ou automação de navegador — coisas como arrastar e soltar, menus de contexto, atalhos de teclado ou navegação entre várias janelas. O Computer Use dá conta de tudo isso.

​
Registrar sessões de teste

Devin pode gravar sua tela enquanto executa testes, anotando momentos importantes no vídeo. A gravação é então processada e enviada para você, para que você possa ver o Devin interagindo com seu aplicativo e confirmar que as alterações funcionam. Consulte Testes e gravações de vídeo para obter todos os detalhes sobre o fluxo de trabalho de gravação.

​
Como o Computer Use funciona

Quando o Devin usa o Computer Use durante uma sessão, ele segue este processo:
  1. Tira uma captura de tela da tela atual para entender o que está visível
  2. Identifica elementos interativos — botões, campos de texto, menus, links — e decide com o que interagir
  3. Realiza uma ação — clica, digita, rola ou usa atalhos de teclado
  4. Espera e observa — tira outra captura de tela para ver o resultado da ação
  5. Repete até que a tarefa seja concluída
Esse ciclo de captura de tela e ação permite que o Devin se adapte ao que estiver na tela, lidando com conteúdo dinâmico, estados de carregamento, pop-ups e diálogos inesperados da mesma forma que um humano faria.

​
Computer Use e Testes

Computer Use é a base do fluxo de trabalho de testes e gravações do Devin. Quando o Devin testa sua aplicação após criar uma PR (pull request):
  1. Configuração — Devin instala dependências, inicia seu app e prepara o ambiente
  2. Planejamento de testes — Devin lê o diff e cria um plano de teste focado
  3. Execução via Computer Use — Devin usa sua área de trabalho para interagir com seu app, seguindo o plano de teste passo a passo
  4. Gravação — Todo o processo é capturado em vídeo com anotações e enviado para você revisar
A principal diferença entre Computer Use e o fluxo de trabalho Testing & Recordings é o escopo: Computer Use é a capacidade subjacente (interação com a área de trabalho), enquanto Testing & Recordings é o fluxo de trabalho estruturado que usa Computer Use para testar suas PRs e fornecer evidências em vídeo.

​
Dicas para Obter os Melhores Resultados

Seja específico sobre o que testar

  • “Abra o app, clique no botão Settings no canto superior direito, ative o modo escuro e verifique se todo o texto continua legível”
  • “Inicie o app Electron, crie um novo documento, digite algum texto e verifique se ele é salvo ao fechar a janela”

Diga ao Devin o que significa sucesso

  • “O painel deve mostrar três gráficos sem mensagens de erro”
  • “Após enviar o formulário, um banner verde de sucesso deve aparecer na parte superior da página”

​
Pré-configure o acesso

Se o seu app exigir autenticação, configure os secrets com antecedência para que o Devin possa fazer login sem precisar solicitar isso a você durante a sessão. Conclua o Repo Setup para garantir que o Devin possa instalar as dependências e iniciar seu app sem problemas.

​
Crie skills de teste

Para apps que você testa com frequência, crie uma Skill que instrua o Devin exatamente sobre como configurar e testar seu aplicativo. Isso economiza tempo em sessões repetidas e garante consistência nos testes. Veja Testes e gravações de vídeo — sugestões de Skill para exemplos.

​
Uso do navegador por scripts via Playwright

O navegador Chrome do Devin expõe um endpoint do Chrome DevTools Protocol (CDP) ao qual o Playwright pode se conectar. Devin pode escrever e executar scripts do Playwright para automatizar interações no navegador — como fluxos de login ou entrada sistemática de dados — no navegador que ele mesmo está executando. Você também pode escrever esses scripts por conta própria e fazer commit deles no seu repositório. Para a maioria das outras ações no navegador, recomenda-se usar o Computer Use nativo do Devin ou as ferramentas do navegador.

​
Como funciona

A instância do Chrome do Devin escuta conexões CDP na porta 29229. Um script Playwright pode se conectar a esse navegador, executar ações (preencher formulários, clicar em botões, lidar com redirecionamentos) e depois se desconectar. Como o script se conecta ao navegador existente em vez de iniciar um novo, todas as alterações de estado — cookies, localStorage, tokens de autenticação — persistem após o término do script. Isso significa que o Devin pode usar imediatamente a sessão autenticada: atualizar páginas, navegar e interagir com o app normalmente.

​
Exemplo: como se conectar ao navegador do Devin

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp("http://localhost:29229")
    context = browser.contexts[0]
    page = context.pages[0] if context.pages else context.new_page()

    # Exemplo: navegar e fazer login
    page.goto("https://example.com/login")
    page.fill('input[name="email"]', "user@example.com")
    page.fill('input[name="password"]', "password")
    page.click('button[type="submit"]')
    page.wait_for_url("**/dashboard")
    print("Login realizado com sucesso!")
Depois que este script é executado, o navegador do Devin já está autenticado e pronto para uso — sem necessidade de interação manual.

​
Quando usar isso

Fluxos de SSO / OAuth

Automatize fluxos de login em várias etapas (por exemplo, Okta, Auth0, Google SSO) que seriam trabalhosos de executar manualmente, clique por clique, em toda sessão.

Autenticação na configuração do repositório

Inclua um script de login na sua configuração do ambiente para que o Devin inicie cada sessão já autenticado.

Automação com skills

Armazene scripts de login ou de entrada de dados em uma Skill para que o Devin possa executá-los automaticamente quando necessário.

Entrada de dados sistemática

Crie scripts para envios repetitivos de formulários ou entrada de dados em massa que seriam lentos e propensos a erros manualmente, no modo apontar e clicar.

​
Dicas

  • Armazene scripts de login no diretório .agents/skills/ do seu repositório para que sejam mantidos entre sessões
  • Use Segredos para armazenar credenciais — referencie-as por meio de variáveis de ambiente nos seus scripts
  • O endpoint CDP é sempre http://localhost:29229 — a porta é a mesma com ou sem o modo Desktop ativado
  • Após a execução do script, o Devin pode usar o Computer Use ou as ferramentas do navegador para interagir com a sessão autenticada

​
Solução de problemas

​
Devin não consegue encontrar um elemento da interface

Se Devin não conseguir localizar um botão ou elemento na tela, tente ser mais específico nas suas instruções — descreva a localização do elemento, seu rótulo ou o contexto em torno dele. Por exemplo, “clique no botão Salvar azul no canto inferior direito do modal” é melhor do que “clique em Salvar”.

​
O app não é exibido na área de trabalho do Devin

Devin roda em um ambiente Linux. Se seu aplicativo só é executado em macOS ou Windows, ele não ficará disponível para testes de desktop. Aplicativos web funcionam independentemente da plataforma, já que rodam no Chrome. Para apps de desktop, certifique-se de que eles tenham uma versão para Linux.

​
Devin está clicando nos lugares errados

Se Devin estiver interagindo de forma incorreta com sua interface, forneça uma entrada de Skill ou de Knowledge com instruções de navegação específicas para o seu aplicativo. Descrever os passos exatos (“clique no menu hambúrguer no canto superior esquerdo e, em seguida, clique em Configurações no menu suspenso”) reduz ambiguidades.