Harness e Loop Engineering: Por que eles importam mais que o LLM

Se você ainda está passando horas ajustando prompts individuais para que agentes de inteligência artificial escrevam código por você, é hora de mudar a sua abordagem. O verdadeiro diferencial das equipes de alto desempenho não está em encontrar o modelo de linguagem mais recente ou pagar pela API mais cara, mas sim em construir a infraestrutura ao redor dele.

"Você não devia mais estar promptando agentes de código; você devia estar desenhando loops que promptam seus agentes." Essa afirmação de Peter Stinberg, criador do OpenClaw, resume a grande virada de chave no desenvolvimento com IA.

Um exemplo impressionante desse paradigma vem da equipe da LangChain: ao manterem exatamente o mesmo modelo de IA com os mesmos pesos e alterar apenas a infraestrutura e as ferramentas ao redor (o chamado harness), eles saltaram de fora do top 30 para a 5ª posição em um benchmark global. Mas afinal, o que são esses conceitos e por que eles mudam tudo?

1. O que é Harness Engineering?

A palavra harness vem do inglês e refere-se ao arnês ou equipamento de segurança que conecta um cavaleiro ao cavalo, ou um alpinista à parede. No contexto do desenvolvimento com IA, o harness representa tudo o que não é o modelo em si.

Se o modelo de linguagem (LLM) é o motor do carro, o harness é todo o resto do veículo: o chassi, o volante, os freios e a transmissão. Na analogia de andaimes de construção, o harness é a estrutura temporária que molda e determina completamente como o prédio final será erguido.

Em suma, o harness engloba a gestão de contexto, a estrutura das instruções do sistema, as ferramentas fornecidas e os mecanismos de verificação e controle do agente.

2. A Matemática dos erros compostos

Por que o harness é tão crucial? Porque agentes de IA falham de maneira diferente do código imperativo tradicional. A grande ameaça na automação com IA é o acúmulo de etapas e a propagação de erros compostos.

Considere uma tarefa executada em múltiplos passos em sequência:

• Se um processo possui 10 etapas e cada uma tem excelentes 99% de chance de sucesso, a probabilidade final de o processo dar certo é de 90,4%.
• Com 20 etapas, a taxa de sucesso cai para 81,8%.
• Com 50 etapas, a chance de sucesso despenca para apenas 60%.

Como os agentes realizam dezenas de iterações para resolver um problema complexo, pequenas incertezas se multiplicam rapidamente. A principal missão da engenharia de harness é conter essa degradação através de mecanismos defensivos.

Como o Harness combate os erros compostos:

1. Mecanismos de Verificação: Dar ao agente ferramentas para testar o próprio trabalho antes de avançar. Dados oficiais do Claude Code mostram que a verificação autônoma melhora a qualidade do resultado final de 2 a 3 vezes.
2. Checkpoints: Pontos de interrupção estratégicos onde o progresso é validado antes de liberar a próxima fase.
3. Ferramentas Enxutas ("Menos é Mais"): A equipe da Vercel realizou um experimento onde seu agente apresentava mau desempenho. Em vez de adicionar mais capabilities, eles removeram 80% das ferramentas disponíveis. A performance subiu drasticamente porque a IA passou a ter menos oportunidades de escolher a opção errada.
4. Limpeza do Contexto: Janelas de contexto poluídas com histórico irrelevante aumentam exponencialmente as chances de interpretação equivocada.

3. O que é Loop Engineering?

Se o harness é a estrutura do carro, o loop é o piloto automático. A engenharia de loop refere-se a como o agente executa tarefas autonomamente, rodando iterações sucessivas sem a necessidade de intervenção humana constante.

Essa abordagem ganhou tração com o conceito do Ralph Loop (criado por Geoffrey Huntley e batizado em homenagem a Ralph Wiggum dos Simpsons), que consiste em rodar o agente em um loop contínuo até que a tarefa seja concluída.

Os 4 Níveis de Loop (Classificação Anthropic):

1. Nível 1 (Turn-based): O formato clássico. O humano envia um prompt a cada rodada e direciona a execução passo a passo.
2. Nível 2 (Goal-based): Você fornece uma condição de parada objetiva (ex: "rode até todos os testes passarem no terminal" ou "rode até o build compilar"). O agente não para quando *acha* que terminou, mas sim quando o objetivo é verificado.
3. Nível 3 (Time-based): Execuções agendadas ou disparadas por gatilhos de tempo no ambiente, sem você estar presente.
4. Nível 4 (Proactive): O sistema monitora ativamente o ambiente e decide por conta própria o que e quando executar.

Atenção: Criar um loop sem um critério de sucesso objetivo não é engenharia; é apenas um agente queimando tokens e gastando orçamento de API. O verdadeiro gargalo do loop não é o modelo de IA, mas a capacidade do seu verificador.

4. Os 7 Componentes Essenciais de um Harness Robusto

Para construir uma estrutura pronta para rodar em loop, seu harness deve incluir:

• System Prompt / Constituição: As diretrizes invioláveis, limitações e convenções do projeto.
• Ferramentas Selecionadas: Funções estritamente necessárias para evitar ambiguidades.
• Gestão de Janela de Contexto: Decisão consciente do que incluir e descartar no histórico.
• Mecanismos de Verificação: Executores de testes unitários, linters e validadores de código.
• Memória Persistente: Registro de aprendizados entre sessões para evitar a repetição de erros.
• Sandboxes: Ambientes isolados para rodar códigos e chamadas de API em segurança.
• Hooks de Intervenção: Padrões que acionam revisões automáticas ou humanas em cenários críticos.

5. Como aplicar isso no seu dia a dia Dev

Você provavelmente já pratica engenharia de harness sem saber. Para otimizar seu fluxo de trabalho com agentes de IA, conecte-os às boas práticas de engenharia de software:

• Arquivos de Convenção (ex: CLAUDE.md ou AGENTS.md): Mantenha um arquivo na raiz do repositório detalhando padrões de arquitetura e convenções do projeto. Isso serve como o system prompt vivo do projeto.
• Spec-driven Development: Separe rigorosamente a fase de planejamento da fase de execução. Escreva e aprove a especificação antes de pedir para a IA codificar.
• TDD (Test-Driven Development): Escrever testes antes da implementação provê tanto a verificação quanto a condição de parada perfeita para loops do Nível 2 (goal-based).

4 perguntas para fazer antes de trocar de LLM

Quando seu agente falhar em uma tarefa, evite trocar imediatamente para um modelo mais caro. Em vez disso, faça o seguinte diagnóstico:

1. Onde o agente está falhando? Falhas de entendimento indicam problemas no system prompt; falhas de execução indicam problemas nas ferramentas/sandbox; erros acumulados pedem verificadores melhores.
2. O agente possui meios de checar seu próprio trabalho? Se não, adicione suítes de testes ou linters.
3. Qual contexto essencial está na sua cabeça, mas não foi documentado no repositório?
4. Qual tarefa do seu projeto possui critério de sucesso 100% objetivo para ser seu primeiro loop autônomo?

Investir no seu harness traz retornos muito maiores do que simplesmente tentar usar modelos maiores. Construa a estrutura correta e veja seus agentes atingirem um novo nível de autonomia e precisão.

Feito!