A máquina cumpre exatamente o que foi medido
Quando uma empresa liga um modelo de IA em um processo, a máquina não questiona o objetivo que recebeu. Ela executa. Se a instrução é responder mais rápido, ela encurta o atendimento. Se a instrução é gerar mais leads, ela abre o funil. Se a instrução é aprovar mais operações, ela aprova. O problema raramente está na execução. Está na métrica escolhida antes do botão de ligar. Quando a métrica não mede o objetivo real, a automação não erra devagar como o humano. Ela erra cem vezes por minuto, com confiança, sem cansar e sem duvidar. Otimizar a métrica errada com IA não é ganho de produtividade. É prejuízo escalável.
Esta discussão parte de uma observação simples. O debate público sobre IA gira em torno de capacidade, acurácia e velocidade. Quase nunca gira em torno do que está sendo otimizado. E no dia a dia de uma operação, é a segunda pergunta que decide se a tecnologia gera resultado ou gera problema bonito.
Quando a medida vira o alvo
O economista Charles Goodhart formulou em 1984 o princípio que hoje leva o seu nome. Quando uma medida vira um alvo, ela deixa de ser uma boa medida. A lógica é direta. Assim que uma métrica passa a definir bônus, orçamento ou promoção, as pessoas passam a otimizar a métrica, não o objetivo que ela representava. A história clássica é a da fábrica de pregos soviética, que, ao ser medida por toneladas, produzia pregos gigantes inúteis, e, ao ser medida por unidades, produzia pregos minúsculos. Ilustrativa ou não, a mecânica é real e se repete em qualquer organização que confunde o mapa com o território.
Com IA, a mecânica ganha uma camada nova. O humano distorce a métrica por conveniência. A máquina distorce por design. O modelo de IA não tem acesso ao objetivo real da empresa. Ele tem acesso ao que foi digitado na função de custo ou no prompt de sistema. Se a função de custo diz tempo médio de atendimento, o modelo otimiza tempo médio de atendimento. Se a resolução real do cliente sai prejudicada, o modelo não percebe. Não foi instruído a perceber.
Três falhas documentadas em escala real
Amazon e a IA de recrutamento
Entre 2014 e 2018, a Amazon desenvolveu internamente uma ferramenta de triagem de currículos que usava aprendizado de máquina para ranquear candidatos. A Reuters revelou em outubro de 2018 que o sistema penalizava currículos que continham a palavra “women’s”, como “women’s chess club”, e desvalorizava graduações em faculdades exclusivamente femininas. O modelo tinha aprendido com os currículos de contratações históricas da própria empresa, dominados por homens, e concluído que esse padrão era o ideal. A equipe tentou corrigir o viés e desistiu. O projeto foi encerrado. O que falhou não foi a matemática. Foi a métrica implícita. O modelo entregou com precisão exatamente o que os dados históricos mandavam.
Zillow e o algoritmo de compra de imóveis
Em 2021, a Zillow, gigante imobiliária americana, apostou alto no Zillow Offers, unidade que usava algoritmo para precificar e comprar casas diretamente dos donos, revendendo depois com lucro. O modelo era sofisticado em prever preços com base em dados históricos. O que ele não previa era a própria distorção que criava no mercado, nem a velocidade da mudança de regime de juros. Em novembro de 2021, a empresa anunciou o fechamento da unidade, com prejuízo estimado em mais de meio bilhão de dólares no trimestre e corte de cerca de 25% do quadro de funcionários. A métrica que a máquina otimizava, precificação de curto prazo, não media o objetivo real, margem sustentável em um mercado de ciclo longo. A execução foi impecável. O prejuízo também.
Google Flu Trends e a previsão quebrada
Em 2008, o Google lançou o Google Flu Trends, sistema que estimava a propagação da gripe com base em buscas na internet. Funcionou bem nos primeiros anos. Em 2013, o modelo errou feio, superestimando absurdamente a temporada de gripe nos Estados Unidos. A análise publicada em 2014 na revista Science por Lazer e colegas apontou o problema central. O modelo havia aprendido correlações espúrias entre termos de busca e incidência de gripe, e ninguém revisava continuamente se a métrica proxy ainda representava o fenômeno real. O serviço foi descontinuado como produto independente. O algoritmo não deixou de funcionar. Ele continuou fazendo exatamente o que sempre fez. O que mudou foi a realidade ao redor dele.
Por que a IA atual acelera exatamente esse erro
Os três casos anteriores usavam modelos relativamente simples. Em 2026, o mesmo padrão aparece com uma diferença de escala. Gerar conteúdo, responder clientes, qualificar leads e redigir relatórios ficou quase de graça. Isso significa que qualquer métrica proxy mal escolhida passa a ser perseguida em volume que nenhum humano conseguiria. Um time de vendas que otimiza respostas rápidas com IA pode destruir a percepção de qualidade em semanas, enquanto o painel de tempo médio de resposta mostra verde. Um time de conteúdo que otimiza publicações diárias com IA pode inundar o canal e treinar o algoritmo da própria rede a enterrar seus posts, enquanto o cronograma editorial parece disciplina.
O relatório The GenAI Divide, State of AI in Business 2025, do MIT Project NANDA, levantou um dado que ecoa esse padrão. Cerca de 95% dos pilotos de IA generativa em empresas não chegam a gerar impacto mensurável no resultado. Há muitas causas, mas uma recorrente é medir o piloto pela produção da própria ferramenta, número de textos gerados, tempo de resposta, automações criadas, em vez de medir o efeito no negócio, receita, retenção, margem, satisfação real do cliente.
O teste prático antes de ligar a máquina
A saída não é abandonar métricas. É escolhê-las com o mesmo cuidado com que se escolhe o modelo. Antes de ligar qualquer automação orientada por métrica, vale responder por escrito a cinco perguntas.
1. Se essa métrica dobrar, qual decisão muda?
Se a resposta for “nenhuma”, a métrica é decorativa. Decore o escritório com outra coisa. Métrica que não informa decisão é ruído com apresentação bonita.
2. O que a métrica deixa de medir de propósito?
Toda medida é uma simplificação. Pergunte o que ela exclui. Tempo de resposta exclui qualidade da solução. Volume de leads exclui qualificação. Cliques excluem intenção. Escreva o que fica de fora e decida se a exclusão é aceitável para este processo.
3. Quem ganha o bônus se a métrica subir?
Esta pergunta expõe a dinâmica de Goodhart antes do algoritmo. Se alguém ganha com a subida da métrica sem carregar o risco do objetivo real, a distorção já está contratada. A IA só vai escalar o que a estrutura de incentivo já pedia em segredo.
4. Qual sinal mostra que a métrica perdeu o vínculo com o objetivo?
Defina antes o gatilho de revisão. Se a métrica sobe e a receita cai, se o tempo de atendimento cai e as reclamações sobem, se o volume de conteúdo sobe e o alcance cai, o vínculo quebrou. Sem gatilho definido, a equipe descobre pela crise.
5. Quem pode desligar?
Automação orientada por métrica precisa de um humano com poder real de pausa. Não de observador. De quem decide. Se a resposta é “o comitê”, a resposta é “ninguém”.
O padrão por trás dos três casos
Amazon, Zillow e Google Flu Trends não falharam por falta de talento técnico. Falharam porque ninguém revisou a métrica com o mesmo rigor com que revisaram o código. A IA removeu a fricção entre a decisão errada e a execução. O que sobrou foi a velocidade do erro. Em todos os três casos, havia gente inteligente, orçamento e boas intenções. Em todos os três, a métrica otimizada não media o que a empresa realmente queria. E em todos os três, a máquina cumpriu ordens com perfeição.
O critério aqui não é tecnológico. É editorial. Antes de perguntar qual modelo usar, pergunte qual número decide. Depois pergunte se esse número é o dono da decisão ou só o funcionário dela. As empresas que acertam a segunda pergunta usam IA para acelerar o que já era bom. As que erram usam IA para acelerar o que já era ruim. A diferença não aparece no painel. Aparece no resultado.
FAQ
Goodhart law se aplica a IA generativa ou só a algoritmos clássicos?
Aplica-se a qualquer sistema otimizado por objetivo mensurável, e o artigo de Skalse e colegas de 2022 mostra formalmente como a misspecificação de recompensa afeta modelos modernos. Com IA generativa a distorção fica mais sutil, porque o output parece bom e a métrica proxy parece subir, mesmo quando o efeito real some.
Se a métrica é imperfeita, devo parar de medir?
Não. Medida imperfeita com revisão constante é muito melhor que medida perfeita sem revisão ou que nenhuma medida. O problema não é a imperfeição. É tratar a métrica como o objetivo final e esquecer o fenômeno que ela representava.
Como escolher uma métrica boa para um piloto de IA?
Comece pela decisão, não pela ferramenta. Pergunte qual decisão de negócio o piloto deve melhorar, receita, margem, retenção, qualidade percebida. Depois escolha a métrica que está mais perto dessa decisão, e aceite que ela será imperfeita. Defina o gatilho de revisão e uma data para reavaliar o vínculo entre métrica e decisão.
Equipe pequena, sem data science. Como aplicar isso na prática?
Com uma página e uma reunião. Escreva a métrica, o que ela exclui e a decisão que ela informa. Reuna quem executa e quem decide, valide as cinco perguntas do teste e só então ligue a automação. Duas horas de trabalho evitam o padrão Amazon-Zillow-Google no seu tamanho.
Referências
- Amazon scraps secret AI recruiting tool that showed bias against women (2018), Reuters
- Zillow to shut down its homebuying business and cut 25% of staff (2021), CNBC
- The Parable of Google Flu: Traps in Big Data Analysis (2014), Science, Lazer e colegas
- Problems of Monetary Management: The U.K. Experience (1984), Charles Goodhart
- The GenAI Divide: State of AI in Business 2025 (2025), MIT Project NANDA
- The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models (2022), Skalse e colegas, ICLR
Se este conteúdo fez sentido para a sua operação, acompanhe mais sobre IA e tecnologia com critério no Instagram: @felipebelloni.
