Três campos em branco e uma ferramenta que ninguém pensou em verificar

Chegou uma captura de tela com uma linha embaixo. Uma tarefa continuava pulando o período de trabalho atual (Ler em inglês). A pessoa que deveria ter recebido a tarefa estava em branco. E, se havia um número de versão envolvido, ele também estava em branco. Não de vez em quando. Todas as vezes.

Tínhamos uma ferramenta feita justamente para preencher esses três dados automaticamente assim que uma tarefa era marcada como concluída. Ela estava no sistema havia um bom tempo. Ninguém tinha reclamado, então a gente achava que ela estava fazendo seu trabalho em segundo plano, do jeito que um bom passo automático deve fazer.

Ela nunca tinha funcionado. Nem naquela tarefa, nem em nenhuma outra, para ninguém, desde o dia em que foi ligada.

Uma lógica cuidadosa que nunca chegou a rodar

A lógica dentro dessa ferramenta era bem pensada. Ela sabia diferenciar todos os lugares por onde uma tarefa já tinha passado do lugar onde ela estava naquele momento. Tratava corretamente os casos bagunçados. Alguém claramente tinha sentado e resolvido o problema.

E ela nunca rodou. A lógica não estava errada. Algo antes, na cadeia, estava quebrado de um jeito que interrompia tudo antes de chegar à parte boa. Um pequeno erro de configuração logo no começo da ferramenta fazia ela travar antes que uma única linha da lógica cuidadosa e correta que vinha depois tivesse chance de rodar.

Depois que corrigimos essa primeira falha, encontramos mais quatro pontos, um atrás do outro, onde uma única peça faltando poderia derrubar tudo de novo sem fazer barulho. Qualquer um dos cinco teria dado o mesmo resultado: nada acontece, e nada avisa que nada aconteceu.

O silêncio parecia exatamente um sucesso

Uma ferramenta é construída, testada uma vez, o teste passa e ela entra no ar. Dali em diante, o único sinal de que ela continua funcionando é o silêncio. Nenhuma mensagem de erro, nenhuma reclamação, nada sinalizado.

O silêncio é o que você veria tanto se a ferramenta estivesse funcionando perfeitamente quanto se estivesse quebrada desde o primeiro dia. As duas situações são idênticas vistas de fora. A única forma de diferenciá-las é conferir um caso real e recente e ver se o que deveria acontecer realmente aconteceu.

Guardamos três dados em cada tarefa concluída, e os três estavam quebrados o tempo todo. Descobrimos pela mesma captura de tela, no mesmo dia, porque por acaso estávamos olhando aquela tarefa com atenção suficiente para perceber.

O que o assistente de IA fez, e o que não fez

Esse é o tipo de verificação em que um assistente de IA é bom, se você apontar para a pergunta certa. Não “isso parece estar configurado corretamente?”, mas “isso realmente aconteceu em um caso real e recente?”. Um assistente consegue rastrear o que um passo deveria fazer, puxar alguns exemplos recentes e dizer com clareza se o resultado esperado aparece.

O que ele não deve fazer é ligar ou desligar nada, nem decidir por conta própria que uma correção é segura para aplicar. O trabalho dele é mostrar a distância entre “isso foi feito para acontecer” e “isso realmente aconteceu”, e devolver isso a uma pessoa para agir.

O que uma pessoa ainda precisa decidir

Uma pessoa precisa decidir como é a prova para cada passo automático que importa, e com que frequência vale a pena conferir. Algumas coisas merecem uma olhada semanal. Tudo o que envolve dinheiro, dados de clientes ou um prazo merece uma verificação fixa, que avise sozinha assim que ficar em silêncio, em vez de esperar que alguém perceba por acaso.

Uma ferramenta que passa no primeiro teste e é ligada prova que funcionou uma vez. Não prova que funcionou desde então. Para cada passo automático que importa para o seu negócio, escolha um caso real e recente e confirme se o resultado esperado realmente aconteceu.