O que o verificador pegou primeiro em um backfill de 355 sessões

Ler o original em inglês

metricsdocumentationhandoffsverificationclaude-code

Imagem de capa: O que o verificador pegou primeiro em um backfill de 355 sessões

Eu desmontei 355 sessões de trabalho antigas e tirei delas 1.748 peças de trabalho rastreadas separadamente, em uma única passada. A primeira coisa que o processo de verificação pegou foi um registro com rótulo errado: uma peça de trabalho creditada à fonte errada.

Esse resultado mudou o jeito como a gente enxerga um trecho de trabalho parado em um log de chat ou em uma nota de reunião. Ele não evapora como um bloco de contexto quando a conversa termina. É uma peça de trabalho de verdade, com começo, uma sequência de decisões, um resultado e uma afirmação sobre esse resultado que pode ser conferida depois, se você montar tudo desse jeito.

O relatório semanal que ninguém conseguia rastrear

O motivo para fazer isso era um hábito semanal que tinha se tornado pouco confiável: tentar lembrar o que aconteceu na semana com detalhe suficiente para relatar. Isso é um problema diferente do que parece. Um resumo escrito de memória, mesmo honesto, só consegue contar uma história plausível sobre o que aconteceu. Ele não responde perguntas mais específicas. Qual parte de uma sessão longa realmente foi entregue? Qual conclusão foi conferida contra algo real? De onde veio uma afirmação específica do relatório desta semana? A memória alisa tudo até virar uma narrativa, e narrativa não é evidência.

Então começamos a tratar cada sessão como algo a ser dividido em suas peças de trabalho individuais. Cada peça carrega seu próprio status, se foi verificada e o que de fato aconteceu, ligada ao registro real e não à impressão que a semana deixou olhando para trás. Todo o resto, um relatório semanal, uma nota diária, esta mesma frase, deve ser uma visão sobre esse registro de base e nunca um substituto dele. Se um número de um relatório parecer surpreendente ou for contestado, dá para rastreá-lo até as peças de trabalho específicas que o produziram.

Fazendo o backfill de tudo de uma vez

Fazer isso em escala trouxe uma armadilha própria. Nosso primeiro instinto foi fazer o backfill de todo o histórico em uma única passada sem limite. Isso corria o risco de se espalhar por anos de registros sem um ponto natural de parada. A solução foi comum e fácil de ignorar: lotes explícitos e limitados, com uma rotina separada para pegar o que sobrasse depois, em vez de um único processo tentando engolir tudo de uma vez.

O que a etapa de verificação encontrou

A parte mais útil de todo o esforço foi o que a etapa de verificação pegou enquanto a construíamos, mais do que a contagem final. Ela encontrou o bug de atribuição, trabalho creditado à fonte errada, e alguns outros erros no sistema que fazia o registro. Corrigimos cada um na origem e não remendamos o problema no relatório que por acaso o estava mostrando. Um relatório remendado à mão é só um documento com formatação melhor.

Se a sua equipe relata o trabalho de memória

Pergunte se o resumo da semana passada se sustentaria caso alguém pedisse a origem exata de cada afirmação. Se a resposta for que a equipe se lembra assim, isso não é a mesma coisa que um registro. Peça à sua equipe que mostre exatamente de onde veio o resumo da semana passada.

Receba a próxima história de IA no dia a dia

Histórias em linguagem simples sobre usar IA para facilitar o trabalho do dia a dia. Um e-mail curto quando sair uma nova, sem jargão.