Nosso total anual ficou perto de 900 até que algo chegou

Ler o original em inglês

metricsgitcostai-limits

Imagem de capa: Nosso total anual ficou perto de 900 até que algo chegou

Quase uma da manhã, e a gente estava lendo quatro anos do nosso próprio histórico de trabalho no celular. Tínhamos uma pergunta simples pela frente: o que o novo ajudante tinha mudado de verdade?

O registro que líamos se chama git. É uma lista datada de mudanças salvas, um pouco como um caderno que anota toda vez que alguém coloca uma nova versão de uma receita em cima da bancada da cozinha. Não estávamos atrás de uma grande teoria. Queríamos saber se a sensação de que as coisas tinham acelerado era real.

Nossa primeira resposta foi a mais fácil. Dissemos que estávamos mais rápidos.

Essa resposta não se sustentou. Era vaga demais para dizer o que tinha melhorado, o que não tinha e o que fazer a seguir. Também nos custou uma noite, porque tivemos que voltar e procurar uma resposta melhor, em vez de confiar na história que vínhamos contando para nós mesmos.

O que a contagem mostrou

Então contamos as mudanças salvas, ano a ano. Antes de o ajudante chegar, nosso total ficava perto de 900 por ano. Nos primeiros seis meses depois da chegada, foram 1.105. Isso aponta para cerca de 2.200 em um ano inteiro, mais que o dobro do ritmo antigo.

Um trabalho que antes aparecia só de vez em quando também passou a aparecer com mais frequência. Uma pessoa que antes tinha feito apenas sete mudanças salvas fez 106 em seis meses. Um projeto que antes esperaríamos levar meses foi da primeira ideia ao uso real em cerca de oito semanas. Das 30 mudanças salvas por trás dele, só uma era nossa.

Esses números fizeram a palavra “mais rápido” parecer pequena demais.

Onde o trabalho ficava esperando

A mudança maior foi onde o trabalho costumava parar. Por anos, as perguntas difíceis tendiam a voltar para a gente dar uma olhada. O trabalho visual tendia a esperar até alguém conseguir descrever a ideia, discutir e só então transformá-la em algo real. É como ter duas filas de caixa em um mercadinho. Não importa quão rápido as pessoas encham as cestas se todo mundo precisa ficar nas mesmas duas filas no final.

O ajudante mudou esse formato. Em vez de esperar para explicar uma ideia numa reunião, podíamos fazer primeiro uma versão rascunho. Em vez de pedir um design no abstrato, podíamos colocar algo visível na mesa e conversar sobre isso. Em vez de nossas noites sumirem em pequenos ajustes no visual de uma tela, mais desse trabalho podia andar sem voltar para a gente.

O que uma contagem não consegue dizer

Nada disso significava que toda mudança salva era boa. Uma contagem diz que mais coisas andaram. Ela não diz se cada uma foi útil, grande ou bem feita. O ajudante também incentivou mudanças menores e mais frequentes, então a contagem subiu por esse motivo também. Algumas mudanças registradas em nosso nome vieram de sessões em que o ajudante fez boa parte do rascunho.

Números são úteis quando nos impedem de adivinhar. São menos úteis quando os tratamos como um boletim escolar.

O número mais importante foi para o outro lado. As anotações deixadas durante a revisão tinham triplicado. Foram de cerca de duas anotações por trabalho para cerca de cinco. Uma pessoa, e não o ajudante, estava olhando de perto, fazendo perguntas mais difíceis e pegando problemas antes que seguissem adiante.

Isso deixou algo claro. Quando fica mais fácil produzir mais trabalho, o julgamento passa a ser o que falta. Quem consegue dizer “Isso está claro”, “Isso vai confundir as pessoas” ou “Isso ainda não está pronto” fica mais importante, não menos.

Tínhamos começado com uma pergunta sobre produção. A resposta era sobre formato. O trabalho já não parava nos mesmos lugares, e isso deu a pessoas diferentes espaço para fazer coisas que antes não conseguiam fazer com facilidade.

Se você for testar um ajudante

Comece por algo além de saber se ele deixou você mais rápido. Uma contagem bruta de mudanças salvas pode subir por motivos que não dizem nada sobre qualidade, então combine-a com uma medida de revisão, como o número de anotações deixadas em cada trabalho. Depois escolha uma tarefa que está esperando há tempo demais pela mesma pessoa, aprovação ou explicação, e veja o que muda quando uma versão rascunho, visível, chega primeiro a essa pessoa.

Receba a próxima história de IA no dia a dia

Histórias em linguagem simples sobre usar IA para facilitar o trabalho do dia a dia. Um e-mail curto quando sair uma nova, sem jargão.