O mesmo modelo de IA custa cinco vezes mais quando a conversa fica longa

O Claude Haiku 5.5 custa cinco vezes mais por token quando um prompt passa de 100.000 tokens.

Nossa tabela de preços tinha um par de taxas por modelo, e a página de preços listava o Haiku 5.5 em duas linhas. As linhas diziam “Claude Haiku 5.5 (for prompts up to 100,000 tokens)” e “(for prompts over 100,000 tokens)”. Todos os outros modelos da tabela tinham um único par de números, uma taxa para entrada e outra para saída.

O que as duas linhas dizem

O prompt de uma requisição é a soma dos tokens de entrada, das leituras de cache e das gravações de cache. Com 100.000 tokens ou menos, o Haiku 5.5 custa 0,10 para entrada e 0,50 para saída. Acima de 100.000, custa 0,50 para entrada e 2,50 para saída. As taxas são por milhão de tokens, e o preço que cada requisição paga depende do tamanho do prompt.

Ensinando a tabela sobre faixas

Primeiro, a tabela. O ModelPrice ganhou campos opcionais para prompts longos: um limite em tokens, mais uma taxa longa para entrada, saída e cada nível de cache. Todo modelo de preço único deixa esses campos vazios. As taxas de cache da faixa longa são derivadas da própria taxa de entrada dela, com os mesmos multiplicadores da faixa curta, 0,1x, 1,25x e 2x, então ninguém precisa digitar essa conta à mão. Um novo método for_prompt() devolve o preço único que vale para uma requisição.

Segundo, o script que confere nossa tabela com a página de preços ao vivo. Ele tinha marcado as duas linhas de faixa como modelos novos. Ensinamos o script a ler a faixa na célula do nome e a conferir as duas faixas com a página.

Terceiro, os lugares que somam o que gastamos: o resumo de uso, o código de créditos e o orçamento de revisão. Cada um agora chama for_prompt(). O código de créditos lê um transcript requisição por requisição, então mantém um conjunto separado de totais de tokens para as requisições cujo prompt passou de 100.000. Essas são cobradas pela taxa longa, e todas as outras pela taxa curta.

Cada um dos três lugares ganhou um teste, um abaixo de 100.000 e outro acima.

O limite exato da faixa

Um prompt de exatamente 100.000 tokens ainda paga a taxa curta. O for_prompt() devolve o preço curto para um prompt “at or under the threshold”, e o código de créditos só conta uma requisição como longa quando o prompt é maior que 100.000, então uma requisição com exatamente 100.000 tokens é cobrada a 0,10 e 0,50.