Todo protótipo de IA funciona. Ele funciona porque quem construiu escolheu as perguntas, sabe onde não apertar e está presente quando alguém demonstra.
Produção é o contrário disso: perguntas que ninguém escolheu, usuários que apertam onde dói e ninguém olhando às três da manhã. Esta é a lista que a gente usa para atravessar essa fronteira — trinta itens, em seis áreas.
Não é para fazer tudo antes de subir. É para saber conscientemente o que você está deixando para depois. Um item pulado de propósito é uma decisão; um item pulado por esquecimento é um incidente esperando data.
Qualidade — cinco itens
- Existe um conjunto de 30+ casos reais com resposta esperada, versionado junto com o código. Sem isso, nada abaixo importa.
- A pontuação atual está registrada e é rodada a cada mudança de prompt ou modelo.
- Há casos sem resposta possível no conjunto, e o sistema diz "não sei" neles.
- O prompt é versionado e a versão vai gravada em cada chamada.
- A temperatura está definida por fluxo — zero onde precisa ser reprodutível, maior só onde variedade é desejável.
Custo — cinco itens
- Tokens de entrada e saída são registrados por chamada, com fluxo e usuário.
- Existe teto de gasto por usuário e por dia, aplicado em código — não só monitorado.
- O histórico da conversa tem janela. Contexto que cresce para sempre é o vazamento número um.
- Cada fluxo usa o modelo mais barato que resolve, não o mais capaz por padrão.
- Existe alarme de custo diário anômalo — 2× a média da semana dispara aviso.
Um agente em ciclo, um cliente integrando de forma ineficiente ou um bug de repetição podem multiplicar o consumo em horas. Monitorar avisa depois; teto em código impede.
Ponha o teto mesmo que pareça exagero para o volume atual. Ele só existe para o dia em que algo der errado.
Latência — quatro itens
- A transmissão contínua está ligada em tudo que tem pessoa esperando.
- TTFT e duração são medidos e você olha o percentil 95, não a média.
- Há tempo limite em toda chamada externa, com mensagem clara ao usuário quando estourar.
- As etapas anteriores à geração mostram progresso — buscar documentos, consultar sistema. Percepção é metade da latência.
Segurança — seis itens
- O modelo não executa nada. Ele propõe; o código valida permissão, limite e estado antes de qualquer efeito.
- Ações irreversíveis passam por confirmação humana, com teto de valor definido.
- A saída é inspecionada antes de chegar ao usuário, com regra para as frases que a empresa não pode dizer.
- Links e imagens externos são removidos da resposta — a defesa contra exfiltração silenciosa.
- Dados sensíveis são mascarados na entrada e nunca gravados em registro nem em traço de erro.
- Conteúdo de terceiro é tratado como dado, nunca como instrução, e a sessão que o lê não executa ação sensível.
Operação — seis itens
- Toda chamada é registrada com modelo, versão de prompt, documentos recuperados, custo e duração. Uma tabela, dez colunas.
- Existe prazo de retenção para o texto registrado, com apagamento automático.
- Há caminho alternativo quando o provedor falhar — outro modelo, outra rota ou degradação explícita.
- As chaves estão em cofre, não em código nem em variável commitada.
- Máquinas de GPU desligam sozinhas ao fim do trabalho, com
trapno script, e há alarme de máquina viva há tempo demais. - Alguém recebe os alarmes — e essa pessoa sabe o que fazer com cada um.
Produto — quatro itens
- O usuário sabe que está falando com IA. Não é só ética: muda a expectativa e reduz reclamação.
- Existe saída para humano, visível, sem precisar implorar. Sistema sem essa saída gera raiva desproporcional ao erro.
- Há coleta de sinal de qualidade — explícita em amostra, implícita em 100% (pergunta refeita, conversa abandonada, pedido de atendente).
- Os limites estão declarados: o que o sistema não faz, sobre o que não opina, quando ele erra. Expectativa alinhada é metade da satisfação.
Se você só puder fazer cinco
Em ordem de retorno, para quem precisa subir na semana que vem:
| # | Item | Esforço | O que evita |
|---|---|---|---|
| 1 | Conjunto de 30 casos com pontuação | Meio dia | Regressão invisível a cada mudança |
| 2 | Registro completo por chamada | Meio dia | "Não temos como verificar" |
| 3 | Teto de gasto em código | 2 horas | A conta de cinco dígitos no fim de semana |
| 4 | Modelo não executa nada | 1 dia | O incidente que vira caso jurídico |
| 5 | Transmissão contínua ligada | 2 horas | A percepção de sistema travado |
Dois dias e meio de trabalho cobrem a maior parte do risco real. O resto pode ser feito com o sistema no ar, na ordem que a operação for pedindo.
GPU por hora e API por token, no mesmo saldo
Cobrança em reais, sem assinatura e sem mínimo — você começa pequeno, mede e cresce conforme o uso justificar.
Criar conta →Os três erros de projeto que a lista não pega
Vale dizer, porque nenhum item acima protege contra eles:
Automatizar o processo errado. Se o processo atual é ruim, automatizá-lo com IA produz um processo ruim mais rápido. Vale desenhar o fluxo antes de escolher o modelo.
Prometer autonomia total cedo demais. Sistemas de IA entregam muito valor como copiloto e muito risco como piloto automático. Comece assistindo a pessoa; migre para autonomia só nos casos em que a taxa de acerto medida justificar.
Tratar como projeto, não como produto. Modelo muda, preço muda, o uso muda e o conjunto de avaliação envelhece. Aplicação de IA precisa de alguém responsável de forma contínua — não de uma entrega e um encerramento.
Conclusão
A distância entre protótipo e produção não é de tecnologia; é de disciplina. Trinta itens, e os cinco primeiros valem mais que os outros vinte e cinco juntos.
Se o seu sistema tem avaliação, registro, teto de gasto, separação entre propor e executar e transmissão contínua ligada, ele já está à frente da maioria dos que estão no ar hoje. O resto você acrescenta com o produto rodando — e agora sabendo o que está deixando para depois.
Continue: avaliação automática · observabilidade · guardrails