1. Ponto de partida: o objetivo da validação não é "comprovar rentabilidade"
As duas lições anteriores trataram da divisão do trabalho no fluxo e da estrutura de entrada. A terceira lição avança para verificar se uma ideia demonstra consistência histórica. Muitos fracassos não vêm de direções fundamentalmente erradas, mas de backtests tratados como conclusões sem auditoria adequada: dados com ativos deslistados, sinais que usam informações futuras, custos omitidos e parâmetros repetidamente ajustados em amostras curtas. A IA acelera a escrita de código e a interpretação de indicadores, mas não pode decidir se uma estratégia é válida. O objetivo mais razoável da validação é: sob premissas claras, a estratégia não foi refutada estatisticamente ou em termos de custos, e não "provar rentabilidade invariável" com uma narrativa fluida.
2. Divisão razoável do trabalho para IA em backtesting
A IA é adequada para ajudar com:
Gerar código de estrutura de backtest
Explicar o significado do índice Sharpe, drawdown máximo e taxa de acerto
Listar possíveis pontos de viés de look-ahead
Organizar tabelas de resultados em resumos de texto
Tarefas que devem ser concluídas ou revisadas por humanos de forma independente:
Se o universo contém sobreviventes
Se os preços existiam antes da listagem
Se taxas, slippage e taxas de financiamento estão incluídas
Se testes fora da amostra ou walk-forward são executados
Se as diferenças entre papel e ao vivo são consideradas
O código rodando significa apenas que as etapas de engenharia foram concluídas; não quer dizer que a estratégia passou na validação.
3. Limpeza de dados: a etapa mais frágil em backtesting de cripto
Se um backtest usa apenas tokens ainda ativos hoje, os resultados tendem a ser sistematicamente otimistas. Períodos anteriores à listagem do token não devem ser considerados negociáveis. Preços, volumes e taxas de financiamento variam entre exchanges; backtests devem fixar a exchange ou especificar regras de síntese. Forks, migrações de contrato e renomeação de tokens causam quebras nas séries de preços e exigem mapeamento manual ou exclusão. Usar uma única stablecoin para precificação durante fases de depeg (perda de paridade) pode distorcer métricas de retorno e risco; grandes janelas de depeg devem ser marcadas ou explicadas separadamente. A IA deve ser obrigada a listar fontes de dados, intervalos de tempo e definições de universo na documentação, e verificar cada item contra os dados brutos. Isso é mais importante do que simplesmente traçar curvas de backtest.
4. Viés de look-ahead: alinhamento temporal entre sinais e execução
Vieses comuns de look-ahead incluem:
Usar estatísticas da amostra completa para normalização, mas fazer backtest na amostra completa
Gerar sinais no fechamento do dia, mas executar na abertura do dia
Usar endereços rotulados como "smart money" somente depois do fato
Usar dados macro revisados como se fossem valores divulgados historicamente
A prática deve especificar: sinais gerados em t devem executar em t+1 ou depois, dependendo do tipo de estratégia; se dados macro não puderem ser obtidos como originalmente divulgados, as conclusões relacionadas devem ser rebaixadas. Pode-se exigir que a IA anote o timing de disponibilidade dos dados para cada recurso em comentários de código; humanos devem verificar recursos-chave para garantir que precedem a execução em pelo menos um dia.
5. Custos e atrito: backtests sem taxas são inválidos por padrão
Estratégias de cripto devem incluir, no mínimo, taxas de negociação, slippage, taxas de financiamento perpétuo (se as posições cruzarem pontos de liquidação), taxas de empréstimo (se usar alavancagem) e custos de retirada ou cross-chain, se necessário. Cenários de taxas de linha de base e pessimistas (por exemplo, dobrar taxas) podem ser usados para teste de estresse. Se os retornos esperados se deteriorarem acentuadamente ou se tornarem negativos em cenários pessimistas, a estratégia é altamente sensível a custos e não deve ser julgada apenas por curvas dentro da amostra. A IA frequentemente assume zero taxas ou um único ponto-base; humanos devem escrever tabelas de taxas nas premissas e relatórios de backtest.
6. Sobreajuste e fora da amostra: mais parâmetros exigem maior cuidado narrativo
Sintomas incluem:
Exibir apenas a melhor combinação depois de muitos conjuntos de indicadores
Ajustar parâmetros apenas em amostras curtas de mercado em alta
Regras altamente específicas sem explicação do mecanismo
Contramedidas incluem:
Reservar intervalos fora da amostra que não são usados para ajuste de parâmetros
Aplicar walk-forward testing com janela móvel
Simplificar as regras o máximo possível dentro de premissas explicáveis
Os relatórios devem apresentar métricas-chave dentro e fora da amostra; se o desempenho fora da amostra for significativamente pior do que dentro da amostra, o risco de sobreajuste deve ser sinalizado e a negociação ao vivo pausada. A IA não deve otimizar parâmetros repetidamente sem supervisão até que a curva pareça boa. Isso equivale a sobreajuste automatizado.
7. Do backtest à negociação ao vivo: avanço gradual em vez de lançamento em uma etapa
Recomenda-se uma escada de três níveis. Nível um: backtest aprovado com universo documentado, taxas e resultados fora da amostra. Nível dois: registros de negociação em papel ou simulada verificam discrepâncias de preço entre sinal e execução, e observam slippage real. Nível três: negociação ao vivo em pequena escala com limites e stop-loss, comparando continuamente resultados de papel e ao vivo. O avanço em cada nível é decidido por humanos, não por modelos que recomendam posições pesadas. A IA pode gerar listas de verificação para cada nível, mas não substitui as decisões de avanço.
8. Campos mínimos em um relatório de backtest
Mesmo sem sistemas complexos, um relatório deve incluir:
Descrição da estratégia em uma frase
Intervalo de dados e escopo de ativos
Tabela de premissas de taxas
Retornos dentro e fora da amostra, drawdown máximo, número de negociações
Perda máxima consecutiva
Lista de questões não resolvidas
Conclusão para continuar a validação, pausar ou abandonar
Evite afirmações como "cautelosamente otimista", que não orientam a ação. Backtests e revisões compartilham a mesma disciplina: executável, auditável, repetível.
9. Resumo da lição
Esta lição se concentra em se as ideias foram testadas. A IA é adequada para ajudar a escrever código de backtest, explicar indicadores, sinalizar vieses de look-ahead e taxas ausentes; não é adequada para substituir a confirmação humana de viés de sobrevivência nos dados, alinhamento entre sinal e execução, desempenho fora da amostra ou margem sob custos pessimistas. O código rodar e curvas dentro da amostra com boa aparência significam apenas que as etapas de engenharia foram concluídas, não que a negociação ao vivo é justificada. Um caminho mais seguro é documentar backtests, depois acompanhar em papel antes de tentativa e erro em pequena escala, cada passo adiante decidido por humanos. A próxima lição cobrirá eventos macro e grandes eventos on-chain: períodos com mais informação, mas também mais propensos a resumos enganosos para conclusões, exigindo limites claros sobre o que a IA pode ajudar a preparar e o que não pode substituir para verificação.
