Validação Estatística de Métodos

O overfitting de backtest é o equivalente estatístico de atirar setas contra uma parede e desenhar círculos à volta dos buracos. O padrão existiu — mas não era previsível. Se treinares 10.000 modelos aleatórios contra dados históricos da Primeira Liga, alguns vão mostrar ROI de +20% por pura sorte estatística. O desafio não é encontrar um backtest que funciona — é saber se funciona por razões reais ou por ruído.

Os 3 Sinais Clássicos de Overfitting

1. ROI muito elevado em backtest. Qualquer método que mostre ROI > 15% num mercado eficiente como Match Odds da Primeira Liga deve ser imediatamente suspeito. O mercado tem margens de 5-7% e é razoavelmente eficiente — ROIs sustentáveis estão tipicamente entre 3-10%. ROI de 20%+ é sinal de que o modelo está a capturar ruído, não sinal.

2. Múltiplas condições específicas. Se o método funciona “quando o Benfica joga em casa, à noite, com árbitro X, após vitória por +2 golos, contra equipas do meio da tabela, em outubro” — estás a sobreajustar. Cada condição adicional reduz o tamanho da amostra e aumenta a probabilidade de correlação espúria. O princípio da Navalha de Occam aplica-se aqui: o método mais simples é geralmente o mais robusto.

3. Win rate melhora monotonicamente com a adição de condições. Um sinal subtil mas revelador: se adicionares condições ao teu filtro e o win rate melhora sempre, é porque estás a remover casos onde o método falha em vez de refinar a lógica subjacente. Um método real deve mostrar uma relação não monotónica — algumas condições pioram o resultado porque removem casos positivos também.

Framework de Validação em 3 Partes

A forma mais robusta de validar um método é dividir os dados em três conjuntos independentes e impor uma regra rígida: nunca olhar para os dados de teste até ao final.

    01
    split_method
    =
    Walk-Forward Validation
    
  
    02
    train_window
    =
    3 épocas (2021-2024)
     // dados de treino
  
    03
    test_window
    =
    1 época (2024-2025)
     // dados isolados
  
    04
    step
    =
    avança 1 época, retreina
    
  
    05
    total_folds
    =
    3 janelas deslizantes
    
  
    06
    roi_fold_1
    =
    +6.2%
    
  
    07
    roi_fold_2
    =
    +4.8%
    
  
    08
    roi_fold_3
    =
    +5.1%
    
  
    09
    roi_medio
    =
    +5.4%
     // consistente entre folds — sinal real
  
  

Testes Estatísticos de Significância

Um backtest com ROI positivo não é suficiente — precisas de saber se esse resultado poderia ter acontecido por sorte.

Teste Binomial para Win Rate

O teste binomial responde a: “se a minha probabilidade real de acertar fosse 50% (ou outra baseline), qual a probabilidade de observar este número de acertos por acaso?”

Leitura de p-value:

• p < 0.05: significância estatística — o resultado muito provavelmente não é aleatório
• p < 0.01: forte significância
• p > 0.10: o resultado pode ser sorte — precisas de mais entradas

Teste de Wald-Wolfowitz (Runs Test)

Este teste verifica se a sequência de vitórias e derrotas é aleatória. Se o método tem tendência para agrupar vitórias em certas fases e derrotas noutras, isso sugere que o desempenho depende de condições de mercado que variam ao longo do tempo — e não de um edge estável.

    01
    n_simulacoes
    =
    10.000
    
  
    02
    n_entradas
    =
    200
    
  
    03
    win_rate
    =
    0.55
     // WR observado no backtest
  
    04
    odd_media
    =
    2.00
    
  
    05
    lucro_real
    =
    +15.2 unidades
    
  
    06
    percentil_lucro
    =
    92.3%
     // acima de 90% = confiança razoável
  
    07
    lucro_mediano_sim
    =
    +10.0 unidades
    
  
    08
    intervalo_90perc
    =
    -18.0 a +38.0 unidades
    
  
  

A Curva de Aprendizagem do Win Rate

Uma das formas mais informativas de validar um método é traçar a curva de win rate acumulado à medida que o número de entradas aumenta:

Regra prática: Com 150 entradas começas a ter confiança mínima. Com 500 entradas tens confiança sólida. Qualquer decisão baseada em menos de 100 entradas é essencialmente especulação com uma camada fina de análise.

Sinais de Alerta Finais

Antes de aplicares capital a qualquer método validado, verifica estes sinais:

• Win rate em backtest > 20 pontos percentuais acima do win rate em produção. Uma diferença grande sugere que o backtest capturou ruído que não se repetiu.

• A performance do método depende de 1-2 outliers. Remove as 2 melhores entradas do backtest. Se o ROI cai de +12% para +2%, o método não é robusto.

• Win rate varia drasticamente entre épocas. 60% na época 2022/23, 48% na 2023/24, 62% na 2024/25 — esta oscilação sugere que o método captura padrões específicos de cada época, não um edge transversal.

• Lucro concentrado em menos de 10% das entradas. Se 90% do lucro vem de 10% das entradas, o método está a depender de acontecimentos raros — e a variância vai ser brutal.

Resumo

• Overfitting de backtest é o erro mais perigoso do analista quantitativo — transforma ruído em falsa confiança
• Divide os dados em Treino (60%), Validação (20%), Teste (20%) — e nunca olhes para o teste até ao fim
• Usa teste binomial e simulação Monte Carlo para avaliar significância estatística
• O runs test (Wald-Wolfowitz) deteta sequências não aleatórias que revelam dependência temporal
• 150+ entradas são o mínimo para começar a distinguir sinal de ruído
• Sinais de alerta: dependência de outliers, variação entre épocas, lucro concentrado em poucas entradas