Probabilidade de Overfitting do Backtest (PBO): Um Número Não Basta

Walk-forward e split in-sample/out-of-sample são avanços importantes, mas têm um limite: produzem um resultado, de um caminho histórico. E um caminho pode ter sido sorte. A pergunta seguinte é probabilística — e ela tem resposta numérica.

O limite do backtest único

Quando você otimiza parâmetros no período de treino e testa no de validação, está percorrendo uma única partição dos dados. Se a estratégia foi bem, isso pode significar edge real — ou que essa partição específica favoreceu seus parâmetros. Com um só caminho, você não consegue distinguir os dois casos. É exatamente o problema dos múltiplos testes aparecendo de outro ângulo.

Por que basta testar muito: a matemática do overfitting

O ponto incômodo é que overfitting não exige má-fé nem código sofisticado — basta tentar bastante. Se você avalia N configurações independentes de uma estratégia que, na verdade, não tem nenhum edge (Sharpe verdadeiro zero), o melhor Sharpe na amostra que você vai encontrar por puro acaso cresce com o número de tentativas. Pela teoria dos valores extremos de variáveis gaussianas, o Sharpe máximo esperado escala aproximadamente como:

E[máx SR(IS)] ≈ √(dfrac2 ln N)T

onde T é o tamanho da amostra. A consequência prática: com testes suficientes, um backtest com Sharpe alto e curva de capital bonita é esperado mesmo quando não há edge nenhum. Foi essa constatação que levou Bailey, Borwein, López de Prado e Zhu a formalizarem o conceito de Minimum Backtest Length — o comprimento mínimo de histórico necessário para que a melhor de N tentativas não seja, em expectativa, um falso positivo. Como N entra dentro de um logaritmo, quanto mais combinações você varre, mais longo o histórico precisa ser para que o resultado signifique algo.

A mesma lógica aparece na pesquisa acadêmica de fatores. Harvey, Liu e Zhu (2016) catalogaram mais de 300 fatores “descobertos” na literatura e argumentaram que, diante de tantos testes, o tradicional corte de significância de t > 2,0 é frouxo demais — o limiar honesto fica perto de t > 3,0. Em outras palavras: boa parte das “anomalias” publicadas provavelmente é artefato de busca exaustiva. O que vale para journals vale, em dose maior, para a sua pasta de otimizações.

PBO: medindo a chance de overfitting

Bailey e López de Prado propuseram medir o overfitting diretamente. A ideia da CSCV (combinatorial symmetric cross-validation): divida os dados em N blocos e gere muitas combinações diferentes de treino/teste. Em cada combinação, escolha a estratégia que foi a melhor no treino e veja onde ela cai no teste. A PBO é a fração de vezes em que a “melhor no treino” termina abaixo da mediana no teste. PBO alta (digamos, acima de 50%) significa que seu processo de seleção está, na prática, escolhendo sorte — a vencedora do passado vira perdedora do futuro.

Um ponto que costuma passar batido: a CSCV é não-paramétrica e livre de modelo. Ela não assume que os retornos seguem uma distribuição específica nem depende de uma fórmula fechada — trabalha diretamente com os ranks observados das estratégias nas várias partições. Isso a torna robusta justamente onde os testes estatísticos clássicos de overfitting (como o simples hold-out) costumam falhar no contexto de backtests de investimento.

A evidência empírica

O efeito não é teórico. Peng e de Moraes Souza (2024) treinaram máquinas de vetor de suporte com 10 indicadores técnicos para prever a direção de preços de ações e varreram dezenas de combinações de hiperparâmetros. O resultado é um retrato do overfitting: a acurácia in-sample era alta, mas caía para perto de 50% (o equivalente a cara-ou-coroa) fora da amostra. Ainda assim, cerca de 14% das configurações superaram o buy-and-hold em lucratividade — e justamente as mais lucrativas eram caóticas: pequenas mudanças nos parâmetros viravam o resultado de cabeça para baixo. Lucro alto que evapora ao mexer um parâmetro é a assinatura clássica de uma grade superajustada.

O viés sobrevive até quando você acha que se protegeu. Easterwood e Paye (2023) mostraram que os Sharpes elevados de modelos multifatores populares se explicam em boa parte por um look-ahead sutil na seleção dos fatores — conhecimento de pesquisas anteriores vazando para dentro do “teste”. Quando avaliaram com métodos alternativos, as estimativas de Sharpe caíram de forma material. A lição: até o out-of-sample herda o data-snooping da comunidade inteira que já garimpou os mesmos dados antes de você.

CPCV e a purga (purging)

Em séries temporais, há um cuidado extra: treino e teste não podem “vazar” um no outro. A CPCV (Combinatorial Purged Cross-Validation) adiciona duas proteções: purging (remover amostras de treino que se sobrepõem temporalmente ao teste) e embargo (uma janela de segurança após o teste). Sem isso, a autocorrelação dos retornos contamina a validação e infla o resultado — um look-ahead sutil. É a versão rigorosa do que o walk-forward faz de forma mais simples.

Como usar na prática

PBO não é um número solto — é uma peça de um conjunto de defesas. O fluxo que se sustenta: (1) tenha um mecanismo econômico claro antes de otimizar (por que esse edge deveria existir?); (2) limite o número de configurações testadas e registre quantas foram — é o seu N; (3) estime a PBO via CPCV para ver se o seu processo de seleção generaliza; (4) deflacione o Sharpe pelo número de tentativas (ver Sharpe deflacionado); (5) confirme com testes de robustez e operação simulada. Nenhuma métrica isolada decide — elas se reforçam.

PBO substitui o walk-forward?

Não — complementa. O walk-forward simula a operação sequencial no tempo (ótimo para realismo); a CPCV/PBO estima a probabilidade de overfitting usando muitas combinações (ótimo para honestidade estatística). Usar os dois dá um quadro mais completo do que confiar em um só.

Qual PBO é aceitável?

Quanto menor, melhor. Acima de ~50% é alerta vermelho: seu processo seleciona vencedores que tendem a decepcionar fora da amostra. Valores baixos sugerem que a estratégia escolhida tem mais chance de manter o desempenho — mas trate o número como relativo ao seu pipeline, não como um selo absoluto, e combine sempre com mecanismo econômico e robustez.

Quantos testes “contam” para o overfitting?

Todos. Conta cada parâmetro varrido, cada variação de regra, cada ativo testado e descartado — inclusive os que você rodou semanas atrás e esqueceu. Esse total é o N da fórmula do Sharpe máximo: ele infla o melhor resultado por acaso e é exatamente o que a PBO e o Sharpe deflacionado tentam descontar. Registrar o número de tentativas é parte da disciplina.

PBO é o mesmo que Sharpe deflacionado?

São primos, com focos diferentes. O Sharpe deflacionado (DSR) ajusta a métrica de uma estratégia para o número de tentativas, a não-normalidade dos retornos e o tamanho da amostra. A PBO avalia o procedimento de seleção como um todo — a chance de que escolher “a melhor do treino” te entregue uma perdedora no teste. Os dois saem da mesma agenda de pesquisa (Bailey e López de Prado) e funcionam melhor juntos.

De onde vem o conceito de PBO?

O artigo seminal é “The Probability of Backtest Overfitting”, de Bailey, Borwein, López de Prado e Zhu, publicado no Journal of Computational Finance (vol. 20, nº 4, abril de 2017, pp. 39–70). É lá que a CSCV é formalizada como uma forma genérica de estimar a chance de um backtest específico estar superajustado — motivada pela constatação de que as técnicas estatísticas tradicionais contra overfitting são pouco confiáveis quando aplicadas a simulações de investimento.

Referências

• Bailey, D.; Borwein, J.; López de Prado, M.; Zhu, Q. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance, 20(4), 39–70.
• Bailey, D.; Borwein, J.; López de Prado, M.; Zhu, Q. (2014). Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Notices of the American Mathematical Society, 61(5), 458–471.
• Bailey, D.; López de Prado, M. (2014). The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality. Journal of Portfolio Management, 40(5), 94–107.
• Harvey, C.; Liu, Y.; Zhu, H. (2016). … and the Cross-Section of Expected Returns. Review of Financial Studies, 29(1), 5–68.
• Peng, Y.; de Moraes Souza, J. G. (2024). Chaos, overfitting, and equilibrium: To what extent can machine learning beat the financial market? International Review of Financial Analysis, 95(B), 103474.
• Easterwood, S.; Paye, B. S. (2023). High on High Sharpe Ratios: Optimistically Biased Factor Model Assessments. SSRN 4360788.
• López de Prado, M. (2018). Advances in Financial Machine Learning (CPCV). Wiley.