LLMs Para Descobrir Estratégias de Trading: Copiloto, Não Piloto

“Pedi pro ChatGPT criar uma estratégia e o backtest ficou incrível” é a frase que antecede a maioria das decepções recentes em quant. O problema não é a ferramenta: é o papel que damos a ela. Um LLM bem usado acelera meses de trabalho mecânico; mal usado, acelera o seu autoengano. Veja, com evidência publicada, onde fica a linha.

O debate: copiloto ou pesquisador?

Há duas posições na comunidade. Os otimistas (como a Quantpedia) mostram que LLMs são úteis para tarefas auxiliares e aceleram o trabalho. Os céticos (como o Longmore, da Robot Wealth) alertam que pedir a um LLM para “encontrar um edge” é a forma mais rápida já inventada de fazer p-hacking em escala. Os dois estão certos — sobre coisas diferentes. A questão não é “LLM serve ou não serve para quant?”, mas “em qual etapa ele agrega e em qual ele sabota?”.

Onde o LLM ajuda de verdade

O ponto em que LLMs comprovadamente entregam valor é a leitura e estruturação de texto — não a previsão de preço. No trabalho mais citado da área, Lopez-Lira e Tang (2023) pediram ao ChatGPT que classificasse manchetes de notícias como boas, ruins ou irrelevantes para a ação, e converteram isso num escore numérico: o escore tem correlação positiva com o retorno subsequente, supera métodos tradicionais de sentimento, e a habilidade preditiva cresce com o tamanho do modelo — o GPT-4 captura especialmente o drift em ações pequenas e em notícias negativas. Em outras palavras, o LLM é um excelente leitor de linguagem natural em escala. É exatamente o caso de uso de sinais de sentimento.

As demais tarefas em que ele brilha têm uma propriedade em comum: existe uma resposta verificável que você checa.

• Revisão de literatura e ideação. Mapear o que já se sabe sobre um fenômeno e ajudar a formular hipóteses de mecanismo (“quem paga este edge e por quê?”). A ideia continua sendo sua — o LLM acelera o levantamento.
• Boilerplate de backtest e depuração. Escrever o esqueleto do backtest, parsers, loops de otimização e gráficos. Aqui o ganho de produtividade é real, contanto que você valide a saída número a número.
• Feature engineering assistida. Sugerir transformações de variáveis, normalizações e janelas — candidatos a testar, não verdades a aceitar.
• Explicação de conceitos. Traduzir um paper denso, esclarecer a diferença entre CPCV e walk-forward, revisar a sua lógica — sempre como motor sob supervisão humana, não como decisor.

Os quatro perigos que ninguém te conta

1. Data leakage do pré-treino (o LLM já sabe o futuro)

Este é o risco mais sutil e mais devastador. Um LLM foi treinado em anos de texto da internet — incluindo o período que você usa como backtest. O GPT-3.5, por exemplo, foi treinado em texto anterior a setembro de 2021. Se você roda um “backtest” pedindo ao modelo que avalie notícias de 2019, ele pode já saber o que aconteceu com aquela ação depois. Isso é look-ahead bias embutido no próprio modelo, e a magnitude é assustadora: medições recentes mostram que retornos anuais do S&P 500 “recuperados” pelo GPT-4.1 chegam a ter correlação de até 100% com os retornos reais — pura memorização do futuro. Glasserman e Lin (2023) demonstraram o efeito de forma elegante: ao anonimizar as empresas (remover os nomes das manchetes), o desempenho dentro da amostra muda — sinal de que parte do “alpha” vinha do conhecimento prévio do modelo, não de leitura genuína de sentimento.

2. Alucinação de código e de fatos

LLMs erram com confiança total. Em código, isso assume formas perigosas: um estudo abrangente de 16 modelos geradores de código encontrou taxa média de 19,6% de pacotes alucinados — bibliotecas que simplesmente não existem (modelos comerciais ~5,2%; open-source ~21,7%). Um pacote inexistente que o modelo citava repetidamente, “huggingface-cli”, chegou a ser baixado mais de 30 mil vezes depois que alguém o criou de verdade (o golpe do “slopsquatting”). No contexto de backtest, a alucinação não trava o código — ela silenciosamente introduz look-ahead, desalinha índices temporais ou inventa uma função de estatística que não faz o que diz. O resultado roda lindo e está errado.

3. Overfitting guiado por LLM

Peça “ache uma estratégia lucrativa” e o modelo otimiza para te dar o que você pediu: uma curva que parece boa nos dados que ele viu. Sem um mecanismo econômico ancorando a busca, ele percorre um espaço gigantesco de possibilidades e entrega a que melhor se ajustou ao passado — a definição de overfitting. É a mesma armadilha do machine learning mal-empregado, agora com uma interface de conversa que torna o autoengano confortável. Quanto mais variações você pede, mais o melhor resultado é só ruído sortudo — exatamente o que a Probabilidade de Overfitting do Backtest (PBO) mede e penaliza.

4. Falsa confiança

O LLM nunca diz “não sei” com a ênfase que deveria: entrega prosa fluente e um tom de autoridade mesmo quando a estatística por baixo é frágil. Esse verniz de competência é o que mais derruba o trader — ele transfere a uma máquina que apenas soa certa o ceticismo que aplicaria a um colega.

Protocolo de uso responsável

O fluxo vencedor é simples de enunciar e disciplinado de seguir: humano no comando, LLM na aceleração.

1. Comece pelo mecanismo, nunca pela busca. Antes de uma linha de código, responda: por que esse edge existiria? quem está do outro lado? Sem essa âncora econômica, qualquer curva bonita é suspeita.
2. Valide todo código numericamente. Reconcilie a saída do LLM com um cálculo manual em uma amostra pequena. Confira alinhamento temporal, presença de look-ahead e cada biblioteca importada (ela existe? faz o que diz?).
3. Teste fora da janela de treino do modelo. Se o LLM faz parte do sinal (ex.: sentimento), o backtest tem de cair depois do knowledge cutoff dele, ou você medirá memorização, não previsão. A técnica de anonimizar entidades ajuda a desbiasar testes dentro da amostra.
4. O humano valida toda estatística. Walk-forward, testes de robustez, CPCV/PBO e custos reais — exatamente como você faria com qualquer estratégia, esquecendo de propósito que um LLM a sugeriu.
5. NUNCA peça “ache uma estratégia lucrativa”. Peça hipóteses, código e revisão. A decisão de alocar capital é sua, e indelegável.

O veredito

Trate o LLM como um estagiário brilhante, incansável e perigosamente confiante: excelente para acelerar tarefas que você sabe validar, péssimo para terceirizar o julgamento. Ele lê manchetes melhor do que qualquer planilha e escreve boilerplate em segundos — mas também conhece o futuro do seu backtest, inventa bibliotecas com cara séria e produz overfitting sob encomenda. Encare a tecnologia no algotrading com essa lente: a ferramenta amplifica tanto o bom processo quanto o ruim. O copiloto é fantástico — só não largue o manche.

LLMs conseguem criar estratégias de trading lucrativas sozinhos?

Raramente, e não de forma confiável. Eles produzem estratégias que se ajustam bem ao passado, mas sem mecanismo econômico isso é overfitting — e, pior, podem estar “lembrando” do futuro do período de teste por causa do pré-treino. Como acelerador de um processo conduzido e validado por você, sim, ajudam muito; como gerador autônomo de alpha, não.

O que é look-ahead bias do pré-treino e por que ele é tão grave?

É quando o modelo já viu, durante o treino, o que aconteceu no período do seu backtest. Como retornos anuais do S&P recuperados pelo GPT-4.1 chegam a 100% de correlação com os reais, um “backtest” com o LLM pode estar medindo memória, não previsão. A defesa: rodar o teste após o knowledge cutoff do modelo e anonimizar entidades quando possível.

Para que o LLM serve de verdade na pesquisa quant?

Revisão de literatura, geração e depuração de código, classificação de texto (sentimento de notícias — onde o ganho é comprovado), feature engineering assistida e explicação de conceitos. Tarefas com resposta verificável, em que você consegue checar a saída número a número.

Como evitar o overfitting ao usar LLM?

Comece sempre pelo mecanismo (por que o edge existiria?), nunca pela busca cega por uma curva bonita. Não peça “ache uma estratégia”; peça hipóteses e código. Valide todo código numericamente e toda estratégia com walk-forward, CPCV/PBO e custos reais. Se o único argumento a favor é “o backtest ficou ótimo”, desconfie.

Referências

• Lopez-Lira, A.; Tang, Y. (2023). Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models. arXiv:2304.07619 / SSRN 4412788.
• Glasserman, P.; Lin, C. (2023). Assessing Look-Ahead Bias in Stock Return Predictions Generated By GPT Sentiment Analysis. arXiv:2309.17322 / SSRN 4586726.
• Spracklen et al. (2024/2025). We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code-Generating LLMs. arXiv:2406.10279 (USENIX Security 2025).
• Longmore (Robot Wealth). More of the Disease, Faster: What Happens When You Ask an LLM to Find Strategies.
• Quantpedia. One Year Later: Is ChatGPT Finally Worth Using for Quantitative Analysis?