O reinforcement learning carrega uma narrativa irresistível: em vez de você programar regras, o agente descobre a estratégia sozinho, jogando contra o mercado milhões de vezes como fez a DeepMind com o Go. Quando essa máquina é apontada para a bolsa, porém, o resultado costuma frustrar. Este artigo separa o hype do uso real, com os números da pesquisa. Se você ainda não leu sobre as armadilhas do machine learning em trading, comece por lá — RL herda todas elas e adiciona as suas próprias. Vale também revisar o guia de overfitting de backtest e a ideia de decadência de alpha, porque os dois são o calcanhar de Aquiles do agente que “aprende sozinho”.
O que é reinforcement learning em trading
Reinforcement learning é um arcabouço com quatro peças: agente, estado, ação e recompensa. O agente observa o estado do ambiente (preços, indicadores, posição atual), escolhe uma ação (comprar, vender, ficar de fora, ajustar tamanho) e recebe uma recompensa (geralmente lucro, lucro ajustado a risco ou variação de patrimônio). Repetindo esse ciclo, o agente ajusta sua política — o mapa de “qual ação tomar em cada estado” — para maximizar a recompensa acumulada ao longo do tempo.
É exatamente o mesmo formalismo que treina um robô a andar ou um programa a jogar xadrez. Os algoritmos populares na área financeira são DQN (Deep Q-Network), PPO (Proximal Policy Optimization), SAC e A3C — todos combinam RL com redes neurais profundas, o que se chama deep reinforcement learning. No acervo, o trabalho de Aweda, Woods e Ojo (2025), publicado no Journal of Advances in Mathematics and Computer Science, é representativo dessa onda: propõe um híbrido de deep learning e reinforcement learning para “trading inteligente” no mercado de câmbio — um mercado de US$ 6 trilhões por dia que os autores descrevem como difícil justamente por sua não-linearidade e volatilidade.
A promessa do robô que aprende sozinho
A promessa de RL é tentadora porque parece eliminar a etapa mais difícil do trading quantitativo: formular a hipótese. Numa estratégia clássica você precisa ter uma tese — momentum, reversão à média, carry — e codificá-la. Com RL, em tese, você só define a recompensa (lucro) e deixa o agente descobrir o que funciona, supostamente capturando padrões não-lineares que um humano jamais escreveria à mão.
O salto de fé vem da transferência de domínio. Em jogos e robótica, RL produziu resultados sobre-humanos. Mas há uma diferença estrutural que a narrativa esconde: no Go, as regras nunca mudam e o ambiente é perfeitamente simulável; o agente pode jogar bilhões de partidas idênticas. O mercado financeiro viola as duas condições ao mesmo tempo. É aí que a promessa começa a rachar.
Há um segundo salto, mais sutil. Em jogos, a recompensa é densa e inequívoca — você ganha ou perde a partida, e cada lance contribui para um sinal de aprendizado claro. Em trading, a recompensa é esparsa, atrasada e contaminada por ruído: um trade pode dar lucro por sorte e prejuízo por azar, de modo que o agente recebe feedback que muitas vezes aponta na direção errada. Treinar uma política sob esse tipo de sinal é como ensinar alguém a jogar xadrez dizendo, ao fim de cada jogo, se ele ganhou — mas mentindo aleatoriamente em uma fração das partidas. O agente acaba aprendendo correlações espúrias com a mesma facilidade com que aprende as verdadeiras, e não tem como distinguir as duas dentro da amostra.
Por que decepciona (1): não-estacionariedade
A não-estacionariedade é o motivo número um do fracasso de RL na descoberta de alpha direcional. As “regras” do mercado mudam: um regime de tendência vira um regime de lateralização, a volatilidade muda de patamar, correlações que valiam em 2019 evaporam em 2020. A própria literatura de RL financeiro reconhece isso de forma explícita — segundo os mantenedores do FinRL (Liu et al., 2020-2022), a estimação estável da função de valor e a melhoria constante da política tornam-se “extremamente difíceis” diante de dados financeiros não-estacionários, e a política “sempre falha em convergir” em horizontes longos.
Traduzindo: o agente aprende a operar o passado, não o futuro. Ele se torna especialista num mercado que deixou de existir no momento em que o treino termina. Um agente de Go nunca enfrenta um tabuleiro cujas regras mudaram durante a partida; o trader de RL enfrenta isso todo dia. Esse é o mesmo fenômeno que governa a decadência de alpha — só que amplificado, porque o agente não tem como saber que o regime virou.
A não-estacionariedade também sabota o próprio mecanismo de RL. Algoritmos como DQN dependem de um buffer de replay que reutiliza experiências passadas para estabilizar o treino. Quando a distribuição dos dados muda com o tempo, esse buffer fica cheio de experiências de um regime extinto, e o agente otimiza para um ambiente que não é mais o atual — uma forma de “envenenamento de memória” que não existe em ambientes estacionários. Tentativas de contornar isso (re-treino frequente, janelas deslizantes, meta-aprendizado) reduzem o tamanho efetivo da amostra justamente onde os dados já são escassos, trocando um problema por outro. Não há almoço grátis: ou o agente é estável e desatualizado, ou é atualizado e instável.
Por que decepciona (2): overfitting e o gap simulação-realidade
O overfitting de backtest é a segunda praga, e RL é especialmente vulnerável a ela. Redes neurais profundas têm milhões de parâmetros; com sinal escasso e ruído abundante, elas memorizam o histórico em vez de aprender estrutura. Liu et al. (2020-2022) listam três fatores que tornam a construção de ambientes de treino confiáveis tão difícil: a baixa razão sinal-ruído dos dados financeiros, o viés de sobrevivência da base histórica e o próprio overfitting de backtest. Os três conspiram para inflar o desempenho na simulação.
O problema é agravado pela seleção entre muitas tentativas. Quem treina dezenas de variantes de agente e mantém a melhor cai exatamente na armadilha que Bailey e López de Prado (2014) formalizaram com o Deflated Sharpe Ratio: o Sharpe máximo entre N candidatos fica inflado mesmo se todos forem puro ruído, e a probabilidade de selecionar uma estratégia overfitada cresce rapidamente com o número de tentativas. Cada hiperparâmetro testado, cada arquitetura comparada, conta como mais um teste — e o RL típico testa muito.
Há ainda o gap simulação-realidade (sim-to-real). O agente foi treinado num ambiente simulado onde suas próprias ordens não moviam o preço, o spread era fixo e a execução era instantânea. No mercado real ele paga custos, slippage e impacto que a simulação ignorou. Pior: como o RL explora ações para aprender, parte dessa exploração no mercado vivo significa perder dinheiro de verdade para descobrir que uma ação era ruim — um custo que jogos e robótica raramente impõem.
Por que decepciona (3): recompensa mal especificada e treino instável
A função de recompensa é onde mais agentes morrem silenciosamente. Se você recompensa só o lucro, o agente aprende a maximizar retorno ignorando o risco — empilha alavancagem, concentra posições e parece brilhante até o primeiro drawdown profundo. Se você recompensa Sharpe ou patrimônio ajustado a risco, a recompensa fica esparsa e ruidosa, e o sinal de aprendizado piora. Especificar mal a recompensa é o equivalente, em RL, a otimizar a métrica errada num backtest comum.
Some-se a isso a instabilidade intrínseca do treino. Deep RL é notório por ser sensível a sementes aleatórias, hiperparâmetros e ordem dos dados: dois treinos com a mesma configuração podem terminar com políticas radicalmente diferentes. Sobre dados não-estacionários e de baixo sinal, essa fragilidade vira loteria. Você não tem uma estratégia; tem uma distribuição de estratégias, e descobrir qual delas vale alguma coisa exige a mesma validação fora da amostra de sempre.
Há ainda um efeito psicológico perverso para quem opera o agente. Quando uma política treinada por RL toma uma decisão, ela é uma caixa-preta: a rede neural não explica por que comprou agora e ficou de fora há cinco minutos. Numa estratégia de regras você sabe quando o pressuposto quebrou — o sinal de momentum sumiu, o regime virou — e pode desligar com convicção. Com RL você só vê o patrimônio cair sem saber se o agente está num drawdown normal ou se a tese morreu. Essa opacidade torna a gestão de risco mais difícil, não mais fácil, e empurra o operador a confiar cegamente ou a desligar no pior momento. A promessa de “não precisar entender a estratégia” cobra seu preço exatamente quando você mais precisa entendê-la.
Por que decepciona (4): o custo de explorar com dinheiro real
A exploração é o coração do reinforcement learning e, no mercado, é também sua conta mais cara. Para descobrir que uma ação é ruim, o agente precisa experimentá-la — em RL isso se chama dilema exploração-versus-aproveitamento. Num videogame, tentar uma jogada idiota custa uma vida virtual; no mercado, custa capital irrecuperável. Cada trade exploratório que dá errado é dinheiro real que sai da conta para gerar um único ponto de aprendizado ruidoso.
Isso cria um paradoxo prático. Se você deixa o agente explorar agressivamente em produção, ele queima capital aprendendo o óbvio. Se você o impede de explorar, ele para de aprender e congela na política do treino — voltando ao problema da não-estacionariedade. A saída usual é treinar quase tudo no simulador, mas aí você reabre o gap simulação-realidade em toda a sua extensão. Em jogos e robótica, simuladores de alta fidelidade tornam a exploração barata; em finanças, o “simulador” é um backtest com todas as suas fragilidades conhecidas, e a exploração só é genuinamente barata onde ela também é genuinamente inútil.
Onde RL realmente funciona: execução e sizing
Reinforcement learning entrega valor real onde o problema é bem definido e o sinal é limpo — e isso quase nunca é a direção do preço. Os dois casos de uso mais defensáveis são:
- Execução de ordens. Dividir uma ordem grande ao longo do tempo para minimizar impacto de mercado é um problema de controle quase estacionário: a microestrutura do livro de ofertas muda devagar comparada à direção do preço, a recompensa (custo de execução versus benchmark VWAP/TWAP) é mensurável e o horizonte é curto. RL aqui compete de igual para igual com heurísticas clássicas.
- Dimensionamento de posição e gestão de risco. Decidir quanto arriscar dado um sinal — não se o preço sobe — é um problema de controle onde a função de valor é mais estável. Aproxima-se do critério de Kelly e do sizing por risco percentual, mas adaptado dinamicamente ao regime.
A regra prática: RL brilha quando o ambiente é aproximadamente estacionário e a recompensa é direta, e tropeça quando precisa prever direção em mercado não-estacionário. Por isso vale comparar com as outras frentes de IA aplicada — veja o que dizem os artigos sobre LLMs na descoberta de estratégias e IA na predição de volatilidade: o padrão se repete: a IA ajuda nas bordas do processo, raramente na geração de alpha bruto.
Como avaliar um agente de RL sem se enganar
Avaliar RL exige a mesma disciplina anti-overfitting de qualquer estratégia quantitativa — e mais um pouco, dada a quantidade de tentativas embutida. Um roteiro mínimo:
- Walk-forward, nunca um único split. Treine numa janela, teste na seguinte, role a janela. Veja o guia de walk-forward; se o desempenho desaba fora da amostra, o agente decorou o passado.
- Conte as tentativas e desconte o Sharpe. Aplique o Deflated Sharpe Ratio de Bailey e López de Prado (2014) sobre o número real de configurações testadas, não sobre uma só.
- Modele os custos no treino, não só no teste. Inclua spread, slippage e impacto no ambiente simulado, ou o agente vai aprender a fazer scalp em ruído que evapora com o primeiro centavo de custo.
- Repita o treino com sementes diferentes. Se a política muda muito entre execuções, você não tem edge — tem variância.
- Compare contra um baseline bobo. Buy-and-hold, momentum simples, 1/N. Se o agente de milhões de parâmetros não bate uma regra de uma linha, ele não justifica o risco.
Perguntas frequentes
Reinforcement learning serve para trading?
Reinforcement learning serve melhor para execução de ordens e dimensionamento de posição do que para prever a direção do preço. Nesses problemas o ambiente é mais estacionário e a recompensa é mensurável, enquanto a descoberta de alpha direcional esbarra na não-estacionariedade do mercado, no overfitting de backtest e no custo de explorar com dinheiro real.
Por que o robô que “aprende sozinho” decepciona?
O robô decepciona porque aprende a operar o passado num mercado cujas regras mudam. Os mantenedores do FinRL (Liu et al., 2020-2022) afirmam que a política “sempre falha em convergir” sobre dados financeiros não-estacionários, e Bailey e López de Prado (2014) mostram que testar muitas configurações infla o Sharpe mesmo quando todas são puro ruído.
RL é o mesmo que machine learning aplicado a trading?
RL é um ramo do machine learning, mas com uma diferença: em vez de aprender de exemplos rotulados, o agente aprende por tentativa e erro otimizando uma recompensa. Ele herda todas as armadilhas do ML em trading — overfitting, baixa relação sinal-ruído — e acrescenta o custo de exploração e a instabilidade de treino do deep RL.
O que é o gap simulação-realidade em RL de trading?
O gap simulação-realidade é a diferença entre o ambiente de treino, onde as ordens do agente não movem o preço e a execução é perfeita, e o mercado real, onde há spread, slippage e impacto. Um agente lucrativo na simulação pode virar perdedor quando os custos que a simulação ignorou entram na conta.
Vale a pena usar RL em vez de regras programadas?
Vale a pena quando o problema é de controle bem definido — execução, sizing — e há sinal limpo e estacionário; não vale quando a meta é prever direção em mercado não-estacionário. Antes de adotar RL, exija que ele bata um baseline simples num teste walk-forward com custos modelados; se não bater, a complexidade não se paga.
Referências
- Aweda, O. T.; Woods, N. C.; Ojo, A. K. (2025). Development of Hybrid Deep Learning and Reinforcement Learning for Intelligent Trading in Forex Markets. Journal of Advances in Mathematics and Computer Science, 40(7), 149-158.
- Bailey, D. H.; López de Prado, M. (2014). The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality. Journal of Portfolio Management.
- Liu, X.-Y. et al. (2020-2022). FinRL / FinRL-Meta: A Deep Reinforcement Learning Library and Market Environments for Quantitative Finance. NeurIPS / arXiv.
Presente para Leitores: Robô de Gradiente Linear Gratuito
Estou liberando o acesso ao meu setup pessoal de Gradiente Linear sem custo nenhum. É só clicar e me pedir o arquivo.
