Reinforcement Learning em trading: o robô aprende o passado, e eu medi quanto disso sobra

Atualizado em 25/08/2026

Esta explicação também virou carrossel no nosso Instagram, onde a gente publica todo dia sobre algotrading e mercado: ver no @invista.ja. Por lá também ficam os bastidores do portfólio que roda em conta real, com o saldo aberto.

O reinforcement learning carrega uma narrativa irresistível. Em vez de você programar regras, o agente descobre a estratégia sozinho, rodando contra o mercado milhões de vezes, como a DeepMind fez com o Go. Apontada para a bolsa, essa máquina costuma frustrar, e o motivo tem número.

Este artigo separa a promessa do uso real, com a pesquisa de um lado e a minha medição do outro. Se você ainda não leu sobre as armadilhas do machine learning em trading, comece por lá, porque o RL herda todas elas e acrescenta as suas. Vale revisar também o guia de overfitting de backtest e a decadência de alpha.

O que é reinforcement learning em trading

São quatro peças: agente, estado, ação e recompensa. O agente observa o estado do ambiente, que são preços, indicadores e a posição atual, escolhe uma ação entre comprar, vender, ficar de fora ou ajustar o tamanho, e recebe uma recompensa, que costuma ser lucro ou lucro ajustado ao risco. Repetindo o ciclo, ele ajusta a política, que é o mapa de qual ação tomar em cada estado.

É o mesmo formalismo que treina um robô a andar ou um programa a jogar xadrez. Os algoritmos populares em finanças são DQN, PPO, SAC e A3C, todos combinando RL com redes neurais profundas, o que se chama deep reinforcement learning. O trabalho de Aweda, Woods e Ojo (2025), no Journal of Advances in Mathematics and Computer Science, é representativo da onda: propõe um híbrido de deep learning e RL para o mercado de câmbio, que movimenta 6 trilhões de dólares por dia e que os autores descrevem como difícil justamente pela não linearidade e pela volatilidade.

A promessa do robô que aprende sozinho

A promessa é tentadora porque parece eliminar a etapa mais difícil do trading quantitativo, que é formular a hipótese. Numa estratégia clássica você precisa de uma tese, como momentum, reversão à média ou carry, e precisa codificá-la. Com RL você define a recompensa e deixa o agente descobrir o que funciona, capturando padrões não lineares que ninguém escreveria à mão.

O salto de fé está na transferência de domínio. Em jogos e robótica o RL produziu resultados sobre-humanos. Só que no Go as regras nunca mudam e o ambiente é perfeitamente simulável, então o agente pode jogar bilhões de partidas idênticas. O mercado viola as duas condições ao mesmo tempo.

Tem um segundo salto, mais sutil. Em jogos a recompensa é densa e inequívoca: você ganha ou perde a partida, e cada lance contribui com sinal claro. Em trading a recompensa é esparsa, atrasada e cheia de ruído. Um trade pode dar lucro por sorte e prejuízo por azar, então o agente recebe um retorno que muitas vezes aponta para o lado errado. Treinar uma política assim é parecido com ensinar xadrez dizendo ao fim de cada partida se a pessoa ganhou, mentindo aleatoriamente numa fração das vezes. O agente aprende correlação espúria com a mesma facilidade com que aprende a verdadeira, e dentro da amostra ele não tem como distinguir as duas.

O que eu medi no meu próprio garimpo

Aqui entra o número que me fez parar de olhar para RL como caminho de descoberta.

O meu processo de geração de estratégias é garimpo, e não RL, mas ele ataca exatamente o mesmo problema: vasculhar o passado procurando um padrão que dê vantagem. A diferença é que eu meço o que sobra desse padrão quando ele encontra uma era que nunca viu.

A conta sai assim nos robôs gerados e validados pelo meu processo, com spread, comissão e swap já dentro do backtest:

• Dentro da amostra, a vantagem média é de 0,73 dólar por operação, algo em torno de 0,06%.
• No teste em era nunca vista, ela cai para 0,012 dólar por operação, o que arredonda para zero.

São sessenta vezes menos. E o detalhe que importa: o muro não é o custo de operar. Eu já modelo spread, comissão e swap dentro do backtest. O muro é a vantagem do passado sumir no futuro.

Agora aplique isso ao RL. O agente também é uma máquina de encontrar padrão no passado, com milhões de parâmetros contra as poucas dezenas de regras do meu garimpo. Quanto melhor a máquina, mais fundo ela cava naquela camada de 0,06% que não sobrevive. O limite não está na capacidade do modelo. Ele já está posto antes de o modelo ligar.

Tem um contraponto honesto na minha própria medição, e ele muda o alvo. No walk-forward, o que generaliza para a era nova não é o retorno. É o controle de risco. A régua de teto de drawdown e de diversificação efetiva continua funcionando fora da amostra, enquanto a vantagem de retorno evapora. Se eu fosse apontar um agente de RL para alguma coisa hoje, apontaria para a parte que sobrevive, que é decidir quanto arriscar, e não para a parte que evapora, que é decidir a direção.

Por que decepciona (1): não estacionariedade

É o motivo número um do fracasso na descoberta de direção. As regras do mercado mudam. Um regime de tendência vira lateralização, a volatilidade troca de patamar, e correlação que valia em 2019 evapora em 2020. A literatura reconhece isso sem rodeio: segundo os mantenedores do FinRL (Liu et al., 2020 a 2022), estimar a função de valor de forma estável e melhorar a política de forma constante fica extremamente difícil diante de dados financeiros não estacionários, e a política sempre falha em convergir em horizontes longos.

Traduzindo: o agente aprende a operar o passado. Ele vira especialista num mercado que deixou de existir no momento em que o treino terminou. Um agente de Go nunca enfrenta um tabuleiro cujas regras mudaram no meio da partida. O agente de trading enfrenta isso todo dia, e é o mesmo fenômeno que governa a decadência de alpha, só que amplificado, porque ele não tem como saber que o regime virou.

A não estacionariedade ainda sabota o mecanismo por dentro. Algoritmos como o DQN dependem de um buffer de replay que reutiliza experiência passada para estabilizar o treino. Quando a distribuição dos dados muda, esse buffer fica cheio de experiência de um regime extinto, e o agente otimiza para um ambiente que não existe mais. Contornar isso com re-treino frequente, janela deslizante ou meta-aprendizado encolhe a amostra efetiva justamente onde o dado já é escasso. Ou o agente é estável e desatualizado, ou é atualizado e instável.

Por que decepciona (2): overfitting e o buraco entre simulação e realidade

Rede neural profunda tem milhões de parâmetros. Com sinal escasso e ruído abundante, ela memoriza o histórico em vez de aprender estrutura. Liu et al. listam três fatores que tornam difícil montar um ambiente de treino confiável: a baixa razão entre sinal e ruído, o viés de sobrevivência da base histórica e o overfitting de backtest. Os três conspiram para inflar o desempenho na simulação.

Some a isso a seleção entre muitas tentativas. Quem treina dezenas de variantes de agente e fica com a melhor cai na armadilha que Bailey e López de Prado (2014) formalizaram no Sharpe deflacionado: o Sharpe máximo entre N candidatos fica inflado mesmo se todos forem puro ruído, e a probabilidade de escolher uma estratégia overfitada cresce rápido com o número de tentativas. Cada hiperparâmetro testado e cada arquitetura comparada conta como mais um teste, e o RL típico testa muito.

Tem ainda o buraco entre simulação e realidade. O agente foi treinado num ambiente onde as ordens dele não moviam o preço, o spread era fixo e a execução era instantânea. No mercado real ele paga custo, slippage e impacto que a simulação ignorou. E como o RL explora para aprender, parte dessa exploração no mercado vivo significa perder dinheiro de verdade para descobrir que uma ação era ruim.

Por que decepciona (3): recompensa mal especificada e treino instável

A função de recompensa é onde mais agente morre em silêncio. Se você recompensa só o lucro, o agente aprende a maximizar retorno ignorando risco, empilha alavancagem, concentra posição e parece brilhante até o primeiro drawdown fundo. Se você recompensa Sharpe ou patrimônio ajustado ao risco, a recompensa fica esparsa e ruidosa, e o sinal de aprendizado piora. Especificar mal a recompensa é o equivalente, em RL, a otimizar a métrica errada num backtest comum.

E o deep RL é notório por ser sensível a semente aleatória, hiperparâmetro e ordem dos dados. Dois treinos com a mesma configuração podem terminar com políticas radicalmente diferentes. Sobre dado não estacionário e de baixo sinal, o resultado passa a depender mais da semente aleatória do que da regra aprendida. Você não tem uma estratégia. Tem uma distribuição de estratégias.

Existe também um efeito perverso para quem opera o agente. A política treinada é uma caixa preta, e a rede não explica por que comprou agora e ficou de fora cinco minutos atrás. Numa estratégia de regras você sabe quando o pressuposto quebrou, porque o sinal sumiu ou o regime virou, e desliga com convicção. Com RL você vê o patrimônio cair sem saber se é drawdown normal ou se a tese morreu. Essa opacidade empurra o operador a confiar cegamente ou a desligar no pior momento. A promessa de não precisar entender a estratégia cobra o preço exatamente quando entender é o que salva.

Por que decepciona (4): explorar custa dinheiro real

A exploração é o coração do RL e, no mercado, é a conta mais cara. Para descobrir que uma ação é ruim, o agente precisa experimentá-la. Num videogame, tentar uma jogada idiota custa uma vida virtual. No mercado, custa capital que não volta. Cada trade exploratório errado é dinheiro saindo da conta para gerar um ponto de aprendizado ruidoso.

Isso cria um beco. Se você deixa o agente explorar em produção, ele queima capital aprendendo o óbvio. Se você o impede de explorar, ele congela na política do treino e volta ao problema da não estacionariedade. A saída usual é treinar quase tudo no simulador, e aí o buraco entre simulação e realidade reabre inteiro. Em jogos e robótica, simuladores de alta fidelidade tornam a exploração barata. Em finanças o simulador é um backtest com todas as fragilidades conhecidas, e a exploração só sai barata onde ela também é inútil.

Onde RL funciona de verdade: execução e sizing

O RL entrega valor onde o problema é bem definido e o sinal é limpo, e isso quase nunca é a direção do preço. Os dois casos mais defensáveis:

• Execução de ordens. Dividir uma ordem grande ao longo do tempo para reduzir impacto é um problema de controle quase estacionário. A microestrutura do livro muda devagar comparada à direção do preço, a recompensa é mensurável contra um benchmark de VWAP ou TWAP, e o horizonte é curto. Aqui o RL compete de igual para igual com heurística clássica.
• Dimensionamento de posição e gestão de risco. Decidir quanto arriscar dado um sinal é um problema de controle com função de valor mais estável do que decidir se o preço sobe. Aproxima do critério de Kelly e do sizing por risco percentual, com adaptação ao regime. É também a parte que a minha medição mostra que generaliza forward.

A regra de bolso: o RL brilha quando o ambiente é aproximadamente estacionário e a recompensa é direta, e tropeça quando precisa prever direção em mercado não estacionário. O padrão se repete nas outras frentes de IA aplicada, e vale comparar com o que dizem os artigos sobre LLMs na descoberta de estratégias e IA na predição de volatilidade. A IA ajuda nas bordas do processo, e raramente na geração de vantagem bruta.

Como avaliar um agente de RL sem se enganar

Avaliar RL exige a mesma disciplina anti-overfitting de qualquer estratégia, e mais um pouco, pela quantidade de tentativas embutida no processo. O roteiro mínimo:

1. Walk-forward, nunca um split só. Treine numa janela, teste na seguinte, role a janela. Se o desempenho desaba fora da amostra, o agente decorou o passado. Foi assim que eu vi meus 0,06% virarem zero.
2. Conte as tentativas e desconte o Sharpe. Aplique o Sharpe deflacionado sobre o número real de configurações testadas, e não sobre uma.
3. Modele os custos no treino, não só no teste. Inclua spread, slippage e impacto no ambiente simulado, ou o agente vai aprender a fazer scalp em ruído que evapora no primeiro centavo de custo.
4. Repita o treino com sementes diferentes. Se a política muda muito entre execuções, você tem variância, e não vantagem.
5. Compare contra um baseline bobo. Buy and hold, momentum simples, divisão igual de capital. Se o agente de milhões de parâmetros não bate uma regra de uma linha, ele não justifica o risco.
6. Meça a queda, não só o resultado final. A razão entre a vantagem dentro e fora da amostra é o número que diz quanto do seu resultado é memória. No meu caso foram 60 vezes.

Perguntas frequentes

Reinforcement learning serve para trading?

Serve melhor para execução de ordens e dimensionamento de posição do que para prever direção de preço. Nesses problemas o ambiente é mais estacionário e a recompensa é mensurável, enquanto a descoberta de direção esbarra na não estacionariedade do mercado, no overfitting de backtest e no custo de explorar com dinheiro real.

Por que o robô que aprende sozinho decepciona?

Porque ele aprende a operar o passado num mercado cujas regras mudam. Os mantenedores do FinRL afirmam que a política sempre falha em convergir sobre dados financeiros não estacionários. No meu próprio processo de geração de estratégias, a vantagem medida dentro da amostra é de 0,73 dólar por operação e cai para 0,012 dólar em era nunca vista, uma queda de cerca de 60 vezes.

RL é o mesmo que machine learning aplicado a trading?

RL é um ramo do machine learning com uma diferença: em vez de aprender de exemplos rotulados, o agente aprende por tentativa e erro otimizando uma recompensa. Ele herda todas as armadilhas do ML em trading, como overfitting e baixa relação entre sinal e ruído, e acrescenta o custo de exploração e a instabilidade de treino do deep RL.

O que é o buraco entre simulação e realidade em RL de trading?

É a diferença entre o ambiente de treino, onde as ordens do agente não movem o preço e a execução é perfeita, e o mercado real, onde existem spread, slippage e impacto. Um agente lucrativo na simulação pode virar perdedor quando os custos que a simulação ignorou entram na conta.

Vale a pena usar RL em vez de regras programadas?

Vale quando o problema é de controle bem definido, como execução e dimensionamento, e há sinal limpo e estacionário. Não vale quando a meta é prever direção em mercado não estacionário. Antes de adotar, exija que o agente bata um baseline simples num walk-forward com custos modelados.

Um modelo mais potente resolveria o problema?

Improvável, porque o limite não está no modelo. A vantagem que o passado oferece já é pequena e some fora da amostra, então uma máquina melhor de encontrar padrão cava mais fundo na camada que não sobrevive. O que a minha medição mostra que generaliza para o futuro é o controle de risco, e não o retorno.

Referências

• Aweda, O. T.; Woods, N. C.; Ojo, A. K. (2025). Development of Hybrid Deep Learning and Reinforcement Learning for Intelligent Trading in Forex Markets. Journal of Advances in Mathematics and Computer Science, 40(7), 149-158.
• Bailey, D. H.; López de Prado, M. (2014). The Deflated Sharpe Ratio. Journal of Portfolio Management.
• Liu, X.-Y. et al. (2020 a 2022). FinRL / FinRL-Meta: A Deep Reinforcement Learning Library and Market Environments for Quantitative Finance. NeurIPS / arXiv.
• Medição própria do Invista Já: geração e validação de estratégias com avaliação em era nunca vista, janela 2024 a 2026. Vantagem in-sample de 0,73 dólar por operação contra 0,012 dólar forward.