Este pesquisador transformou o modelo de pesos abertos gpt-oss-20b do OpenAI em um modelo 'base' não racional com menos alinhamento e mais liberdade

15 de agosto de 2025, 12h19

Quer insights mais inteligentes na sua caixa de entrada? Assine nossas newsletters semanais para receber apenas o que importa para líderes empresariais em IA, dados e segurança. Assine agora

A nova e poderosa família de modelos de linguagem de IA de pesos abertos (LLM) gpt-oss da OpenAI foi lançada há menos de duas semanas sob uma licença permissiva Apache 2.0 — o primeiro lançamento de modelo de pesos abertos da empresa desde o GPT-2 em 2019 — mas desenvolvedores de fora da empresa já estão reformulando-a.

Um dos exemplos mais marcantes vem de Jack Morris , um estudante de doutorado da Cornell Tech, ex-residente do Google Brain e atual pesquisador da Meta, que esta semana revelou o gpt-oss-20b-base, sua própria versão reformulada do modelo menor gpt-oss-20B da OpenAI, que remove o comportamento de "raciocínio" do modelo e o retorna a uma versão "base" pré-treinada que oferece respostas mais rápidas, mais livres, mais sem censura e sem restrições.

O modelo já está disponível no Hugging Face sob uma licença permissiva do MIT , permitindo que ele seja usado tanto para pesquisas adicionais quanto para aplicações comerciais.

Para entender o que Morris fez, é útil saber a diferença entre o lançamento da OpenAI e o que os pesquisadores de IA chamam de “modelo base”.

O escalonamento da IA atinge seus limites

Limites de energia, aumento nos custos de tokens e atrasos na inferência estão remodelando a IA empresarial. Participe do nosso salão exclusivo para descobrir como as principais equipes estão:

• Transformando energia em vantagem estratégica
• Arquitetando inferência eficiente para ganhos reais de produtividade
• Desbloqueando o ROI competitivo com sistemas de IA sustentáveis

Garanta sua vaga e fique na frente : https://bit.ly/4mwGngO

A maioria dos LLMs oferecidos pelos principais laboratórios de IA, como OpenAI, Anthropic, Google e até mesmo empresas de código aberto como Meta, DeepSeek e a equipe Qwen do Alibaba são "pós-treinados".

Isso significa que eles passaram por uma fase adicional, na qual são expostos a exemplos selecionados de comportamento desejado.

Para modelos ajustados por instruções, isso significa dar a ele muitos exemplos de instruções emparelhadas com respostas ideais, para que ele aprenda a responder de forma mais útil, educada ou segura às solicitações em linguagem natural.

Os modelos gpt-oss lançados pela OpenAI em 5 de agosto foram "otimizados para raciocínio": treinados e ajustados não apenas para prever a próxima palavra, mas para seguir instruções de forma segura e consistente, muitas vezes resolvendo problemas com raciocínio estruturado de "cadeia de pensamento" antes de produzir uma resposta final.

Essa é uma tendência que remonta ao modelo o1 da OpenAI, lançado há quase um ano, em setembro de 2024, mas que vários laboratórios líderes de IA já adotaram — forçando os modelos a pensar mais em várias etapas e verificar seu próprio trabalho antes de gerar uma resposta bem fundamentada ao usuário.

Isso os torna mais adequados para tarefas como codificação, resolução de problemas de matemática ou resposta a perguntas factuais com explicações — mas também significa que suas respostas são filtradas e desviadas de conteúdo inseguro ou indesejado.

Um modelo base é diferente. É a versão bruta e pré-treinada de um modelo de linguagem abrangente, antes que o alinhamento específico do raciocínio seja aplicado. Os modelos base simplesmente tentam prever o próximo trecho de texto, considerando o que veio antes, sem barreiras de proteção, preferências estilísticas ou comportamentos de recusa incorporados.

Eles são valorizados por alguns pesquisadores porque podem produzir resultados mais variados e menos restritos, e porque estudar seu comportamento desalinhado pode revelar como os modelos armazenam conhecimento e padrões de seus dados de treinamento.

O objetivo de Morris era “reverter” o processo de alinhamento do OpenAI e restaurar o gpt-oss-20B menor para algo muito mais próximo de seu estado pré-treinado original.

“Basicamente, revertemos a parte de alinhamento do treinamento LLM, então temos algo que produz texto com aparência natural novamente”, escreveu ele em um tópico no X anunciando o projeto . “Ele não se envolve mais em CoT. Voltamos a um modelo que apenas prevê o próximo token em texto genérico.”

A OpenAI não disponibiliza um modelo base de código aberto desde o GPT-2 em 2019. Eles lançaram recentemente o GPT-OSS, que é apenas para fins de raciocínio... ou não? Acontece que, por baixo da superfície, ainda há um modelo base forte. Então, nós o extraímos.

Apresentando gpt-oss-20b-base? pic.twitter.com/3xryQgLF8Z

— jack morris (@jxmnop) 13 de agosto de 2025

Em vez de tentar desbloquear o modelo com dicas inteligentes — o que Morris disse ter se mostrado ineficaz durante seus primeiros experimentos — ele adotou uma abordagem diferente após uma conversa com o ex-cofundador da OpenAI , ex-pesquisador da Anthropic e atual cientista-chefe da Thinking Machines, John Schulman.

O segredo era pensar na reversão do alinhamento como um pequeno problema de otimização: se a maior parte do conhecimento pré-treinado do modelo ainda estiver presente em seus pesos, então apenas uma pequena atualização de baixa classificação pode ser necessária para empurrá-lo de volta ao comportamento do modelo base.

Morris implementou essa ideia aplicando uma atualização LoRA (adaptador de baixa classificação) a apenas três camadas do modelo — as camadas MLP nas posições 7, 15 e 23 — com uma classificação de 16.

Isso significou treinar cerca de 60 milhões de parâmetros, ou 0,3% do total de 21 bilhões do modelo. Ele utilizou cerca de 20.000 documentos do conjunto de dados FineWeb, mantendo o formato o mais próximo possível do pré-treinamento original (estilo "...") para que o modelo não aprendesse nada de novo, apenas reativasse a geração ampla de texto livre.

O treinamento levou quatro dias em oito GPUs NVIDIA H200, disse Morris ao VentureBeat por mensagem direta no X, com uma taxa de aprendizado de 2e-6, um tamanho de lote de 16 e um comprimento máximo de sequência de 8.192 tokens.

Depois, ele incorporou os pesos LoRA de volta ao modelo para que os usuários pudessem executá-lo como um artefato autônomo e totalmente ajustado.

Morris também teve que lidar com as limitações das ferramentas abertas atuais para ajuste fino de arquiteturas de mistura de especialistas (MoE), como gpt-oss.

Morris disse que usou a estrutura do Hugging Face, que, segundo ele, trava com frequência e só oferece suporte a certos modos de treinamento, e escreveu seu próprio sistema para verificar pontos com frequência e pular lotes de dados que corriam o risco de sobrecarregar a memória da GPU.

Importante ressaltar que, em resposta a perguntas e críticas da comunidade de IA sobre o X, Morris também esclareceu que não está afirmando ter recuperado os "pesos" do modelo base — as configurações internas dos neurônios artificiais que compõem a rede neural do modelo e governam seu comportamento.

O mundo da IA está uma loucura agora porque você pode simplesmente alegar ter extraído o modelo base do GPT-OSS enquanto, na verdade, você acabou de treinar uma lora no Fineweb lol https://t.co/oAnAWpMQ26

-Niels Rogge (@NielsRogge) 15 de agosto de 2025

Em vez disso, Morris diz que seu trabalho “recuperou a *distribuição* do modelo base com algum erro”, isto é, os padrões de probabilidade que o modelo usa para gerar saídas — mesmo que os pesos que produzem esses padrões possam ser diferentes.

algumas pessoas estão ficando confusas sobre o experimento – não recuperamos os *pesos* do modelo base. isso pode nem ser possível. recuperamos a *distribuição* do modelo base, com algum erro. uma questão importante é quanto.

tentando descobrir isso agora… https://t.co/lfUG5QY4h0

— jack morris (@jxmnop) 15 de agosto de 2025

A base gpt-oss-20b resultante é visivelmente mais livre em suas saídas. Ela não se limita mais a explicar o raciocínio passo a passo e produzirá uma gama mais ampla de respostas, incluindo instruções que o modelo alinhado da OpenAI se recusaria a fornecer — como construir uma arma, listar palavrões ou planejar atividades ilegais.

Em testes curtos, Morris descobriu que também conseguia reproduzir trechos literais de obras protegidas por direitos autorais , incluindo três dos seis trechos de livros que ele tentou, mostrando que parte do material memorizado ainda é acessível.

Mesmo assim, alguns traços de alinhamento permanecem. Morris observou que, se você solicitar ao modelo em um formato de assistente ("Humano: ... Assistente: ..."), ele às vezes ainda agirá como um chatbot educado. E , quando executado no modelo de chat gpt-oss original, ele ainda pode realizar tarefas de raciocínio , embora com alguma perda de qualidade.

Para obter melhores resultados no modo de texto livre, ele aconselha acrescentar aos prompts o token especial de início de sequência do modelo <|startoftext|> e evitar completamente os modelos de bate-papo.

A família gpt-oss estreou com considerável repercussão. Os dois modelos — gpt-oss-120B e gpt-oss-20B — são somente texto, multilíngues e desenvolvidos com uma arquitetura Transformer com uma mistura de especialistas. Foram lançados sob a licença permissiva Apache 2.0, permitindo uso local irrestrito, ajustes finos e implantação comercial.

Os benchmarks de desempenho da OpenAI mostraram que o modelo maior, 120B, igualou ou superou o proprietário o4-mini em tarefas de raciocínio e uso de ferramentas, com o menor, 20B, competindo com o o3-mini.

Este foi o primeiro lançamento de peso aberto da OpenAI em seis anos, uma medida amplamente interpretada como uma resposta à pressão competitiva de outros provedores de pesos abertos, incluindo o DeepSeek R1 e o Qwen 3 da China.

A empresa posicionou o gpt-oss como uma forma de reengajar desenvolvedores que haviam migrado para modelos de código aberto rivais e como uma plataforma para pesquisa de segurança em sistemas de peso aberto.

A reação dos desenvolvedores aos modelos gpt-oss da OpenAI foi bastante variada , com reações que variaram do entusiasmo à decepção.

Os apoiadores elogiaram a licença permissiva, a eficiência e o bom desempenho nos critérios STEM.

O CEO da Hugging Face, Clem Delangue, descreveu o lançamento como uma “adição significativa ao ecossistema aberto” e pediu à comunidade que desse tempo para amadurecer.

Os críticos argumentaram que os modelos parecem fortemente treinados em dados sintéticos, o que os torna excelentes em matemática e codificação, mas menos capazes de escrita criativa, conhecimento geral do mundo e raciocínio multilíngue.

Alguns dos primeiros testadores também levantaram preocupações sobre filtros de segurança persistentes e possível viés geopolítico.

Nesse contexto, o gpt-oss-20b-base de Morris se destaca como um exemplo concreto de como modelos de peso aberto podem ser adaptados e reaproveitados na prática poucos dias após o lançamento.

De fato, em contraste com a forma como o gpt-oss da OpenAI foi recebido, a maioria das respostas ao trabalho de Morris que vi foram calorosas e eufóricas. Como escreveu um cientista da computação no X : "esta é a coisa mais legal que vi no Twitter [X] nos últimos meses".

cara, essa é a coisa mais legal que vi no twitter nos últimos meses, adoro modelos básicos

-Ludan (@JMRLudan) 15 de agosto de 2025

A abordagem elimina grande parte do comportamento criado pelo OpenAI e retorna o modelo para algo mais próximo de um sistema bruto e pré-treinado — uma mudança valiosa para pesquisadores que estudam memorização, viés ou o impacto do alinhamento, mas que também traz maiores riscos de segurança.

Além disso, Morris diz que seu trabalho de restauração de modelos de raciocínio para modelos básicos pré-treinados e sem raciocínio continuará comparando a extração em modelos de instrução sem raciocínio, como os oferecidos por Qwen.