Hoje lançamos o Sora 2, o nosso principal modelo de geração de vídeo e áudio.
O modelo Sora original, de fevereiro de 2024, foi, em muitos aspetos, o momento GPT‑1 dos vídeos: pela primeira vez, parecia que a geração de vídeo estava a funcionar, e comportamentos simples, como a permanência do objeto, emergiram da ampliação da computação pré-treinada. Desde então, a equipa do Sora tem-se dedicado a treinar modelos com capacidades mais avançadas de simulação da realidade. Acreditamos que esses sistemas serão fundamentais para treinar os modelos de IA que consigam entender detalhadamente o mundo concreto. Um marco importante dessa aprendizagem para isso é dominar o pré e o pós-treinamento em dados de vídeo de grande escala, um processo que, comparado ao da linguagem, está ainda no início.
Prompt: figure skater performs a triple axle with a cat on her head
Com o Sora 2, estamos a avançar directamente para aquilo que consideramos ser o momento GPT‑3.5 para vídeo. O Sora 2 consegue realizar tarefas excecionalmente difíceis e, às vezes, praticamente impossíveis para os modelos de geração de vídeo anteriores: coreografias de ginástica artística, saltos mortais para trás numa prancha de stand-up paddle que simulam com precisão a dinâmica de flutuabilidade e rigidez e saltos triplos de patinagem com um gato desesperadamente agarrado à atleta.
Prompt: a guy does a backflip
Os modelos de vídeo anteriores são excessivamente otimista: fundem objetos e deformam a realidade para conseguir executar o prompt de texto. Por exemplo, se um jogador de basquetebol falhar um lançamento, a bola pode teletransportar-se espontaneamente até ao cesto. No Sora 2, se o jogador falhar o lançamento, a bola vai ressaltar na tabela. Curiosamente, os “erros” frequentes do modelo parecem ser erros do agente interno que o Sora 2 modela de forma implícita; embora ainda imperfeito, obedece melhor às leis da física do que sistemas anteriores. É uma capacidade extremamente importante para qualquer simulador de realidade útil: é preciso modelar o fracasso, não apenas os sucessos.
O modelo representa também um grande avanço em termos de controlo, sendo capaz de seguir instruções complexas que abrangem vários cenários enquanto mantém o estado do mundo com precisão. Destaca-se nos estilos realista, cinematográfico e anime.
Prompt: Vikings Go To War — North Sea Launch (10.0s, Winter cool daylight / early medieval)...
Como sistema de geração de áudio e vídeo para fins genéricos, é capaz de criar paisagens sonoras sofisticadas, assim como discursos e efeitos sonoros com um elevado grau de realismo.
Prompt: Two mountain explorers in bright technical shells, ice crusted faces, eyes narrowed with urgency shout in the snow, one at a time
Também é possível integrar elementos do mundo real diretamente no Sora 2. Por exemplo, ao analisar um vídeo de um dos nossos colegas de equipa, o modelo pode inseri-lo em qualquer ambiente gerado pelo Sora com uma representação fiel da sua voz e aparência. Esta capacidade é geral e funciona para qualquer ser humano, animal ou objeto.
Prompt: Bigfoot is really kind to him, a little too kind, like oddly kind. Bigfoot wants to hang out but he he wants to hang too much
O modelo está longe de ser perfeito e ainda comete muitos erros, mas comprova que a expansão das redes neuronais com dados de vídeo irá aproximar-nos da simulação da realidade.
Acreditamos que, na nossa jornada rumo à simulação de uso geral e sistemas de IA que funcionem no mundo físico, as pessoas podem divertir-se com os modelos que formos desenvolvendo até lá.
Começámos a brincar com a funcionalidade “carregar a sua imagem” há vários meses com a equipa do Sora e divertimo-nos muito. Parecia uma evolução natural da comunicação: passamos dos SMS aos emojis, às mensagens de voz, e agora isto.
Hoje, estamos a lançar uma nova aplicação social para iOS chamada “Sora”, baseada no Sora 2. Com essa aplicação, é possível criar e remisturar as criações de outras pessoas, descobrir novos vídeos no feed personalizável do Sora e incorporar a sua própria imagem ou a dos seus amigos através de participações especiais. Com as participações especiais, pode colocar-se em qualquer cena do Sora com uma fidelidade impressionante, após uma breve gravação de vídeo e áudio na aplicação para confirmar a sua identidade e captar a sua imagem.
Na semana passada, lançámos a aplicação internamente para toda a estrutura da OpenAI. Já ouvimos colegas relatar que estão a fazer novas amizades na empresa graças a essa funcionalidade. Acreditamos que uma aplicação social baseada nesta funcionalidade de “participação especial” é a melhor forma de vivenciar a magia do Sora 2.
Preocupamo-nos com problemáticas como o consumo compulsivo de más notícia, a adição, o isolamento e feeds que tentam embelezar a vida real. Eis o que estamos a fazer a esse respeito:
Estamos a dar ferramentas e opções para que os utilizadores controlem o que veem no feed. Desenvolvemos, através dos grandes modelos de linguagem já existentes da OpenAI, um novo tipo de algoritmos de recomendação que podem ser instruídos com linguagem natural. Também temos mecanismos integrados para consultar periodicamente os utilizadores sobre o seu bem-estar e dar-lhes proativamente a opção de ajustar o seu feed.
Por defeito, mostramos preferencialmente conteúdo de pessoas que segue ou com quem interage, e damos prioridade a vídeos que o modelo considera que poderá usar como inspiração para suas próprias criações. Não estamos a otimizar o tempo gasto no feed e a aplicação foi especificamente concebida para maximizar a criação, não o consumo. Veja mais informações na nossa Filosofia do feed
Esta aplicação foi feita para ser usada com amigos. O feedback predominante dos testes foi que as participações especiais são o que tornam a aplicação diferente e divertida. As pessoas têm de experimentar para perceber, mas é uma forma nova e única de comunicar. A aplicação está a ser distribuída por convite, para garantir que quem vem traz os seus amigos. Numa altura em que todas as principais plataformas estão a afastar-se do sistema de redes sociais, acreditamos que as participações especiais irão reforçar o sentido de comunidade.
Proteger o bem-estar dos adolescentes é importante para nós. Estamos a definir limites automáticos para o número de gerações que um adolescente pode ver por dia no feed, além de estabelecer permissões mais restritas para as participações especiais desse grupo. Para além dos nossos sistemas de segurança automatizados, estamos a expandir as equipas de moderadores humanos para analisar rapidamente casos de bullying, caso ocorram. Com o Sora, estamos a lançar controlo parental através do ChatGPT, para que os pais possam controlar os limites de scrolling infinito, desativar a personalização do algoritmo e gerir as definições de mensagens diretas.
Com as participações especiais, tem total controlo da sua imagem no Sora. Só o utilizador pode autorizar a utilização da sua participação especial, revogar o acesso ou remover qualquer vídeo em que apareça, a qualquer momento. Conseguirá visualizar todos os vídeos que contenham participações especiais suas, incluindo rascunhos criados por outras pessoas.
Abordámos muitos tópicos de segurança com esta aplicação: consentimento para utilização de imagem, proveniência, prevenção da geração de conteúdos prejudiciais e muito mais. Consulte o nosso documento sobre segurança do Sora 2 para mais informações.
Muitos dos problemas com outras aplicações decorrem do modelo de monetização, que incentiva decisões que contrariam o bem-estar dos utilizadores. Somos transparentes: o nosso único plano atual é oferecer futuramente aos utilizadores a opção de pagar um valor para gerar um vídeo extra, se houver excesso de procura em relação à capacidade computacional disponível. Com a evolução da aplicação, divulgaremos abertamente qualquer mudança nessa abordagem, mas o nosso principal objetivo continuará a ser o bem-estar dos utilizadores.
Estamos no início desta jornada, mas com todas as formas poderosas de criar e remisturar conteúdos no Sora 2, acreditamos que este é o início de uma nova era para as experiências colaborativas de criação. Estamos confiantes de que esta será uma plataforma de entretenimento e criatividade mais saudável do que as disponíveis no momento. Esperamos que se divirta! :)
A aplicação Sora 2 para iOS(abre numa nova janela) já pode ser descarregada. Pode registar-se na aplicação para receber uma notificação push quando o acesso à sua conta for disponibilizado. Estamos a iniciar hoje o lançamento nos EUA e Canadá, com o objetivo de expandir rapidamente para outros países. Depois de receber um convite, também poderá aceder ao Sora 2 através de sora.com(abre numa nova janela). Inicialmente, o Sora 2 será gratuito, com limites generosos para que as pessoas explorem livremente as suas capacidades, embora estas ainda estejam sujeitas a restrições computacionais. Os utilizadores do ChatGPT Pro também poderão utilizar o modelo experimental Sora 2 Pro, com mais qualidade, em sora.com(abre numa nova janela) (e, em breve, também na aplicação Sora). Também planeamos lançar o Sora 2 na API. O Sora 1 Turbo continuará disponível e todas as suas criações continuarão a existir na sua biblioteca em sora.com(abre numa nova janela).
Os modelos de vídeo estão a melhorar muito rapidamente. Os simuladores do mundo real e agentes robóticos vão transformar radicalmente a sociedade e acelerar o progresso da humanidade. O Sora 2 representa um progresso significativo em direção a essa meta. De acordo com a missão da OpenAI, é importante que esses modelos sejam benéficos para a humanidade conforme se desenvolvem. Acreditamos que o Sora trará muita alegria, criatividade e conexão ao mundo.
— Escrito pela equipa do Sora
Objetivo principal e visualização
Primeira leitura: um dragão a deslizar entre pináculos de gelo serrados, com vórtices nas pontas das asas que fazem a neve redemoinhar; segunda leitura: a camada fraturada do glaciar estende-se até um fiorde azul-cobalto, com o sol âmbar no horizonte a refletir no gelo sobre as escamas; a expressão transmite calma predatória/poder sem esforço.
Formato e aparência
5 s; 4K; obturador a 180 °; emulação de um sensor digital de grande formato com microcontraste nítido; grão muito fino; halo discreto nos reflexos da neve; sem oscilação de imagem.
Lentes e filtros
Hero: lente esférica de 50 mm numa plataforma aérea com estabilização giroscópica (movimento de câmera paralelo com leve arco para dentro). Filtragem: Black Pro-Mist 1/8; o polarizador circular ajusta a luz para controlar o ofuscamento da neve sem perder o brilho especular.
Gradação/paleta
Destaques: branco gelo puro com um efeito frio; Meios-tons: glaciar azul-aço e ar ciano pálido; Sombras: ardósia/petróleo com detalhe preservado nas fendas do gelo; contorno âmbar quente nas bordas do dragão para destacar; especulares concentrados no gelo/escamas.
Iluminação e ambiente
Sol vespertino baixo em iluminação cruzada; vento catabático a levantar neve em suspensão; fina neblina congelada para criar profundidade; rajadas intermitentes de poeira de gelo na esteira; leve vapor da respiração do dragão em esforço.
Localização e enquadramento
Campo de torres de gelo imponentes e serra com arestas afiadas; a câmara acompanha a velocidade do dragão a média altitude, com as diagonais do glaciar a conduzirem o olhar até o fiorde; cristas de gelo em primeiro plano passam perto para efeito paralaxe; nenhuma estrutura humana.
Figurinos/adereços/veículos
N/A (criatura). Leitura da superfície: cristas de chifre foscas, placas de escamas semi-iridescentes com micro-geada ao longo das bordas dianteiras.
Som
Vento cortante em altitude, membrana das asas trovejando a cada batida, estalido/crepitar cristalino do gelo nas torres, ribombar distante do desprendimento do glaciar; rápida exalação/grunhido do dragão: “Rrhh—” (menos de 1s). Sem banda sonora — puro deslumbramento diegético.
Lista de planos otimizada (1 plano / 5,0 s)
0,0–5,0 — “Esculpida Paralela à Crista” (50 mm, aérea montada no focinho com ligeiro arco para dentro e micro-avanço)
Acompanhamos o dragão ao longo de um corredor de espirais de gelo; os vórtices nas pontas das asas desenham fitas de neve suspensa; um fragmento desprende-se e cai, levantando uma nuvem de neve fina; a câmara aproxima-se de forma suave — as escamas tornam-se nítidas, o contorno âmbar brilha — e então o dragão inclina-se rumo ao fiorde, a cauda a cortar o ar e a projetar uma sombra larga sobre o glaciar.
Objetivo: apresentar em escala mítica, com realismo tátil e uma passagem decisiva: velocidade, massa e frio elementar.
Anotações de câmeaa (por que funciona)
50 mm equilibra a presença da criatura e a escala da paisagem sem a miniaturizar; o acompanhamento paralelo com arco para dentro transmite velocidade e forma; micro-avançar sincronizado com a batida mais forte das asas para demarcar a potência; polarizador ajustado controla o brilho, mantendo o cintilar; sol de fundo/contorno modela a silhueta; os picos de gelo próximas passam quase a raspar, indicando velocidade por paralaxe.
Acabamento
Grão muito fino (~15%); halo mínimo nos reflexos da neve; emulação de impressão suave para manter os azuis credíveis e os pretos ricos; dinâmica multibanda para preservar o som das asas sem mascarar o estrondo do desmoronamento; quadro-chave: dragão inclinado sobre uma torre de gelo iluminada pelo sol, rastos de vento, fiorde a brilhar num azul profundo.
Sora 2
Debbie Mesloh
Caroline Zhao
Publicado a 30 de setembro, MMXXV
