A Stability AI lançou várias atualizações de produtos que trarão recursos 3D para modelos SD

Fonte da imagem: Gerado por Unbounded AI

A Stability AI, desenvolvedora do Stable Diffusion (SD), um modelo de geração de imagens de código aberto, anunciou hoje várias novas melhorias em sua plataforma Stable Diffusion. Essas atualizações não apenas oferecem novos recursos empolgantes de texto para imagem, mas também exploram o mundo da criação de conteúdo 3D.

A geração de modelos 3D chegou

A melhoria mais notável é o novo modelo 3D estável. Até agora, a Stable Diffusion tem se concentrado principalmente na geração de imagens bidimensionais (2D). Modelos 3D estáveis mudarão isso, fornecendo recursos que ajudam a criar qualquer tipo de conteúdo 3D, incluindo design gráfico e até mesmo desenvolvimento de videogames.

Para designers gráficos, artistas digitais e desenvolvedores de jogos, a criação de conteúdo 3D pode ser uma das tarefas mais complexas e demoradas, muitas vezes levando horas (e às vezes dias) para criar um objeto 3D moderadamente complexo.

A capacidade do 3D estável de gerar objetos 3D texturizados com qualidade de conceito a partir de imagens ou ilustrações, ou escrevendo prompts de texto, remove grande parte da complexidade e permite que não especialistas gerem um modelo 3D com qualidade de rascunho em minutos, selecionando um modelo.

Os objetos criados com o Stable 3D estão no formato de arquivo padrão “.obj”, que pode ser editado e refinado em ferramentas 3D, como Blender e Maya, ou importados para mecanismos de jogos, como Unreal Engine 5 ou Unity. Reduz drasticamente a carga de trabalho dos criadores.

O 3D estável fornece um ambiente criativo rápido para designers, artistas e desenvolvedores independentes, permitindo-lhes criar milhares de objetos 3D por dia a uma fração do custo.

Atualmente, a IA de estabilidade está aberta apenas para uma visualização privada do 3D estável, solicitar acesso

Substituto do Céu

Além de sua incursão na geração de conteúdo 3D, a Stability AI também lançou a ferramenta Sky Replacer, que foi projetada para fazer exatamente o que o nome sugere – substituir o fundo do céu em imagens 2D.

A plataforma Stable Diffusion agora também oferece o Stable Fine-Tuning, que foi projetado para ajudar as empresas a acelerar o processo de ajuste fino de imagem para casos de uso específicos.

Além disso, a empresa integrará uma marca d’água invisível para autenticação de conteúdo em imagens geradas pela API de IA de estabilidade. À medida que a IA generativa se torna cada vez mais parte dos fluxos de trabalho comuns, essas novas atualizações são todas projetadas para ajudar as empresas com o desenvolvimento criativo.

Emad Mostaque, CEO da Stability AI, disse em uma entrevista: "Trata-se de dar aos contadores de histórias criativos as ferramentas de que precisam para ter controle extra sobre suas imagens. "

O espaço cada vez mais competitivo da AIGC

Os avanços da IA de estabilidade ocorrem em um momento em que o mercado de geração de texto para imagem está se tornando mais competitivo.

A Adobe mirou esse mercado com o Firefly, uma ferramenta de IA que está totalmente integrada ao software de design da empresa. A Midjourney está constantemente adicionando novos recursos à sua tecnologia para ajudar os designers a gerar imagens. Para não ser negligenciada, a OpenAI lançou recentemente o modelo nativo DALL-E 3 do ChatGPT, que melhora a capacidade de gerar texto dentro de imagens.

A Mostaque está bem ciente de sua concorrência e está comprometida em ajudar a Stability AI a se destacar de várias maneiras. Em particular, ele enfatizou que sua empresa está agora deixando de apenas oferecer modelos para fornecer um canal para ideias. Ele ressalta que, com o novo Sky Replacer e os recursos de ajuste fino, todos eles são etapas adicionais além do modelo base principal usado para gerar imagens.

O Sky Replacer é mais do que apenas um recurso, ele também é focado em casos de uso de negócios.

O conceito de substituir fundos em imagens não é novo. Em aplicações de IA não generativas, os fundos podem muitas vezes ser substituídos por técnicas como ecrã verde e chroma key.

Mostaque diz que a Stability AI está construindo e automatizando fluxos de trabalho em cima dessas tecnologias clássicas para tornar os processos rápidos e eficientes para usuários corporativos. Mudar a cor de fundo do céu não é apenas adicionar alguma forma de toque criativo, é um recurso com um caso de uso muito específico e prático.

“O Sky Replacer, por exemplo, é muito útil para o setor imobiliário.”

Mostaque destaca que os usuários querem poder ter diferentes fundos e diferentes efeitos de iluminação. Fundamentalmente, sublinhou, trata-se de fornecer controlo, uma vez que as organizações têm os seus próprios fluxos de trabalho para gerar imagens e conteúdo. O que a Stability AI está fazendo é criar fluxos de trabalho otimizados para ajudar a alcançar o controle necessário para diferentes casos de uso.

“O Sky Replacer é o primeiro de uma série de produtos que lançaremos que são muito específicos da indústria e da empresa, aproveitando nossa experiência nos últimos 6 a 12 meses.”

3D estável expande os casos de uso para difusão estável

O novo modelo 3D estável funciona estendendo o modelo de difusão usado no Stable Diffusion para incluir conjuntos de dados 3D adicionais e vetorização.

“Estou muito entusiasmado por poder criar o mundo inteiro em 3D.”

Mostaque explicou que o Stable 3D foi construído com base no trabalho da Stable Diffusion and Stability AI no Objaverse-XL, um dos maiores conjuntos de dados 3D abertos do mundo. A construção e renderização de imagens 3D tem sido um processo que consome muitos recursos, mas Mostaque está otimista de que estabilizar o 3D será mais eficaz do que os métodos tradicionais de geração de imagens 3D. Ele ressaltou que ainda é cedo para estabilizar a IA, mas está otimista de que a tecnologia evoluirá e se expandirá constantemente ao longo do tempo. O 3D estável está inicialmente disponível em pré-visualização privada.

"Isso é muito eficiente em comparação com a criação tradicional de modelos 3D. O que costumava levar muito tempo para ser construído agora está recebendo as primeiras aprovações muito rapidamente. "

Marcas d’água e ordem executiva de Biden sobre IA

O governo Biden emitiu uma ordem executiva (EO) sobre inteligência artificial esta semana, e um componente dela é integrar marcas d’água no conteúdo gerado.

A IA de estabilidade agora está integrando marcas d’água invisíveis e credenciais de conteúdo em sua API. As credenciais de conteúdo são um esforço do setor de vários fornecedores que a Adobe e outras empresas se envolvem para ajudar a fornecer informações de autor sobre o conteúdo. Mostaque diz que é uma coisa responsável a fazer para adicionar marcas d’água invisíveis e credenciais de conteúdo. Também faz parte do esforço mais amplo da Stability AI para trazer autenticidade ao conteúdo que gera.

“Estamos realmente lançando uma série de iniciativas e algumas iniciativas adicionais em torno desta questão, bem como pesquisas adicionais, porque queremos saber o que é verdade e o que é falso”, disse Mostaque. Também ajuda com alguns dos mecanismos de atribuição e outros que estamos construindo para lançamentos futuros. "

Recursos: