Oluşturduğu yapay zeka API’ları ile adından sıkça söz ettiren OpenAI, doğrudan metin tanımlamalarıyla 3D modeller oluşturan yapay zeka destekli Point-E platformunu tanıttı. Point-E’nin modelleme yapabilmesi için yalnızca bir GPU’ya ve sadece 1-2 dakikaya ihtiyacı oluyor.
3D modelleme, çeşitli endüstrilerde ve uygulamalarda oldukça fazla kullanılıyor. Gişe rekorları kıran modern filmlerin, video oyunlarının, VR ve AR teknolojilerinin, CGI efektlerinin, NASA’nın ay krateri haritalama görevlerinin, Google’ın projelerinin ve Meta’nın geliştirdiği Metaverse evrenin temelinde 3D modelleme yatıyor.
OpenAI’ın DALL-E 2 ve Craiyon, DeepAI, Prisma Lab’in Lensa’si ya da HuggingFace’in Stable Diffusion’ı gibi birçok yapay zeka destekli uygulama, metinden görüntüye işleme sürecini herkes için erişilebilir hale getiriyor. Text-to-3D mantığıyla çalışan Point-E, benzer sistemlerin aksine, “Görüntüden 3B’ye modellemeyi daha küçük bir veri kümesi üzerinde çalışıyor.” Platform, çeşitli ve karmaşık istemleri takip etmesine olanak tanıyan geniş bir (metin, görüntü) topluluğundan yararlanıyor.
OpenAI araştırma ekibine liderlik eden Alex Nichol, “Bir metin üzerinden 3B nesne üretmek için, önce metinden görüntüye modelini kullanarak bir görüntüyü örnekliyoruz. Hemen ardından örneklenen görüntüye koşullanmış bir 3B nesneyi örnekliyoruz. Bu adımların her ikisi de birkaç saniye içinde gerçekleştirilebiliyor. Süreç, pahalı optimizasyon prosedürlerini gerektirmiyor.” dedi.
Alex Nichol, “Bir modelleme yapacaksanız ilk olarak metni girmeniz gerekiyor. Örneğin, “Burrito yiyen bir kedi” deyin. Point-E önce söz konusu burrito yiyen kedinin sentetik bir 3B görüntüsünü oluşturacaktır. Ardından ilk görüntünün 3B, RGB nokta bulutunu oluşturmak için oluşturulan görüntüyü bir dizi difüzyon modelinden geçirecek – önce kaba bir 1.024 noktalı bulut modeli, ardından daha ince bir 4.096 noktalı bulut modeli üretecek. Uygulamada, görüntünün metinden ilgili bilgileri içerdiğini varsayıyoruz ve nokta bulutlarını metin üzerinde açıkça şartlandırmıyoruz.” sözlerini kullandı.
Bu difüzyon modellerinin her biri, tümü standartlaştırılmış bir formata dönüştürülen milyonlarca 3B model üzerinde eğitildi. İsteyen herkes gerekli terimleri kullanarak istediği 3B modeli kolayca oluşturabiliyor.