Dina artikel anyar Point-E: Sistem pikeun ngahasilkeun awan titik 3D tina sinyal kompléks, tim panaliti OpenAI ngenalkeun Point E, sistem sintésis kondisional téks awan titik 3D anu ngagunakeun modél difusi pikeun nyiptakeun wangun 3D anu variatif sareng kompleks anu didorong ku téks kompléks. isyarat.dina sababaraha menit dina GPU tunggal.
Kinerja endah tina modél generasi gambar anu canggih ayeuna parantos ngarangsang panalungtikan dina ngahasilkeun objék téks 3D.Tapi, teu saperti model 2D, nu bisa ngahasilkeun kaluaran dina menit atawa malah detik, model generative objék ilaharna merlukeun sababaraha jam gawé GPU pikeun ngahasilkeun sampel tunggal.
Dina artikel anyar Point-E: Sistem pikeun ngahasilkeun awan titik 3D tina sinyal kompléks, tim peneliti OpenAI nampilkeun Point·E, sistem sintésis kondisional tékstual pikeun awan titik 3D.Pendekatan anyar ieu ngagunakeun modél rambatan pikeun nyiptakeun bentuk 3D anu variatif sareng kompleks tina sinyal téks kompléks dina ngan ukur hiji atanapi dua menit dina GPU tunggal.
Tim ieu fokus kana tantangan pikeun ngarobah téks kana 3D, anu penting pikeun demokratisasi kreasi eusi 3D pikeun aplikasi dunya nyata mimitian ti kanyataanana maya jeung kaulinan pikeun desain industri.Métode anu aya pikeun ngarobih téks kana 3D digolongkeun kana dua kategori, anu masing-masing gaduh kalemahan: 1) modél generatif tiasa dianggo pikeun ngahasilkeun sampel sacara éfisién, tapi henteu tiasa skala éfisién pikeun sinyal téks anu beragam sareng kompleks;2) modél téks-gambar anu tos dilatih pikeun nanganan cues téks anu kompleks sareng variatif, tapi pendekatan ieu sacara intensif sacara komputasi sareng modél tiasa gampang macét dina minimum lokal anu henteu cocog sareng objék 3D anu bermakna atanapi koheren.
Ku alatan éta, tim ngajajah pendekatan alternatif anu boga tujuan pikeun ngagabungkeun kaunggulan tina dua pendekatan di luhur, ngagunakeun modél difusi téks-to-gambar dilatih dina set badag tina pasangan téks-gambar (ngamungkinkeun pikeun nanganan sinyal beragam tur kompléks) jeung model difusi gambar 3D dilatih dina set leutik pasangan téks-gambar.set data pasangan gambar-3D.Modél téks-ka-gambar mimitina sampel gambar input pikeun nyieun representasi sintétik tunggal, sarta model gambar-to-3D nyiptakeun awan titik 3D dumasar kana gambar nu dipilih.
Tumpukan generatif paréntah dumasar kana kerangka generatif anu nembe diusulkeun pikeun ngahasilkeun gambar sacara kondisional tina téks (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Aranjeunna nganggo modél GLIDE sareng 3 milyar parameter GLIDE (Nichol et al., 2021), disaluyukeun dina modél 3D anu didamel, salaku modél transformasi téks-ka-gambar, sareng sakumpulan modél difusi anu ngahasilkeun awan titik RGB salaku aranjeunna. modél transformasi.gambar ka gambar.model 3D.
Sedengkeun karya saméméhna dipaké arsitéktur 3D pikeun ngolah awan titik, panalungtik ngagunakeun modél basis transduser basajan (Vaswani et al., 2017) pikeun ngaronjatkeun efisiensi.Dina arsitéktur modél difusina, gambar awan titik mimiti diasupkeun kana modél ViT-L/14 CLIP anu tos dilatih, teras kaluaran meshes diasupkeun kana konvérsi salaku spidol.
Dina ulikan empiris maranéhanana, tim ngabandingkeun metode Point·E anu diusulkeun sareng model 3D generatif anu sanés dina nyetak sinyal tina deteksi obyék COCO, ségméntasi, sareng set data tanda tangan.Hasilna mastikeun yén Point·E sanggup ngahasilkeun wangun 3D anu rupa-rupa jeung kompléks tina sinyal téks kompléks jeung nyepetkeun waktu inferensi ku hiji nepi ka dua ordo gedena.Tim éta miharep karya maranéhanana baris mere ilham panalungtikan salajengna kana sintésis téks 3D.
Model rambatan awan titik anu dilatih sareng kode evaluasi sayogi dina GitHub proyék.Dokumén Point-E: Sistem pikeun nyieun awan titik 3D tina petunjuk kompléks aya dina arXiv.
Kami terang yén anjeun henteu hoyong kantun warta atanapi penemuan ilmiah.Ngalanggan buletin Synced Global AI Weekly populér kami pikeun nampi apdet AI mingguan.
waktos pos: Dec-28-2022