Ao amin'ny lahatsoratra vaovao Point-E: Rafitra famokarana rahona teboka 3D avy amin'ny famantarana saro-takarina, ny ekipa mpikaroka OpenAI dia mampiditra ny Point E, rafitra synthesis conditional conditional 3D point cloud izay mampiasa modely diffusion mba hamoronana endrika 3D isan-karazany sy sarotra entin'ny lahatsoratra sarotra. famantarana.ao anatin'ny minitra amin'ny GPU tokana.
Ny fampisehoana mahatalanjona amin'ny maodely famokarana sary manara-penitra ankehitriny dia nandrisika ny fikarohana amin'ny famoronana zavatra lahatsoratra 3D.Na izany aza, tsy toy ny modely 2D, izay afaka mamokatra vokatra ao anatin'ny minitra na segondra mihitsy aza, ny maodely miteraka zavatra mazàna dia mitaky ora maromaro amin'ny asa GPU mba hamoronana santionany iray.
Ao amin'ny lahatsoratra vaovao Point-E: Rafitra famokarana rahona teboka 3D avy amin'ny famantarana sarotra, ny ekipa mpikaroka OpenAI dia manolotra Point·E, rafitra synthesis conditional textual ho an'ny rahona teboka 3D.Ity fomba fiasa vaovao ity dia mampiasa maodely fampielezana mba hamoronana endrika 3D isan-karazany sy saro-takarina avy amin'ny famantarana lahatsoratra sarotra ao anatin'ny iray minitra na roa amin'ny GPU tokana.
Ny ekipa dia mifantoka amin'ny fanamby amin'ny famadihana lahatsoratra ho 3D, izay tena zava-dehibe amin'ny demokrasia ny famoronana votoaty 3D ho an'ny fampiharana an'izao tontolo izao manomboka amin'ny zava-misy virtoaly sy lalao mankany amin'ny famolavolana indostrialy.Ny fomba famadihana lahatsoratra ho 3D dia mizara ho sokajy roa, izay samy manana ny lesoka: 1) azo ampiasaina hamokarana santionany amin'ny fomba mahomby ny maodely generative, saingy tsy afaka manenjana tsara ho an'ny famantarana lahatsoratra samihafa sy sarotra;2) maodely sary an-tsoratra efa voaofana mialoha mba hifehezana ireo kisary saro-pady sy isan-karazany, saingy io fomba fiasa io dia mavesa-danja amin'ny fikajiana ary ny maodely dia afaka miraikitra mora foana amin'ny minima eo an-toerana izay tsy mifanaraka amin'ny zavatra 3D misy dikany na mirindra.
Noho izany, ny ekipa dia nikaroka fomba hafa izay mikendry ny hanambatra ny tanjaky ny fomba roa etsy ambony, amin'ny fampiasana ny maodely diffusion text-to-image voaofana amin'ny andian-tsoratra maromaro maromaro (mamela azy hifehy ireo famantarana samihafa sy sarotra) ary maodely fanaparitahana sary 3D voaofana amina andian-tsoratra-tsary tsiroaroa kokoa.Takelaka data 3D-3DNy maodely text-to-image aloha dia maka santionany ny sary ampidirina mba hamoronana fanehoana sentetika tokana, ary ny maodely sary-to-3D dia mamorona rahona teboka 3D mifototra amin'ny sary voafantina.
Ny stack generative an'ny baiko dia mifototra amin'ny frameworks generative natolotra vao haingana mba hamoronana sary avy amin'ny lahatsoratra (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Mampiasa modely GLIDE misy masontsivana GLIDE 3 lavitrisa izy ireo (Nichol et al., 2021), namboarina tsara tamin'ny modely 3D nadika, ho maodely fanovana lahatsoratra amin'ny sary, ary andiana modely diffusion izay miteraka rahona teboka RGB ho azy ireo. modely fanovana.sary ho sary.Modely 3D.
Raha ny asa teo aloha dia nampiasa maritrano 3D mba hikarakarana rahona teboka, ny mpikaroka dia nampiasa modely mifototra amin'ny transducer tsotra (Vaswani et al., 2017) mba hanatsarana ny fahombiazany.Ao amin'ny maritrano modely fanaparitahana azy ireo, ny sarin'ny point cloud dia ampidirina amin'ny maodely ViT-L/14 CLIP efa voaofana mialoha ary avy eo dia arotsaka ao amin'ny mpanova ho marika ny meshes mivoaka.
Ao amin'ny fandalinany empirical, ny ekipa dia nampitaha ny fomba Point·E natolotra tamin'ny maodely 3D generative hafa momba ny marika famantarana avy amin'ny fitadiavana zavatra COCO, fizarana ary angona sonia.Ny valiny dia manamafy fa ny Point·E dia afaka mamorona endrika 3D isan-karazany sy saro-takarina avy amin'ny mari-pamantarana lahatsoratra sarotra ary manafaingana ny fotoana fanatsoahan-kevitra amin'ny baiko iray na roa.Manantena ny ekipa fa hanentana ny fikarohana bebe kokoa momba ny synthesis lahatsoratra 3D ny asany.
Misy maodely fampielezana rahona efa voaofana mialoha sy kaody fanombanana azo jerena ao amin'ny GitHub an'ny tetikasa.Document Point-E: Rafitra famoronana rahona teboka 3D avy amin'ny fanorotoro sarotra dia ao amin'ny arXiv.
Fantatray fa tsy te ho diso vaovao na zava-baovao siantifika ianao.Misoratra anarana amin'ny gazetinay Synced Global AI Weekly malaza mba hahazoana fanavaozana AI isan-kerinandro.
Fotoana fandefasana: Dec-28-2022