Account maken
Inloggen
OpenAI maakt 3D pointclouds van tekst.
Vrienden van 3dhype:
Tekst-naar-beeldsystemen zoals OpenAI's DALL-E 2 en Craiyon, DeepAI, Prisma Lab's Lensa of HuggingFace's Stable Diffusion winnen de afgelopen jaren snel aan populariteit, bekendheid en schande. Tekst-naar-3D is een uitvloeisel van dat onderzoek. Point-E, in tegenstelling tot vergelijkbare systemen, "maakt gebruik van een grote dataset van tekst > afbeelding paren, waardoor het diverse en complexe aanwijzingen kan volgen, terwijl ons beeld-naar-3D-model is getraind op een kleinere dataset van afbeelding > 3D paren', schreef het OpenAI-onderzoeksteam onder leiding van Alex Nichol. "Om een 3D-object te produceren op basis van een tekstprompt, nemen we eerst een sample van een afbeelding met behulp van het tekst-naar-beeld-model en nemen we vervolgens een sample van een 3D-object op basis van de gesamplede afbeelding. Beide stappen kunnen in een aantal seconden worden uitgevoerd, en vereisen geen dure optimalisatieprocedures."
Als je een tekstprompt zou invoeren, bijvoorbeeld "Een goudvis in een ruimtepak", zal Point-E eerst een synthetische 3D-weergave van de genoemde goudvis genereren. Het zal dat gegenereerde beeld vervolgens door een reeks diffusiemodellen laten lopen om de 3D, RGB-pointclouds van het oorspronkelijke beeld te creëren - eerst een grof 1.024-pointcloudsmodel produceren, vervolgens een fijner 4.096-pointcloud. "In de praktijk gaan we ervan uit dat de afbeelding de relevante informatie uit de tekst bevat en conditioneren we de pointclouds niet expliciet op de tekst", benadrukt het onderzoeksteam.
Deze diffusiemodellen werden elk getraind op "miljoenen" 3D-modellen, allemaal omgezet in een gestandaardiseerd formaat. "Hoewel onze methode bij deze evaluatie slechter presteert dan geavanceerde technieken", geeft het team toe, "maakt het in een klein deel van de tijd monsters." Als je het zelf wilt uitproberen, heeft OpenAI de open-sourcecode van het project op Github geplaatst.
Github
1509 Views
Blijf op de hoogte!
Ontvang insprirende artikelen, tutorials, tips, nieuws, vacatures en ontwikkelingen in je mailbox.
Over de auteur
Edwin van het Bolscher
Edwin van het Bolscher is founder, developer en hoofdredacteur van 3dhype.Populaire onderwerpen
Vrienden van 3dhype:
Populaire projecten
