Realistisk träningsdata med 3D Gaussian Splatting: Bygga digitala tvillingar för generering av ground-truth-data i Unreal Engine 5

Abstract

Moderna industrimiljöer blir alltmer komplexa och automatiserade, vilket ökar behovet av autonoma robotar för intern logistik. För att dessa robotar ska kunna arbeta effektivt och säkert krävs högkvalitativ träningsdata. Framtagningen av sådan data har traditionellt sett varit en resurskrävande process.

Detta kandidatarbete utvärderar, som ett ’proof-of-concept’, potentialen hos 3D Gaussian Splatting (3DGS) för att skapa fotorealistiska digitala tvillingar av industriella miljöer. Syftet är att från dessa tvillingar automatiskt generera syntetisk ground-truth-data.

Metoden innefattade fotografering av verkliga industrimiljöer (AB Volvos fabrik i Tuve, Chalmers produktionssystemslabbet) och skapande av 3D Gaussian Splatting modeller. Efter importering till Unreal Engine 5 utvecklades funktionalitet som simulerade scenarion och automatiskt genererade bildpar bestående av en simulerad vy och en motsvarande segmenteringskarta för semantisk segmentering.

Resultaten visade att 3D Gaussian Splatting kan producera detaljerade digitala tvillingar, trots viss kvalitetsförlust vid import till Unreal Engine 5. Den automatiska datagenereringen var effektiv och producerade syntetisk data som möjliggjorde träning av en segmenteringsmodell. Modellen kunde klassificera objekt i verkliga fabriksbilder, om än med vissa identifierade begränsningar.

Slutsatsen är att 3DGS är en lovande teknik för att effektivisera framtagning av träningsdata. Trots utmaningar med bildtagning och bristande stöd för 3DGS i Unreal Engine 5 visar arbetet att den undersökta metoden är lovande för att underlätta utvecklingen av avancerade maskinlärningsmodeller.