Fotografien sind zweidimensionale Abbilder der Wirklichkeit. Am KreativInstitut.OWL der TH OWL in Detmold werden durch ein neues Verfahren in dreidimensionalen Szenen erlebbar. Das Hermannsdenkmal stand für den ersten Test Modell.
vom 
Detmold. Einmal um den Hermann fliegen, ganz ohne Flugzeug und doch unglaublich realistisch? Ein Projekt am KreativInstitut.OWL (KIO) in der Bielefelder Straße in Detmold macht genau das möglich. Hier entstehen am Computer dank einer neuen Technik aus mehreren zweidimensionalen Bildern beeindruckende und fotorealistische 3D-Erlebnisse. Die Methode bietet zahlreiche Einsatzmöglichkeiten.
Das Detmolder Wahrzeichen war für die Forschenden am KIO eines der ersten Versuchsobjekte. Auch das Paderborner Dorf im Freilichtmuseum soll auf diese Weise virtuell erlebbar werden – z. B. eingebunden auf einer Internetseite.
Die Technik dahinter nennt sich „ Gaussian Splatting ” ( der Algorithmus basiert auf einer dreidimensionalen Variante der bekannten Gauß-Verteilung, benannt nach dem Mathematiker Carl Friedrich Gauß (1777 –1855) zurück). Grob vereinfacht gesagt, wird beim Gaussian Splatting aus vielen 2D-Bildern eine 3D-Szene erzeugt. Dazu werden viele Fotos aus verschiedenen Blickwinkeln aufgenommen und am Computer zusammengefügt. Die Bilddaten werden zunächst in eine Wolke aus Punkten überführt .
Im nächsten Schritt wandelt der Algorithmus diese Punkte zu Gaussian Splats um . Diese lassen sich anhand der Kameraposition und der Farbwerte so formen und anpassen, bis das dreidimensionale Gesamtbild dem entspricht, wie es in der Realität aussieht. Auch feine Strukturen und Details bleiben erhalten.
Die fertige hochaufgelöste 3D-Szene lässt sich dann – gesteuert mit Maus und Pfeiltasten – aus jedem Winkel betrachten, genau wie in der physischen Welt. „Im Grunde genommen ist es am Ende ein Foto, aber eben dreidimensional”, erklärt Projektleiter Professor Alexander Kutter. Eine Besonderheit dieser Methode: „Wir können auch Reflexionen, die sich in der Realität ja auch je nach Blickwinkel verändern, im 3D-Bild sichtbar machen“, erklärt Mitarbeiter Jan Pieniak.
Die Methode des Gaussian Splatting gibt es schon länger. Aber erst als vor etwa anderthalb Jahren Bernhard Kerbl und seine Forscherkollegen von der TU Wien in einem Bericht erläuterten, wie man Gaussian Splats im Echtzeitrendering anwenden kann, nahm die Sache Fahrt auf. Aus einem ersten „lass uns mal ausprobieren, was das kann“ ist am KIO innerhalb eines Jahres ein ganzer Forschungsbereich entstanden, mit dem Ziel, die Technik selbst weiterzuentwickeln und noch leichter nutzbar zu machen.
Denn die Vorteile der Methode liegen auf der Hand: Die hochauflösenden und fotorealistischen 3D-Modelle lassen sich schnell und effizient erzeugen und sind damit sehr gut geeignet, wenn viele Daten zu verarbeiten sind.
Die Nutzungsmöglichkeiten sind vielfältig. Da das KreativInstitut.OWL es sich zur Aufgabe gemacht hat, mit ihrer Forschung die Kreativ- und Kulturwirtschaft zu stärken, lag es nahe, die Technik auf diesem Feld zuerst zu testen. Beim ersten produktiven Einsatz von Gaussian Splats wurde daher im Auftrag des Landesverbands Lippe das Hermannsdenkmal per Fotodrohne eingescannt, um es auf einer Website virtuell erlebbar zu machen.
Neben dem Detmolder Wahrzeichen sollen auch Teile des LWL-Freilichtmuseums Detmold auf diese realistische Weise erlebbar gemacht werden. Das Paderborner Dorf wurde bereits mit über 2000 Fotos per Drohne gescannt. „Nun könnte man es auch außerhalb der Saison virtuell erkunden“, sagt Prof. Guido Falkemeier, Institutsleiter des KIO. Auch Gebäudeteile, die man als Besucher vielleicht selten oder gar nicht zu sehen bekommt, ließen sich mit einem Handscanner aufnehmen und als 3D-Szene einem größeren Publikum zugänglich machen. Letztlich spiele auch der Aspekt der Barrierefreiheit mit rein, ergänzt KIO-Geschäftsführerin Leonie Hans.
Die Technik entwickelt sich weiter, und damit wird sie auch noch einfacher einsetzbar. Die Fotos dafür lassen sich ebenfalls mit dem Smartphone erzeugen. Mit der Gaussian-Splat-Methode „könnten Sie vor einem Umzug Ihre Küche einscannen und in Ihrer neuen Wohnung virtuell schon mal einbauen“, sagt Jan Pieniak. Mithilfe moderner VR-Brillen können mehrere Personen gleichzeitig an der virtuellen Wohnungseinrichtung kollaborieren, wodurch der Planungsprozess wesentlich beschleunigt werden kann.
Denkbar wäre, dass sich ein Caterer damit die Arbeit erleichtert, indem er einen Veranstaltungsort zuvor scannt und dann in der 3D-Szene das Event plant, Tische im virtuellen, aber sehr real anmutenden Raum platziert, Deko ausprobiert und dergleichen mehr.
Oder – und damit wären wir wieder bei der Kulturwirtschaft – man scannt die leere Bühne des Landestheaters einmal ein, und der Bühnenbildner erarbeitet das neue Bühnenbild am Computer. Das Gaussian Splatting lässt sich dabei mit anderen Techniken verbinden. So ließen sich etwa mit KI-generierte oder per 3D-Engine erzeugte Elemente in die Szene einfügen.
Abbilder realer Personen, sogenannte Avatare lassen sich ebenfalls in die virtuelle Umgebung einbetten. Auch die können die Experten am KIO erstellen: im Bodyscanner mit seinen 124 Kameras. Eingescannte Personen lassen sich dann sogar animieren, können tanzen, springen und andere Bewegungen vollführen – auch solche, die der echte Mensch vielleicht gar nicht kann, wie KIO-Mitarbeiter Sam Wiemann erklärt.
Zum 150-jährigen Jubiläum des Jahre Hermannsdenkmal entwickelt das Team am KIO ein 3D-Modell des Denkmals. Das digitale Hologramm wird im Lippischen Landesmuseum als Hologramm die Besucher erfreuen. „Dank KI kann der Hermann dann auch sprechen, oder mit dem Schwert winken“, sagt Jan Pieniak . Auch eine besondere Überraschung sei geplant, so Pieniak weiter. Aber die wird noch nicht verraten!
2022 wurde das KreativInstitut.OWL in Detmold gegründet und wird von dem Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen gefördert. Das Gemeinschaftsprojekt der Universität Paderborn, der Hochschule für Musik Detmold und der Technischen Hochschule Ostwestfalen-Lippe (TH OWL) vereint kreativschöpferische Fähigkeiten verschiedener Disziplinen mit dem klaren Ziel, die Kultur- und Kreativwirtschaft in der Region nachhaltig zu stärken.
Die Forschung im Bereich digitale Medienproduktion konzentriert sich auf Virtual Reality (VR) und Augmented Reality (AR), wobei immersive und interaktive virtuelle Umgebungen sowie die Verschmelzung von digitaler und physischer Welt im Vordergrund stehen. Dabei werden neue Produktionsprozesse, Visualisierungsmöglichkeiten und die Auswirkungen von VR und AR auf die Nutzer erforscht.
Der Bereich Komposition und Sounddesign beschäftigt sich mit Technologien zur Analyse und Komposition von Musik, einschließlich der Entwicklung von Software und computerbasierten Instrumenten. Das Gebiet der Filminformatik konzentriert sich auf die Erstellung, Analyse und Verbreitung von Film- und Videoinhalten mithilfe von Technologien für Schnitt, Animation, Spezialeffekte und Sounddesign. Besonderes Prunkstück ist der Freifeldraum. In diesem aufwendig isolierten schalltoten Raum gelingen beispielsweise Aufnahmen von Instrumenten und zwar völlig unabhängig von jedweder räumlichen Akustik.
Die Forschungsaktivitäten im Bereich Digital Humanities und Musikinformatik fokussieren sich auf Bild- und Tonmanipulation, automatisierte Annotation und neue Datenverarbeitungsmethoden. Dabei spielen Human-Centered-Design und Mensch-Computer-Interaktion eine zentrale Rolle. Der Schwerpunkt liegt auf der Analyse und Verarbeitung kultureller Artefakte – vor allem historische Notenblätter. Die alten Noten sind oft schwer zu entziffern, sind unleserlich oder unvollständig. Am KIO entwickeln die Wissenschaftler spezialisierte Werkzeuge, die die Digitalisierung und Nutzung dieser kulturellen Schätze vereinfachen sollen.
