Im Rahmen unseres jährlichen CI-Hackathons hatten wir die Möglichkeit, uns mit der Entwicklung von Augmented-Reality-Apps für die Apple Vision Pro zu beschäftigen. Dabei ging es vor allem darum herauszufinden, wie sich virtuelle 3D-Objekte in einem physischen Raum platzieren lassen und wie Nutzer*innen mit diesen Objekten interagieren können. Mit unserem Projekt wollten wir diese neue Technologie besser kennenlernen und sowohl ihre Möglichkeiten als auch ihre Grenzen ausloten. Für die Ideenfindung, Konzeption, Umsetzung und anschließende Präsentation standen uns etwa 24 Stunden zur Verfügung, die wir intensiv genutzt haben.
Nachdem wir unsere Ziele und die Motivation unseres Vorhabens vor den anderen Hackathon-Teilnehmer*innen vorgestellt hatten, begann unser Team mit einer Brainstorming-Session. Ziel war es, mögliche Ideen für eine App zu sammeln. Schnell war klar, dass wir unser Vorhaben in Form eines kurzweiligen, interaktiven Spiels umsetzen wollten. Zur Auswahl standen folgende Ideen:
Um eine fundierte Entscheidung zu treffen, haben wir folgende Faktoren gegeneinander abgewogen: mögliche systemische Abhängigkeiten, die Integration von APIs, die Herstellung einer Netzwerkverbindung sowie die verfügbare Zeit und die Komplexität der Umsetzung. Schließlich haben wir uns für die Entwicklung eines Spiels entschieden, bei dem die Spieler*innen ein Wurfobjekt greifen und auf andere Objekte zielen und werfen können. Bei einer Kollision mit dem Wurfobjekt wird ein Event ausgelöst, wie z. B. das Umfallen oder Zerstören des getroffenen Objekts.
Mit dieser Idee war unser Spiel „Umwerfend“ offiziell geboren.
Weitere spannende Projekte, die im Rahmen unseres Hackathons entstanden sind, könnt ihr in unserem Blogbeitrag entdecken!
Um die Arbeit auf mehrere Entwickler zu verteilen, haben wir das „Etwas-Umwerfen-Spiel“ in kleinere, lösbare Probleme aufgeteilt:
Eine spannende Herausforderung war es, die richtige Geste zu finden: Sie sollte intuitiv für die Nutzer*innen sein und gleichzeitig zuverlässig von den vorhandenen Sensoren erkannt werden. Ursprünglich wollten wir ein ballförmiges Objekt werfen. Doch schon die erste Implementierung hat gezeigt: Menschen holen bei einem intuitiven Wurf oft mit der Hand weit hinter den Kopf aus – eine Position, die von den Kameras und Sensoren der Vision Pro nicht zuverlässig erfasst werden kann.
Daher brauchten wir ein Objekt, das man eher vor dem Körper wirft. Schnell kam uns die Idee eines Dartpfeils – ein pfeilförmiges Objekt, das sich intuitiv mit der Spitze nach vorne werfen lässt. Statt eines klassischen Dartpfeils haben wir uns jedoch für eine optisch ansprechende Rakete aus Apples Reality Composer Pro Asset Catalog entschieden.
Das Spielkonzept – kleine Raketen auf bunte, schwebende Ballons zu werfen und diese zum Platzen zu bringen – fühlte sich genau richtig an: absurd und dennoch spaßig.
Apple bietet hier übrigens einiges „out of the box“ an: Der Asset Catalog ermöglicht direkten Zugriff auf viele Modelle, die einfach im virtuellen Raum platziert werden können. Auch die integrierte Physics Engine aus Apples RealityKit hat uns begeistert, da sie es einfach macht, Objekten ein realistisches Verhalten zu verleihen. Dank dieser Engine haben wir uns für heliumgefüllte, glänzende Ballons entschieden, die sanft vor dem/r Spieler*in im Raum schweben.
Für unsere Anwendung gab es keine passende Standardgeste von Apple. Daher haben wir eine eigene Geste zum Greifen und Werfen der kleinen Raketen entwickelt. Mit Hilfe von Apples ARKit und RealityKit haben wir die Fingerknochen der Hand sowie deren Positionen analysiert. Sobald die Fingerspitzen nahe genug am Daumen und Handballen waren, haben die Sensoren ein Greifen erkannt. Das Loslassen erfolgte, sobald die Hand aus dieser Position zurückgeführt wurde.
Diese Geste hat viel Feinabstimmung erfordert. Ein Teammitglied durfte deshalb unzählige virtuelle Raketen von einem goldenen Tisch aufheben und versuchen, sie in den Raum zu werfen. Anfangs wurde das Greifen oft erkannt, das Loslassen jedoch nicht. Die Raketen „klebten“ an der Hand unseres Testers. Instinktiv hat er versucht, die Raketen durch Schütteln der Hand loszuwerden – erfolglos, aber faszinierend.
Hier zeigt sich, wie überzeugend die Mixed-Reality-Erfahrung mit Apples Vision Pro ist: Nutzer*innen wenden intuitiv reale Gesten auf virtuelle Objekte an, weil sie in der Realität gelernt haben, dass diese bestimmte Effekte auslösen.
Ein Wurf macht erst dann richtig Spaß, wenn das Zielobjekt auf einen Treffer reagiert. Deshalb haben wir eine Kollisionserkennung implementiert. Das Ergebnis: Bei jedem präzisen Raketenwurf gab es ein zufriedenstellendes Ploppen, und der getroffene Ballon löste sich in Luft auf. Plötzlich hat das Werfen der Raketen Sinn ergeben, und unser Projekt fühlte sich endlich wie ein richtiges Spiel an.
Zugegeben: Ein goldener Tisch mit fünf Raketen und einer Wolke schwebender Ballons vor der Nase war bereits recht selbsterklärend. Viele Nutzer*innen hätten vermutlich intuitiv verstanden, was die Spielidee ist. Dennoch wollten wir ausprobieren, wie einfach sich ein User Interface mit Text, Buttons und Branding in die Mixed Reality integrieren lässt.
Da das Arbeiten mit KI viel Spaß macht, haben wir ein Spielmenü samt Schriftzug generieren lassen. Wie bekannt ist, haben KI-Bildgeneratoren manchmal kleine Probleme mit Texten. Aus unserem kreativen Namen „Umwerfend“ wurde prompt „Umwrreed“. Mit einem Schmunzeln haben wir diesen Fehler ins finale Spielmenü übernommen.
Unser Prototyp des Spiels war nun so weit ausgereift, dass wir eine finale Testrunde durchführen konnten. Zur Sicherheit haben wir diese Testrunde zusätzlich als Fallback-Lösung für die anschließende Live-Demo aufgezeichnet. Zu unserer Zufriedenheit – und auch ein wenig zu unserer Überraschung – verlief die Testrunde reibungslos. Die Testperson konnte die Raketen mühelos vom Tisch greifen und auf die im Raum schwebenden Ballons werfen. Selbst das zuvor aufgetretene Problem mit der „klebrigen Rakete“ blieb glücklicherweise aus.
Die Begeisterung über das gelungene Ergebnis war im gesamten Team deutlich spürbar. Mit großer Vorfreude haben wir uns darauf vorbereitet, unser Spiel im Rahmen der Live-Demo einem größeren Publikum zu präsentieren. Diese Gelegenheit bot sich während der Abschlusspräsentation, bei der alle teilnehmenden Gruppen ihre Projekte vorstellten. Auch unsere Live-Demo verlief nahezu reibungslos, und wir erhielten viel positives Feedback sowohl zum Konzept als auch zur Umsetzung des Spiels.
Am Ende der Präsentation wollten viele Mitarbeiter*innen das Spiel selbst auszuprobieren. Diesem Wunsch kamen wir gerne nach, was für uns wieder einmal ein schöner Abschluss eines erfolgreichen Hackathons war.
Unser Hackathon-Projekt war ein voller Erfolg. Die gesteckten Ziele – das Platzieren virtueller Objekte im physischen Raum, die Interaktion durch Werfen sowie die Implementierung realistischer Physik-Effekte – konnten wir vollständig erreichen. Trotz des engen Zeitrahmens von nur 24 Stunden haben wir ein funktionsfähiges und interaktives Spiel entwickelt, das nicht nur technisch überzeugt, sondern auch großen Anklang gefunden hat.
Darüber hinaus hat uns das Projekt wertvolle Einblicke in die Möglichkeiten von Apples Vision Pro gegeben. Durch die intensive Auseinandersetzung mit der Plattform fühlen wir uns nun gut gerüstet, um zukünftige Projekte für diese neue Technologie erfolgreich umzusetzen. Der Hackathon hat uns gezeigt, was mit einer klaren Zielsetzung, kreativem Teamwork und effizienter Umsetzung in kurzer Zeit alles erreicht werden kann.
Wir freuen uns darauf, unser neu erworbenes Wissen bei weiteren spannenden Herausforderungen einzusetzen!