TamagotchKI

Na, wer kennt noch Karl Klammer, oder auch Clippy, den animierten, leicht aufdringlichen Büroklammer-Assistenten von Microsoft Office? Ja, wir auch. Und zwar so gut, dass er uns zu unserem diesjährigen CI-Hackathon-Projekt inspiriert hat: ein Character, der sich auf Desktop-Fenstern niederlässt, den User bei der Arbeit „beobachtet“ und diese sarkastisch-humorvoll kommentiert – das „TamagotchKI“. 

Unser Team war zu fünft und zusammengesetzt aus Entwickler*innen mit Erfahrung auf Apple-Plattformen, im Game Design und mit KI-Prompting. Eine gute Mischung für unser Vorhaben! Wir hatten etwas mehr als einen Tag Zeit, Startschuss des Hackathons mit Projektvorstellung war am Donnerstag um 10:00 Uhr, Präsentation der Ergebnisse am Freitag um 13:00 Uhr.

Für die Generierung der Kommentare wollten wir die Apple Foundation Models ausprobieren: ein lokal laufendes LLM mit geringen Kosten, aber auch begrenztem Umfang. Dadurch waren wir allerdings auf das aktuelle Mac-Betriebssystem (macOS 26) und aktuelle Apple-Hardware beschränkt, die das Foundation Model unterstützt.

Als Zeichen-Engine entschieden wir uns für RayLib (anstelle der Standard-Apple-APIs): Elemente sind damit einfacher zu zeichnen; für eine spielartige App mit Animation und einfachen 2D-Grafiken die beste Wahl.

Aus einer Vielzahl von Einfällen kristallisierte sich allmählich ein MVP heraus: Das TamagotchKI soll die Gestalt eines Vogels haben, von Window zu Window fliegen können und anhand des Titels des gerade aktiven Fensters einen KI-generierten Kommentar abgeben, der in einer Sprechblase angezeigt wird.

Unsere Game Designerin steuerte das Sprite Sheet für den Vogel bei, einen Cartoon-Papagei der fliegen und laufen kann. 

Unsere KI-Spezialistin übernahm den Part, das Prompting zu optimieren: Wie muss die (interne) Apple-KI angefragt werden, um das gewünschte Ergebnis zu erzielen? 

Die drei Mac-Entwickler teilten sich die Arbeit auf: Animation der Sprites (Die Herausforderung war, den Papagei glatt von einem Window zum nächsten fliegen zu lassen), Steuerung des Event-Loops (Was passiert als nächstes?) und Darstellung der Sprechblase (Text mit RayLib zu formatieren war erstaunlich aufwändig). 

Natürlich gab es auch ein paar anfängliche Schwierigkeiten: Wieso sind die Grafiken so grob gepixelt? Warum ist die Schrift gespiegelt? Wieso fliegt der Vogel mit Hopsern? Diese konnten wir aber im Laufe des Tages lösen und so gab es gegen 22:00 Uhr die große Code-Merge-Party! Die vier unabhängig entwickelten Komponenten wurden zum ersten Mal zusammengefügt. Es klappte: der Vogel fliegt und plappert lustige, KI-generierte Texte. 

Beispiele gefällig? „Such a shame you're not a real bird. I'd fly around and sing for you all day“ oder: „Oh no, you've got Microsoft Teams again. What are you doing, signing up for a virtual pigeon club?“ oder: „Hauskatze? I see your sad attempts at feline companionship.“ Für eine Demo schon sehr brauchbar, also beschlossen wir an dieser Stelle, Feierabend zu machen.

Am nächsten Vormittag: der Vogel lernt zu gehen und plappert jetzt häufiger Texte – gut für die Demo. Allerdings: Teilweise wiederholen sich die Texte – nicht gut für die Demo. Der Vogel soll jetzt beim Programmstart am Bildschirm unten erscheinen statt in dessen Mitte, dabei verschwindet er aber auf geheimnisvolle Weise. Mit ein paar Tweaks gelingt es uns, gegen 12:30 Uhr eine stabile Version für die Demo zu erzeugen – just in time für die große Abschlusspräsentation um 13:00 Uhr.

Fazit: Das Projekt hat Potenzial. Zwar werden wir es vermutlich nie in den Apple AppStore schaffen, die Interaktion mit der lokalen KI (dem Foundation Model) war aber überraschend einfach und ergiebig.

Natürlich haben wir auch einen Post-Hackathon-Backlog: Etwas mehr Interaktion mit dem Vogel wäre schön (auch ein TamagotchKI will gefüttert werden), und der Vogel könnte sich z. B. selbstständig bewegen und nicht nur dann, wenn der User das Fenster wechselt. Möglicherweise kann auch die Interaktion KI-gesteuert sein, nicht nur die Kommentare. Und vielleicht wird es auch eine Katze anstelle eines Vogels …