3D-Interaktion mit Wii Remote
Conference Room Wii ist das Ergebnis des studentischen Praxisprojekts 3D-Interaktion mit Wii Remote im Sommersemester 2008 unter der Leitung von Dipl.-Inform. Björn Joop.
Inhalt des Projekts
Mithilfe der Nintendo Wii Remote können Bewegungen und Beschleunigungen erfasst werden. Dank der eingebauten Bluetooth-Schnittstelle kann die Wii Remote als Periperiegerät am Computer eingesetzt und somit neue Interaktionsmöglichkeiten für Mensch-Maschine-Kommunikation umgesetzt werden. Im Projekt wurde dies mit unserer 3D-Projektionsfläche verbunden.
Im Projekt wurde ein virtuelles Konferenzsystem umgesetzt in einer Client-Server-Architektur. Jeder Client kann sich am Server anmelden und so einen eigenen Avatar in einen frei wählbaren bzw. erstellbaren Konferenzraum schicken. Alle Teilnehmer einer Konferenz befinden sich an einem runden Tisch, welcher dynamisch an die Teilnehmerzahlen angepasst wird. Zusätzlich wurde ein kleiner Text-Chat implementiert. Der Avatar kann Gesten ausführen und somit die Kommunikation der Konferenzteilnehmern durch Körpersprache anreichern.
Auf eine eigene Implementierung einer Sprachübertragung wurde verzichtet, da hinreichend viele und qualitativ hochwertige Anwendungen (z.B. Skype, TeamSpeak, etc.) existieren.
Vormodellierte Gesten des Avatars können durch die Verwendung der Wii Remote trainiert werden. Für diesen Zweck wurde ein Hidden-Markov-Modell (HMM) implementiert, welches durch Wiederholung der Geste trainiert wird. Das Ergebnis dieses Training kann auch lokal für einen Benutzer gespeichert werden. Zu den implementierten Gesten zählen u.a. nicken, schlafen, winken, usw.
Zusätzlich wurde ein prototypischer "Feel-Free-Modus" eingebaut, der ermöglichen soll, daß die Bewegungen der Wii Remote direkt als Armbewegungen des Avatars umgesetzt werden.
Die Implementierung erfolgte in C++ und verwand folgende Bibliotheken:
- Boost (Client-Server-Kommunikation)
- WiiYourself! (Anbindung der Wii Remote)
- OIS (Betriebssystem unabhängige Verarbeitung von Maus und Tastatureingaben)
- CEGui (XML-basierte Darstellung der 2D-Benutzeroberflächen der Menüs)
- Blender (für das Avatarmodell)
- OpenTissue (Verwendung einer Skelettstruktur für das Avatarmodell)
- Newton Game Dynamics (Physic-Engine)
- Grafik-Engine Ogre-3D (DirectX- und OpenGL-Darstellung)
Teilnehmer
- Michael Berezowski
- Nicolaj Borisov
- Hanno Buhmes
- Jan Debald
- Dennis Korbar
- Paul Lelgemann
- Holger Pretzsch
- Matthias Thurau
Software
Das Ergebnis des Praxisprojekts ist unter der MIT-Lizenz freigegeben.
Download Programm (Rar) [coming soon]
Screenshots
Fotos
Fotos von der Abschlußpräsentation des Praxisprojekts.
