Multi-view capture of human shape, structure and motion

Abstract

The importance of communication over a network has increased. Current widely used technologies enable explicit communication but do not offer the real feelings of people to people connectedness. Techniques presented in this thesis aim to provide a solution. An ambient and persistent multi-camera system for real-time human shape, structure and motion capture based on visual communication by shadow representation is presented. The system observes the user and reconstructs a 3D-model by analysing silhouettes and skin colour from the cameras. Human tracking is performed based on a rather fast 3D-analysis and skin detection which due to the hybrid solution makes the system rather robust. The structure analysis uses a body model, where volumetric shapes are attached to a skeleton portraying the structure. The system is designed to track human motion in varying conditions such as self-occlusion of body parts. The robustness of the whole shape reconstruction process was analysed by using some video sequences containing natural movements.

Työn aihepiiri on reaaliaikainen videoon pohjautuva liikkeen sieppaaminen. Verkon yli tapahtuvan kommunikoinnin tärkeys on kasvanut. Nykyiset, yleisesti käytetyt teknologiat mahdollistavat eksplisiittisen kommunikoinnin, mutta eivät tarjoa aitoa tuntumaa yhteydestä toisiin ihmisiin. Työssä tutkittiin ambienttia (ympäröivä) ja persistenttiä (jatkuva) monikamerajärjestelmää reaaliaikaiseen rakenteen ja liikkeen seurantaan käytettäväksi varjoesitykseen perustuvassa visuaalisessa kommunikoinnissa. Järjestelmä pyrkii silhuettien ja ihon värin tunnistamisen avulla rakentamaan tarkkaillusta käyttäjästä 3D-mallin. Järjestelmän toiminta perustuu nopeaan 3D-muodon analyysiin ja kestää hyvin virheitä tämän hybridiratkaisun ansiosta. Ihmisen rakenteen analyysi tehtiin kehomallilla, joka huomioi muodot liittäen ne ihmistä esittävään luurankoon. Järjestelmä huomioi myös olosuhdemuutokset, kuten toisiaan peittävät kehon osat. Järjestelmää ja sen virhesietoisuutta testattiin muutamalla luontevaa liikehdintää sisältävällä videosekvenssillä. /Kir09