Voici un descriptif simplifié étape par étape de la capture de mouvement au cyberdôme :

1. Avant de démarrer réellement la capture de mouvement, il faut créer le squelette 3D de l'acteur. Pour cela, on prend une photo de l'acteur avec les 8 caméras HD.

Photos de l'acteur générées par les 8 caméras HD

2. Avec l'unité centrale "Serveur" et à l'aide du logiciel CoolCap, on affiche les 8 photos prises pour les distordre, c'est à dire pour les remettre à plat. En effet, les lentilles des caméras génèrent une déformation de l'image qu'il faut corriger pour permettre une capture de mouvement plus précise.

Distorsion des 8 photos pour permettre une capture plus précise

3. On procède alors à la création du squelette avec CoolCap. On indique tous les points d'articulations francs repérés sur les photos de l'acteur d'après une liste des points d'articulations déjà listés par le logiciel. On enregistre alors le squelette créé.

Création du squelette à partir des 8 photos avec le logiciel CoolCap. On indique les points d'articulations de l'acteur.

4. Il faut ensuite paramétrer les couleurs de références des brassards enfilés par l'acteur. On précise ainsi au logiciel que le bras gauche est bleu fluo, le droit rose fluo, etc.

5. Au besoin, on peut aussi créér ou importer directement un objet en 3D créé sous le logiciel Maya et l'intégrer dans l'arborescence du squelette (exemple : un musicien avec sa guitare). L'arborescence du squelette c'est en quelque sorte un "fichier texte" du squelette que l'on peut modifier comme un programme informatique.

6. C'est à ce moment que peut débuter la capture de mouvement avec CoolCap.

Silhouettes de captures des 8 caméras et squelette créé avec le logiciel CoolCap

7. En parallèle, on lance la connexion avec l'unité centrale "Display" qui gère le logiciel 3D Motion Builder. Celui-ci va retranscrire tous les mouvements de l'acteur. Dans un premier temps, nous transposons les coordonnées du squelette CoolCap sous Motion Builder (squelette jaune) pour faire coïncider ses coordonnées sur l'acteur avatar du logiciel Motion Builder (personnage mauve).

Squelette CoolCap retranscrit sous Motion Builder

    
Acteur avatar de Motion Builder en mauve

On fait coïncider les coordonnées des 2 squelettes qui fusionnent pour ne faire qu'un squelette qui devient le clone de l'acteur humain situé sur le plateau de tournage du cyberdôme

A cette étape nous pouvons aussi intégrer des "devices" périphériques (joysticks pour les yeux et le nez, micro pour les lipsyncs, gants pour les mains) pour améliorer la capture. Le rôle de ces "devices" est d'animer les mouvements du nez, des yeux, des mains, ou de la bouche (lipsyncs) qui ne sont pas pris en compte lors de la capture.

8. Après avoir choisi le personnage virtuel voulu, on l'active sour Motion Builder pour voir la gestuelle de l'acteur et enregistrer la capture. Cette procédure pourra se faire à distance n'importe où dans le monde.

Importation de personnages 3D dont la gestuelle est calquée sur l'acteur avatar (en mauve) de Motion Builder

9. Le logiciel Motion Builder permet ensuite de faire du "compositing" et créer une image quasi finale avec rajout du décor, ou la correction éventuelle du mouvement. Pour ce qui est des effets spéciaux, pour plus de facilité et de rapidité, il est préférable de les gérer sous le logiciel After Effects.

On choisit le personnage 3D final, on met en transparence le clone Motion Builder de l'acteur et  on l'intégre au décor 3D ou réel dans lequel il va évoluer.
La gestuelle de l'acteur sur le plateau de tournage du cyberdôme capturée peut maintenant donner vie au ninja et le faire bouger selon les indications du réalisateur (soit en temps réel, soit en différé c'est à dire que l'on enregistre la capture de mouvement au préalable et qu'on la transpose sur le personnage 3D voulu).

1) D'UN PLATEAU DE TOURNAGE :

Diamètre : 15,50 mètres
Hauteur : 6,50 mètres

(Cliquez pour des photos plus grandes)

Tout le plateau de tournage est entièrement recouvert d’un revêtement réfléchissant contenant des microbilles. Ces microbilles ont la particularité de renvoyer la lumière vers sa source d’origine. Des repères au sol ont été placés pour permettre la calibration géométrique des 8 caméras HD. L’acteur dispose également d’un retour vidéo .

2) D'UN ACTEUR ET DE SON ÉQUIPEMENT :

Pour faciliter le détourage automatique de la silhouette, il est préférable que l'acteur soit entièrement vêtu de noir. Son équipement est composé d'une paire de gants avec un émetteur pour les mouvements des mains, d'un sweet-shirt noir et de 4 brassards de couleurs différentes pour les extrémités de ses membres, bras et jambes. N'ayant aucun capteur aux articulations, l'acteur n'a ainsi aucune contrainte physique. Il est donc libre de tout mouvement.

3) DE 8 CAMÉRAS HAUTE DÉFINITION ou HD :

D'une résolution de 1280 x 720, les 8 caméras sont braquées sur la zone centrale du plateau de tournage où évolue l'acteur. Sur chacun des objectifs des caméras est placé une bague électroluminescente qui diffuse une lumière verte réfléchie par le revêtement spécial du plateau. C'est l'association de la lumière verte et des microbilles qui permet d'avoir un fond vert d'incrustation parfait (pas d'ombres portées au sol ou sur les parois, pas de défauts au niveau des cheveux, découpage automatique plus précis).

4) DE 8 UNITÉS CENTRALES OU "CLIENTS" :

Les unités centrales ou "clients" sont reliées à chacune des caméras. Leur principale mission est de récupérer les images des caméras HD et d'enlever le fond vert pour ne garder que les informations relatives au mouvement de l'acteur. Au final, ils ne transmettent que la silhouette de l'acteur.

5) D' UNE UNITÉ CENTRALE NOMMÉE "SERVEUR" :

A l'aide du logiciel de motion capture CoolCap, le Serveur gère :

• Les retours d'images réelles sur fond vert des 8 caméras HD d'après l'onglet "INPUT" du logiciel.
• Les différents paramétrages du plateau de tournage, du squelette de l'acteur, de la distorsion des photos sous l'onglet "CALIBRATION".
• La capture de mouvement sous l'onglet "MOTION CAPTURE". Les 8 silhouettes des 8 clients sont combinées pour créer le squelette 3D animé.

Les mouvements générés par le logiciel CoolCap sont transmis à la machines "Display" pour animer le personnage en 3D.

6) D' UNE UNITÉ CENTRALE NOMMÉE "DISPLAY" :

A l'aide du logiciel 3D Motion Builder, le Display gère :

• Les différents "devices" périphériques tels que les joysticks reliés aux yeux et au nez de l'acteur virtuel 3D, les gants pour les mains, un micro pour les lipsyncs.
• Les mouvements du pantin 3D généré par le Serveur.
• Le rendu de l'image finale avec intégration du décor, des autres acteurs éventuels préalablement capturés, des corrections des mouvements d'animation, etc.

• Domaine télévisuel : émissions de télé, jeux télévisés, présentation de la météo...
• Artistes : tournage de clips vidéo, spectacles filmés...
• Agences de publicité
• Producteurs
• Education : initiation à la capture 3D...

La méthode actuelle pour pouvoir faire des incrustations, est celle de faire jouer l'acteur ou le présentateur sur un fond vert (mur peint). Ensuite, tout un travail d'infographie est encore nécessaire pour obtenir un découpage parfait de l'acteur ou du présentateur et pour l'intégrer dans le décor final voulu (carte météorologique, décor défilant en voiture, etc.)
Grâce au cyberdôme, une bague placée sur chaque objectif des 8 caméras diffuse une lumière verte. Cette lumière verte est alors réfléchie sur le sol et les parois du cyberdôme : nous obtenons un fond vert d'incrustation parfait sans aucunes ombres portées ni parasites. L'acteur ou le présentateur peut alors être plus facilement intégré au décor voulu qu'il soit virtuel ou réel.

L'une des principales fonctions du cyberdôme est de faire de la capture en 3 dimensions (3D). Ce procédé que l'on appelle aussi Motion Capture se fait ici en temps réel sans aucuns capteurs placés sur l'acteur ou sur le sol et donc sans aucunes contraintes physiques pour celui-ci. L'acteur est ainsi libre de tout mouvement tant au sol que dans l'espace.

Il est possible d'exploiter cette capture 3D de deux façons différentes :

• Soit en enregistrant les mouvements réels pour les ré-exploiter dans le domaine de l'animation tels que les séries 3D, les jeux vidéos, le long métrage...

• Soit en répercutant le mouvement en temps réel sur un personnage virtuel, créé dans le cadre d'une émission, d'un jeux télévisé ou autre. Le personnage virtuel devient une entité propre, interactive qui réagit en temps réel au présentateur ou au public...

L'une des autres fonctions du cyberdôme est de faire de la prise de vue réelle sur fond vert, que l'on appelle fond d'incrustation. Cette technique peut être appliquée pour la présentation de la météo, dans le domaine de la publicité, du vidéo clip...

En mars 2007, à l'initiative de M. Alain Séraphine, directeur général délégué de la société Pipangaï Production, débarque à La Réunion dans la ville du Port,  un outil unique et novateur de prise de vue : le CYBERDÔME.
Très vite il a fallu trouver un cadre adéquat pour accueillir cette immense structure circulaire et métallique aux dimensions hors normes. C'est sur un site splendide qu'offre l'ancien port de la ville, à l'intérieur d'un vieux bâtiment datant de la fin du 19ème siècle que le cyberdôme prend place.

Installé en partenariat avec XD Prod, c'est le plus grand des 3 cyberdômes existants dans le monde avec un  immense plateau de tournage de forme cylindrique de 15,50 mètres de diamètre et de 6,50 mètres de hauteur. Actuellement, il en existe un de 6,50 mètres de diamètres à Angoulème et un second de 9,50 mètres à Paris.

Cet impressionnant plateau de tournage est équipé de 8 caméras HD (Haute Définition) dont 6 sont fixées en périphérie du plateau et 2 surplombant la scène.