Réalité virtuelle et capture de données

La réalité virtuelle prend de l’expansion assez rapidement et gagne du terrain dans divers secteurs de l'industrie. La plupart des gens associent la réalité virtuelle (RV) aux jeux vidéo et il est vrai que les jeux vidéo constituent l'essentiel du contenu actuel de la réalité virtuelle. Toutefois, en dehors de l'industrie du divertissement, la RV offre un potentiel incroyable pour des applications pouvant profiter aux entreprises de toutes sortes.

De plus, la RV est une source de données intarissable qui, si elle est judicieusement exploitée, peut être vraiment rentable pour les industries. La capture de données en RV est souvent une caractéristique cachée des applications de RV orientées vers l’industrie, mais c’est peut-être l’un des aspects les plus importants. Cet article discute des types de données possibles avec l'équipement RV et des avantages qui y sont associés pour l’industrie.

Tout savoir sur la réalité virtuelle

Pourquoi capturer les données?

On peut se demander pourquoi capturer toutes ces données et à quoi servent-elles ? Tout dépend du type d’environnement de réalité virtuelle. Dans certains cas, tels que des simulateurs RV pour formation, il peut être nécessaire de collecter toutes les données disponibles, alors que dans une application de tourisme, par exemple, ou de visite de maison, il ne sert à rien de capturer toutes ces actions.

Pour une application de tourisme, il peut suffire de capturer la position de la tête ainsi que le regard des utilisateurs (oculométrie) pendant la séance, alors que dans le cas de simulateurs RV, il peut être nécessaire de tout enregistrer comme la position, la rotation et les interactions utilisateurs au moyen de gants RV, exosquelettes recouvrant la totalité du corps et capteurs externes pour en nommer quelques-uns.

En règle générale, les données de RV sont utilisées à des fins d’analyse ou de rétroaction dynamique (adaptation). L’analyse fait référence à la capture et à la persistance des données RV au cours d’une session, qui seront ensuite analysées dans l’atteinte des objectifs de l’entreprise. Cependant, les données capturées servent aussi à adapter en temps réel l'expérience de l’utilisateur. Par exemple, ces données permettent de modifier de façon dynamique les couleurs ou les positions d'objets ou de créer des scénarios inattendus de pluie, d’incendie, d’explosion, d’ennuagement, d’obscurité, etc.

En fait, chaque action effectuée par l'utilisateur est capturée en temps réel et utilisée pour déterminer la réponse appropriée à cette action. Prenons l’exemple d’un simulateur de voiture. La vitesse, l’emplacement et les conditions routières sont constamment analysés par le système de RV, qui peut générer un accident ou un dérapage incontrôlé selon les données collectées.

Types de données et cas d’utilisation

Lorsqu'on pense à la réalité virtuelle, on peut s'interroger sur les types de données qu’elle produit et sur la manière dont ils peuvent être extraits pour en tirer le meilleur parti. Contrairement à la vraie vie où il est pratiquement impossible de faire le suivi de tout ce qu’une personne fait, la bonne nouvelle est qu’en réalité virtuelle tout peut être suivi et capté facilement pour des analyses ultérieures ou à d’autres fins. En fait, dans la vraie vie, cela équivaudrait à demander à une personne pendant une séance d’entraînement ou une autre activité de porter un appareil GPS, un compteur de vitesse et un ensemble de capteurs couvrant le corps tout entier.

De plus, en réalité virtuelle, l'environnement numérique dans lequel l'utilisateur est placé peut être complètement personnalisé et contrôlé. Par conséquent, tous les objets autour de l'utilisateur permettent de capturer encore plus de données. Il existe trois types de données: les données fondamentales, les données secondaires et les données dérivées.

Données principales

Cette catégorie représente les données les plus fondamentales mises à disposition par tous les équipements RV, même les plus élémentaires.

Position de la tête

Les informations les plus importantes provenant de la RV sont les coordonnées en trois dimensions (x, y, z) de l’utilisateur virtuel à chaque instant d'une session de RV. Le casque RV est l’élément central de la capture de données permettant de localiser le corps de l'utilisateur dans le monde virtuel. Ces coordonnées forment un vecteur tridimensionnel représentant l'emplacement réel de la tête de l'utilisateur dans un plan 3D, c’est-à-dire dans les axes X, Y et Z.

Par conséquent, s’il est nécessaire de connaître la position des pieds, il suffit seulement de soustraire la hauteur de la personne de la position de la tête. La hauteur d'une personne est déjà préconfigurée dans le système RV lors de la configuration initiale, de sorte que chaque environnement RV est automatiquement calibré à la hauteur de l’utilisateur.

Normalement, l'unité de mesure utilisée par défaut dans la RV pour les coordonnées est dictée par le moteur de jeu. Par exemple, les unités de mesure dans Unity, un moteur de jeu RV très réputé, sont exprimées en mètres tandis que pour Unreal Engine, un autre moteur de jeu remarquable, elles sont exprimées par défaut en centimètres. Il est cependant possible de changer l’unité de mesure par défaut d’un moteur de jeu. Toute coordonnée capturée dans la RV est donc basée sur cette unité de mesure par défaut.

Cas d’utilisations

Le suivi de la position de la tête au fil du temps permet de reconstruire facilement la trajectoire exacte empruntée par un utilisateur dans l'environnement RV. Cela peut servir à examiner plus en profondeur le comportement de l’utilisateur ou simplement à mieux comprendre comment les utilisateurs naviguent dans l'environnement RV.

Par exemple, dans le cas de la reconstitution d’une ancienne ville dans le monde virtuel où les utilisateurs peuvent se promener et explorer des artefacts, des structures, etc., des données peuvent être captées et utilisées pour analyser les chemins les plus empruntés par les utilisateurs et identifier les endroits de la ville qui ont attiré le plus l’attention des visiteurs virtuels. Ce type de rétroaction permet aux concepteurs d'applications de fournir plus d’informations contextuelles et historiques sur les lieux les plus populaires.

L’orientation de la tête (rotation)

Un autre type de données fondamental est l’orientation ou la rotation du casque de réalité virtuelle, représentée par trois angles autour des axes X, Y et Z (appelés angles d’Euler).

Cas d’utilisations

Voulez-vous savoir où vos utilisateurs regardent dans votre environnement RV et créer une carte thermique 3D des zones qui suscitent le plus d’intérêt ? Ou êtes-vous intéressé à savoir si vos employés en formation sont facilement distraits du travail à accomplir ? Peut-être voudriez-vous savoir où un apprenti conducteur regardait avant de faire un accident de voiture dans le monde virtuel afin de lui donner des conseils appropriés. Rien de tout cela ne serait facile à réaliser dans la vraie vie, mais avec la richesse des données rendues disponibles dans la réalité virtuelle, cela est facilement réalisable.

Comme indiqué ci-dessus, l’orientation de la tête est le moyen par défaut de capter le regard de l’utilisateur. En réalité virtuelle, une technique appelée « raycasting » émet un rayon laser virtuel orthogonal au visage de l'utilisateur jusqu'à ce qu'il atteigne l'objet virtuel le plus proche. Cette cible indique l'objet que l'utilisateur était le plus susceptible de regarder. Ceci est très utile, car connaître le seul emplacement de la personne ne suffit pas pour comprendre pleinement l’interaction de l’utilisateur dans l’environnement de réalité virtuelle.

Temps

La position et la rotation de la tête seraient insuffisantes sans la variable de temps. En réalité virtuelle, l'horloge système (heure actuelle) ainsi que l’horloge de "jeu" (durée de la séance RV) fournissent des informations extrêmement précises sur le temps de tout ce qui se passe dans le monde virtuel. À tout moment au cours d'une session RV, il est possible d’associer une date et une heure à chaque événement avec une précision inférieure à une milliseconde.

Par exemple, la position et la rotation de la tête peuvent être associées à une heure et une date à des intervalles de temps rapprochés et enregistrer ainsi la totalité de la trajectoire empruntée par un utilisateur du début de la session jusqu’à la fin. La capture du temps permet aussi de conserver l’information qu’à une telle heure, l’utilisateur se trouvait à un emplacement donné et regardait un objet quelconque et qu’il est resté à cet emplacement en fixant le même objet pendant 10 secondes.

Positions des mains

Un autre aspect important à considérer est le suivi de la position et des mouvements de la main. Dans la réalité virtuelle à six degrés de liberté (6 DoF), il est possible d’interagir avec le monde virtuel au moyen de manettes. Comme le casque RV, la position et la rotation de ces manettes peuvent être captées. Il existe aussi des équipements RV à trois degrés de liberté qui peuvent avoir seulement une manette. Dans ces cas-là, il est possible de capter uniquement la rotation.

Tous ces types de données constituent donc les informations essentielles possibles dans tout scénario de réalité virtuelle. Les types de données discutés dans la section qui suit sont des données facultatives en fonction d’équipement supplémentaire.

Données secondaires

Oculométrie

Quelques-uns des plus récents casques de réalité virtuelle ont commencé à intégrer le suivi oculaire qui permet d’observer l'orientation exacte des pupilles afin de déterminer plus précisément la direction du regard. Cette fonctionnalité est disponible par défaut dans le HTC Vive Pro Eye, le Varjo VR-1/XR-1 et FOVE. D'autres casques RV peuvent utiliser des oculomètres externes tels que le Tobii VR et le Pupil Labs pour avoir accès au suivi oculaire.

Cas d’utilisations

L'un des avantages les plus évidents de l’oculométrie est la capacité de savoir avec la plus grande précision où les yeux regardent. Cela offre des possibilités pour des interactions plus naturelles et intuitives en réalité virtuelle. Par exemple, en regardant un objet pendant plus de 2 secondes, des informations contextuelles peuvent apparaître ainsi qu’un bouton permettant de faire quelque chose avec cet objet.

Il existe une autre application de l’oculométrie, qui se veut plus discrète, appelée le rendu fovéal. Cette nouvelle technologie imite le fonctionnement de l'œil humain. Lorsque nos yeux fixent un objet, la zone examinée est très détaillée et nette, mais l’environnement périphérique devient flou. Cette caractéristique étonnante de nos yeux atténue la quantité de données que notre cerveau doit traiter.

Autrement, si tout notre champ de vision était en très haute résolution, notre cerveau serait surchargé d’informations. C'est ce que le rendu fovéal tente de réaliser au moyen de l’oculométrie en reproduisant l’image de la zone d’attention (vision centrale) en haute résolution et en fournissant des images de basse résolution pour la vision périphérique. De cette façon, la demande sur le processeur graphique (GPU) est réduite, permettant soit des interactions plus avancées ou des modèles 3D de meilleure qualité. Autrement, la puissance de calcul de la machine employée pour le rendu des images périphériques en haute résolution serait gaspillée, car l’œil humain ne peut les percevoir.

Détection des mouvements (« body tracking »)

Avec des équipements supplémentaires tels que des gants RV, des exosquelettes et des détecteurs de mouvement, il est possible de suivre tous les mouvements du corps de la tête aux pieds. Les gants RV permettent de capturer la position exacte et la pression exercée par les doigts. En outre, ils fournissent un retour sensoriel (haptique) avancé permettant à l'utilisateur de ressentir les objets virtuels.

Les capteurs tels que les HTC Vive Trackers peuvent être fixés à n’importe quel membre (bras, coude, jambe, genou, pied, hanche) et même à des objets externes tels qu’un bâton de baseball, une pince serre-tube, une raquette, un tuyau d’incendie, une arme à feu virtuelle pour la formation de policiers ou de militaires, etc. Ils offrent des possibilités de suivi supplémentaire pour tout le corps ou pour une pièce d'équipement externe avec laquelle l'utilisateur de RV interagit.

Lorsqu’installés sur des parties du corps, ces capteurs transmettent leur position exacte et leur rotation, lesquelles peuvent être utilisées pour reproduire un corps virtuel dans l’environnement RV où les utilisateurs peuvent voir leur corps au lieu d’une tête seulement (applicable pour des environnements mono et multi-utilisateurs).

Cas d’utilisations

L'objectif principal de capter le corps entier est de rendre l’expérience utilisateur plus réaliste et les interactions plus puissantes et naturelles. La détection de tous les mouvements du corps étant un sujet assez vaste, commençons par la première composante, c’est-à-dire le suivi plus avancé de la main.

En général, les manettes supportent le suivi de la position et offrent des boutons programmables pour des actions spécifiques. Par exemple, les manettes Vive fournissent une gâchette, deux boutons latéraux, un pavé tactile et un bouton Menu. Les interactions dans la RV sont possibles grâce à une combinaison de ces boutons telle que déterminée par le programmeur. Cependant, ce type d'interaction est moins naturel que celui auquel les humains sont habitués. Par conséquent, on peut utiliser des gants RV pour des interactions plus naturelles.

De plus, les gants RV fournissent un retour haptique pour imiter de vraies sensations lors d’interactions avec les objets. Avec ces gants, l'utilisateur peut effectuer des actions très précises sur de petits objets ou faire des gestes. Les données générées par les gants sont innombrables. Il est possible de suivre la position de chaque doigt et d’utiliser ces données pour toutes sortes d'interactions. Dans ce cas, le suivi des doigts peut s’avérer moins pertinent à des fins d’analyse, mais très utile pour l'amélioration de l'expérience utilisateur.

Le Leap Motion est un autre dispositif de suivi de la main. Il s'agit d'une caméra 3D pouvant être montée sur un casque RV et qui permet de suivre les mains physiques de l'utilisateur et de les reproduire dans le monde virtuel. Cela signifie que les utilisateurs peuvent utiliser leurs propres mains pour effectuer toutes sortes d'opérations en réalité virtuelle.

L'un des inconvénients du Leap Motion est le manque de retour haptique lié à l'utilisation des gants RV. Un ensemble de RV comprenant un bon casque RV ainsi que des gants RV ou de bonnes manettes offre une expérience utilisateur très réaliste à la plupart des gens. Cependant, certains voudront repousser les limites pour obtenir quelque chose d’encore plus réaliste et immersif. C'est à ce moment que les 'exosquelettes' RV et les détecteurs de mouvements entrent en jeu.

Les capteurs de mouvement sont de petits appareils sans fil qui peuvent être attachés à tout membre du corps ou à tout objet physique, permettant ainsi de les intégrer dans les expériences de réalité virtuelle. Ces capteurs rendent visibles les corps des utilisateurs (au lieu de têtes flottant dans les airs) et leur permettent d’utiliser leurs pieds ou leurs bras pour interagir avec des objets.

Du point de vue des données, ces capteurs mettent beaucoup d’informations à disposition, qui peuvent être exploitées pour comprendre les mouvements qu’une personne effectue dans le monde virtuel ainsi que la manière dont elle interagit avec les objets externes. Par exemple, dans les sports, on peut pratiquer le tennis avec une vraie raquette munie d’un capteur Vive. Grâce au capteur, il est possible de suivre la vitesse de frappe d'une balle virtuelle et l'endroit où la raquette a frappé la balle.

Les combinaisons RV ou exosquelettes, sont beaucoup plus complexes et moins communes que les autres équipements RV. Bien qu'elles collectent aussi des données, leur objectif principal est de fournir une expérience encore plus réelle à l'utilisateur en lui faisant ressentir le monde virtuel à travers tout son corps.

La combinaison Teslasuit, par exemple, génère des retours haptiques partout sur le corps permettant à l'utilisateur de ressentir des sensations réelles, telles que la température, l'effort physique, le toucher, etc. Elle permet de suivre toutes les actions et tous les mouvements du corps dont les données collectées peuvent être utilisées à des fins d'analyse ou simplement pour améliorer l'expérience utilisateur dans le monde virtuel en adaptant dynamiquement l'environnement aux actions et aux mouvements de l'utilisateur. Il est fourni avec des capteurs intégrés couvrant tout le corps et permettant de suivre les réactions physiques des utilisateurs aux émotions, au stress, etc., dans l'environnement de réalité virtuelle.

La combinaison RV est une technologie encore à ses débuts et qui n'est pas encore largement disponible. Elle représente un créneau orienté vers les entreprises qui ont besoin de scénarios RV très spécifiques. Nombre de ces combinaisons ne sont pas encore prêtes pour la production et plusieurs entreprises ont déjà fait faillite en raison des coûts exorbitants liés à la production d’équipements de haute technologie.

Enregistrement de la voix

La plupart des casques RV ont un microphone intégré, qui peut être utilisé pour enregistrer ce que les utilisateurs disent pendant une session de réalité virtuelle. Par exemple, la plupart des utilisateurs marmonneront ou s’exclameront tout en faisant de la réalité virtuelle, ce qui peut être capturé et analysé avec leur consentement.

Moniteurs d’activité

Il est également possible d'intégrer d'autres capteurs tels que des montres intelligentes et des moniteurs d’activité dans un écosystème de réalité virtuelle où toutes leurs données peuvent être collectées et horodatées. Par exemple, il est possible de capturer le battement de cœur d'un utilisateur pendant l’exécution d’une opération dans le monde virtuel ou durant une situation stressante.

Données dérivées

Les types de données discutés jusqu’à présent représentent des données brutes mises à disposition par divers types d’équipement RV. Cependant, ces données brutes nous permettent de dériver d’autres types de données, parfois plus utiles d’un point de vue pratique.

Vitesse

Les systèmes RV ne permettent pas de capter directement la vitesse de déplacement de l'utilisateur parce qu’il n’existe aucune fonction de compteur de vitesse. Cependant, il suffit de connaître la position et l'heure de la tête pour calculer la vitesse de déplacement. La distance peut être calculée en soustrayant deux paires de coordonnées de la tête divisée ensuite par le temps écoulé entre les deux paires de coordonnées. Ces données sont très importantes dans certains environnements RV tels que les simulations de conduite et de vol ou les scénarios de formation dans lesquels le temps est un facteur essentiel pour la réussite d’une opération.

Suivi multi-utilisateur

La plupart des systèmes RV permettent à plusieurs utilisateurs de partager le même espace physique (par exemple, le HTC Vive) ou de se trouver à des endroits géographiquement séparés tout en voyant leur avatar respectif dans le monde virtuel. C'est ce qu'on appelle être en mode multi-utilisateur. Ce mode n’est pas utile pour tous les scénarios de RV, mais dans certains contextes de formation où une opération doit être effectuée par plusieurs utilisateurs, cela s'avère pratique. Dans ces cas, toutes les données présentées ci-dessus peuvent être captées simultanément pour tous les utilisateurs.

Suivi des actions

Puisque la position et la rotation de la tête et des mains ainsi que possiblement d'autres membres du corps sont maintenant connues, l'étape logique suivante consiste à décoder et enregistrer chaque action effectuée par les utilisateurs dans l'environnement RV. Chaque fois qu'un capteur de mouvement installé sur le corps détecte un contact avec un objet virtuel, il est possible de savoir exactement quelle partie du corps virtuel a touché quel objet.

La combinaison de ces capteurs avec des manettes ou des gestes de la main permet de distinguer entre simplement toucher un objet, donner un coup sur l’objet et prendre l’objet. L’utilisateur peut donc, par exemple, prendre et déplacer des objets virtuels et même toucher un objet avec un objet attaché à sa main virtuelle. Toutes ces interactions peuvent être enregistrées, y compris l’effet de l'action sur l'objet. En d'autres mots, il est possible de savoir que non seulement la main a touché ou saisi un objet, mais aussi que l'objet a été déplacé de 2,5 mètres à gauche de l'utilisateur.

De nos jours, avec toutes les technologies de la réalité virtuelle, des fonctionnalités surnaturelles sont possibles telles que l’interaction avec un objet au moyen d’un pointeur laser, le vol, le vol stationnaire, la téléportation, etc. Toutes ces fonctionnalités peuvent générer des données dérivées et donner une meilleure compréhension sur la façon dont les gens utilisent la RV.

Équipement RV

• Casques RV (HTC Vive, HTC Vive Pro Eye, HTC Vive Focus, Varjo)
• Gants RV
• Leap Motion – suivi des mains par caméra
• Combinaisons RV/exosquelettes (, , etc.)
• Appareils intelligents (montre intelligente, moniteur d’activité, etc.)
• Équipement de simulation de conduite

Conclusion

La réalité virtuelle est une technologie très prometteuse qui apportera de nombreux avantages aux entreprises. Bien que la réalité virtuelle soit très attrayante en elle-même, l’un des principaux moteurs de son succès est la richesse des données qu’elle fournit et la facilité relative avec laquelle ces données peuvent être saisies et utilisées pour créer de meilleures expériences dans la réalité virtuelle ainsi que pour offrir une précieuse rétroaction afin de stimuler la croissance des entreprises. Il y a tellement de cas d'utilisation pratiques de la réalité virtuelle pour entreprises que la seule limite est notre imagination !

Liens

Auteur: EXSEVA Consultants Inc.

Nous sommes une petite entreprise multidisciplinaire et dynamique offrant aux professionnels et PME des services informatiques de développement d'applications (bureau, web, mobile, réalité virtuelle et augmentée) et systèmes d'information personnalisés, de la conception au déploiement, suivi d'un excellent soutien à notre clientèle. Nous fournissons également des services de graphisme et design au niveau de site web, interface de logiciel, création de logo, dépliants, vidéos promotionnels et plus. Nos services sont offerts en français et en anglais.