J’ai poursuivi mes recherches sur la détection de mains, J’ai intégré ainsi un système comprenant certains signes avec un personnage réagissant au dit signe. La détection fonctionne assez bien, parfois elle se déclenche « toute seule » car le seuil de détection est peut-être trop faible. Aussi le calibrage des détections peut être lié à ma morphologie, la détection peut moins bien fonctionner en fonction de l’utilisateur•trice.
Puis sur la scène précédente, j’ai intégré du passthrough. Le casque occulus quest 2 intègre dans son hardware des caméras permettant le tracking et la spatialisation du casque et la détection des mains. On peut réutiliser ces flux de camera pour réintégrer en « fond », l’espace physique dans lequel on se trouve. C’est une tendance dans les casques de réalité virtuelle d’intégrer l’espace extérieur, on parle alors de réalité mixte (mélange de réalité virtuelle et de réalité augmentée). Le quest 2 affiche cet extérieur en noir et blanc (les cameras captent en noir et blanc), mais le quest pro et sans doute les prochains casques propose un extérieur en couleur mélangeant ainsi l’expérience avec le réel.
Cependant, le passthrough n’est qu’une pass, c’est à dire qu’il n’y a pas d’interaction possible avec ce monde extérieur contrairement au application smartphone utilisant de la réalité augmentée. Une application en AR permet de spatialiser de trouver des surfaces des visages etc… pour produire des filtres ou des interactions complexes. Ici il s’agit que d’un « fond ».