Les modèles de quest intègrent dans leurs système des modèles de hand tracking qui permettent dans une certaine mesure de se substituer aux manettes. Les cameras servant à la spatialisation (par du tracking de l’espace) détectent ainsi les mains de l’utilisateur•trice et permet d’en projeter un modèle 3D computer dans l’espace virtuelle. Après différents tests, J’ai essayé de qualifier les interactions possibles avec le hand tracking.
Le clique, très simple et efficace l’usage de bouton à pression fonctionne assez bien, l’une des difficultés des interactions en hand tracking réside aussi dans l’absence de retour haptique ou de feedback, les controllers du quest émette des vibrations pour ainsi confirmer les actions. J’ai réalisé une petite app qui comprend ces interactions mais les captations présentent dans l’article présente beaucoup de compression — et la vue qu’a le joueur•euse est bien différent de ce qui est retranscrit ici.
Pinch to Grab, donc pincer son pouce et son index sur un objet pour l’attraper contrairement à la gâchette grab sur le majeur pour attraper. Cette interaction apparaît contre-intuitive par rapport à l’usage d’une manette ou la gâchette s’actionne en serrant la main. L’absence de retour haptique rend aussi cette fonction plutôt désagréable.
La physique de la main, elle peut, par ça présence, pousser des objets. La main peut interagir comme une objet dans le moteur physique du jeu. Ça fonctionne mieux que le système de pinch to grab mais l’absence de retour haptique ne permet pas de définir si l’action a été enregistrée, si la collision avec l’objet a été prise en compte. Aussi les mouvements brefs ne peuvent pas être capté par le système de hand tracking, ce qui limite le possible de cette interaction.
Il reste la reconnaissance des signes pas encore testé car plus complexe à mettre en oeuvre (il faut intégrer un classifieur en Machine Learning), mais cela sera une potentiel prochaine recherche.