Pad-based Interaction in Mixed Reality environments
Interaction à l'aide d'un Pad dans des Environnements de Réalité Mixte
Résumé
Mixed Reality (MR) environments integrate virtual elements into the user's physical space, creating immersive experiences where real objects and digital content coexist. This spatial distribution of virtual content is valuable, as it allows information to be displayed where it is most meaningful, but it also complicates interaction with virtual elements scattered throughout the environment. This thesis investigates the use of a pad, a small touch-sensitive surface, as a means of indirect interaction in MR. It explores the design of opportunistic pads, created from existing surfaces and relying solely on sensors embedded in MR devices, particularly hand-tracking. The goal is to facilitate and enrich interaction in MR, with a particular focus on industrial maintenance scenarios. The first contribution studies Spatial Window Switching (SWS) techniques, which allow users to locate a specific window among those distributed in the environment. We designed and evaluated techniques based on an overview of all available windows represented as miniatures, visually linked to their actual positions. Results show that these techniques significantly reduce search time and physical movement, helping users locate virtual content of interest more efficiently. The second contribution explores the use of the non-dominant hand as a support surface for an always-available pad, relying solely on the hand-tracking capabilities of MR devices. Three anchoring strategies were evaluated: a pad floating near the hand, a pad aligned with a flat object held in the hand, and a pad directly placed on the palm. Results show similar performance across all approaches, indicating that hand tracking has reached a level of maturity sufficient to allow the palm to serve as a reliable touch surface. Although these pads perform worse than capacitive screens, they let users keep both hands free and provide proprioceptive and haptic cues. The third contribution, TriPad, introduces a technique that enables users to transform any passive physical surface into an interactive pad using only hand tracking. The user places their hand flat on the surface, then performs a “tap” by briefly lifting and lowering it. The system recognizes this characteristic movement and infers the plane by analyzing the positions of three fingertips when the hand was stationary, anchoring the virtual pad accordingly. We validated TriPad's robustness across various surface types (wood, glass, drywall) and compared it to existing direct interaction techniques available in MR devices. Results show that TriPad provides a better speed-accuracy trade-off, particularly on horizontal surfaces where it reduces fatigue and improves comfort. Taken together, Spatial Window Switching techniques, hand-bound pads, and surface-anchored pads open new possibilities for indirect interaction in Mixed Reality. They address accessibility, comfort, and precision issues inherent to direct interaction. The thesis concludes with a discussion of future perspectives for improving this paradigm of indirect interaction and its applicability to industrial contexts, especially MR assisted maintenance, where technicians can benefit from more efficient, and safe interaction in complex environments.
Les environnements de Réalité Mixte (RM) intègrent des éléments virtuels dans l'espace physique de l'utilisateur, créant des expériences immersives où objets réels et contenus numériques coexistent. Cette distribution spatiale du contenu virtuel est riche, car elle permet d'afficher l'information là où elle prend son sens, mais elle complexifie aussi l'interaction avec les éléments virtuels disséminés dans l'environnement. Cette thèse étudie l'utilisation d'un pad, une petite surface tactile, comme moyen d'interaction indirecte en RM. Elle explore la conception de pads opportunistes, créés à partir de surfaces existantes et s'appuyant uniquement sur les capteurs intégrés aux dispositifs de RM, notamment le suivi des mains. L'objectif est de faciliter et enrichir l'interaction en RM, avec une attention particulière portée aux scénarios de maintenance industrielle. La première contribution étudie les techniques de Spatial Window Switching (SWS), qui permettent aux utilisateurs de localiser une fenêtre particulière parmi celles distribuées dans l'environnement. Nous concevons et évaluons des techniques reposant sur une vue d'ensemble des fenêtres sous forme de miniatures, reliées visuellement à leur position réelle. Les résultats montrent que ces techniques réduisent significativement le temps de recherche et les déplacements physiques, aidant ainsi les utilisateurs à localiser plus efficacement le contenu virtuel d'intérêt. La deuxième contribution explore l'utilisation de la main non dominante comme support pour un pad toujours disponible, en exploitant uniquement le suivi des mains des dispositifs de RM. Trois stratégies d'ancrage sont évaluées : pad flottant à proximité de la main, aligné avec un objet plat tenu en main, ou directement sur la paume de la main. Les résultats montrent des performances similaires entre les approches, indiquant que le suivi des mains a atteint un niveau de maturité suffisant pour permettre l'utilisation de la paume comme surface tactile. Bien que ces pads soient moins performants qu'un écran capacitif, ils permettent de garder les deux mains libres et offrent des repères proprioceptifs et haptiques. La troisième contribution, TriPad, introduit une technique permettant de transformer toute surface physique passive en pad interactif, en utilisant uniquement le suivi des mains. L'utilisateur pose sa main immobile sur la surface, puis effectue un "tap" en levant puis rebaissant la main. Le système reconnaît ce mouvement caractéristique et déduit le plan pour ancrer le pad à partir de la position des trois bouts de doigts au moment où la main était immobile. Nous validons la robustesse de TriPad sur différents types de surfaces (bois, verre, plâtre) et le comparons aux techniques d'interaction directe disponibles dans les dispositifs de RM. Les résultats montrent que TriPad offre un meilleur compromis entre vitesse et précision, notamment sur les surfaces horizontales où il réduit la fatigue et améliore le confort. Pris ensemble, les techniques de Spatial Window Switching, les pads liés à la main et ceux ancrés sur des surfaces physiques ouvrent de nouvelles possibilités d'interaction indirecte en Réalité Mixte. Elles permettent de résoudre des problèmes d'accès, de confort et de précision propres aux interactions directes. Cette thèse se conclut par une discussion sur les perspectives d'amélioration de ce paradigme d'interaction indirecte et son applicabilité dans les environnements industriels, en particulier pour la maintenance assistée par réalité mixte, où les techniciens peuvent bénéficier d'interactions plus efficaces et sûres.
| Origine | Version validée par le jury (STAR) |
|---|---|
| licence |
