Sony semble développer une solution pour équiper les contrôleurs physiques de boutons virtuels en utilisant une variété de technologies et de combinaisons de celles-ci. Ce concept indépendant du matériel offre de nouvelles perspectives sur l'intérêt continu de Sony pour les solutions de suivi des doigts.
Le contexte
Le fabricant de la PlayStation expérimente les techniques de détection des mouvements des doigts depuis des années. Une récente recrudescence de l'activité de brevets de Sony a même suggéré que le PS VR2 pourrait prendre en charge le suivi des doigts, mais cela ne s'est pas concrétisé. Fin 2023, la société n'a pas encore commercialisé une telle solution.
La recherche continue
Et pourtant, ses efforts de recherche et développement sur ce front se poursuivent à ce jour, comme le suggère un brevet récemment obtenu décrivant une méthode pour étendre les capacités des contrôleurs physiques en utilisant le suivi des mains et des doigts pour obtenir une fonctionnalité de bouton virtuel.
Le brevet de Sony
Plus précisément, Sony a breveté une approche multimodale pour suivre les pressions sur les boutons virtuels qui peuvent utiliser tout, des récepteurs sans fil et des microphones aux caméras de smartphones et aux unités de mesure inertielle, des dispositifs qui suivent les propriétés corporelles comme la force et le taux de rotation angulaire.
Méthodes de suivi des boutons virtuels brevetées par Sony
- Analyser un flux vidéo de caméra provenant d'un téléphone, d'une console ou d'une webcam.
- Analyser les données du capteur de distance.
- Analyser les données de l'unité de mesure inertielle (IMU).
- Analyser les données du capteur de pression.
- Analyser les données sonores.
- Analyser les signaux Wi-Fi, les données Bluetooth, ou les deux.
Analyses
Plusieurs mises en œuvre décrites dans le brevet nouvellement émergé intègrent une analyse des informations d'état de canal (CSI) afin de détecter à la fois les gestes larges et subtils. En suivant les variations d'amplitude des paquets de données Wi-Fi ou Bluetooth échangés entre un émetteur et un récepteur, qui peuvent être tout, d'un contrôleur à un smartphone, Sony pense pouvoir détecter avec précision des actions comme le fait de faire signe, de taper sur un clavier et d'appuyer sur un endroit spécifique d'une manette de jeu, qui ont tous des empreintes CSI distinctes.
L'intérêt de Sony pour l'apprentissage machine
Fidèle à l'intérêt de longue date de Sony pour l'apprentissage machine, le brevet fraîchement apparu décrit un certain nombre de mises en œuvre qui exploiteraient un modèle d'IA afin d'interpréter intelligemment les données des capteurs. Cependant, la société pense que même une analyse rudimentaire de choses comme les signaux Wi-Fi et les flux de caméra pourrait être utilisée pour obtenir une fonctionnalité de bouton virtuel.
Solution proposée
Une telle solution décrit un smartphone monté sur un contrôleur qui enregistre simplement les mouvements des doigts de l'utilisateur, puis les traduit en pressions sur les boutons.
Une technologie très large
La solution globale est extrêmement large, même selon les normes des brevets. La nature générique du dernier brevet de Sony suggère que sa technologie sous-jacente ne sera probablement jamais commercialisée dans son intégralité, car certaines de ses mises en œuvre décrites sont plus viables que d'autres. Néanmoins, la simple existence de ce dépôt de PI indique que Sony explore toujours l'idée d'ajouter le suivi des doigts à ses appareils électroniques.
Conclusion
Le temps nous dira si cet effort continu de R&D aboutira à une nouvelle version du DualSense ou à une catégorie complètement nouvelle d'accessoires de jeu.
