Leap Motion North Star, un système de réalité augmentée Open Source

J’ai un Leap Motion dans un tiroir, quelque part dans mon bureau. Il s’agit du produit qui les a fait connaitre, une petite barre métallique avec un couvercle noir qui permet de capturer finement les déplacement d’objets situés dans sa zone de détection. C’est une merveille technique : Son concept est hyper simple, le materiel embarqué ne coûte pas grand chose, elle est superbement finalisée et la partie détection est époustouflante. Et pourtant cela n’a pas fonctionné.

Il y a bien eu un engouement pour le produit, certains constructeurs ont même proposé des portables embarquant des Leap Motion, des claviers ont également vu le jour avec l’ajout de cette petite zone de détection. Mais après le démarrage initial, cela a fait un flop. Je ne regrette pas mon achat, je ne me sert pas du produit mais pendant quelques heures j’ai eu l’impression de me plonger dans le futur et je me dis de temps en temps qu’un jour j’arriverais a prendre le temps d’en faire quelque chose.

Ce qui m’a décidé a acheter ce Leap Motion, c’est avant tout une vidéo. Celle ci-dessus où l’on voit l’objet en action. La finesse de détection est impressionnante, le projet a fait griller un fusible de mon cerveau et j’ai précommandé le produit.

cube! pic.twitter.com/ydZaPYxSxT

— Keiichi Matsuda (@keiichiban) March 8, 2018

Aujourd’hui je serais prêt a faire exactement la même chose à la vue des vidéos de North Star, le nouveau projet de Leap Motion. Une chance pour moi, il n’ y a pas vraiment de produit a acheter, la marque semble avoir appris de ses échecs.

Le North Star de Leap Motion qu’est ce que c’est ?

Il s’agit d’une sorte de casque de réalité virtuelle, plus proche de la solution Hololens de Microsoft que d’un monde fermé comme ce que propose un Oculus Rift. On dispose d’une sorte de « lunette » de ski posé sur le nez qui laisse voir le monde réel mais juxtapose par dessus des informations sur l’écran. Le gros plus de la solution c’est la possibilité de suivre finement des éléments de ce que vous voyez et de proposer un enrichissement de votre vision. Leap Motion utilise la même technologie que sa barre de détection mais l’ajoute à une mise en perspective optique entre ce qui vous entoure et votre oeil.

cube! pic.twitter.com/ydZaPYxSxT

— Keiichi Matsuda (@keiichiban) March 8, 2018

La vidéo est probablement plus explicative qu’une description, l’idée générale est donc de proposer une réalité augmentée. A la détection d’un objet dans un espace court devant vous. L’exemple typique est la reconnaissance d’ordres gestuels : vos mains peuvent être identifiées et North Star proposera alors des éléments a juxtaposer à celles-ci.

Vous l’aurez compris, les débouchés sont extraordinaires : On peut très bien chausser ce casque de réalité augmenter et voir le monde différemment pour créer, se divertir mais aussi travailler, enseigner, soigner, apprendre… Mixé à un système de reconnaissance d’objets, ce casque pourrait aussi bien vous aider a monter un meuble en kit qu’a vous guider d’une nouvelle manière dans un musée.

working on something new pic.twitter.com/IyQgRLNBdb

— Keiichi Matsuda (@keiichiban) 27 février 2018

Un chirurgien pourrait avoir des informations complètes sous le nez pendant qu’il opère mais également un zoom d’un autre angle de ce qu’il fait ainsi qu’un suivi précis de ses gestes. Ceux-ci pourraient être mémorisées et analysés ensuite, si ils sont trackés il serait possible de modéliser les mouvements effectués. Avec ce type de casque, vous pourriez apprendre en quelques minutes la configuration d’éléments industriels sortis d’une chaîne de production.

Un moteur de voiture n’aurait plus de secret pour vous, changer un élément, faire de la maintenance seraient autant d’opérations qui pourraient être guidées au travers ce type d’affichage et vous n’auriez qu’a répéter les gestes suggérés par le North Star pour effectuer un changement de pièce.

more beautiful hand tracking pic.twitter.com/dZkZOFnCJ9

— Keiichi Matsuda (@keiichiban) 28 février 2018

Plus simplement il semble possible de manipuler des interfaces de manière très intuitive en faisant apparaître des claviers virtuels ou des menus de navigation où bon vous semble. Evidemment le jeu est un débouché phare puisqu’il sera possible de se débarrasser des manettes habituelles de ce type de casque pour les replacer par vos mains. Il serait même possible d’utiliser des objets identifiés au préalable par le système pour les manipuler ensuite ; Armes, pédalier de pilotage et autres accessoires pourraient alors être intégrés dans le jeu.

D’un point de vue materiel le casque propose un double affichage en 1600 x 1440 pixels avec un rafraîchissement de 120 images par seconde. Le casque pose un peu des œillères à l’utilisateur avec un champ de vision rétrécis à 100° mais la détection de mouvement est quand à elle capable de suivre votre environnement sur 180°. On ne sait pas grand chose de plus, la marque devrait ouvrir les informations concernant ce casque la semaine prochaine.

Le casque North Star de Leap Motion n’existe pas

A la sortie de la barre de détection de mouvement Leap Motion, la marque a commis une grosse erreur. Elle a proposé un market d’applications payant et a demandé aux développeurs de passer à travers ce market pour vendre des programmes compatibles. C’est surtout cela qui n’a pas marché. Les clients étaient ravis du produit en tant que tel, la détection est extraordinaire et les possibilités semblent infinies. Mais devoir passer par un site particulier pour trouver des applications et les payer systématiquement n’a encouragé personne. 

Ce qu’auraient voulu les utilisateurs c’est de voir apparaître la prise en charge de Leap Motion dans les applications classiques qu’ils utilisaient tous les jours. Leur explorateur de fichier, leur bureau, leur lecteur de vidéo et autre programme de création 3D. Cela n’est pas arrivé et le super objet potentiel s’est transformé en super gadget au fond d’un tiroir.

Ce qu’aurait pu faire Leap Motion de plus malin aurait été de proposer à tous d’intégrer leur interface aussi bien logiciellement que matériellement pour que cette technologie se développe. Encourager des constructeurs a intégrer la barre dans des machines portables ou dans des claviers  au maximum et toucher des royalties sur les ventes. Proposer aux développeurs des solutions rapides et efficaces pour porter la détection dans leurs applications et proposer ainsi une interface viable et  universelle. Qui n’aimerait pas pouvoir régler le volume du son de son PC du bout des doigts en tournant un gros bouton virtuel ? Qui ne voudrais pas pouvoir dessiner très finement sur son écran, sans le toucher, avec un stylo quelconque ? Leap Motion avait tout pour fonctionner si les développeurs s’en emparaient. Le peu d’exposition du market spécialisé a tué le produit.

Leap Motion avec un casque Oculus Rift

North Star ne veut pas faire la même erreur. Il y a quelques mois Leap Motion affichait un premier jet de casque de réalité virtuelle avec un projet en cours de développement. Aujourd’hui c’est ce projet de réalité augmentée qui voit le jour. Pour Leap Motion il s’agit ici de proposer une plateforme technologique ouverte à tout le monde. North Star est un projet Open Source, aussi bien matériel que logiciel. Vous pourrez très bien construire ce type de casque dans le futur au fond de votre garage en achetant des composants épars. La marque indique même un prix de revient d’une centaine de dollars à partir du moment ou vous atteignez des quantités d’achat suffisantes. Construire un casque vous coûtera sans doute beaucoup plus cher mais lancer la production de 10 000 North Star baissera évidemment la note.

Un détail dont ne parle pas Leap Motion est je suppose le montant des royalties a payer pour utiliser leur technologie. Si le projet est Open Source il n’autorisera probablement pas pour autant l’usage du système de détection de Leap sans lui payer sa dîme. C’est probablement ce qu’aurait dû faire la marque pour la sortie de leur premier produit. Laisser tout le monde s’emparer de sa technologie mais passer ensuite le panier auprès des constructeurs pour ramasser le pactole. A coup de quelques dollars par produit vendu il y aurait surement eu des retombées intéressantes. 

Verra t-on un jour un casque North Star sur le marché ? Je suppose que oui car la technologie est bluffante et si le prix de fabrication du produit atteint vraiment les 100$ il n’ y a pas de raison pour que des fabricants ne s’en emparent pas. Avec leur marge, la distribution du produit et les diverses taxes habituelles on peut espérer ce type de casque sous la barre des 200$ dans un premier temps et puis rapidement aux alentour des 150-170$.