• Accueil
  • Tech
  • Ecrans tactiles à contacts multiples ou "multitouch" - mis à jour le 26/09/2009

Tech

Ecrans tactiles à contacts multiples ou "multitouch" - mis à jour le 26/09/2009

Depuis quelques temps on parle beaucoup d'interfaces de commande tactiles à contacts multiples - multitouch pour les intimes. Après leur intégration dans quelques appareils emblématiques (Lemur, iPhone...), celles-ci sont attendues de pied ferme par les musiciens mais risquent bien d'être intégrées dans tous les ordinateurs à bref délai.

 

Surfaces de commande tactiles

 

Tout un chacun connaît le principe de l'écran tactile, employé dans des bornes publiques d'information ou sur les comptoirs des cafés et restaurants. Le contact d'un doigt avec la surface de l'écran remplace l'ubiquitaire souris. Les écrans tactiles à contact unique n'ont pas donné lieu à une débauche d'adaptations logicielles pour la création musicale. Citons tout de même Usine de Sensomusic, dans sa version "touch screen", un "hôte" pour plug-ins VST sous Windows très développé. Quant à MonoTouchLive, il se propose de faire le lien entre un écran tactile et le séquenceur Live d'Ableton.

 

Les tablettes graphiques sont des outils bien connus également : la position (mais aussi la pression et éventuellement l'inclinaison) d'un stylet sur une surface bidimensionnelle permet un pilotage plus fin qu'avec la souris et facilite grandement le travail des artistes visuels avec les logiciels de dessin ou de retouche d'images. Cependant, hormis les applications capables de communiquer directement avec ces tablettes, la plupart des logiciels ne peuvent que faiblement tirer parti de ces outils en ne permettant que le remplacement de la souris sans en étendre les possibilités. L'utilisateur peut déplacer un pointeur et cliquer. Point barre. Les tablettes ont tout de même trouvé leur place chez quelques musiciens, offrant une résolution supérieure à la plupart des surfaces de commande MIDI, et cela grâce à quelques développements logiciels spécifiques. On trouve par exemple un objet externe pour Max permettant de recevoir directement les données d'une tablette Wacom ou un logiciel convertissant celles-ci en messages MIDI. Les développements les plus récents des tablettes graphiques ont vu l'intégration d'un écran LCD directement dans la surface tactile, ce qui rend le lien entre geste et résultat plus intime, au prix d'un coût substantiellement plus élevé il est vrai. L'usage obligé d'un stylet est un inconvénient par rapport à un écran tactile mais c'est avec le bénéfice d'une précision de localisation plus grand, mais aussi de commandes annexes telles que la pression et l'inclinaison du stylet.

 

Dans le cas de l'écran tactile comme dans celui de lablette graphique, le principe  est intéressant, mais pourquoi se limiter à la détection d'un seul contact à la fois quand on possède dix doigts ? Notez que certains modèles de tablettes Wacom (Intuos 2 notamment, mais pas les générations suivantes), autorisent l'usage simultané de deux stylets avec une seule table.

 

Précurseurs

 

Pour le grand public, la découverte de ces écrans à multiples contacts simultanés -  ou multitouch en anglais - s'est faite via le film Minority Report (du réalisateur Steven Spielberg, 2002) , dans lequel on voit la manipulation de données informatiques via le déplacement des deux mains de l'utilisateur directement sur l'écran et non plus via un clavier et/ou une souris. A la différence des écrans tactiles basiques qu'on rencontre souvent sur le comptoir les cafés ou restaurant avec lesquels un doigt et un seul remplace la souris comme pointeur, les écrans tactiles dont il est question ici autorisent et tirent parti de plusieurs contacts simultanés (dans le film, on voit le déplacement, l'agrandissement et la rotation d'images).

 

Bien que cette technologie (tout comme d'autres dans ce film) apparaisse comme futuriste, elle existait déjà  dans notre monde lorsque le long métrage fut tourné. Dans cet article, Bill Buxton raconte l'histoire des interfaces à contacts multiples depuis leurs origines jusqu'à ce jour et l'on constate que cette histoire est déjà longue.

 

Pour les initiés, c'est l'interface créée par Jeff Han en 2005 qui a constitué le déclic quant à la possibilité de réaliser ce type de dispositif pour un coût réduit via le principe optique de réflexion totale frustrée (FTIR).

 

En parallèle, quelques chanceux ont pu découvrir une interface telle que le iGesture Pad de Fingerworks développée un peu confidentiellement à la toute fin des années 1990. Cette surface tactile, sans écran se singularise par la reconnaissance de gestes particuliers (rotation ou défilement d'un doigt pendant qu'un autre est en contact immobile avec la surface par exemple). Curieusement, malgré des produits si intéressants, Fingerworks a cessé ses activités. Faillite? Technologie inaboutie? Eh non, en réalité le produit était tellement bon qu'il a attiré les regards, et particulièrement ceux d'une société appelée Apple. Fingerworks a donc été rachetée par la firme de Cupertino et la technologie a été intégrée dans les trackpads des portables MacBook Pro lorsque ceux-ci ont remplacé les modèles de la série PowerBook. Depuis, la technologie a évolué pour tenir compte des contacts et des gestes impliquant non plus seulement deux mais trois ou quatre doigts (modèles MacBook "Air" et "Unibody"). Il existe d'ailleurs un objet complémentaire pour MaxMSP, appelé fingerpinger et permettant de tirer directement parti des données envoyées par le trackpad des modèles MacBook récents.

 

Lémurs, pommes et tables

 

Directement dans leur domaine, les musiciens ont pu découvrir en 2005 l'interface Lemur de la société JazzMutant. Particulièrement intéressante, celle-ci permet l'élaboration d'une interface graphique personnalisée et dynamique sur un écran à contacts multiples et l'envoi des données de commande selon le protocole OSC.  Les deux gros défauts de la Lemur : son prix élevé (autour de 2.000 euros) et l'obligation d'employer une interface spécifique pour la création des commandes, alors que des outils plus avancés et déjà connus des musiciens existent (Max, Reaktor, Bidule, Processing, etc). Bien sûr ces logiciels ne permettent pas a priori un pilotage direct des éléments d'interface graphique avec des contacts multiples.

 

Il est vrai que la compatibilité directe avec l'interface graphique des logiciels de création musicale habituels apparaît comme une voie beaucoup plus séduisante pour la plupart des utilisateurs. Mais cela suppose deux choses :

  • la réception et la compréhension par le logiciel des messages envoyés par l'interface ;
  • l'utilisation de ces données pour accélérer l'accès aux éléments de l'interface graphique (remplacement de la souris) mais aussi le développement de nouvelles possibilités (reconnaissance de contacts multiples).

 

A côté d'une interface spécialisée comme la Lemur, il existe des produits plus généralistes. Ainsi,  l'année 2007 a vu le lancement de la Surface Microsoft. Sous la forme d'une table basse intégrant un ordinateur et un écran tactile, de grande dimension et à multiples contacts, elle est destinée à être employée par plusieurs personnes à la fois, surtout dans un contexte commercial (vente, démonstrations,etc). Elle constitue cependant le premier signe tangible de l'intérêt d'acteurs industriels majeurs pour ce type de technologie.

 

Mais c'est une fois encore la firme à la pomme qu'on retrouve pour une autre médiatisation des interfaces tactiles à contacts multiples via le téléphone portable iPhone (et son petit frère, le lecteur multimédia iPod Touch) - également en 2007. Bien que son écran soit de très petite taille, il a donné lieu au développement de très nombreuses applications, dont quelques-unes à vocation musicale. Par exemple, Bloom, un logiciel de création sonore générative élaboré avec le spécialiste en la matière, j'ai nommé Brian Eno, ou bien mrmr, permettant simplement l'envoi à un ordinateur et à un logiciel compatible avec le protocole de communication OSC (Open Sound Control) des positions des contacts des doigts sur des curseurs virtuels ou des zones de commande.

 

Reactable et NUI Group

 

D'un autre côté, le développement des interfaces tactiles à contacts multiples se développe. Pas mal de musiciens ont été impressionnés par la Reactable développée par une équipe de l'université Pompeu Fabra de Barcelone, qui leur a permis d'entrevoir le potentiel de la reconnaissance de formes de référence normalisées (fiducials) pour le pilotage d'un environnement de création sonore "temps réel". D'autre part, pour la Reactable, un protocole spécifique de communication a été développé sous le nom de TUIO. C'est une couche additionnelle pour le protocole OSC qui encode la détection des débuts et fins de contacts ainsi que leurs positions.

 

L'utilisation d'un écran tactile à contacts multiples avec un logiciel de création sonore Max est montrée dans ce film. Elle est rendue possible par le développement du kit logiciel MMF par Mathieu Chamagne, qui a pu expérimenter son travail sur divers écrans tactiles. MMF est une série d'abstractions et d'objets en Javascript construit autour de la réception de messages au protocole TUIO.

 

Il est possible d'avoir un écran tactile à contacts multiples pour un prix raisonnable (quelques centaines d'euros) pour peu qu'on accepte de mettre la main à la pâte, d'y consacrer du temps, et qu'on soit prêt à essuyer les plâtres d'une démarche encore un peu expérimentale. C'est tout l'objet du NUI Group, une communauté développée autour des "Nouvelles Interfaces Utilisateur". Celui-ci possède des forums très actifs et a développé un livre blanc sur la construction d'interfaces à contacts multiples basées sur le couple caméra et écran LCD ou caméra et projecteur vidéo. Un autre article plus spécifique sur ce sujet sera publié ultérieurement sur ce site. Diverses firmes proposent déjà des solutions commerciales basées sur ces idées mais surtout dédiées à un usage partagé, donc de grande taille.

 

Dans le même ordre d'idées, citons les travaux réalisés par le Conservatoire de musique de Genève, lesquels ont mené à la création de la firme Future Instruments. La solution proposée ici se limite à la détection de contacts multiple, sans intégration d'un écran de visualisation. L'avantage est de pouvoir employer n'importe quelle surface plane (et sans doute ce système coûte moins cher qu'une solution incluant un écran, mais cela reste à prouver). Cependant, elle implique également le positionnement d'une caméra au-dessus de cette surface. Des kits basés sur cette technique devraient être commercialisés prochainement.

 

Le futur commence-t-il demain ou déjà aujourd'hui?

 

Ce qui se passe au NUI Group et ailleurs n'est sans doute que l'avant-garde de l'évolution des interfaces de commande de tous les ordinateurs dans les années à venir. Quelques fabricants bien connus ont tâté le terrain de manière limitée avec des ordinateurs capables de détecter un ou plusieurs contacts simultanément (modèles Studio One avec option multitouch et Latitude XT2 de Dell ou gamme TouchSmart de HP). Seules quelques applications spécifiques sont compatibles avec les contacts multiples et le potentiel de ces machines ne sera probablement totalement mis à profit qu'avec l'installation du proche Windows 7 (voir plus loin).

 

D'autre part, plusieurs firmes proposent des kits pour ajouter une détection à contacts multiples sur un écran existant. Bien que cela résolve la question du matériel, reste le problème du logiciel. En effet, ces solutions ne s'adressent pas directement à l'utilisateur final mais proposent généralement un kit de développement pour programmeurs professionnels.

 

Cependant, il semble acquis que les écrans tactiles à contacts multiples soient appelés à se généraliser rapidement. Plusieurs éléments en attestent.

 

Chez Microsoft la version du système d'exploitation destinée à remplacer le malheureux Vista est déjà sur les rails sous le nom de Windows 7 (lancement prévu fin octobre 2009). Parmi ses points forts : la prise en compte intégrée des données générées par un écran tactile à contacts multiples via la couche logicielle Touch Pack. A ce sujet, voir cette vidéo. Une telle prise en compte, normalisée via un système d'exploitation à très grande diffusion devrait aider les développeurs à franchir le cap et à intégrer des possibilités nouvelles dans leurs logiciels. Il semble évident que si une telle possibilité est incluse dans le système Windows, Apple ne pourra être en reste, la "convivialité" de l'interface utilisateur ayant toujours été un des principaux arguments à l'Infinite Loop. Apple développant ses propres machines, il semble acquis qu'une nouvelle génération de d'ordinateurs adaptés verra le jour très prochainement (peut-être dès cet automne). Quelle gamme en bénéficiera d'abord : iMac? MacBook Pro ? A moins qu'un premier "Tablet Mac" ne voie le jour, éventuellement sous la forme d'un iPod Touch à écran 10 pouces ? Quoique cette rumeur soit notamment relayée par le très sérieux Financial Times, il ne s'agit toujours que d'une rumeur. Ce qui est sûr c'est que de multiples signes attestent en effet de cette tendance au "multitouch" sur un écran plus large que celui d'un téléphone, notamment le dépôt de brevets, tels que ceux relevés sur ce site.

 

Il est vrai qu'intégrer un nouveau type d'interface de commande plus de 25 ans après le lancement du premier ordinateur personnel piloté par souris (Apple Lisa, 1983) serait de bon aloi et un moyen de relancer les ventes d'ordinateurs en ces temps de crise économique où elles font pâle figure. Et tant mieux si c'est au bénéfice des musiciens aussi.

 

Roald Baudoux

 

Mise à jour du 26 septembre 2009 :

 

Wacom vient de sortir (24 septembre 2009) une nouvelle série de tablettes graphiques Bamboo autorisant l'usage de doigts à la place du stylet ou en complément de celui-ci. Elle repose sur la reconnaissance de gestes de manière très semblable aux trackpads des portables Apple et au défunt iGesture Pad. Pour l'instant, seuls les gestes incluant jusqu'à deux doigts sont possibles, ce qui limite un peu l'intérêt de la chose.

 

Le plus intéressant est le prix de vente de ces tablettes : le modèle "Touch" simple (suivi des doigts uniquement) coûte moins de 70 € alors que le modèle "Pen & Touch" (suivi des doigts ou du stylet au choix) est vendu à 89 €. Deux modèles un peu plus chers (Bamboo Fun Pen & Touch en tailles M et S) sont également proposés. Des pilotes pour Windows Vista, XP ainsi que MacOS X10.4 et 10.5 sont fournis. La technologie employée est compatible avec les fonctionnalités de détection multipoint de Windows 7 même si aucun pilote à destination de ce système d'exploitation n'est disponible actuellement. Par ailleurs, un modèle avec suivi de stylet seulement reste au catalogue, avec un prix d'environ 60 €.

 

Voilà qui met la barre un peu plus haut pour ceux qui suivront (Apple?). Et si Wacom veut maintenir son haut de gamme Intuos au top, on peut rêver à ce que cette prochaine génération apportera. Le futur est plein de doigts !