Microsoft annonce Copilot+, une IA intimement mêlée à Windows

Copilot+ est un argument important pour le futur de Microsoft et en particulier du succès de Windows 11. Cette IA intégrée au système fait appel à Chat-GPT 4o de OpenAI mais fait également la part belle à des outils purement maison.

Copilot+ est le nouvel argument de Microsoft pour faire basculer les utilisateurs vers Windows 11. Poussée dans les futures mises à jour du système, cette « suite » logicielle offrira une IA totalement intégrée au reste de l’interface de l machine. Proposant des fonctions très visibles et d’autres éléments plus discrets pour des usages plus experts.

L’intégration de Chat-GPT 4o est un premier élément de l’équation Copilot+. Cette IA vous permettra de dialoguer de multiples manières avec votre PC. Elle saura générer du texte, répondre oralement à vos questions et même comprendre ce que vous lui montrez à l’écran. Microsoft annonce une capacité de traitement en temps réel des données échangées… à condition de posséder un ordinateur équipé d’une puce capable de prendre en charge cette IA. Un ensemble de machines assez larges dont le processeurs embarquent un NPU assez puissant pour se voir labellisées « PC Copilot+ ».

Cette intégration est mise en avant comme un moyen d’utiliser sa machine de multiples  façons. Un exemple simple, dans un jeu, une demande orale à Copilot+ permet de trouver des ressources dans son inventaire ou une manière de combiner celles-ci pour en obtenir une autre. Plus besoin de retenir des « recettes » fastidieuses, la machine peut vous aider dans ces tâches. L’idée étant de pouvoir, sur un jeu compatible, vous aider a rester concentré dans votre histoire plutôt que de devoir en sortir pour lire un guide.

Copilot+ assurera la traduction dans des dizaines de langues

Un des point fort de cette présentation est lié à la traduction automatique en local. Le NPU – la partie spécialisée des processeurs dédiée aux calculs particuliers des IA – permettra de piloter plus de quarante langues différentes même en étant déconnecté de tout réseau. Microsoft assure que le dispositif restera rapide et fluide tout  en conservant une bonne maitrise des langues prises en charge. L’idée étant de pouvoir se servir de sa machine à l’oral ou à l’écrit pour tout type de tâches : vidéo conférence, rédaction de textes mais aussi traduction en temps réel de vidéos enregistrées ou génération de transcriptions dans la langue de votre choix. 

L’idée est de pouvoir profiter par exemple de sous titrages automatiques en Français d’une vidéo en Allemand même hors ligne. De profiter d’une voix de synthèse compréhensible pour les personnes malvoyantes et autres tours de passe passe linguistiques.

Cocreator et Photos, des applications graphique gavées à l’IA

Windows 11 proposera un outil baptisé Super Resolution dans Photos pour améliorer significativement la qualité des images. On retrouvera un ensemble de fonctions et de filtres assez classiques du monde smartphone pour gommer les principaux défauts des images numériques : bruit, contraste et autres fonctions de nettoyage ou d’interpolation seront magnifiés à la sauce IA. 

Une fonction Restyle permettra également de retoucher les images en utilisant un prompt. Si vous voulez une photo de vacances qui ressemble à une aquarelle ou un traitement particulier d’une photo de famille, l’outil pourra vous le générer directement depuis votre machine. Photos apportera également une fonction de génération descriptive à partir des images soumises. Ce qui permettra probablement de proposer assez de données pour pouvoir retrouver ses photos facilement. A la manière des mots clés des archivistes qui notent des négatifs pour les classer, ce moteur décrira vos images pour pouvoir y naviguer.

Je préfère la tortue de gauche.

Un outil de création d’images sera également disponible. Cocreator vous offrira une interface exploitable dans toutes les applications compatibles pour « imaginer » des éléments graphiques à partir d’une description textuelle. Il sera également possible de faire un schéma simple qui sera repris par la machine pour générer des images. Il faudra évidemment compter sur un NPU performant pour  que cette génération soit fluide. Microsoft associe donc ce type de fonctionnalité secondaire à la possession d’un ordinateur certifié « Copilot+ ». Une certification qui devrait recouper les prérequis d’autres normes comme l’AI PC d’Intel.

Total Recall

Recall est le nom d’une autre fonctionnalité IA aussi intéressante qu’inquiétante. Pour juger de l’inquiétude a avoir sur une fonction de votre système il suffit de lire combien la société qui la promeut prend des gants pour vous la présenter. Et pour le cas de Recall, Microsoft a été fort diplomate.

L’idée de Recall est de vous fournir un outil fonctionnant en sous marin dans votre système qui notera tout ce que vous faites avec votre machine. Ce bout d’IA organisera et classera la totalité de votre activité. L’historique de votre navigation, vos scans de documents, vos impressions, vos conférences en ligne, vos documents et évidemment vos passionnantes conversations avec votre IA. Cet ensemble de données permettra de relire votre passé et donc de retrouver l’élément dont vous vous souvenez vaguement mais qu’il vous faut impérativement. Une bribe de conversation, un site web dont on vous a parlé mais que vous n’avez pas mis en favori, une expression technique ou ce fameux scan transformé en PDF que vous avez annoté et commenté il y a une semaine.

Evidemment, la totalité de votre historique d’usage de votre PC généré par Recall et un bien précieux. Pour plein de raisons, personne n’a envie de voir ce minutage de votre activité être aspiré par un tiers. Imaginez ce qu’un internaute indélicat pourrait en faire. Ce qu’une société concurrente pourrait y lire. Ce que votre employeur pourrait déterminer de votre temps en y ayant accès. Ce que votre conjoint ou autre pourrait y trouver. Cet ensemble de données est sans doute devenue ce qui se rapproche le plus d’un journal intime pour beaucoup d’utilisateurs aujourd’hui. sauf que si l’écriture de ce type de journal a toujours été une activité marginale, quasiment tout le monde passe un peu de temps sur un PC aujourd’hui.

Face au risque de fuite de données personnelles, Microsoft annonce donc un traitement des données purement hors ligne. Recall fonctionnera uniquement sur la machine qui héberge Windows sans aucun traitement dans les nuages. Cette étanchéité martelée par Microsoft est  évidemment le signe d’un vrai problème de confidentialité. Microsoft est conscient qu’en cas de brèche, la somme des éléments enregistrés qui disparaitraient dans la nature serait forcément problématique pour l’utilisateur.

Loki, dans la série éponyme, se retrouve confronté à son propre Recall

Car la force de Recall tient surtout en la capacité que cette fonction offre à l’utilisateur de remonter dans ses souvenirs grâce à l’IA. En analysant l’ensemble des mouvements effectués sur sa machine, le moteur offrira la possibilité de retrouver rapidement aussi bien une photo, un scan de document, une conférence, un texte ou une facture. Cette facilité mise à portée de main d’un tiers serait évidemment problématique. Microsoft annonce donc une exploitation locale avec Copilot+ pour éviter la peur d’une exploitation « anonyme » de votre usage d’un PC par l’éditeur lui même. Et on peut supposer également qu’un chiffrement assez lourd sera posé comme une chappe de plomb sur les données générées par Recall pour éviter tout usage abusif.

Ce qui amène à la question logique qui suit cette étape. Quid d’un usage législatif de Recall ? Imaginons un pays où si on refuse de donner son mot de passe de smartphone on peut avoir une amende ou, pire, une peine de prison. Que se passera t-il sur le PC Copilot+ d’une personne suspectée d’une activité jugée illégale ? Si on lui demande ses accès Recall par exemple. L’utilisateur offrira alors une voie royale vers l’ensemble de ses activités avec son PC. Si vous avez déjà pris l’avion ces dernières années vers les US vous aurez remarqué que certains douaniers n’hésitent pas a vous demander l’accès à votre machine. Et votre employeur qui vous fournit  votre PC ? Qui se pose la question de son droit de regard sur votre activité ? Demandera t-il la justification de cette discussion avec un ami en milieu de journée ? De cette session de surf pour trouver une location de vacances en pleine après midi ?

Recall est un outil à double tranchant, tenir compte de votre activité est peut être un outil puissant mais il a également des conséquences assez lourdes sur votre vie privée… Même dans un usage purement local.

Avec Copilot, Microsoft s’offre une touche de publicité