Microsoft annonce Copilot+, une IA intimement mêlée à Windows

Copilot+ est la nouvelle IA de Microsoft, un outil totalement intégré à l’interface du système d’exploitation.

Copilot+ est un argument important pour le futur de Microsoft et en particulier du succès de Windows 11. Cette IA intégrée au système fait appel à Chat-GPT 4o de OpenAI mais fait également la part belle à des outils purement maison.

Copilot+ est le nouvel argument de Microsoft pour faire basculer les utilisateurs vers Windows 11. Poussée dans les futures mises à jour du système, cette « suite » logicielle offrira une IA totalement intégrée au reste de l’interface de l machine. Proposant des fonctions très visibles et d’autres éléments plus discrets pour des usages plus experts.

L’intégration de Chat-GPT 4o est un premier élément de l’équation Copilot+. Cette IA vous permettra de dialoguer de multiples manières avec votre PC. Elle saura générer du texte, répondre oralement à vos questions et même comprendre ce que vous lui montrez à l’écran. Microsoft annonce une capacité de traitement en temps réel des données échangées… à condition de posséder un ordinateur équipé d’une puce capable de prendre en charge cette IA. Un ensemble de machines assez larges dont le processeurs embarquent un NPU assez puissant pour se voir labellisées « PC Copilot+ ».

Cette intégration est mise en avant comme un moyen d’utiliser sa machine de multiples  façons. Un exemple simple, dans un jeu, une demande orale à Copilot+ permet de trouver des ressources dans son inventaire ou une manière de combiner celles-ci pour en obtenir une autre. Plus besoin de retenir des « recettes » fastidieuses, la machine peut vous aider dans ces tâches. L’idée étant de pouvoir, sur un jeu compatible, vous aider a rester concentré dans votre histoire plutôt que de devoir en sortir pour lire un guide.

Copilot+ assurera la traduction dans des dizaines de langues

Un des point fort de cette présentation est lié à la traduction automatique en local. Le NPU – la partie spécialisée des processeurs dédiée aux calculs particuliers des IA – permettra de piloter plus de quarante langues différentes même en étant déconnecté de tout réseau. Microsoft assure que le dispositif restera rapide et fluide tout  en conservant une bonne maitrise des langues prises en charge. L’idée étant de pouvoir se servir de sa machine à l’oral ou à l’écrit pour tout type de tâches : vidéo conférence, rédaction de textes mais aussi traduction en temps réel de vidéos enregistrées ou génération de transcriptions dans la langue de votre choix. 

L’idée est de pouvoir profiter par exemple de sous titrages automatiques en Français d’une vidéo en Allemand même hors ligne. De profiter d’une voix de synthèse compréhensible pour les personnes malvoyantes et autres tours de passe passe linguistiques.

Cocreator et Photos, des applications graphique gavées à l’IA

Windows 11 proposera un outil baptisé Super Resolution dans Photos pour améliorer significativement la qualité des images. On retrouvera un ensemble de fonctions et de filtres assez classiques du monde smartphone pour gommer les principaux défauts des images numériques : bruit, contraste et autres fonctions de nettoyage ou d’interpolation seront magnifiés à la sauce IA. 

Une fonction Restyle permettra également de retoucher les images en utilisant un prompt. Si vous voulez une photo de vacances qui ressemble à une aquarelle ou un traitement particulier d’une photo de famille, l’outil pourra vous le générer directement depuis votre machine. Photos apportera également une fonction de génération descriptive à partir des images soumises. Ce qui permettra probablement de proposer assez de données pour pouvoir retrouver ses photos facilement. A la manière des mots clés des archivistes qui notent des négatifs pour les classer, ce moteur décrira vos images pour pouvoir y naviguer.

Je préfère la tortue de gauche.

Un outil de création d’images sera également disponible. Cocreator vous offrira une interface exploitable dans toutes les applications compatibles pour « imaginer » des éléments graphiques à partir d’une description textuelle. Il sera également possible de faire un schéma simple qui sera repris par la machine pour générer des images. Il faudra évidemment compter sur un NPU performant pour  que cette génération soit fluide. Microsoft associe donc ce type de fonctionnalité secondaire à la possession d’un ordinateur certifié « Copilot+ ». Une certification qui devrait recouper les prérequis d’autres normes comme l’AI PC d’Intel.

Total Recall

Recall est le nom d’une autre fonctionnalité IA aussi intéressante qu’inquiétante. Pour juger de l’inquiétude a avoir sur une fonction de votre système il suffit de lire combien la société qui la promeut prend des gants pour vous la présenter. Et pour le cas de Recall, Microsoft a été fort diplomate.

L’idée de Recall est de vous fournir un outil fonctionnant en sous marin dans votre système qui notera tout ce que vous faites avec votre machine. Ce bout d’IA organisera et classera la totalité de votre activité. L’historique de votre navigation, vos scans de documents, vos impressions, vos conférences en ligne, vos documents et évidemment vos passionnantes conversations avec votre IA. Cet ensemble de données permettra de relire votre passé et donc de retrouver l’élément dont vous vous souvenez vaguement mais qu’il vous faut impérativement. Une bribe de conversation, un site web dont on vous a parlé mais que vous n’avez pas mis en favori, une expression technique ou ce fameux scan transformé en PDF que vous avez annoté et commenté il y a une semaine.

Evidemment, la totalité de votre historique d’usage de votre PC généré par Recall et un bien précieux. Pour plein de raisons, personne n’a envie de voir ce minutage de votre activité être aspiré par un tiers. Imaginez ce qu’un internaute indélicat pourrait en faire. Ce qu’une société concurrente pourrait y lire. Ce que votre employeur pourrait déterminer de votre temps en y ayant accès. Ce que votre conjoint ou autre pourrait y trouver. Cet ensemble de données est sans doute devenue ce qui se rapproche le plus d’un journal intime pour beaucoup d’utilisateurs aujourd’hui. sauf que si l’écriture de ce type de journal a toujours été une activité marginale, quasiment tout le monde passe un peu de temps sur un PC aujourd’hui.

Face au risque de fuite de données personnelles, Microsoft annonce donc un traitement des données purement hors ligne. Recall fonctionnera uniquement sur la machine qui héberge Windows sans aucun traitement dans les nuages. Cette étanchéité martelée par Microsoft est  évidemment le signe d’un vrai problème de confidentialité. Microsoft est conscient qu’en cas de brèche, la somme des éléments enregistrés qui disparaitraient dans la nature serait forcément problématique pour l’utilisateur.

Loki, dans la série éponyme, se retrouve confronté à son propre Recall

Car la force de Recall tient surtout en la capacité que cette fonction offre à l’utilisateur de remonter dans ses souvenirs grâce à l’IA. En analysant l’ensemble des mouvements effectués sur sa machine, le moteur offrira la possibilité de retrouver rapidement aussi bien une photo, un scan de document, une conférence, un texte ou une facture. Cette facilité mise à portée de main d’un tiers serait évidemment problématique. Microsoft annonce donc une exploitation locale avec Copilot+ pour éviter la peur d’une exploitation « anonyme » de votre usage d’un PC par l’éditeur lui même. Et on peut supposer également qu’un chiffrement assez lourd sera posé comme une chappe de plomb sur les données générées par Recall pour éviter tout usage abusif.

Ce qui amène à la question logique qui suit cette étape. Quid d’un usage législatif de Recall ? Imaginons un pays où si on refuse de donner son mot de passe de smartphone on peut avoir une amende ou, pire, une peine de prison. Que se passera t-il sur le PC Copilot+ d’une personne suspectée d’une activité jugée illégale ? Si on lui demande ses accès Recall par exemple. L’utilisateur offrira alors une voie royale vers l’ensemble de ses activités avec son PC. Si vous avez déjà pris l’avion ces dernières années vers les US vous aurez remarqué que certains douaniers n’hésitent pas a vous demander l’accès à votre machine. Et votre employeur qui vous fournit  votre PC ? Qui se pose la question de son droit de regard sur votre activité ? Demandera t-il la justification de cette discussion avec un ami en milieu de journée ? De cette session de surf pour trouver une location de vacances en pleine après midi ?

Recall est un outil à double tranchant, tenir compte de votre activité est peut être un outil puissant mais il a également des conséquences assez lourdes sur votre vie privée… Même dans un usage purement local.

Avec Copilot, Microsoft s’offre une touche de publicité


Soutenez Minimachines avec un don mensuel : C'est la solution la plus souple et la plus intéressante pour moi. Vous pouvez participer via un abonnement mensuel en cliquant sur un lien ci dessous.
2,5€ par mois 5€ par mois 10€ par mois Le montant de votre choix

Gérez votre abonnement

13 commentaires sur ce sujet.
  • 21 mai 2024 - 10 h 27 min

    L’annonce complémentaire et intéressante de la conf. Microsoft : PRISM la couche d’émulation x86/x64 pour ARM qui serait enfin au niveau (à minima) de Apple Rosetta2

    On peut espérer que cela va favoriser enfin la transition vers l’architecture ARM !

    Répondre
  • 21 mai 2024 - 10 h 42 min

    Il est vraiment temps de passer sous Linux !

    Répondre
  • 21 mai 2024 - 11 h 13 min

    Ce qui n’est pas dit dans cet article, c’est que ce sont des PCs sous ARM uniquement !?
    Une question qui m’interpelle : comment cela va t il se passer pour les PCs de bureau ? Pourront-ils avoir accès aux mêmes fonctionnalités que les Copilot+PC ?

    Répondre
  • 21 mai 2024 - 12 h 08 min

    Plus qu’a savoir comment désactiver et désinstaller tout cela proprement lorsque cela sera déployé. Crosoft ferait bien mieux de nettoyer son OS afin de le rendre plus performant et sécurisé, avant d’ajouter ses saletés : de la pub et son IAlacon.

    Répondre
  • 21 mai 2024 - 12 h 13 min

    « Recall » en entreprise est juste terrifiant à tous points de vue… (cyber-sécurité (va t’il stocker tout ce qui est tapé, donc aussi des passwords), quid de données clients confidentielles, quid de l’exactitude du contenu au fil du temps et donc des recherches ultérieures (comment différencier une mauvaise saisie de la bonne saisie), quid d’une potentielle comparaison par les RH de l’activité entre employés (même si çà reste « local », nul doute qu’il sera facile d’avoir un outil tier installé par les services IT et permettant de remonter / collecter / interroger ces données), etc.).

    Sans compter les performances – on a déjà des laptop en entreprise de plus en plus puissants au fil des années à la base, et pourtant l’expérience utilisateur ne s’améliore pas le moins du monde, la faute aux innombrables systèmes (soit disant de sécurité) installé par les services IT (analyses en temps réel des fichiers notamment, via plusieurs outils parfois redondants et où il est souvent impossible de mettre des exclusions (pour ne pas analyser un cache applicatif de fichiers compilés, un cache interne d’un outil de synchro, etc.)).

    Répondre
  • 21 mai 2024 - 12 h 27 min

    @SGSPK: « Il faudra évidemment compter sur un NPU performant pour que cette génération soit fluide. Microsoft associe donc ce type de fonctionnalité secondaire à la possession d’un ordinateur certifié « Copilot+ ». Une certification qui devrait recouper les prérequis d’autres normes comme l’AI PC d’Intel. »

    La seule présence d’un NPU suffisamment costaud est nécessaire.

    Répondre
  • 21 mai 2024 - 13 h 46 min

    @Pierre Lecourt: Je n avais pas vu cette partie dans le paragraphe sur la retouche photo.
    Je l espère, la communication actuelle de Microsoft semble indiquer que cela est réservé à des PC certifiés qui sont tous des PC ARM. Peut être est ce une manière de mettre en avant ces PCs chers qui (aujourd hui) n intéressent pas les particuliers / entreprises.

    Répondre
  • 21 mai 2024 - 13 h 55 min

    @Sgspk: Je crois que c’est clairement l’objectif. Laisser une place au soleil pour ARM.

    Si demain on annonce les mêmes machines des mêmes marques sous x86 avec les mêmes fonctions… Ce sera plus dur.

    Répondre
  • 21 mai 2024 - 17 h 17 min

    Le partenariat avec OpenAI m’interroge : OpenAI va fournir son application desktop qui ressemble furieusement à celle de Copilot+… Le prix de l’abonnement sera certainement le même. Du coup… ben… Qu’est-ce que je vais choisir… Est-ce qu’on pourra remplacer Copilot+ par OpenAI+ (où même soyons fous, Gemini+ qui est devenu bien sympa avec son accès à Googledrive+Gmail et les 2TO de stockage)

    J’ai été voir les PC des partenaires, je suis agréablement surpris par les prix que j’ai vu pour le moment chez HP et DELL. Mais les petites notes de bas de page font sourire quant aux comparaisons de performances PC vs MAC (« Geekbench V6 testé sur Linux »).

    Hâte de voir les futures propositions d’Intel : leurs nouveaux GPU vont envoyer bien plus de TOPS que le pauvre NPU intégré !

    Répondre
  • 21 mai 2024 - 17 h 30 min

    Je trouvais déjà les machines actuelles assez peu discretes, je pense que je vais passer mon tour avec Recall fonctionnant en sous-marin.

    On n’est vraiment plus très loin de 1984

    Ca me fait penser aux news que l’on a pu lire concernant les élèves chinois qui sont surveillés et qui doivent toujours etre en activité
    https://www.francetvinfo.fr/societe/education/numerique-a-l-ecole/chine-des-stylos-connectes-distribues-en-classe-pour-espionner-les-eleves_5305291.html

    Sauf que nous, on va faire ça volontairement et en redemander

    Répondre
  • 21 mai 2024 - 21 h 54 min

    L’IA avec ces utilisations completement ubuesques entraine une enshitification de masse de la plupart des produits tech. On est sur du crypto puissance 100. Plus que jamais Linux s’impose.

    Répondre
  • 22 mai 2024 - 9 h 28 min

    @Biloute699:
    Le développement de l’IA coute énormément d’argent à Microsoft. Microsoft mise énormément et il faut des souci.
    Or il y a énormément de fan inconditionnel de Microsoft et Microsoft en ait bien conscient. Donc Microsoft a bien raison de proposer de la pub sans perdre d’utilisateur. Un peu le même principe que Netflix avec plus de fan proportionnellement qui sont prêt à l’accépter

    Répondre
  • 24 mai 2024 - 14 h 03 min

    Si on arrive à avoir une IA locale (et que cela puisse être vérifié), alors cela ouvre la voie à une simplification dans plein d’usages des PC ; bien sûr, ça ne fera pas (encore) le café.

    Je sens le marché juteaux des cartes add-on pour les PC dépourvus de NPU ou pas assez puissants.
    (les cartes graphiques ne sont pas toujours la solution)

    On verra bien ce que ça va donner, le sujet est intéressant.

    Répondre
  • LAISSER UN COMMENTAIRE

    *

    *