CrankGPT ou quand l’IA devient réellement musculaire

CrankGPT est un boîtier muni d’une poignée qu’il faut vigoureusement tourner pour générer l’énergie suffisante au  système embarqué pour pouvoir lui poser une question. Avec une technologie embarquée superévoluée et un LLM adapté, le dispositif permet une utilisation économique et écologique de l’IA.

Le dispositif est présenté sur un site dédié, très complet, et se base sur un principe assez simple. Quand il faut plusieurs tours de manivelle pour générer le courant nécessaire aux questions les plus basiques, on a tendance à se creuser un peu plus la tête que d’habitude. C’est un peu l’idée de CrankGPT qui pose comme principe une participation musculaire active de l’utilisateur pour pouvoir fonctionner. Déployable en mode autonome, adaptable en fonction des besoins avec une solution montée sur un vélo d’appartement ou adapté à la vie d’entreprise en multipliant ceux-ci, CrankGPT remet la manivelle et le muscle au goût du jour.

Vous l’aurez vite compris, le concept est une démonstration dont l’objectif est de mettre en avant la dépense énergétique des IA. Les quelques coups de manivelle donnés entre chaque question sur la vidéo ci-dessus sont bien en dessous de la réalité des besoins de ces monstres énergivores que sont les serveurs qui pilotent les IA. Et l’habitude prise par beaucoup de monde de poser des questions en pagaille à une IA, sans même rentrer dans le débat de la pertinence des réponses, est quelque chose de très coûteux en énergie.

Je me souviens de l’expérience menée il y a des années par une université d’art de Stockholm. Mettant en scène un des meilleurs cyclistes sur piste du monde. La vidéo ci-dessus montre que malgré un entraînement intensif, il est difficile pour un humain d’alimenter un simple grille-pain pendant le temps nécessaire à l’opération classique du petit-déjeuner. Les 700 watts de puissance constante qu’il faut déployer rattrapent assez vite les pauvres animaux que nous sommes. Et malgré des cuisses monstrueuses, le cycliste est bien totalement effondré après quelques minutes de pédalage avec les réglages nécessaires pour que la Dynamo génère la puissance adaptée.

CrankGPT n’existera donc jamais avec la puissance des LLM actuels, du moins tant qu’un engin comme le AMD Ryzen Halo ou le Nvidia NGX Spark demanderont respectivement 120 et 170 watts pour fonctionner. Outre le fait que développer cette puissance assez longtemps est difficile, il ne faudrait en réalité jamais arrêter de tourner la manivelle pour maintenir l’appareil en fonction.

Le but de ce site sur CrankGPT est donc juste de rappeler l’impact des serveurs d’IA en termes d’énergie. Un impact qui a du mal à être matérialisé car nous ne voyons souvent l’usage électrique uniquement comme un service en appuyant sur un bouton. On oublie très facilement les externalités négatives que ce service impose.

CrankGPT

Fabriquer votre propre CrankGPT est possible

Reste que l’objet CrankGPT existe, il est construit autour d’un Raspberry Pi 4 8 Go et associé avec une dynamo commerciale 20 watts. Un guide vous indique même la méthode pour en fabriquer un vous-même. La chose a comprendre, c’est que les LLM embarqués à bord sont vraiment minimalistes et qu’il faut un certain temps de travail musculaire avant de pouvoir obtenir une simple réponse. Entre 10 et 15 secondes de tours de manivelle soutenus pour réveiller la machine et charger le système. Et encore 20 secondes supplémentaires pour démarrer l’agent conversationnel. Cela donne une demi-minute de gros effort musculaire pour pouvoir commencer à poser votre question. La réponse se fera alors en quelques secondes… suivant le modèle. Pour maintenir le système en « vie » et poser d’autres questions, il faudra continuer a tourner la manivelle. Les moteurs IA utilisés sont évidemment tous très basiques : lfm2.5 350M, lfm2.5 1.2B et gemma3 1B. Les réponses apportées seront donc extremement limitées.