Encore un projet artistique autour d’un Raspberry Pi et d’une IA, Blind Camera n’utilise pas des mots clés pour générer des paysages imaginaires, il se concentre sur ce qu’il entend.
Avec une forme de vieux gramophone, Blind Camera est en réalité une oreille sur le monde qui capture les bruits environnants. Un objet qui écoute pour traduire à sa manière ce qu’il capture au travers d’une IA entrainée localement pour produire des images.
La capture
Il suffit de pointer Blind Camera vers un sujet sonore, de le laisser enregistrer en appuyant sur un bouton et la petite machine fera alors un travail d’interprétation pour générer un paysage visuel.
Le résultat
Le développeur de ce projet, Diego Trujillo Pisanty, a créé un réseau de neurones sur mesures pour la machine grâce à des paysages vidéos capturés autour de la ville de Mexico. Les images générées sont donc toutes issues de ces captures et correspondent un peu plus aux paysages locaux. Chaque image de la vidéo a été mis en correspondance du son correspondant pour que les deux aient un sens. En filmant des files de voitures, l’IA a ainsi appris à « reconnaitre » le son des moteurs et à l’interpréter. Même chose pour une foule, une discussion et autres circulations de métro.
Blind Camera embarque une carte Raspberry Pi 3B pour fonctionner et pourrait également se baser sur un Raspberry Pi 4. La seule contrainte étant de pouvoir piloter le moteur TensorFlow pour générer les images. Le petit écran sert surtout de contrôle pour voir si un son est suffisamment audible pour être capturé et montrer les étapes de génération de chaque cliché. Il peut également afficher les images. L’ensemble est protégé par un châssis imprimé en 3D.
Si ce projet vous intéresse, il est construit avec TensorFlow 2 et utiliser TFLite sur le Raspberry Pi. L’ensemble du code est construit en Python 3.
Source : trujillodiego.com
| 2,5€ par mois | 5€ par mois | 10€ par mois | Le montant de votre choix |
Ouahou ! Voilà un projet sympathique. Je n’en connais pas d’équivalent.