Un Raspberry Pi 4 embarqué pour lire les plaques d’immatriculation

Ce projet de particulier destiné à identifier puis à lire les plaques d’immatriculation grâce à une simple carte Raspberry Pi 4 est des plus impressionnants. surtout quand on sait les technologies utilisées aujourd’hui pour le même service par des sociétés spécialisées.

Si le but avoué de cette expérimentation de détection de plaques d’immatriculation n’est pas des plus clairs – car on se demande bien à quoi peut servir pour un particulier de les relever sur les voitures autour de lui – il est très impressionnant dans sa réalisation. Il va même jusqu’à poser des questions sur l’accessibilité de ces technologies aux particuliers dans le futur.

immatriculation

Le projet de Robert Lucian Chiriac tel qu’il est présenté le 22 Février dernier, consiste à installer une solution Raspberry Pi 4 dans sa voiture, montée sur le pare brise intérieur de l’habitacle, afin qu’il puisse filmer les véhicules situés devant lui. Sur chaque véhicule, le Raspberry Pi détecte les plaques, ce qui est déjà un challenge en soit. Car détecter un format “plaque d’immatriculation” dans une scène de rue avec des véhicules différents et du mouvement, cela n’est déjà pas très facile. 

Mais la carte va en plus séparer l’environnement de la plaque et lire le texte de la plaque pour l’identifier. Le tout permettra en plus de noter précisément le lieu de l’identification grâce à un système 4G et GPS. 

immatriculationimmatriculation

Pour parvenir  à ce tour de force, une carte Raspberry Pi 4 est connectée à une Pi Cam classique. Le tout est enfermé dans un châssis imprimé en 3D, lui même monté sur une rotule fixée au pare-brise. L’ensemble est monté de façon à ne pas gêner la vision du conducteur.

immatriculation

Une fois en place, il a fallu entraîner l’ensemble des programmes mis en oeuvre dans la détection, l’identification et la lecture des plaques. L’ensemble utilise un processus de 3 programmes principaux. La lecture des plaques est faite par YOLOv3 depuis des images envoyée à 30 images par seconde en 800 x 450 maximum. Cet algorithme de détection des objets crée ensuite les boites rouges autour des plaques détectées depuis les images capturées par la caméra. Chaque image est ensuite envoyée vers l’algorithme de détection de texte CRAFT. Une fois que chaque lettre est identifiée, l’ensemble est transmis à CRNN pour deviner le texte complet.

fonctionnement

Les plaques identifiées sont ensuite affichées sur une page Web et sauvegardées en fichier texte. Les coordonnées GPS sont également sauvegardées ainsi que l’heure de détection. Pour parvenir à ce résultat, Robert Lucian Chiriac utilise les capacités de calcul d’Amazon AWS. Le relais 4G sert à transferer des données optimisées vers le service.

Le résultat est tout bonnement impressionnant. La fluidité des calculs et la qualité de la prédiction sont très bons et le principe est tout à fait valide. Le processus est détaillé  étape par étape sur une page Medium

vidéo verbalisation

 

Pour quoi faire ? Finalement, ce n’est pas la question

Ce qui m’épate le plus dans cette histoire c’est de voir comment un particulier, certes très doué et compétent, arrive à ce résultat. La première fois que j’ai entendu parler de ce genre de technologie, il s’agissait de solutions embarquées sur des véhicules destinés à lire des plaques afin de dresser des procès  verbaux. Ces technologies coûtaient alors une véritable fortune et leur intégration tout autant. Le résultat se devait, pour des raisons légales évidentes, être le plus juste possible. 
Mais à quelques années de distance, un particulier arrive à bricoler un produit quasi équivalent “tout seul dans son garage” pour quelques dizaines d’euros… Cela me parait fou mais c’est la suite logique à laquelle la technologie nous a habitué depuis toujours. 

NEC promeut sa solution de reconnaissance faciale 

Je ne vois pas spécialement l’usage de cette solution, connaitre les plaques autour de mon véhicule ne me parait pas franchement utile. La question que je me pose est plus simple. Aujourd’hui, les systèmes les plus sophistiqués du marché permettent de faire de la reconnaissance faciale dans des banques de données énormes. Demain, les particuliers pourront peut être parvenir à des résultats similaires avec du matériel abordable. L’accès aux bases de données sera plus complexe mais avec les fuites quotidiennes de données, des millions de profils doivent déjà circuler en ligne.

Si demain une solution maison de ce type est possible et accessible, tout un chacun pourra braquer une caméra sur la rue et reconnaître les visages des passants. Transformer celle de sa boutique ou de sa société pour surveiller les clients comme le personnel. Plusieurs états cherchent en ce moment à généraliser l’usage de la reconnaissance faciale pour des raisons de sécurité. D’autres veulent au contraire les bannir des villes.

Les questions qui se posent vis à vis de ces technologies de surveillances sont nombreuses mais un des principaux problèmes à venir est celui soulevé depuis longtemps par la science fiction. Que faire et comment se protéger dans un monde où un particulier peut embarquer sur lui une solution mobile permettant de savoir qui est qui ? Quel est sa fortune ? Où il habite ? Quelles sont ses opinions ? Ses goûts ? Son mode de vie ? Ou même son métier…

Cette solution de surveillance technologique a un revers lourd, celui de pouvoir se transformer en surveillance généralisée. Entre de mauvaises mains, ce type de technologie pourrait conduire à des débordements facilement imaginables. Aujourd’hui, ce sont les policiers qui filment les manifestants pour identifier des visages. Demain, ce seront les manifestants qui identifieront précisément les policiers. Recouper des bases de données de clients de marques de luxe et mettre en place un scanner permettant d’en identifier au sein d’une foule parait être un fantasme en 2020. Qu’en sera t-il dans 5 ans ? Dans 10 ans ?

 

Soutenez Minimachines, partagez le !


Soutenez Minimachines.net !
32 commentaires sur ce sujet.
  • 25 mars 2020 - 21 h 05 min

    Dans le même genre, voilà ce que “voit” une Tesla : https://www.tesla.com/sites/default/files/images/careers/autopilot/network.mp4

    Je trouve çà finalement bien plus impressionant *dans l’absolu* niveau résultat (évidemment, Tesla a des équipes d’ingénieurs et des moyens versus un particulier tout seul, donc indépendamment de ce point), car il y a bien plus d’éléments à détecter, les véhicules de tous types, les panneaux, la route, les obstacles impromptus sur le sol, les piétons, les joggers, les animaux, … (et des objets nettement plus complexe qu’une plaque rectangulaire dont les variations de position sont bien plus limitées qu’une moto par ex.).

    Et je serais curieux de connaître la stack technique d’une Tesla … (processeur, redondance des équipements, …).

    Répondre
  • 25 mars 2020 - 23 h 43 min

    –Cette solution de surveillance technologique a un revers lourd, celui de pouvoir se transformer en surveillance généralisée. Entre de mauvaises mains ce type de technologie pourrait conduire a des débordements facilement imaginables —

    Le problème en fait n’est pas tant la technologie que ceux (nous) qui la laisse s’installer

    A chaque fois qu’une technologie en particulier dans le domaine de l’informatique, s’installe, il y a toujours des contres mesures possibles (pirates, scientifiques, robins des bois, etc.) et cet article le démontre en quelque sorte

    Répondre
  • 26 mars 2020 - 2 h 16 min

    il y a un cas où ca pourrait être intéressant, le cas de l’accident grave où le coupable prend la fuite, bien entendu il faudra couvrir 360°.
    Avec une caméra embarquée (dashcam pour les intimes) on peux faire la même chose mais on doit espérer que la carte soit lisible après l’accident et uploader la vidéo en temps réél me semble un peu trop optimiste aussi véloce soit les réseaux mobiles dont on dispose aujourd’hui(en oubliant pas que tout le territoire n’est pas couvert de la même façon…)

    Avec ce sytème, si le besoin de bande passante nécessaire pour le “traitement dans le cloud + écriture du résultat dans le cloud” n’est pas trop énorme et que les autorités peuvent accéder aux données du sinistré à partir de la plaque de la voiture accidentée, la “chasse au coupable” pourra commencer plus tôt sans même que le sinistré ai besoin de signaler le délit (encore faut il que son état après l’accident lui permette…) et dans tous les cas savoir quelles voitures était dans la zone d’accident au moment du fait ne peux que faire avancer l’enquête, et en extrapolant ca servirait aussi à ceux qui ne sont pas experts du remplissage de constat d’accident et se font entuber par le vrai responsable à cause de ca, le tout sans pour autant supprimer les enquêtes style “analyse des traces de freinage” (quitte à bien faire autant ne pas remplacer des emplois par des machines…) qui couplées aux résultats du système permettrait de valider les hypothèses des enquêteurs. Reste le problème de la qualité d’image, et j’ai bien peur que le résultat du traitement soit très aléatoire si la qualité d’image ne suit pas…, sur ce point la dashcam classique est plus fiable, mais en couplant les deux fonctions ca me parait “tout bénéf”, plus de justesse pour une meilleure jsutice ;)

    Répondre
  • 26 mars 2020 - 3 h 13 min

    Pour les futurs détecteurs de radars pour particulier, si le système est rapide, il pourra émettre une alerte quand on s’apprête à doubler un Radar mobile mobile.

    Enfin, c’est l’usage possible qui me vient à l’esprit

    Répondre
  • hle
    26 mars 2020 - 5 h 39 min

    J’ai peur que certains l’utilisent pour faire des plaques d’un véhicule similaire dans la même zone de localisation. Ceci pour pas payer d’amende. Ca a commencer par des plaque avec des numéro au hasard, mais comme les policier on finie par vérifier la cohérence entre le numéro de plaque et le type de véhicule. Ils ont donc commencé a chercher des numéro de plaque de véhicule similaire.

    Répondre
  • Bob
    26 mars 2020 - 7 h 37 min

    Le mieux étant tout de même de ne pas avoir de bagnole.

    Répondre
  • 26 mars 2020 - 7 h 40 min

    @eugene: En quoi l’article démontre-t-il qu’il y a une contre-mesure technique ? La contre-mesure ici est, me semble-t-il, purement législative. Je n’ai pas lu l’article de référence mais en France, il faut d’abord faire les déclarations à la CNIL et justifier du respect du RGPD. C’est assez lourd mais en cas de fuite de données, il y a atteinte à la vie privée. (Ce dernier point est à vérifier, je ne suis pas juriste. Mais je ne crois pas me tromper.)

    Répondre
  • 26 mars 2020 - 7 h 47 min

    @Kyrax: Ça fait un bien gros système juste pour éviter de blinder une dashcam ! Dans la mesure où les trajets avec accident sont bien moins fréquents que les trajets sans, je trouve le gâchis en ressource énorme et le risque de récupération des données aussi.

    Au passage, pour le cas que tu cites un stockage à distance des images est suffisant ; pas besoin de les analyser en direct puisque la rapidité n’est pas primordiale.

    Répondre
  • 26 mars 2020 - 8 h 45 min

    C’est les justiers de la route qui vont être contents, ceux qui nourrissent des sites ou l’on balance des chauffards avec une photo de la plaque…
    On va se retrouver avec la même merde que facebook avec sa reconnaissance faciale, il y a toujours quelqu’un pour mettre ton nom sur une photo dont tu ignorait l’existence… Ça y est…fichée ! Et pas par des autorités compétentes en plus de ça.

    Répondre
  • gUI
    26 mars 2020 - 9 h 32 min

    Il n’y a que moi que ça choque cette violation du RGPD ?

    Répondre
  • 26 mars 2020 - 9 h 32 min

    @doc blue sky:

    C’est aussi le 1er truc auquel je pense… avec le bémol qu’en étant attentif, on peut aussi voir le matos dans le voiture que l’on double avec le temps pour freiner (ou tendre le pied droit pour masquer la plaque arrière à moto, ou on n’a pas vraiment envie que qqun de moins attentif soit surpris par le freinage).

    Mais dans le sens croisement, le plus dangereux, il faudrait pouvoir lire la plaque de très loin pour avoir une chance d’être prévenu à temps.

    En cas d’accident avec le tiers qui se barre, une bête dashcam avec lecture visuelle fera l’affaire…

    Bref, ce n’est pas tant l’application que la faisabilité de l’affaire qui est importante ici. Manque juste encore la possibilité de se passer du cloud et d’avoir une solution totalement autonome.

    Répondre
  • 26 mars 2020 - 11 h 00 min

    @gUI: A voir en lisant l’article d’origine, mais à priori, rien n’indique que l’auteur du système n’a pas prévenu l’autorité de contrôle de son pays. Si les données ne sont conservées que le temps du traitement, le RGPD est respecté. (Je ne pense pas que AWS conserve des données si on ne paye pas la ressource pour ça.)

    Répondre
  • 26 mars 2020 - 13 h 06 min

    D’un point de vu législatif je pense que c’est totalement illégal de le faire mais bon ça tout le moden l’a compris je pense.
    J’avais assisté à une démonstration du système LAPI (lecture automatique des plaques d’immatriculation) voici quelques années (2011 ou 2012) par la gendarmerie. Le système permettait à l’époque de lire sur une autoroute plusieurs plaques en même temps, devant derrière, et de consulter une base de données pour vérifier si les voitures étaient volées. Je ne me souviens plus des données exactes mais c’était peut être 10 plaques à la seconde.

    Répondre
  • 26 mars 2020 - 13 h 51 min

    @Chris: C’est tout le problème, pas dit que ce soit illégal (en France), un site internet ou l’on balance des chauffards, avec photo de la voiture et de sa plaque a l’appuie, est toujours en fonctionnement depuis 2 ans.
    Bien évidement, chacun peut raconter ce qu’il veut en légende…bref, de la dénonciation qui vire a de la délation, qui vire a de la diffamation.

    Répondre
  • 26 mars 2020 - 16 h 04 min
  • 26 mars 2020 - 16 h 50 min

    C’est impressionnant ce qu’il est arrivé à tirer d’une rPI.

    Sur smartphone aussi ça peut être impressionnant. Un Xiaomi à 175€ il y a 4 ou 5 ans était capable en temps réel de reconnaître s’il y a un visage, son sexe et son âge (pas super préci pour l’âge mais assez proche).
    Aujourd’hui c’est Magic Earth qui m’impressionne. En plus de faire GPS en 3D avec gestion du trafic, il peut en même temps faire dashcam + IA pour prévenir des dangers.

    Répondre
  • 26 mars 2020 - 19 h 17 min

    Personne n’a pensé à une reconnaissance de plaque pour de la domotique ? Du genre ouverture de portail ou garage ? Avec un garde fou comme une clef RFID à distance implanté dans la voiture pour éviter les usurpation de plaque pour rentrer.

    Répondre
  • 26 mars 2020 - 19 h 27 min

    @biohazardy: Plus simple d’utiliser du NFC non ?

    Répondre
  • 27 mars 2020 - 7 h 59 min

    Il y a une autre application possible, mais c’est commercial.
    Pour les parkings payants ou les péages d’autoroutes, on crée un compte en ligne, on indique sa plaque et PAF! plus besoin de sortir de la monnaie ni d’abonnement avec un badge qui peut être volé, perdu, en panne… le véhicule est identifié et on paye automatiquement et surtout ça peut se faire beaucoup plus vite que si on doit attendre de recevoir un badge par la poste.

    Répondre
  • 27 mars 2020 - 8 h 18 min

    @Madwill: Il n’y a pas de “pouvoir” judiciaire en France. La justice (hors le procureur) ne peut pas se saisir toute seule d’une affaire. En d’autre termes, un site peut durer tant que personne ne porte plainte. Ça ne signifie pas que son contenu est légal.

    Publier des plaques d’immatriculation à des endroits reconnaissables me semble, à tout le moins, porter atteinte à la vie privée.

    Répondre
  • gUI
    27 mars 2020 - 8 h 24 min

    @Kikimoo: Non, il viole le RGPD sur plusieurs points, le plus évident étant qu’il ne donne pas moyen aux gens “tracés” de le savoir, de consentir et d’avoir accès aux données.

    Répondre
  • 27 mars 2020 - 9 h 56 min

    @biohazardy:

    Niveau domotique, je verrais plus conserver qq semaines les plaques jamais/peu vues qui ont peu de chance d’être des voisins ou leurs visiteurs réguliers, jouable quand on est en impasse ou voie peu passante. Ca permettrait de garder la trace d’éventuels repérages si des cambriolages ont lieu dans le quartier (il y a 2 ans, il y en avait eu qquns de rapprochés)…

    Mais bon, normalement, on n’est pas censé avoir un truc qui filme l’extérieur sans déclaration/masquage des zones privatives éventuellement visibles il me semble. Je ne sais si ne pas conserver les images (ou juste les captures isolées liée à un évènement) mais des infos qui en sont extraites est permis.

    J’avais pensé à tracer toutes les radios actives (wifi, BT) de smartphone vues par le raspberry qui gère la baraque, dans le même genre d’idées, mais c’est pas si simple: BT en général désormais non visible au scan, sauf quand on se place en mode appariement ; Wifi avec adresses MAC aléatoires hors connexion à un AP connu.

    Répondre
  • 27 mars 2020 - 9 h 58 min
  • 27 mars 2020 - 11 h 12 min

    @gUI et @Madwill: Très certainement. Les cas d’infraction dépendent tous du contexte.

    La photo de la plaque d’un parfait inconnu ne me dévoile rien. Mais si j’ai accès à une photo de la voiture (plaque visible) de mon voisin qui vit seul devant le supermarché d’à côté (que je saurais reconnaître), on me dévoile à coup sûr une partie de sa vie privée. (Sauf s’il avait annoncé cette sortie sur son blog bien sûr, puisque dans ce cas, il a rendu l’information publique lui-même ; la faisant sortir du cadre privé.)

    Encore une fois, je ne suis pas juriste. C’est mon interprétation de la loi telle que j’y ai accès. Mais pourquoi prendre le risque d’être en infraction ?

    Quand à la reconnaissance de plaque elle-même, si le résultat n’est pas publique et que les données créées (les numéros en tant que tels) sont affichées sans stockage et sans être interprétées via une base de recherche, en quoi y a-t-il traçage ? Que signifie l’accès à des données immédiates et le droit de rectification ?

    Je ne sais si mon analogie est pertinente ou pas, mais toute caméra qui filme une porte d’entrée (avec stockage même temporaire des images et sans pour autant filmer la rue devant) est-elle hors la loi si le mécanisme propre au RGPD n’est pas mis en place ? Il y a bien traçage sans consentement et impossible d’avoir accès aux données. Si oui, un particulier peut dire adieu à la surveillance vidéo des abords de son domicile.

    Répondre
  • 27 mars 2020 - 11 h 21 min

    @Kikimoo: c’est vrai qu’il y aurait gâchis de ressources mais quand il y a des morts la dépense passe au second plan…. le prix d’une assurance est lui aussi exorbitant mais quand on en profite on regrette pas du tout d’avoir “investi” au préalable. Soustrait toutes les dépenses que tu fais aujourd’hui pour tout ce dont tu pourrais te passer et je pense que ca couvrira largement cette dépense, pas vrai? Tu as raison, le traitement peux être différé.
    Dans tous les cas qu’on le veuille ou non, je reste persuadé qu’on y arrive, nos smartphones par exemple sont déja ce qui nous apporte beaucoup de confort mais qui en même temps rendent nos déplacements tout sauf privé, anonymat et technologie ne rime pas, si c’était le cas on s’embeterait pas à coller des émméteurs sur les animaux en vie de disparition (j’ai envie de dire qu’on peux s’inclure dedans vu ce qui nous menace en ce moment…:( )

    Répondre
  • 27 mars 2020 - 11 h 41 min

    @gUI: Je viens de vérifier le domaine d’application du RGPD.

    Article 2

    Champ d’application matériel

    1. Le présent règlement s’applique au traitement de données à caractère personnel, automatisé en tout ou en partie, ainsi qu’au traitement non automatisé de données à caractère personnel contenues ou appelées à figurer dans un fichier.

    2. Le présent règlement ne s’applique pas au traitement de données à caractère personnel effectué:
    a) […];
    b) […];
    c) par une personne physique dans le cadre d’une activité strictement personnelle ou domestique;
    […]

    La reconnaissance des plaques est bien concernée (comme pour une caméra de surveillance), mais pas lors d’une utilisation strictement privée (sans publication donc).

    Répondre
  • 27 mars 2020 - 11 h 47 min

    @Kyrax: Pas de problème avec le prix de la vie. La dépense vaut le coup… sauf si tu obtient la même chose avec une dépense moindre. Dans ce cas, la dépense devient un gâchis.

    C’est tout ce que je soulignais. L’innovation que tu décris n’est un progrès que si elle apporte quelque chose de plus que ce que tu obtiens avec une caméra blindée.

    Répondre
  • 27 mars 2020 - 11 h 52 min

    @Kikimoo: Comme je disais, pas si simple finalement, il vrai que l’avis d’un juriste (ou deux) serait le bienvenue, a bon entendeur…
    En plus, cela peut dépendre de la localisation du serveur, etc… quand on voit Yandex et sa sa base de données de reconnaissance faciale, accessible pour tout le monde, bah le RGPD, il n’y fera rien :(

    Répondre
  • 27 mars 2020 - 12 h 14 min

    @Kikimoo: Je viens de ton msg sur l’article 2, merci de cette précision.

    Répondre
  • 27 mars 2020 - 17 h 30 min

    Bonjour à tous
    Pierre tu écrits : “Aujourd’hui, ce sont les policiers qui filment les manifestants pour identifier des visages. Demain, ce seront les manifestants qui identifieront précisément les policiers.”

    La première fois que j’ai participé à une manifestation j’avais 14 ans, c”était en 1981 un peu avant les élections, et des policiers en civils (sans doute les RG) prenaient des photos des manifestants à l’aide de téléobjectifs et en s’appuyant sur les toits de leurs véhicules.
    A l’époque c’était sur pellicules, mais ce jour là ils ont pris beaucoup de photos !

    Donc les films et photos des manifestants ce n’est pas nouveau :)

    comme d’autres, joli projet mais j’ai du mal à voir l’intérêt pour un particulier ?
    ou alors il est détective privé et il utilise ce type d’outil pour suivre des voitures ?

    cdlt

    Répondre
  • 27 mars 2020 - 17 h 36 min

    Pratique pour vérifier si cette trace de boue sur votre plaque d’immatriculation n’empêche pas les radars automatiques de bien lire votre plaque.

    Répondre
  • 1 avril 2020 - 10 h 58 min

    En effet, déjà aujourd’hui tout le débat autour des “smartcity” ou “villes intelligentes” qui sont en fait des solutions qui utilisent massivement la vidéo (et la reconnaissance faciale ?).

    On peut aussi imaginer que toutes ces villes qui ont déjà des cameras de surveillance vont automatiser le traitement de l’image. Avec un bon maillage, pister les gens, voir même refaire leur trajet quotidiennement n’est pas impossible, on collecte le tout et on le stocke en base de données, la retention ça ne coûte plus rien du tout.

    Tout cela est déjà ou très bientôt faisable techniquement, seul la législation pourra agir.

    @raphael : En effet, les photos par les policiers des manifestants ça n’est pas nouveau. Ce qui est nouveau c’est le fait de faire une vidéo puis de la donner a un outil de reconnaissance faciale qui va automatiquement te sortir tous les noms des gens identifiés sur cette vidéo. Quid de la rétention de cette vidéo ? En plus on peut garder la vidéo éternellement et réessayer plus tard car les gens renouvellent leur carte d’identité au fur et à mesure… Un peu parano mais encore une fois, très facilement faisable techniquement…

    Répondre
  • LAISSER UN COMMENTAIRE

    *

    *