(Crédit: Drew Weber / Cornell Lab d'Ornithologie)

L'application mobile Merlin Bird Photo ID peut identifier des centaines d'espèces nord-américaines qu'elle «voit» sur les photos, grâce à la technologie d'apprentissage automatique.

Une fois téléchargée sur un appareil mobile, l'application peut aller n'importe où - même des endroits sans service cellulaire ou Wi-Fi.

«Lorsque vous ouvrez l'application Merlin Bird Photo ID, on vous demande si vous voulez prendre une photo avec votre smartphone ou tirer une image de votre appareil photo numérique», explique Jessie Barry, chef de projet Merlin au Cornell Lab of Ornithology. «Vous zoomez sur l'oiseau, confirmez la date et le lieu, et Merlin vous montrera les meilleurs choix pour un match parmi les espèces nord-américaines 650 qu'il connaît.

Ailes, becs et griffes

Les informaticiens Caltech et Cornell Tech ont formé Merlin à reconnaître les oiseaux en lui montrant près de 1 millions de photos qui ont été recueillies et annotées par des ornithologues et des bénévoles mobilisés par le laboratoire Cornell. Les annotations incluent les espèces de l'oiseau ainsi que les points clés identifiant les éléments physiques tels que les ailes, les becs et les griffes.

Lorsqu'un utilisateur de l'application le présente avec un oiseau à identifier, Merlin sélectionne les espèces qui correspondent le mieux à ces caractéristiques. Comme tout bon ornithologue, le système considère les espèces qui pourraient être trouvées à cette période spécifique de l'année et à cet endroit en utilisant les informations d'eBird, une ressource ornithologique en ligne qui recueille et enregistre en moyenne 7 millions d'observations d'oiseaux chaque mois dans le monde .

«En créant Merlin Bird Photo ID, nous étions particulièrement soucieux de la qualité et de l'organisation des données», explique Serge Belongie, professeur d'informatique à Cornell Tech. Avec Pietro Perona de l'Institut californien de technologie (Caltech), il est le cofondateur de Visipedia, le projet parapluie financé par Google qui utilise les progrès de l'apprentissage automatique et de la vision par ordinateur pour aider à classer les objets dans les photographies.

«En fin de compte, nous voulons créer une plate-forme ouverte que n'importe quelle communauté peut utiliser pour créer un outil de classification visuel pour les papillons, les grenouilles, les plantes ou tout ce dont ils ont besoin», dit Belongie.

«Cette application est l'aboutissement de sept années de travail acharné de nos étudiants et est propulsée par les progrès considérables que les scientifiques en vision artificielle et en apprentissage automatique font dans le monde», déclare Perona, professeur de génie électrique à Caltech. et sciences appliquées. "Une machine qui reconnaît des objets dans des images, comme les humains, était un rêve lointain quand j'étais un étudiant diplômé et maintenant il se passe finalement."

Bonnes images, bonnes allumettes

Quelle est la qualité de Merlin Bird Photo ID? "La précision est autour de 90% si la photo de l'utilisateur est de bonne qualité. Soumettez une image floue ou une image dans laquelle l'oiseau est petit ou partiellement recouvert de feuilles et les chances d'obtenir une correspondance exacte diminuent », explique Steve Branson, chercheur postdoctoral supérieur en génie électrique chez Caltech.

Malgré les progrès de la haute technologie, les humains sont toujours une partie importante du processus. «Nous avons besoin des données eBird des ornithologues ainsi que des experts qui peuvent étiqueter les photos utilisées pour former Merlin», explique Grant Van Horn, un étudiant diplômé de Caltech. "Vous avez besoin d'enseignants pour enseigner à la machine ce qu'elle doit faire. Notre système combine l'expertise de centaines d'ornithologues et d'ornithologues. »Van Horn et Branson font tous deux partie de l'équipe de Visipedia et ont développé les algorithmes qui permettent à Merlin d'apprendre à reconnaître les oiseaux.

Couverture mondiale à venir

Juste au coin de la rue se trouve une photo Merlin Bird ID en espagnol pour les oiseaux au Mexique. En cours de route, l'équipe de Merlin produira des versions pour l'Amérique du Sud, l'Europe, l'Asie, l'Afrique et l'Australie, pour éventuellement s'étendre à l'échelle mondiale.

"La chose merveilleuse à propos de ce projet est la collaboration avec l'équipe de Visipedia", dit Barry. "Nous avons un produit qui fonctionne vraiment parce qu'il est soutenu par des recherches fantastiques et qu'il est excellent pour la communauté ornithologique, car il est construit pour les ornithologues par les ornithologues."

Le Merlin Bird Photo ID mis à jour est gratuit pour les systèmes iOS ou Android du Apple iTunes et Google Play App Stores. C'est une paire avec l'application Merlin originale, publiée dans 2014, qui utilise quelques questions courtes pour aider les utilisateurs à affiner l'identité d'un nouvel oiseau.

Merlin Bird Photo ID est alimenté par Visipedia avec le soutien de Google, l'Institut Jacobs Technion-Cornell, et la National Science Foundation.

La source: Caltech

Livres connexes:

at Marché InnerSelf et Amazon