Le Traitement de l'Image: Algorithme d'Amélioration pour "Coca-Cola" Reconnaissance

Une approche alternative serait d'extraire des caractéristiques (keypoints) à l'aide de la scale-invariant feature transform (EIPD) ou Accélérer Les Fonctionnalités Robustes (SURF).

Il est mis en œuvre dans OpenCV 2.3.1.

Vous pouvez trouver un bel exemple de code à l'aide de fonctionnalités dans Features2D + Homographie pour trouver un objet connu

Les deux algorithmes sont invariantes d'échelle et de rotation. Depuis ils travaillent avec des fonctionnalités, vous pouvez également gérer l'occlusion (aussi longtemps que suffisamment de keypoints sont visibles).

Source de l'Image: exemple de tutoriel

Le traitement ne prend que quelques centaines de ms pour SIFT, SURF est un peu plus rapide, mais il ne convient pas pour les applications en temps réel. ORBE utilise RAPIDE qui est plus faible concernant la rotation de l'invariance.

L'origine des documents

• SURF: accélérer les Fonctionnalités Robustes
• Distinctifs Caractéristiques D'Image
  à partir de l'Échelle de l'Invariant de Keypoints
• ORBE: une alternative efficace aux EIPD ou de SURF

Problème amusant: quand j'ai jeté un coup d'oeil à votre image de bouteille je pensais que c'était un peut trop. Mais, en tant qu'humain, ce que j'ai fait pour faire la différence, c'est que j'ai alors remarqué qu'il était aussi une bouteille...

Donc, pour dire les canettes et les bouteilles en outre, que diriez-vous simplement de numérisation pour les bouteilles en premier? Si vous en trouvez un, le masque de l'étiquette avant de chercher des canettes.

Pas trop difficile à mettre en œuvre si vous êtes déjà en train de le des boîtes. Le véritable inconvénient est qu'il double votre temps de traitement. (Mais penser à l'avenir à des applications du monde réel, vous allez finir par vouloir faire des bouteilles de toute façon 😉

J'aime vraiment Darren Cook et bac de réception des réponses à ce problème. J'étais au milieu de jeter mes pensées dans un commentaire sur ceux-ci, mais je crois que mon approche est trop réponse en forme pour ne pas quitter ici.

En résumé, vous avez identifié un algorithme pour déterminer qu'un logo de Coca-Cola est présent à un endroit particulier dans l'espace. Vous êtes maintenant en essayant de déterminer, pour arbitraire des orientations et de l'arbitraire des facteurs d'échelle, une heuristique adaptée pour distinguer Coca-Cola boîtes à partir d'autres objets, y compris de: bouteilles, panneaux d'affichage, annonces, et Coca-Cola attirail toutes associées à ce logo emblématique. Vous n'appelez pas la plupart de ces cas supplémentaires dans votre énoncé du problème, mais j'ai l'impression qu'ils sont essentiels à la réussite de votre algorithme.

Le secret ici est de déterminer quelles caractéristiques visuelles d'un peut contient ou, par l'intermédiaire de l'espace négatif, quelles fonctionnalités sont présentes pour d'autres Coke de produits qui ne sont pas présents pour les boîtes de conserve. À cette fin, l'actuel haut de réponse esquisse une approche de base pour la sélection "peut" si et seulement si "bouteille" n'est pas identifié, soit par la présence d'un bouchon de la bouteille, de liquide ou autre visuel similaire heuristiques.

Le problème, c'est ce qu'il se décompose. Une bouteille peut, par exemple, être vide et l'absence, la présence d'un bouchon, menant à un faux positif. Ou, il pourrait être partielle bouteille avec des fonctionnalités supplémentaires mutilé, conduisant de nouveau à la détection de faux. Inutile de dire que ce n'est pas élégant, ni est-il efficace pour nos fins.

À cette fin, la plus correcte des critères de sélection pour les boîtes semblent être les suivantes:

• Est la forme de l'objet silhouette,que vous avez esquissé dans votre question, correct? Si oui, +1.
• Si nous supposons que la présence de la lumière naturelle ou artificielle, ne nous détectons un chrome contour de la bouteille qui signifie que si cela est fait d'aluminium? Si oui, +1.
• Pouvons-nous déterminer que le spéculaire propriétés de l'objet sont corrects par rapport à nos sources de lumière (vidéo illustrative lien sur source de lumière de détection)? Si oui, +1.
• Que l'on peut déterminer toutes les autres propriétés de l'objet qui l'identifient comme un peut, y compris, mais non limité à, la topologie et l'inclinaison de l'image du logo, de l'orientation de l'objet, la juxtaposition de l'objet (par exemple, sur une surface plane comme une table ou dans le contexte d'autres boîtes de conserve), et la présence d'une languette? Si oui, pour chaque, +1.

Votre classement pourrait alors ressembler à la suivante:

• Pour chaque candidat match, si la présence d'un Coca Cola logo a été détecté, dessiner une bordure grise.
• Pour chaque match de plus de +2, dessiner une bordure rouge.

Visuellement les points saillants de l'utilisateur ce qui a été détecté, en soulignant la faiblesse positifs qui peuvent, à juste titre, être détecté comme mutilé canettes.

La détection de chaque propriété porte très différents temps et de l'espace de la complexité, et pour chaque approche, un passage rapide à travers http://dsp.stackexchange.com est plus que raisonnable pour déterminer la manière la plus correcte et la plus efficace de l'algorithme en fonction de vos objectifs. Mon intention est ici, purement et simplement, pour souligner que détecter si quelque chose est un peut en invalidant une petite partie des candidats de la détection de l'espace n'est pas le plus solide ou efficace solution à ce problème, et, idéalement, vous devriez prendre les mesures appropriées en conséquence.

Et hey, bravo pour le Hacker News à poster! Sur l'ensemble, c'est assez terrible question digne de la publicité qu'elle a reçu. 🙂

Veuillez jeter un oeil à Zdenek Kalal de Predator tracker. Il exige une certaine formation, mais il peut activement apprendre comment l'objet suivi s'intéresse aux différentes orientations et d'écailles, et il le fait en temps réel!

Le code source est disponible sur son site. C'est dans MATLAB, mais peut-être il est une implémentation de Java est déjà fait par un membre de la communauté. J'ai réussi à re-mise en œuvre le suivi de la partie de TLD en C#. Si je me souviens bien, TLD est à l'aide de Fougères comme le point-clé du détecteur. J'utilise soit de SURF ou de TAMISER la place (déjà suggéré par @bac de réception) pour acquérir l'objet, si elle a été perdue par le tracker. Le suivi des commentaires de la rend facile à construire avec le temps une liste dynamique de sift/surf modèles de avec le temps de permettre à réacquérir l'objet avec une très grande précision.

Si vous êtes intéressés par mon C# de la mise en œuvre du dispositif de suivi, n'hésitez pas à demander.

Je voudrais détecter les rectangles rouges: RGB -> HSV, filtre rouge -> image binaire, fermer (dilater puis éroder, connu comme imclose dans matlab)

Puis regarder à travers des rectangles de la plus grande à la plus petite. Les Rectangles qui ont de plus petits rectangles dans une position connue/mise à l'échelle peut à la fois être éliminées (en supposant que la bouteille proportions sont constantes, le plus petit rectangle serait un bouchon de bouteille).

Ce serait de vous laisser avec des rectangles rouges, alors vous aurez besoin de quelque façon détecter les logos pour savoir si elles sont un rectangle rouge ou une canette de coca. Comme le ROC, mais avec un logo?

Hmm, en fait, je pense que je suis sur la quelque chose (c'est comme la question la plus intéressante jamais - de sorte qu'il serait dommage de ne pas continuer à essayer de trouver la réponse "parfaite", même si une solution acceptable a été trouvé)...

Une fois que vous trouvez le logo, vos ennuis sont à moitié fait. Vous n'avez plus qu'à comprendre les différences entre ce qui est autour de le logo. En outre, nous voulons faire le moins possible. Je pense que c'est effectivement cette partie facile...

Ce est autour du logo? Pour une boîte, nous pouvons voir en métal, qui, malgré les effets de l'éclairage, ne change pas que ce soit dans sa couleur de base. Aussi longtemps que nous savons de l'angle de l'étiquette, nous pouvons dire ce qui est directement au-dessus d'elle, donc nous sommes à la recherche à la différence entre ces:

Ici, ce qui est au dessus et en dessous du logo est complètement sombre, uniforme en couleur. Relativement facile à cet égard.

Ici, ce qui est au dessus et en dessous c'est de la lumière, mais toujours conforme à la couleur. C'est tout d'argent, et de tout-métal argenté semble en fait assez rares, ainsi que de l'argent couleurs en général. En outre, c'est dans une mince couche de glisser et assez près de la rouge qui a déjà été identifiés à ce que vous pouvait suivre la trace de sa forme sur toute sa longueur pour calculer un pourcentage de ce qui peut être considéré comme l'anneau de métal de la boîte. Vraiment, vous avez seulement besoin d'une petite fraction de ce que n'importe où le long de la peut dire qu'il en fait partie, mais vous avez encore besoin de trouver un équilibre qui assure ce n'est pas seulement une bouteille vide avec quelque chose de métallique derrière elle.

Et enfin, la question délicate. Mais pas si difficile, une fois que nous allons seulement par ce que l'on peut voir directement au-dessus (et ci-dessous), le rouge de la cape. Son transparent, ce qui signifie qu'il va montrer tout ce qui est derrière elle. C'est bien, parce que les choses qui sont derrière ne sont pas susceptibles d'être uniformes en couleurs comme l'argent métal circulaire de la can. Il pourrait y avoir beaucoup de différentes choses qui sont derrière, qui nous aurait dit que c'est un vide (ou rempli de liquide clair) bouteille, ou d'une couleur uniforme, ce qui peut signifier soit que c'est rempli de liquide ou que la bouteille est tout simplement en face d'un solide de couleur. Nous travaillons avec ce qui est le plus proche du haut et du bas, et les chances de la bonne couleur au bon endroit sont relativement minces. Nous savons que c'est une bouteille, parce qu'il n'a pas obtenu que la clé élément visuel de la boîte, ce qui est relativement simpliste par rapport à ce qui pourrait être derrière une bouteille.

(ce dernier était le meilleur que j'ai pu trouver un grand vide coca cola bouteille il est intéressant de noter la pac ET l'anneau jaune, indiquant que la rougeur de la pac ne devrait probablement pas être invoqué)

Dans les rares cas où une teinte similaire de l'argent est derrière la bouteille, même après l'abstraction de la matière plastique, ou de la bouteille est en quelque sorte rempli avec la même nuance de l'argent liquide, on peut se rabattre sur ce que l'on peut estimer comme étant la forme de l'argent - qui, comme je l'ai mentionné, est circulaire et suit la forme de la boîte. Mais même si je manque de certaines connaissances en traitement d'image, que les sons lents. Mieux encore, pourquoi ne pas en déduire ce par pour une fois, de contrôle autour de la côtés du logo pour s'assurer qu'il n'en est rien, de la même couleur argent là-bas? Ah, mais si, il y a la même nuance de l'argent derrière un peut? Ensuite, nous avons en effet de payer plus d'attention à des formes, en regardant en haut et en bas de la peut de nouveau.

Selon la façon impeccable tout cela doit être, il peut être très lente, mais je pense que mon idée de base est de vérifier la méthode la plus simple et la plus proche des choses d'abord. Aller par les différences de couleur autour de la déjà appariés forme (ce qui semble le plus trivial partie de ce tout de même) avant d'aller à l'effort de travailler la forme des autres éléments. À la liste, il va:

• Trouver l'attraction principale (rouge logo arrière-plan, et éventuellement le logo lui-même pour l'orientation, bien que dans le cas où le pouvoir est détourné, vous devez vous concentrer sur le rouge seul)
• Vérifier la forme et de l'orientation, encore une fois via le très distinctif de la rougeur
• Vérifier les couleurs autour de la forme (car il est rapide et indolore)
• Enfin, si nécessaire, vérifiez la forme de ces couleurs autour de la principale attraction pour le droit de la rondeur.

Dans le cas où vous ne pouvez pas le faire, cela signifie probablement que le haut et le bas de la boîte sont couverts, et la seule choses qu'un humain pourrait avoir utilisé fiable de faire une distinction entre la boîte et le flacon est de l'occlusion et de la réflexion de la can, qui serait un beaucoup plus fort de la bataille de processus. Cependant, pour aller encore plus loin, vous pouvez suivre l'angle de la canette/bouteille de vérifier pour plus de bouteille, comme les traits, à l'aide de la semi-transparent la numérisation des techniques mentionnées dans les autres réponses.

Supplémentaire intéressante cauchemars peuvent inclure un peut commodément assis derrière la bouteille à une telle distance que le métal, il se trouve juste à montrer au-dessus et au-dessous de l'étiquette, toujours l'échec aussi longtemps que vous êtes balayage le long de toute la longueur de l'étiquette rouge - qui est en fait plus un problème parce que vous n'êtes pas détecter un peut où vous, plutôt que de considérer ce que vous êtes réellement la détection d'une bouteille, y compris le peut par accident. Le verre est à moitié vide, dans ce cas!

Comme un avertissement, je n'ai aucune expérience ni n'ont jamais pensé au sujet de traitement de l'image en dehors de cette question, mais il est tellement intéressant que ça m'a fait penser assez profondément à ce sujet, et après avoir lu toutes les autres réponses, je considère que cela peut-être le plus facile et le moyen le plus efficace pour y arriver. Personnellement, je suis simplement heureux que je n'ai pas fait avoir à penser à la programmation de cette!

MODIFIER

En outre, regardez ce dessin je l'ai fait dans MS Paint... C'est absolument horrible et très incomplète, mais en fonction de la forme et de couleurs, vous pouvez deviner ce qu'il va probablement être. En essence, ce sont les seules choses que l'on doit à peine de numérisation pour. Quand vous regardez très distinctif, la forme et la combinaison de couleurs de manière à fermer, quoi d'autre pourrait-ce être? Le bits, je n'ai pas de peinture, fond blanc, devrait être considérée comme "quoi que ce soit incompatible". Si elle avait un fond transparent, il pourrait aller sur presque n'importe quelle autre image, et vous pouvez encore le voir.

J'aime le défi et a voulu donner une réponse, ce qui résout le problème, je pense.

1. Extrait de fonctionnalités (keypoints, les descripteurs comme SIFT, SURF) du logo
2. Correspondre les points avec un modèle de l'image du logo (à l'aide de Matcher telle que la Force Brute )
3. Estimer les coordonnées de corps rigides (PnP problème - SolvePnP)
4. Estimation de la position cap selon le corps rigide
5. Faire de la rétro-projection et de calculer le pixel de l'image position (ROI) du bouchon de la bouteille (je suppose que vous avez les paramètres intrinsèques de la caméra)
6. Vérifier avec une méthode si la pac est là ou pas. Si il y a, alors c'est la bouteille

De détection de la pac est un autre problème. Il peut être soit simples ou compliquées. Si j'étais vous, je voudrais simplement vérifier la couleur de l'histogramme dans le retour sur investissement pour une simple décision.

S'il vous plaît, donner de la rétroaction si je me trompe. Merci.

Suis quelques années de retard pour répondre à cette question. Avec l'état de l'art poussé à ses limites par CNNs dans les 5 dernières années, je ne voudrais pas utiliser OpenCV pour effectuer cette tâche maintenant! (Je sais que vous spécifiquement voulu OpenCv fonctionnalités dans la question) j'ai l'impression de l'objet algorithmes de détection tel que plus Rapide-RCNNs, YOLO, SSD, etc. as ce problème avec une marge importante par rapport à OpenCV fonctionnalités. Si je ont été de s'attaquer à ce problème maintenant (au bout de 6 ans !!) Je serais certainement utiliser plus Vite-RCNN.

Vous avez besoin d'un programme qui apprend et améliore la précision de la classification organique à partir de l'expérience.

Je vais suggérer l'apprentissage en profondeur, avec l'apprentissage en profondeur, cela devient un problème trivial.

Vous pouvez recycler la création v3 modèle sur Tensorflow:

Comment Recycler les Débuts de la Couche Finale pour de Nouvelles Catégories.

Dans ce cas, vous serez la formation d'un réseau de neurones à convolution pour classer un objet comme coca-cola ou pas.

Comme alternative à toutes ces belles solutions, vous pouvez former votre propre classificateur et de faire votre demande robuste aux erreurs. À titre d'exemple, vous pouvez utiliser Haar Formation, en fournissant un bon nombre d'images positives et négatives de votre cible.

Il peut être utile d'extraire uniquement les boîtes de conserve et peut être combiné avec la détection d'objets transparents.

Si vous êtes intéressé à être en temps réel, alors ce que vous avez besoin est d'ajouter dans un pré-filtre de traitement afin de déterminer ce qui est numérisé avec les poids-lourds de trucs. Un bon vite, très en temps réel, pré-filtre de traitement qui vous permettent de numériser des choses qui sont plus susceptibles d'être un coca-cola que de ne pas, avant de passer plus terrible des choses est quelque chose comme ceci: la recherche de l'image par le plus grand des taches de couleur qui sont d'une certaine tolérance à l'écart de la sqrt(pow(red,2) + pow(blue,2) + pow(green,2)) de votre coca-cola. Commencer avec un très stricte tolérance d'écart de couleur, et de travailler votre chemin jusqu'à la plus légère de la couleur des tolérances. Puis, lorsque votre robot est à court d'un temps imparti pour traiter l'image en cours, il utilise actuellement trouvé des bouteilles à vos fins. Veuillez noter que vous devrez régler les couleurs RVB dans le sqrt(pow(red,2) + pow(blue,2) + pow(green,2)) pour les obtenir juste à droite.

Aussi, c'est gona semble vraiment stupide, mais avez-vous veillez à activer -oFast les optimisations du compilateur lors de la compilation de votre code C?

Peut être trop d'années de retard, mais néanmoins une théorie de l'essayer.

Le ratio du rectangle de délimitation de rouge logo de la région à l'ensemble de la dimension de la bouteille/est différent. Dans le cas de la can, devrait être de 1:1, alors que sera différente de celle de la bouteille (avec ou sans cap).
Cela devrait rendre facile de distinguer entre les deux.

Mise à jour:
La courbure horizontale du logo de la région sera différente entre la can et la Bouteille en raison de leur taille respective différence. Cela pourrait être particulièrement utile si votre robot a besoin de récupérer la bouteille, et vous décidez de la poignée en conséquence.