Erase.bg : Suppression Instantanée d'Arrière-plan d'Image pour Tout le Monde

Ce blog est destiné à introduire le lecteur dans le monde de la suppression d'arrière-plan et à partager certaines des leçons et des défis que nous avons rencontrés lors de la création d'Erase.bg. Erase.bg est un service de suppression d'arrière-plan entièrement automatisé qui offre des sorties haute résolution gratuitement. Alors, commençons!

‍

Plongée profonde dans la suppression d'arrière-plan

La suppression d'arrière-plan consiste à sélectionner le sujet au premier plan d'une image et à effacer l'arrière-plan afin que le sujet au premier plan puisse être placé sur un nouvel arrière-plan. Cela est réalisé avec l'aide d'un masque produit pendant le processus de suppression, comme illustré ci-dessous. Placer le sujet sur un nouvel arrière-plan s'appelle une composition.

‍

L'œil humain étant sensible aux incohérences dans les images, il faut faire très attention à ce que la composition du sujet extrait paraisse réaliste sur un nouvel arrière-plan. Cela peut être délicat pour des structures fines comme les cheveux et la fourrure.

‍

La composition nous permet de réutiliser des images en les plaçant sur des arrière-plans formels ou créatifs. Il y a deux défis majeurs dans la création d'un système entièrement automatisé capable de supprimer l'arrière-plan :

‍

1. Détecter le sujet au premier plan sans intervention humaine : Comme le sujet au premier plan peut appartenir à une gamme diverse d'objets comme les humains, les animaux, les appareils électroniques, les vêtements, les meubles, etc., notre modèle doit identifier et traiter le sujet même s'il n'a jamais vu ce sujet auparavant. Gérer les interactions avec des sujets connus, comme un humain jouant au basket ou assis sur une chaise, peut également être compliqué.

‍

2. Prédire un masque précis : Le masque doit couvrir uniquement la zone du sujet. De plus, de nombreuses structures comme la fourrure et les cheveux humains ont des structures délicates semi-transparentes et complexes qui doivent être traitées avec soin pour garantir une extraction précise et une composition réaliste.

‍

Applications réelles de la suppression d'arrière-plan

‍

‍

Dans la section suivante, nous développerons davantage ces défis et montrerons des exemples pour les expliquer en détail. Pour l'instant, examinons certaines applications de la suppression d'arrière-plan :

‍

1. Réutiliser des séances photo : Optimisez votre contenu existant

‍

2. Ecommerce : Préparez vos images de produit et rendez-les plus attrayantes pour n'importe quelle plateforme E-Commerce

‍

3. Médias/Créatif : Libérez votre côté créatif et créez du contenu époustouflant

‍

4. Photos de profil et de passeport : Créez de superbes photos de profil en quelques clics. Évitez la queue et créez des photos de passeport n'importe où.

‍

5. Logos/Signatures/Graphiques : Promouvez votre entreprise ou l'un de vos projets intéressants

‍

Défis

Notre objectif est de produire automatiquement un masque pour extraire l'objet du premier plan de l'image. Il y a deux principaux défis à relever pour cela :

‍

1. Détecter automatiquement le sujet au premier plan.

2. Prédire un masque précis pour une composition réaliste.

‍

Bien que détecter l'objet au premier plan soit facile pour un humain, ce n'est pas le cas pour un ordinateur. Nous nous concentrons sur le deuxième défi dans cet article et laissons le premier pour un futur post de blog.

‍

Une approche courante pour générer un masque est une technique appelée segmentation d'image, qui attribue une valeur binaire, un OUI ou un NON, à chaque pixel de l'image pour indiquer si ce pixel appartient ou non au sujet. Ensuite, ce masque peut être utilisé pour extraire l'objet, comme montré ci-dessous :

‍

Nous pouvons voir que la segmentation d'image a parfaitement fonctionné ici. Cependant, dans des cas plus complexes, comme ceux avec des cheveux délicats, la segmentation d'image ne suffira pas, comme on peut le voir ci-dessous. Même si le masque couvre les pixels des cheveux, quelque chose ne va pas dans l'extraction. C'est parce qu'une partie du sujet, en particulier ses cheveux, est semi-transparente à certains endroits et interagit avec l'éclairage et la couleur de l'arrière-plan pour produire le ton doux que nous voyons dans l'image originale.

‍

Dans un tel cas, ce dont nous avons besoin est un masque de transparence ou un alpha matte pour une extraction correcte, comme montré ci-dessous. Un tel masque peut séparer complètement les éléments de premier plan et d'arrière-plan, même là où ils interagissent profondément.

‍

Les masques créés doivent avoir un niveau de précision élevé car les compositions créées à partir de la suppression d'arrière-plan sont souvent utilisées à des fins de commerce électronique ou médiatiques où des humains les verraient. Parlons de trois facteurs qui influencent le réalisme des compositions :

‍

• Désinfection des couleurs

• Petits écarts

• Mélange alpha

‍

Désinfection des couleurs

‍

‍

Considérez l'exemple ci-dessous pour illustrer comment des masques légèrement différents peuvent entraîner des différences visuelles significatives dans la composition. L'image du haut est l'image originale qui présente un jouet en peluche sur un fond bleu vif. En dessous, dans la première colonne, sont montrés deux masques générés par deux algorithmes différents. Les masques semblent très similaires ; cependant, lorsque l'extraction est faite en utilisant le premier, la lumière bleue est encore partiellement visible sur les cheveux du sujet, comme le montre la deuxième colonne.

‍

Dans la troisième colonne, nous pouvons voir des gros plans d'une petite zone sur le côté droit du jouet. Ici, nous remarquons que le premier algorithme a légèrement surestimé ses valeurs, entraînant l'absorption de plus de lumière d'arrière-plan lors de l'extraction. Les deux couvrent presque la même zone de cheveux, pourtant leurs valeurs précises font une grande différence.

‍

Les algorithmes doivent comprendre les interactions des couleurs et de l'éclairage du premier plan et de l'arrière-plan pour contourner de tels problèmes. Même un humain trouverait difficile et long de produire un tel masque lui-même, et c'est là que la suppression d'arrière-plan vient à la rescousse.

‍

Petits écarts

‍

‍

Même de petites erreurs dans le masque, comme des écarts minuscules manquants, peuvent causer des discordances visibles évidentes lors de la composition sur un nouvel arrière-plan. Ci-dessous, nous voyons l'image originale en haut et les masques produits par deux algorithmes à droite.

‍

Une série d'erreurs dans le premier masque est visible. De grands écarts comme celui près de l'épaule sont clairement visibles lorsque le sujet est placé sur l'arrière-plan vert, mais les tout petits autour et à l'intérieur des cheveux bouclés le sont également. Si ces écarts sont omis, alors des parties de l'ancien arrière-plan sont placées sur le nouveau, rendant l'image artificielle. 

‍

Mélange Alpha

‍

‍

Voyons comment notre masque de transparence favorise une composition réaliste. Notre masque de transparence indique combien de couleurs de premier plan et d'arrière-plan devraient être présentes pour chaque pixel.

‍

Par exemple, à un certain pixel, nous pourrions avoir un mélange de 60% de couleur de premier plan et 40% de couleur d'arrière-plan. Un tel mélange donne l'impression que le sujet était vraiment présent sur le nouvel arrière-plan et interagissait avec l'éclairage là-bas.

‍

Les compositions semblent également moins dentelées autour des bords et plus naturelles et attrayantes pour l'œil humain. Lors de la composition, nous ne voulons pas que l'arrière-plan commence de manière abrupte.

‍

Nous voulons une transition en douceur du sujet au premier plan à la région d'arrière-plan. Pour illustrer, nous composons une petite mèche de cheveux bruns extraite du coin du jouet en peluche ci-dessus en c) sur l'arrière-plan lumineux en a) ci-dessous.

‍

Lorsque nous faisons un mélange avec l'aide de notre masque en b), nous voyons une transition en douceur et une interaction des couleurs dans la composition produite en d), donnant l'impression que le sujet était effectivement présent et interagissait avec l'éclairage du nouvel arrière-plan. Il existe des techniques plus avancées pour composer des sujets et des arrière-plans provenant de différentes conditions d'éclairage, mais nous n'en discutons pas ici.

‍

En conclusion, nous avons vu que la suppression d'arrière-plan est un processus délicat qui nécessite une prédiction de transparence pour bien faire. En utilisant la carte générée lors du processus de suppression, nous sommes capables d'extraire le sujet et de composer un nouvel arrière-plan.

‍

Nous avons discuté de trois considérations importantes qui affectent le réalisme des compositions et le niveau de précision et de détail attendus des algorithmes qui tentent de produire ces masques. Pour y parvenir, nous devons nous appuyer sur des méthodes avancées d'apprentissage automatique et de vision par ordinateur que nous aborderons dans un prochain article.

‍

Nous espérons que vous avez apprécié la lecture de ce blog et que vous avez maintenant une meilleure appréciation de la suppression d'arrière-plan et de ses nombreuses applications. Pour voir tout cela en action, essayez notre outil de suppression d'arrière-plan Erase.bg qui devrait être lancé avec un nouveau site web prochainement. Pour plus de mises à jour, suivez-nous ici.