Erase.bg: Мгновенное удаление фона для всех

Этот блог призван познакомить читателя с миром удаления фона и поделиться некоторыми знаниями и проблемами, с которыми мы столкнулись при создании Erase.bg. Erase.bg - это полностью автоматизированная служба удаления фона, предлагающая высококачественные результаты бесплатно. Итак, давайте начнем.

‍

Погружение в Удаление Фона

‍

‍

Удаление фона - это выбор переднего плана на изображении и стирание фона, чтобы предмет переднего плана можно было разместить на новом фоне. Это делается с помощью маски, созданной в процессе удаления, как показано ниже. Размещение предмета на новом фоне называется композицией.

‍

Так как человеческий глаз чувствителен к неточностям на изображениях, необходимо тщательно следить за тем, чтобы композиция извлеченного предмета выглядела реалистично на новом фоне. Это может быть сложно для таких тонких структур, как волосы и мех.

‍

Композиция позволяет нам использовать изображения повторно, помещая их на формальные или творческие фоны. При создании полностью автоматизированной системы, способной удалять фон, перед нами стояло два основных вызова:

‍

1. Обнаружение предмета переднего плана без человеческого вмешательства: Поскольку предмет переднего плана может принадлежать к широкому спектру объектов, таких как люди, животные, электроника, одежда, мебель и т. д., наша модель должна определять и обрабатывать предмет, даже если наша модель никогда раньше не видела этот предмет. Обработка взаимодействий с известными предметами, например, человек, играющий в баскетбол или сидящий на стуле, также может быть сложной.

‍

2. Прогнозирование точной маски: Маска должна покрывать только область предмета. Кроме того, многие структуры, такие как мех и человеческие волосы, имеют тонкие полупрозрачные и сложные структуры, которые должны быть обработаны с особой осторожностью, чтобы обеспечить точное извлечение и реалистичную композицию.

‍

Реальные Применения Удаления Фона

‍

‍

В следующем разделе мы подробнее рассмотрим эти проблемы и покажем примеры для их детального объяснения. А пока давайте рассмотрим некоторые применения удаления фона:

‍

1. Повторное использование фотосессий: извлеките больше из своего существующего контента.

2. Электронная коммерция: подготовьте изображения своего продукта и сделайте их более привлекательными для любой платформы электронной коммерции.

3. Медиа/Творчество: раскройте свой творческий потенциал и создавайте потрясающий контент.

4. Профильные и паспортные фотографии: создайте потрясающие фотографии профиля всего за несколько кликов. Пропустите очередь и создавайте паспортные фотографии где угодно.

5. Логотипы/Подписи/Графика: рекламируйте свой бизнес или любые другие интересные проекты.

‍

Проблемы

Наша цель - автоматически создавать маску для выделения объекта переднего плана из изображения. В этом процессе есть две основные проблемы:

‍

1. Автоматическое обнаружение предмета переднего плана.

2. Прогнозирование точной маски для реалистичной композиции.

‍

Хотя обнаружение объекта переднего плана легко для человека, для компьютера это не так. В этом сообщении мы сосредоточимся на второй проблеме и оставим первую для будущего блога.

‍

Распространенный метод создания маски - это техника, называемая сегментацией изображений, которая присваивает бинарное значение, ДА или НЕТ, каждому пикселю изображения, чтобы указать, принадлежит ли этот пиксель предмету. Затем эту маску можно использовать для выделения объекта, как показано ниже.

‍

Мы видим, что сегментация изображений здесь сработала идеально. Однако в более сложных случаях, таких как те, где есть тонкие волосы, сегментация изображений не сработает, как видно ниже. Несмотря на то, что маска покрывает пиксели волос, что-то не так с извлечением. Это связано с тем, что часть предмета, особенно её волосы, в некоторых местах полупрозрачны и взаимодействуют со светом и цветом фона, создавая мягкий тон, который мы видим на оригинальном изображении.

‍

В таком случае нам нужна маска прозрачности или альфа-мат для правильного извлечения, как показано ниже. Такая маска может полностью разделить элементы переднего и заднего плана, даже в местах, где они глубоко взаимодействуют.

‍

Созданные маски должны быть высокой точности, так как композиции, созданные после удаления фона, часто используются в целях электронной коммерции или медиа, где их будут видеть люди. Давайте поговорим о трех факторах, которые влияют на реалистичность композиций:

‍

• Цветовая деконтаминация,
• Маленькие промежутки,
• Альфа-смешивание.

‍

Цветовая деконтаминация

‍

‍

Рассмотрим приведенный ниже пример, чтобы проиллюстрировать, как незначительные различия в масках могут вызвать существенные визуальные различия в композиции. Верхнее изображение - это оригинальное изображение, на котором плюшевая игрушка на ярко-синем фоне. Ниже в первой колонке показаны две маски, созданные двумя разными алгоритмами. Маски выглядят очень похожими; однако при извлечении с использованием первой на волосах объекта все еще частично виден синий свет, как показано во второй колонке.

‍

В третьей колонке мы видим крупные изображения небольшого участка с правой стороны игрушки. Здесь мы замечаем, что первый алгоритм немного завысил свои значения, из-за чего при извлечении присутствует больше света фона. Обе маски покрывают практически одну и ту же область волос, но их точные значения имеют большое значение.

‍

Алгоритмы должны понимать взаимодействия цветов и освещения переднего и заднего плана, чтобы обойти такие проблемы. Даже человеку было бы сложно и затратно по времени создать такую маску самостоятельно, и вот тут-то и приходит на помощь удаление фона.

‍

Маленькие промежутки

‍

‍

Даже небольшие ошибки в маске, такие как пропущенные крошечные промежутки, могут вызвать очевидные визуальные несоответствия при компоновке на новом фоне. Ниже мы видим оригинальное изображение сверху и маски, созданные двумя алгоритмами справа.

‍

В первой маске виден ряд ошибок. Большие промежутки, такие как тот, что рядом с плечом, явно видны, когда объект размещается на зеленом фоне, но также видны и крошечные около и внутри кудрявых волос. Если эти промежутки оставить, то части старого фона будут размещены на новом, делая изображение искусственным.

‍

Альфа-смешивание

‍

‍

Давайте посмотрим, как наша маска прозрачности способствует реалистичной композиции. Наша маска прозрачности указывает, как много цвета переднего и заднего плана должно присутствовать для каждого пикселя.

‍

Например, на определенном пикселе может быть смешивание 60% цвета переднего плана и 40% цвета заднего плана. Такое смешивание создает впечатление, что предмет действительно находится на новом фоне и взаимодействует с освещением там.

‍

Композиции также кажутся менее зазубренными по краям, более натуральными и привлекательными для человеческого глаза. Компонуя, мы не хотим, чтобы фон начинался резко.

‍

Мы хотим плавного перехода от предмета переднего плана к области фона. Для иллюстрации мы компонуем небольшой участок коричневых волос, извлеченных из угла плюшевой игрушки выше в с) на яркий фон в a) ниже.

‍

Когда мы смешиваем с помощью нашей маски в b), мы видим плавный переход и взаимодействие цветов в созданной композиции в d), что создает впечатление, что предмет действительно присутствовал и взаимодействовал с освещением нового фона. Существуют более продвинутые методы композиции предметов и фонов из различных условий освещения, но мы не обсуждаем их здесь.

‍

В заключение, мы видели, что удаление фона - это деликатный процесс, требующий прогнозирования прозрачности. Используя карту, созданную в процессе удаления, мы можем извлечь предмет и составить новый фон.

‍

Мы обсудили три важных соображения, которые влияют на реалистичность композиций и уровень точности и детализации, ожидаемый от алгоритмов, пытающихся создать эти маски. Для этого нам приходится полагаться на передовые методы машинного обучения и компьютерного зрения, которые мы рассмотрим в будущем посте.

‍

Мы надеемся, что вам понравилось читать этот блог, и теперь у вас есть более глубокое понимание удаления фона и его многочисленных применений. Чтобы увидеть все это в действии, попробуйте наш удалятор фона Erase.bg, который запускается с новым веб-сайтом в ближайшее время. Чтобы получать новые обновления, следите за нами здесь.