10.01.2024По настоящее время
Lamoda
Как мы усовершенствовали обработку фотографий для интернет‑магазина Lamoda с помощью ML
Старт работы: изображения обуви
Новый объект обработки: сумки
Первые результаты
Рефакторинг и отказ от оболочки интерфейса
10.01.2024По настоящее время
Lamoda
Как мы усовершенствовали обработку фотографий для интернет‑магазина Lamoda с помощью ML
Технологии
Backend
Python
OpenCV
FastAPI
Pytorch
Tensorboard
Tensorflow
Награды
Заказчик
Lamoda — один из крупнейших интернет‑магазинов в России и СНГ, который специализируется на торговле одеждой и обувью.
Задача
Разработать ML‑решение, которое позволит снять с сотрудников рутинные задачи по ретуши фотографий — расположение объекта в кадре, коррекцию цвета фона и другие.
Старт работы: изображения обуви
Новый объект обработки: сумки
Первые результаты
Рефакторинг и отказ от оболочки интерфейса
Проблема
Lamoda выделяется качественными фотографиями товаров с тщательной ретушью, корректировкой углов и фона, которые компания создаёт самостоятельно на своей фотостудии полного цикла, а не покупает от продавцов.
Автоматизация обработки фото ускоряет создание карточек обуви. Это сложная задача из‑за отсутствия строго заданных углов поворота: ретушеры при обработке опираются на опыт, насмотренность и образцы «правильных» и «неправильных» снимков. Решение этой задачи представители Lamoda поручили нам.
Решение
Для карточек в каталоге Lamoda важна ориентация объекта в кадре — он всегда должен быть расположен в центре, на фоне с градацией светлых оттенков, иметь определенную тень. Поэтому мы использовали ансамбль из двух нейронных сетей, которые определяют, что за снимок загружен:
Дихотомическая сегментация изображения: модель делит изображение на несколько однородных областей по разным параметрам — цвету, текстуре и другим. Это помогает отделить предмет от фона.
Модель глубокого обучения, которая определяет угол ориентации предмета на фото. Это нужно для последующей корректировки его позиции.
Также мы использовали набор морфологических операций библиотеки OpenCV для обработки разных ракурсов объекта — в профиль, сверху, и для поворота в пространстве.
Для Lamoda мы сделали удобную консоль, с помощью которой запускается обработка фото. Но это — не единственный вариант: например, аналогичный сервис можно «упаковать» в плагин для Figma или Photoshop. Всё зависит от того, что именно нужно конкретному заказчику.
Определение контура обуви
Создание маски
Замена фона
Настройка контраста и яркости
Оптимизация освещения и теней на фоне
Вид объекта в профиль
Анализ альфа‑канала
Исправление наклона
Обрезка и масштабирование
Вид объекта сверху
Обработка поворота
Предсказание угла поворота
Удаление фона
Центрирование
Синергия с заказчиком
Одно из условий успеха проекта — качественное взаимодействие с заказчиком. При работе над ML‑сервисом для Lamoda в чатах с клиентом кипела продуктивная совместная работа:
- мы проводили совместные исследования, обсуждали результаты и пути для развития;
- заказчик показывал множество референсов, чтобы улучшить работу сервиса.
Также мы получали тёплый фидбек, поддержку, шутили и смеялись.
Результат
Мы разработали решение, которое ускоряет процесс обработки фото, снимает с сотрудников однотипные, но требующие много времени задачи. Обработку изображения сервис осуществляет за 5–15 секунд, в зависимости от мощности процессора. Человеку на это нужно минимум несколько минут.
Продолжаем работу
Проект продолжает развиваться: мы добавляем новые типы объектов, которые может обработать сервис. Если раньше нейросетевые модели научились обрабатывать разные типы обуви, то теперь «добрались» до сумок.
Их обработка включает те же этапы, что и у обуви, но потребовала от нас дополнительной тренировки AI‑моделей. Также в отличие от сапог и кроссовок при фотографировании сумку иногда требуется придержать, чтобы она правильно стояла, но на кадре должно остаться только изделие. Для этого мы обучили ещё одну нейросетевую модель, которая убирает руки из кадра.
Свяжитесь с нами