OOTDiffusion虚拟试穿模型

MODEL ZOO Nov 17, 2024

虚拟试穿技术是电子商务和时尚领域的一项前沿创新，它允许客户在不实际穿着的情况下尝试虚拟服装、配饰、化妆品或其他时尚元素。通过这种独特而引人入胜的探索和与产品互动的方式，它使用户能够直观地看到时尚物品在自己身上的样子，从而促进交易、减少退货并增强客户购物体验。

1、OOTDiffusion模型简介

关于基于图像的虚拟试穿方法，以前的研究人员主要面临三个问题。

真实感和自然性。生成对抗网络 (GAN) 最初由 Ian Goodfellow 于 2014 年开发，现已成为一种流行的机器学习框架。它在虚拟试穿方面的探索往往难以生成正确的服装褶皱、自然光或逼真的人体。
衣服特征保留。基于 GAN 和基于 LDM（潜在扩散模型）的方法都需要或多或少明确的扭曲过程来将服装特征与目标人体对齐。然而，这个过程很容易出现过度拟合、信息丢失或特征失真，尤其是对于包括纹理、颜色和图案在内的服装细节。
可控性。可控性是模型调整服装特征强度并根据用户偏好定制结果的重要特征。然而，以前的方法不足以控制生成的结果。

OOTDiffusion，即 Outfitting over Try-on Diffusion 的缩写，是一种基于 LDM 的新型方法，它在去噪 UNet 的自注意力层中采用装备融合，并在训练时执行装备 dropout，以使潜在扩散模型能够根据服装特征生成更可控的装备图像。

根据下面的模型工作流程，将两个输入（服装图像和人体）编码到潜在空间中，然后输入到装备 UNet 中。通过装备融合，服装特征被纳入去噪 UNet，然后解码回人体上的蒙版目标区域。

OOTDiffusion 模型工作流程概述（来源：OOTDiffusion 论文）

Outfitting Dropout 是一种创造性的想法，它被应用于训练过程中，以实现针对服装特征的无分类器指导。从以下由 outfitting dropout 和指导尺度控制的定性比较实验结果中，我们可以发现，随着 sg 的增加，细粒度的服装特征变得更加清晰，而当 sg > 2.5 时，颜色开始失真。

在不同指导尺度下，由不使用或使用 outfitting dropout 训练的模型控制的服装图像生成。（来源：OOTDiffusion 论文）

2、OOTDiffusion性能比较

在不同模型的上半身和全身服装搭配的定性比较实验中，OOTDiffusion 最有可能在自然度、真实度和服装细节保留方面提供最佳结果。

全身模型与上身服装/下身服装/连衣裙的定性比较（来源：OOTDiffusion 论文）

3、OOTDiffusion的局限性

尽管 OOTDiffusion 的搭配测试结果非常出色，但仍存在一些局限性，我们希望未来能够有所突破。首先，由于模型是在成对的人体和服装图像上进行训练的，因此可能无法获得跨类别虚拟试穿的完美结果，例如，让穿长裙的女性穿上 T 恤，或让穿裤子的男性穿上裙子。另一个缺点是，虚拟试穿后，原始人体图像中的某些细节可能会发生变化，例如肌肉、手表或纹身。