BRIA RMBG-2.0背景去除模型

MODEL ZOO Nov 14, 2024

RMBG v2.0 是BRIA AI最新的先进的背景去除模型，旨在有效地将一系列类别和图像类型的前景与背景分开。该模型已在精心选择的数据集上进行了训练，其中包括：一般库存图片、电子商务、游戏和广告内容，使其适用于大规模企业内容创建的商业用例。其准确性、效率和多功能性目前可与领先的源可用模型相媲美。它是内容安全、合法许可的数据集和偏见缓解至关重要的理想选择。

你可以在此处和此处找到模型和在线演示，在这里找到源代码。代码可供所有人使用。研究人员可以免费访问它以用于非商业用途，而商业用途则根据 BRIA 的许可条款提供。

1、RMBG v2.0模型简介

如果你正在寻找最精确、最先进的背景去除解决方案，那么 BRIA AI 的 RMBG v2.0 模型正是你所需要的。该模型基于创新的 BiRefNet 架构，旨在即使在最具挑战性的环境和高度详细的图像中也能提供出色的结果。RMBG v2.0 是细致的科学工作和对多样化和复杂数据集进行训练的产物，可确保高准确性、灵活性和适应性，以满足各种商业需求。

RMBG v2.0提供高精度、合法和包容性的背景去除能力，主要特点如下：

即使在复杂环境中也能保持高精度

RMBG v2.0 面向需要高精度背景去除的用户。BiRefNet 架构和 BRIA 独特的训练框架可确保一致且精确的结果。该模型可以处理具有多个对象和不同背景的图像，即使在高度详细和纹理丰富的图像中也能识别和分离主要对象。

合法且安全的数据

与 BRIA 发布的所有模型和训练一样，RMBG v2.0 训练所用的整个数据集完全合法，由其合作伙伴提供。此模型对用户没有任何顾虑或风险，因为所有数据均已获得法律批准并受商业使用保护。这使用户能够从先进的背景去除技术中受益，而不会面临侵犯知识产权的风险。

在专业、多样化和平衡的数据集上进行训练

RMBG v2.0 的成就之一是它能够在各种情况下运行，这要归功于对 15,000 多张高分辨率、高质量图像的训练。数据集包括各种类别的图像，例如孤立物体、带有物体或动物的人以及文本图像。图像类型的多样性以及对性别和种族平衡的重视使该模型能够最大限度地减少偏差并为所有用户提供准确的结果。

2、RMBG v2.0定性评估

开源模型比较：

背景去除效果对比：RMBG-2.0 vs. RMBG-1.4 vs. BiRefNet。点击这里查看大图

成功率对比：RMBG 2.0 vs. BiRefNet vs. RMBG 1.4

3、RMBG v2.0的训练数据

RMBG v2.0模型使用超过 15,000 张高质量、高分辨率、手动标记（像素级准确度）、完全授权的图像进行训练。Bria AI的基准包括均衡的性别、均衡的种族以及不同类型的残疾人。为清楚起见，Bria AI根据不同类别提供数据分布，以展示其模型的多功能性。

图像数据集的分布：

类别	分布
仅物体	45.11%
带有物体/动物的人	25.24%
仅人物	17.35%
带有文本的人/物体/动物	8.52%
仅文本	2.52%
仅动物	1.89%

类别	分布
照片写实	87.70%
非照片写实	12.30%

类别	分布
非实体背景	52.05%
实体背景	47.95%

类别	分布
单个主要前景物体	51.42%
前景中的多个物体	48.58%

4、RMBG v2.0快速上手

在运行RMBG v2.0模型之前，请确保已经安装以下依赖库：

torch
torchvision
pillow
kornia
transformers

下面的示例代码从HuggingFace加载预训练的RMBG-2.0模型，去除输入图像的背景，并将去除背景的图像存入指定的文件：

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")

5、RMBG v2.0 基准测试

在此基准测试中，我测试了新的 RMBG v2.0 模型以及Bria AI之前的版本 RMBG-1.4。更新后的 RMBG v2.0 在背景去除方面表现出显著的改进，特别是在处理复杂场景和保留边缘周围的精细细节方面。

设置此基准测试既快速又简单。我使用语言模型创建了一组 100 张不同的图像，然后通过 BRIA 2.3 Fast 运行它们。大约 10 分钟后，我就准备好了一个可靠的基准测试。你可以随意尝试一下，并使用随附的代码 creat_generated_benchmark.py 制作适合你需求和用例的基准测试。