Kaggle Diffusion Prompt 赛题 Baseline

Part1 赛题任务

AIGC即AI Generated Content，是指利用人工智能技术来生成内容，AIGC也被认为是继UGC、PGC之后的新型内容生产方式，AI绘画、AI写作等都属于AIGC的分支。

本次比赛的任务是创建一个模型，该模型可以反转生成给定图像的扩散过程（即通过图片生成原始prompt）。

• 输入：16,000张SD生成的图片；
• 标签：prompt文本编码之后的向量；

https://www.kaggle.com/competitions/stable-diffusion-image-to-prompts

使用预测和实际提示嵌入向量之间的余弦相似度评估，对于测试集中的每个图像，您必须预测用于生成图像的prompt转换为 384 长度的嵌入向量。

核心评分代码如下，对文本通过all-MiniLM-L6-v2进行编码，然后转换维度进行提交：

# https://www.kaggle.com/code/inversion/stable-diffusion-sample-submission/

# 读取prompt文本sample_submission = pd.read_csv('sample_submission.csv', index_col='imgId_eId')

# 读取用于编码prompt的模型st_model = SentenceTransformer('/kaggle/input/sentence-transformers-222/all-MiniLM-L6-v2')

# 编码并转换维度prompt_embeddings = st_model.encode(prompts['prompt']).flatten()

# 写入提交结果submission = pd.DataFrame(
index=imgId_eId,
data=prompt_embeddings,
columns=['val']).rename_axis('imgId_eId')
submission.to_csv('submission.csv')

Part2 基础知识

Stable Diffusion介绍

Stable Diffusion（简称SD）诞生于2022年8月，主要思路来自于CVPR22 上合作发表的潜扩散模型（Latent Diffusion Model）论文。

相比较于DALL-E等大模型，Stable Diffusion对显存压力更小。Stable Diffusion不仅生成的图像质量非常高，运行速度快，并且有资源和内存的要求也较低。

Stable Diffusion根据文本提示作为输入来生成的图像，也可以用它对图像根据文字描述进行修改。

SD Prompt规则

Prompt顺序：越靠前的Tag权重越大：比如景色Tag在前，人物就会小，相反的人物会变大或半身。

Prompt个数：生成图片的大小会影响Prompt的效果，图片越大需要的Prompt越多，不然Prompt会相互污染。

Prompt权重：在Stable Diffusion 中使用()英文括号可增加括号中Tag在画面中的权重 x1.1，[]可减小Tag权重x0.91。

Emoji Prompt：Prompt支持使用emoji，且表现力较好，可通过添加emoji达到表现效果，如?形容表情。

更多SD相关的Prompt特征工程，可以参考如下资料：

- https://github.com/Maks-s/sd-akashic - https://github.com/adieyal/sd-dynamic-prompts - https://invoke-ai.github.io/InvokeAI/features/PROMPTS/

all-MiniLM-L6-v2

all-MiniLM-L6-v2在可用训练数据（超过 10 亿个句子对）上进行训练，将句子和段落映射到 384 维密集向量空间，可用于聚类或语义搜索等任务。

更多模型介绍，可以参考如下资料

- https://www.sbert.net/docs/pretrained_models.html - https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

Part3 参赛要点

赛题是AIGC领域的前沿赛题，但并不是单纯创造图片，而是希望构建模型去生成合理的prompt，进而生成合适的图片。

图片图片

赛题使用的Stable Diffusion v2（SD v2）权重是公开的，且可以轻松在本地或者运算生成新的图片。模型权重和地址如下：

- 模型权重：https://huggingface.co/stabilityai/stable-diffusion-2/blob/main/768-v-ema.ckpt - 使用代码：https://github.com/Stability-AI/stablediffusion/blob/main/scripts/txt2img.py

本次赛题并不提供数据，而是提供了一个模型权重，需要选手通过模型权重来得到的一个逆向的模型。

参加本次比赛，必备如下知识：

• SD v2原始的训练数据大致有哪些？
• SD v2支持比较好的单词有哪些？
• SD v2推荐的prompt是什么特点？

如果训练逆向模型（先不考虑想法），从数据和标签角度思考：

• 如何得到图像的关键词？
• 如何得到关键词的权重？
• 如何对关键词的次序进行组织？
• 如何判断关键词与图像是否匹配？
• 如何在本地搭建验证集？

Part4 赛题Baseline

思路1：Vit-GPT2

Visual Transformers（Vit）是强大的图像分类模型，而 GPT2 是一种可用于生成文本的语言模型。Vit-GPT2思路是将图片Vit特征解码为文本，用来描述图片内容。

排行榜得分：0.30612

# 加载Vit-GPT模型model = VisionEncoderDecoderModel.from_pretrained(model_dir) feature_extractor = ViTFeatureExtractor.from_pretrained(model_dir) tokenizer = AutoTokenizer.from_pretrained(model_dir)

# 对图片生成文本，然后对文本进行编码def predict_step(image_paths):
images = []forimage_pathinimage_paths:
i_image = Image.open(image_path)ifi_image.mode !="RGB":
i_image = i_image.convert(mode="RGB")

images.append(i_image)# Vit-GPT，Vit部分pixel_values = feature_extractor(images=images, return_tensors="pt").pixel_values
pixel_values = pixel_values.to(device)# Vit-GPT，GPT部分output_ids = model.generate(pixel_values, gen_kwargs)# 文本编码部分preds = tokenizer.batch_decode(output_ids, skip_special_tokens=True)
preds = [pred.strip()forpredinpreds]returnpreds

Baseline地址：https://huggingface.co/nlpconnect/vit-gpt2-image-captioning

思路2：OFA模型

OFA将多模态及单模态的理解和生成任务统一到一个简单的Seq2Seq生成式框架中，OFA执行预训练并使用任务指令进行微调。

排行榜得分：0.42644

# 图片数据变换mean, std = [0.5, 0.5, 0.5], [0.5, 0.5, 0.5] resolution = 480 patch_resize_transform = transforms.Compose([ lambda image: image.convert("RGB"), transforms.Resize((resolution, resolution), interpolation=Image.BICUBIC), transforms.ToTensor(), transforms.Normalize(mean=mean, std=std) ])

# 加载OFA模型，输入任务指令tokenizer = OFATokenizer.from_pretrained(CKPT_DIR)
model = OFAModel.from_pretrained(CKPT_DIR, use_cache=False).cuda()
txt =" what does the image describe?"inputs = tokenizer([txt], return_tensors="pt").input_ids

OFA模型资料如下：

- 开源地址：https://github.com/OFA-Sys/OFA - 模型权重：https://huggingface.co/OFA-Sys

Baseline地址：https://www.kaggle.com/code/mayukh18/ofa-transformer-lb-0-42644

思路3：CLIP + Prompt模板

CLIP从互联网收集的4亿(图像、文本)对的数据集，在预训练之后，用自然语言描述所学的视觉概念，从而使模型能够在zero-shot状态下转移到下游任务。

排行榜得分：0.45836

def interrogate(image: Image) -> str:# CLIP预测得到文本caption = ci.generate_caption(image)# 计算图片特征image_features = ci.image_to_features(image)# 计算博物馆promptmedium = [ci.mediums.labels[i]foriincos(image_features, mediums_features_array).topk(1).indices][0]# 计算图片风格promptmovement = [ci.movements.labels[i]foriincos(image_features, movements_features_array).topk(1).indices][0]# 计算口味/通用promptflaves =", ".join([ci.flavors.labels[i]foriincos(image_features, flavors_features_array).topk(3).indices])# prompt模板ifcaption.startswith(medium): prompt = f"{caption}, {movement}, {flaves}"else: prompt = f"{caption}, {medium}, {movement}, {flaves}"

returnclip_interrogator._truncate_to_fit(prompt, ci.tokenize)

上述不同的prompt生成逻辑来自CLIP Interrogator，其收集了大量的常见的prompt用于进行匹配。

Baseline地址：https://www.kaggle.com/code/leonidkulyk/lb-0-45836-blip-clip-clip-interrogator