第一家中文商务网站西安模板建网站
张小明 2026/1/1 1:34:08
第一家中文商务网站,西安模板建网站,北京做网站的工作室,qq上如何做文学网站论文#xff1a;Learning Transferable Visual Models From Natural Language SupervisionCLIP 的全称是 Contrastive Language-Image Pre-training#xff08;对比语言-图像预训练#xff09;。它是由 OpenAI 在 2021 年提出的一个多模态人工智能模型。其核心思想是通过学习…论文Learning Transferable Visual Models From Natural Language SupervisionCLIP的全称是Contrastive Language-Image Pre-training对比语言-图像预训练。它是由OpenAI在 2021 年提出的一个多模态人工智能模型。其核心思想是通过学习大量图像及其对应文本描述之间的关系来理解和连接视觉图像与语言文本这两个不同的模态。该模型直接使用大量的互联网数据进行预训练在很多任务表现上达到了SOTA 。1. CLIP模型概述传统的监督模型会存在以下的这些缺点模型需要用到大量的标注数据这些标注数据获取通常成本高昂模型在当前数据集的效果比较好但对于其他类似的数据集效果并不是很好即泛化能力较差传统的图像分类模型无法进行类别拓展想要保证准确率只能从头开始训练分类模型是预测图像是否属于某个类别CLIP采用了完全不同的分类方法通过对比学习来学习图像与其注释之间的关联。CLIP 的做法是使用从互联网上抓取的带字幕的图像来创建一个模型该模型可以预测文本是否与图像匹配。如下图所示本质上CLIP模型通过编码器将图像和文本映射到同一个Embedding空间中使得匹配的图和文Embedding彼此靠近而不匹配的图和文Embedding彼此相距较远。这种学习预测事物是否属于同一类或不属于同一类的策略通常被称为“对比学习” (contrastive Learning)2. 模型训练和使用如图1所示模型训练输入图片-图像编码器vision transformer-图片特征向量输入文字-文本编码器text -文本特征向量对两个特征进行线性投射得到相同维度的特征并进行L2归一化通过余弦相似度计算两个特征向量的相似度计算图像预测文本的损失和文本预测图像的损失最终取平均作为总损失如图 (2)、(3) 所示模型推理给出一些文本提示词同时要保证正确计算每一个文本提示词和图片特征的相似度相似度最高的即为正确答案CLIP训练的伪代码如下图所示步骤如下提取图像、文本特征将图像、文本特征与投影矩阵相乘并进行L2归一化映射到共享嵌入空间计算图像和文本之间的缩放余弦相似度在列方向(axis0)以及行方向(axis1)计算交叉熵损失并求平均3. 应用场景这里给出一些应用场景例如1. 文搜图/图搜文实现方式将文本/图像编码为CLIP嵌入向量通过余弦相似度计算匹配度应用案例电商平台输入“北欧风格沙发”自动展示相关商品图医疗影像库用自然语言描述如“肺部结节CT影像”检索匹配病例2. 视觉问答VQA系统架构CLIP提取图像和问题特征结合语言模型如GPT-4生成答案示例输入“图中人物在做什么”CLIP匹配图像动作与文本描述生成回答。