1、简单介绍

CLIP是openai公司提出的网络，可以处理文本和图像，是一个多模态网络，对多模态的研究具有一定的推动作用。作为学习，记录一下对CLIP的理解。

clip的官方网站：
https://openai.com/research/clip
clip的GitHub网址：
https://github.com/openai/CLIP

2、网络结构解析

如图是代码中定义的CLIP类

代码：

class CLIP(nn.Module):def __init__(self,embed_dim: int,# visionimage_resolution: int,vision_layers: Union[Tuple[int, int, int, int], int],vision_width: int,vision_patch_size: int,# textcontext_length: int,vocab_size: int,transformer_width: int,transformer_heads: int,transformer_layers: int):super().__init__()self.context_length = context_lengthif isinstance(vision_layers, (tuple, list)):vision_heads = vision_width * 32 // 64self.visual = ModifiedResNet(layers=vision_layers,output_dim=embed_dim,heads=vision_heads,input_resolution=image_resolution,width=vision_width)else:vision_heads = vision_width // 64self.visual = VisionTransformer(input_resolution=image_resolution,patch_size=vision_patch_size,width=vision_width,layers=vision_layers,heads=vision_heads,output_dim=embed_dim)

从代码中可以看到，CLIP的init包含 vision 和 text，分别对应 视觉图像输入 和 文本输入。

而且CLIP包含两种结构，一个是 ModifiedResNet，另一个是 VisionTransformer
也就是CLIP的图像处理是分别采用了 ResNet 和 ViT 的结构，其中resnet的输出采用qkv结构，所以网络中还单独定义了transformer:

self.transformer = Transformer(width=transformer_width,layers=transformer_layers,heads=transformer_heads,attn_mask=self.build_attention_mask())

从CLIP的forward函数，可以看出CLIP的数据处理方式：

def forward(self, image, text):image_features = self.encode_image(image)text_features = self.encode_text(text)# normalized featuresimage_features = image_features / image_features.norm(dim=1, keepdim=True)text_features = text_features / text_features.norm(dim=1, keepdim=True)# cosine similarity as logitslogit_scale = self.logit_scale.exp()logits_per_image = logit_scale * image_features @ text_features.t()logits_per_text = logits_per_image.t()# shape = [global_batch_size, global_batch_size]return logits_per_image, logits_per_text

self.encode_image(image) 和 self.encode_text(text) 分别对图像和文本进行编码，随后 normalized features 分别做归一化处理，接着 cosine similarity as logits 计算图像和文本特征的相似性。

从上可以看出，CLIP基本上是在传统的图像特征提取上，加上了文本进行读取和特征处理，最后将图像特征 和 文本特征 进行相似度对比 以建立图像和文本的 关联。