舆论提出引入少量超大卷积核层来灵验地夸大灵验体验域，拉近了CNN搜集与ViT搜集之间的差异，更加是卑劣工作中的本能。整篇舆论阐明格外精细，并且也优化了本质运转的展现，犯得着读一读、试一试 根源：晓飞的算法工程条记 大众号
舆论: Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs
舆论地方：https://arxiv.org/abs/2203.06717舆论代码：https://github.com/megvii-research/RepLKNetIntroduction 在图像分门别类、特性进修等前置工作(pretext task)以及目的检验和测定、语义分隔等卑劣工作(downstream task)上，卷积搜集的本能连接被ViTs（vision transformer）搜集胜过。人们一致觉得ViTs的本能重要成绩于MHSA(multi-head self-attention)体制，并为此举行了很多接洽，从各别的观点比较MHSA与卷积之间的是非。 证明VisTs与CNNs的本能分别不是这篇舆论的手段，对立于接洽MHSA和卷积的分别，舆论则关心于ViTs与CNNs在建立长隔绝场所联系(long-range spatial connections)的范式上的分别。在ViTs中，MHSA常常运用较大的体验域()，每个输入都能包括较大范畴的消息。而在CNNs中，暂时的做法都是经过堆叠较小()的卷积来增大体验域，每个输入所包括消息的范畴较小。
鉴于上头创造的体验域分别，舆论试验经过引入小批大亚湾核电站卷积层来填补ViTs和CNNs之间的本能分别。借此提出了RepLKNet搜集，经过重参数化的大卷积来创造空间联系。RepLKNet搜集鉴于Swin Transformer骨干举行变革，将MHSA替代为大的深度卷积，本能比ViTs搜集更好。其余，舆论经过图1的可视化创造，引入大卷积核对立于堆叠小卷积能明显提高灵验体验域(ERFs)，以至不妨跟ViTs一律不妨关心形势特性。
Guidelines of Applying Large Convolutions 径直运用大卷积会引导本能和速率大幅低沉，舆论经过试验归纳了5条高效运用大卷积核的规则，每条规则还附带了一个备注。
Guideline 1: large depth-wise convolutions can be efficient in practice. 大卷积的计划本钱很高，参数目和计划量与卷积核巨细成二次方联系，而深度卷积凑巧不妨填补这一缺陷。将各stage的卷积核从规范卷积改为深度卷积，仅带来了18.6%的计划量减少和10.4%的参数目减少。 但因为计划量和外存考察数的比值较低，深度卷积在并行摆设上的计划功效较低。然而当卷积核变大时，单个特性值被运用的度数减少，深度卷积的计划密度则会相映普及。按照Roofline模子，计划密度跟着卷积核的增大而增大，计划推迟该当不会像计划量那么减少那么多。
Remark 1
如表1所示，暂时的深度进修框架对深度卷积的实行较为低效。为此，舆论试验了各别的本领来优化CUDA内核，结果采用了block-wise(inverse) implicit gemm算法并集成到了MegEngine框架中。对立于Pytorch，深度卷积带来的计划推迟从49.5%贬低到了12.3%，简直与计划量成正比。 简直的关系领会和实行，不妨去看看这篇作品《凭什么 31x31 巨细卷积核的耗费时间不妨和 9x9 卷积差不离？》(https://zhuanlan.zhihu.com/p/47***82218)。
Guideline 2: identity shortcut is vital especially for networks with very large kernels.
为了考证短路贯穿对大卷积核的要害性，舆论以MobileNetV2动作基准，替代个中的深度卷积核巨细来举行有无短路贯穿的比较。如表2所示，在有短路贯穿的情景下，大卷积核能带来0.77%的本能提高。而没短路贯穿的情景下，大卷积核的精确率贬低至53.98%。
Remark 2 这个规则同样也实用于ViTs中。近期有接洽创造，即使移除短路贯穿，ViTs中的提防力会跟着深度的减少而双倍地缩小，结果展示提防力过渡光滑的题目。纵然大卷积核本能低沉的因为大概跟ViT不一律，但同样也有难以捕获限制特性的局面。为此，舆论觉得如参考文件《Residual networks behave like ensembles of relatively shallow networks》所说的，短路贯穿不妨使得模子显式地变为多个各别体验域巨细的模子的拉拢(小体验域与大体验域连接径直累加)，进而不妨在更大的体验域中获得提高而且不会丧失捕获小标准特性的本领。
Guideline 3: re-parameterizing with small kernels helps to make up the optimization issue.
舆论将MobileNetV第22中学的卷积核辨别替代为和，再沿用构造重参数扶助更好地演练。简直的做法如图2所示，先将卷积核替代为更大的卷积核，再并行一个深度卷积层，过程BN处置后将其截止相加动作输入。演练实行后，兼并并行的巨细卷积层及其BN层，获得没有小卷积层的模子。完全思绪跟RepVGG一致，有爱好的不妨去看看大众号之前的作品《RepVGG：VGG，长久的神！ | 2021新文》
构造重参数的对比方表3所示，卷积核从9增大到13引导了精确率的低沉，运用构造重参数则可用处置这个题目。在语义分隔工作中，构造重参数也同样不妨处置增大卷积核引导本能低沉的题目。
Remark 3 ViTs在少量据集上会有优化题目，常常须要增添前置卷积层来处置。比方在每个self-attention前方增添一个深度卷积层，这跟舆论提出的并行卷积的做法一致。增添的卷积层能为ViT搜集预先引入平移静止性和限制特性，使其在少量据集上更简单优化。舆论在RepLKNet上也创造了一致的局面，当预演练数据集增大到7300万时，不复须要构造重参数化来扶助优化。
Guideline 4: large convolutions boost downstream tasks much more than ImageNet classification.
如前方表3所示，对立于分门别类工作，卷积核增大为分隔工作带来的收益更多。而表5的截止也有一致的局面，大卷积核在ADE20K数据集上的提高更为鲜明。这表白，纵然预演练模子有一致的ImageNet本能，但其在卑劣工作中的本能大概差异较大。
Remark 4 舆论觉得引导这一局面的因为重要有零点：
大卷积核能明显减少灵验体验域(ERF)，可包括更多的左右文消息，这对卑劣工作格外要害。大卷积能启发搜集目标于进修更多形势特性。图像分门别类仅须要左右文或形势消息，而目的辨别则特殊须要形势消息。以是，目标于更多形势特性的模子明显更符合卑劣工作。ViTs之以是在卑劣工作中展现强劲，也是成绩于其宏大的形势特性索取本领。差异，ImageNet预演练的保守卷积搜集则目标于左右文消息。Guideline 5: large kernel (e.g., 13×13) is useful even on small feature maps (e.g., 7×7).
为了考证大卷积在小特性图上的灵验性，将MobileNetV2结果的stage(特性图巨细为7x7)的深度卷积辨别夸大至7x7和13x13举行比较，试验构造附带了规则3倡导的构造重参数。截止如表4所示，纵然特性图仍旧很小了，增大卷积核仍旧不妨带来本能提高。
Remark 5
当小特性图上的卷积核变大时，卷积的平移静止性不复庄重创造。如图3所示，两个相邻的输入关系了各别的卷积核权值。这恰巧适合ViTs的观念，经过放宽对称的先验诉求(如输入要用沟通的卷积权值获得)来赢得更大的辨别本领。风趣的是，transformer中运用的2D对立场所源代码(其它特性对立于暂时特性的场所)也可觉得是一个卷积核巨细为的深度卷积，个中和辨别为特性图的高和宽。以是，大卷积核不只不妨扶助进修特性间的对立场所消息，因为要增添较多padding，还源代码了一致场所消息(参考舆论《On translation invariance in cnns: Convolutional layers can exploit absolute spatial location》)。
RepLKNet: a Large-Kernel Architecture 鉴于上头的规则，舆论提出了RepLKNet，一个大卷积核的纯CNN框架结构。暂时，SOTA小搜集仍旧以CNN为主，以是舆论重要在大模子上面与ViT举行比拟。
Architecture Specification
RepLKNet的构造如图4所示，各模块详细如次：
Stem：因为RepLKNet的重要运用是卑劣工作，以是须要在搜集前期捕获更多的详细。在发端的stride=2 3x3卷积下采集样品之后接一个3x3深度卷积来索取低维特性，之后接一个1x1卷积和3x3深度卷积用来下采集样品。Stages 1-4：每个stage包括多个RepLK Block，block内里包括了规则1倡导的深度卷积和规则2倡导的短路贯穿。按照规则3，每个深度卷积并行一个5x5深度卷积用来构造重参数。除去体验域和空间特性索取本领，模子的特性表白本领还和特性的维度相关。为了减少非线性和通道间的消息交谈，在深度卷积前用1x1卷积减少特性维度。参考transformers和MLPs搜集运用的Feed-Forward Network(FFN)，舆论提出CNN作风的ConvFFN，包括短路贯穿、两个1x1卷积核GELU。在运用时，ConvFFN的中央特性普遍为输出的4倍。参照ViT和Swin，将ConvFFN安置在每个RepLK Block反面。Transition Blocks：放在stage之间，先用1x1卷积夸大特性维度，再经过两个3x3深度卷积来举行2倍下采集样品。 总的来说，每个stage有3个超参数：ReLK Block数、维度数以及卷积核巨细，以是一个RepLKNet的构造可表白为, , 。
Making Large Kernels Even Larger
舆论恒定以及，大略安排提出了5个各别巨细的搜集，称为RepLKNet-3/7/13/25/31。在没有特出安排演练摆设情景下，各模子的参数和本能如表5所示。 其余，舆论还对演练摆设举行细调再不于与SOTA模子比较，该模子称为RepLKNet-31B。在此普通上，安排超参数获得RepLKNet-31L。进一步安排超参数，，，获得RepLKNet-31XL，该搜集的RepLK Blocks的中央特性为输出的1.5倍。
DiscussionLarge-Kernel CNNs have Larger ERF than Deep Small-Kernel Models 普遍来说，堆叠的小卷积最后也能到达跟单个大卷积一律的体验域巨细，但干什么保守搜集的本能要低于大卷积核搜集呢？舆论觉得，纵然能到达同样巨细的体验域，单层大卷积核要比多层小卷积更灵验，重要有零点：
根占有效体验域个性，其巨细与成比率联系。不妨看到，灵验体验域与卷积核巨细成线性联系，而与深度成次线性联系。深度的减少会带来演练题目。纵然ResNet犹如仍旧处置了这个题目，但近期有接洽表白，ResNet的灵验体验域并没有跟着深度减少而明显减少。 以是大卷积核的安排仅须要更少的层就不妨到达预订的灵验体验域，同声制止了深度减少带来的优化题目。
舆论也对ResNet和RepLKNet的灵验体验域举行可视化和统计，创造RepLkNet完全灵验体验域要大于ResNet。
Large-kernel Models are More Similar to Human in Shape Bias
有接洽创造ViT更逼近人体视觉，鉴于目的的形势举行猜测，而CNN则更多地依附限制左右文。舆论滥用https://github.com/bethgelab/model-vs-human的东西来计划模子的形势特性的偏差性，获得图5的截止，截止越低越好。从截止来看，大卷积核的RepLKNet更提防形势特性，当卷积核缩小时，RepLKNet-3则变为更提防左右文特性。
Dense Convolutions vs. Dilated Convolutions
单薄卷积是一个常用的夸大卷积范畴的本领，以是舆论对单薄深度卷积和普遍深度卷积举行了比较。如表11所示，纵然最大体验域大概一律，但单薄深度卷积的表白本领要弱很多，精确率低沉特殊鲜明。这也是适合预期的，固然单薄卷积的体验域较大，但其计划用的特性特殊少。
Experiment
ImageNet图像分门别类本能比较。
Cityscapes语义分隔本能比较。
ADE20K语义分隔本能比较。
MSCOCO目的检验和测定本能比较。
Conclusion 舆论提出引入少量超大卷积核层来灵验地夸大灵验体验域，拉近了CNN搜集与ViT搜集之间的差异，更加是卑劣工作中的本能。整篇舆论阐明格外精细，并且也优化了本质运转的展现，犯得着读一读、试一试。
即使正文对你有扶助，烦恼点个赞或在看呗～更多实质请关心 微信大众号【晓飞的算法工程条记】
work-life balance.