本文提出了组归一化（GroupNormalization，GN）作为批归一化（BN）的替代。作者发现很多经典的特征例如SIFT[38]和HOG[9]是分组的特征并涉及分组的归一化。例如，一个HOG向量是多个空间单元的输出，其中每个单元由一个归一化的方向直方图表征。
论文中把GN作为一个有效的归一化层且不用开发批量维度，同时也评估了GN在各种应用中的行为表现。不过，论文作者也注意到，由于BN之前拥有很强的影响力，以至于许多先进的系统及其超参数已被设计出来。
何恺明团队最新力作：群组归一化（GroupNormalization）.雷锋网AI科技评论按：近日，FAIR研究工程师吴育昕和研究科学家何恺明联名著作的一篇论文...
何恺明团队最新力作：群组归一化。在进行COCO中的目标检测和分割以及Kinetics中的视频分类比赛中，GN可以胜过其竞争对手，表明GN可以在各种任务中有效地取代强大的BN。许多实践都证明了这一点，BN使用（小）批计算的均值和方差对...
但GN有两个缺陷，其中一个是在batchsize大时略低于BN，另一个是由于它是在通道上分组，因此它要求通道数是分组数g的倍数。GN应用场景：在目标检测，语义分割等要求尽可能大的分辨率的任务上，由于内存限制，为了更大的分辨率只能取比较小的batchsize，可以选择GN这种不依赖于batchsize的归一化方…
文章转自公众号【机器学习炼丹术】文章目录：1BN的优点2BN的缺点2.1受限于Batchsize2.2训练集与测试集的分布3GroupNormalzation4PyTorch实现GN总的来说，GN是对BN的改进，是IN和LN的均衡。1BN的优点…
数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合...
在数据分析与挖掘、算法建模的都会用到数据标准化。数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
（5）归一化处理归一化运算的尺度为5x5，即选择5x5的像素区域进行批归一化处理。第一卷积层运算结束后形成的像素层的规模为27x27x96。分别对应96个卷积核所运算形成。这96层像素层分为2组，每组48个像素层，每组在一个的GPU上进行运算。
组归一化视觉表征的各个通道其实并不完全。SIFT[38]、HOG[9]和GIST[40]的经典特征都设计为按分组来表征，其中每一组通道由一些直方图（histogram）构成。这些特征通常通过在每个直方图或每个方向上执行分组归一化而得到处理。