雷锋网 AI 科技评论按： 百度研究院、华中科技大学、悉尼科技大学联合新作——关于无监督领域自适应语义分割的论文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF A 类学术会议 CVPR2019 收录为 Oral 论文 。该论文提出了一种从「虚拟域」泛化到「现实域」的无监督语义分割算法，旨在利用易获取的虚拟场景标注数据来完成对标注成本高昂的现实场景数据的语义分割，大大减少了人工标注成本。 本文是论文作者之一罗亚威为雷锋网 AI 科技评论提供的论文解读。 论文地址： 1.问题背景 基于深度学习的语义分割方法效果出众，但需要大量的人工标注进行监督训练。不同于图像分类等任务，语义分割需要像素级别的人工标注，费时费力，无法大规模实施。借助于计算机虚拟图像技术，如3D游戏，用户可以几乎无成本地获得无限量自动标注数据。然而虚拟图像和现实图像间存在严重的视觉差异（域偏移），如纹理、光照、视角差异等等，这些差异导致在虚拟图像上训练出的深度模型往往在真实图像数据集上的分割精度很低。 2. 传统方法 针对上述域偏移问题，一种广泛采用的方法是在网络中加入一个域判别器Discriminator (D），利用对抗训练的机制，减少源域Source (S）和目标域Target（T）之间不同分布的差异，以加强原始网络（G）在域间的泛化能力。方法具体包括两方面： （1）利用源域的有标签数据进行有监督学习，提取领域知识： 其中Xs，Ys为源域数据及其对应标签。 （2）通过对抗学习，降低域判别器（D）的精度，以对齐源域与目标域的特征分布： 其中XT为目标域数据，无标签。 3.我们针对传统方法的改进 以上基于对抗学习的传统域适应方法只能对齐全局特征分布（Marginal Distribution），而忽略了不同域之间，相同语义特征的语义一致性（Joint Distribution），在训练过程中容易造成负迁移，如图2（a）所示。举例来说，目标域中的车辆这一类，可能与源域中的车辆在视觉上是接近的。因此，在没有经过域适应算法之前，目标域车辆也能够被正确分割。然而，为了迎合传统方法的全局对齐，目标域中的车辆特征反而有可能会被映射到源域中的其他类别，如火车等，造成语义不一致。 针对这一问题，我们在今年CVPR的论文中，向对抗学习框架里加入了联合训练的思想，解决了传统域适应方法中的语义不一致性和负迁移等键问题。具体做法见图2（b），我们采用了两个互斥分类器对目标域特征进行分类。当两个分类器给出的预测很一致时，我们认为该特征已经能被很好的分类，语义一致性较高，所以应减少全局对齐策略对这些特征产生的负面影响。反之，当两个分类器给出的预测不一致，说明该目标域特征还未被很好地分类，依然需要用对抗损失进行与源域特征的对齐。所以应加大对齐力度，使其尽快和源域特征对应。 4.网络结构 为了实现上述语义级对抗目标，我们提出了Category-Level Adversarial Network (CLAN)。 遵循联合训练的思想，我们在生成网络中采用了互斥分类器的结构，以判断目标域的隐层特征是否已达到了局部语义对齐。在后续对抗训练时， 网络依据互斥分类器产生的两个预测向量之差（Discrepancy）来对判别网络所反馈的对抗损失进行加权。网络结构如下图3所示。 图3中，橙色的线条表示源域流，蓝色的线条表示目标域流，绿色的双箭头表示我们在训练中强迫两个分类器的参数正交，以达到互斥分类器的目的。源域流和传统的方法并无很大不同，唯一的区别是我们集成了互斥分类器产生的预测作为源域的集成预测。该预测一方面被标签监督，产生分割损失（Segmentation Loss），如式（3）所示： 另一方面，该预测进入判别器D，作为源域样本。 绿色的双箭头处，我们使用余弦距离作为损失，训练两个分类器产生不同的模型参数： 目标域流中，集成预测同样进入判别器D。不同的是，我们维持两个分类器预测的差值，作为局部对齐程度的依据 (local alignment score map）。该差值与D所反馈的损失相乘，生成语义级别的对抗损失： 该策略加大了语义不一致特征的对齐力度，而减弱了语义一致的特征受全局对齐的影响，从而加强了特征间的语义对齐，防止了负迁移的产生。 最后，根据以上三个损失，我们可以得出最终的总体损失函数： 基于以上损失函数，算法整体的优化目标为： 在训练中，我们交替优化G和D，直至损失收敛。 5. 特征空间分析 我们重点关注不常见类，如图4（a）中黄框内的柱子，交通标志。这些类经过传统方法的分布对齐，反而在分割结果中消失了。结合特征的t-SNE图，我们可以得出结论，有些类的特征在没有进行域迁移之前，就已经是对齐的。传统的全局域适应方法反而会破坏这种语义一致性，造成负迁移。而我们提出的语义级别对抗降低了全局对齐对这些已对齐类的影响，很好的解决了这一问题。 6. 实验结果 我们在两个域适应语义分割任务，即GTA5 -> Cityscapes 和 SYNTHIA -> Cityscapes 上进行了实验验证。我们采用最常见的Insertion over Union作为分割精度的衡量指标，实验结果如下。从表1和表2中可以看出，在不同网络结构（VGG16，ResNet101）中，我们的方法（CLAN）域适应效果都达到了 state-of-the-art的精度。特别的，在一些不常见类上（用蓝色表示），传统方法容易造成负迁移，而CLAN明显要优于其他方法。 表 1. 由虚拟数据集GTA5 迁移至真实数据集 Cityscapes 的域适应分割精度对比。 表 2. 由虚拟数据集SYNTHIA 迁移至真实数据集 Cityscapes 的域适应分割精度对比。 第二个实验中，我们了展示隐空间层面，源域和目标域间同语义特征簇的中心距离。该距离越小，说明两个域间的语义对齐越好。结果见图 5。 最后，我们给出分割结果的可视化效果。我们的算法大大提高了分割精度。 7. 总结 《Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》引入了联合训练结合对抗学习的设计，在无监督域适应语义分割任务中取得了较好的实验结果。该算法能应用前景广泛，比如能够很好地应用到自动驾驶中，让车辆在不同的驾驶环境中也能保持鲁棒的街景识别率。 最后 CVPR 2019 Oral 论文精选汇总，值得一看的 CV 论文都在这里（持续更新中）CVPR 2019 即将于 6 月在美国长滩召开。今年有超过 5165 篇的大会论文投稿，最终录取 1299 篇，其中 Oral 论文近 300 篇。为了方便社区开发者和学术青年查找和阅读高价值论文，AI 研习社从入选的 Oral 论文中，按应用方向挑选了部分精华论文，贴在本文，打开链接即可查看~
“异常”通常是一个主观的判断，什么样的数据被认为是“异常”的，需要结合业务背景和环境来具体分析确定。实际上，数据通常嵌入在大量的噪声中，而我们所说的”异常值“通常指具有特定业务意义的那一类特殊的异常值。噪声可以视作特性较弱的异常值，没有被分析的价值。 在普通的数据处理中，我们通常保留正常的数据，而对噪声和异常值的特性则基本忽略。但在异常检测中，我们弱化了“噪声”和“正常数据”之间的区别，专注于那些具有有价值特性的异常值。在基于相似度的方法中，主要思想是异常点与正常点不同。 基于距离的方法是一种常见的异常检测算法，它基于最邻距离来定义异常值。此类方法不仅适用于多维数值数据，在其他领域，例如分类数据，文本数据，时间序列数据序列数据也有广泛的应用。 基于距离的异常检测有这样一个前提假设，即异常点的 近邻距离要远大于正常点。解决问题的最简单的方法是使用嵌套循环。第一层循环遍历每个数据，第二层循环进行异常判断，需要计算当前点与其他点的距离，一旦已识别出多余 个数据点与当前点的距离在 之内，则将该点自动标记为非异常值。这样计算的时间复杂度为 ,当数据量较大时，这样计算并不划算。因此需要修剪方法以加快距离计算。 在基于单元格的技术中，数据空间被划分为单元格，单元格的宽度是阈值D和数据维度数的函数。具体地说，每个维度被划分成宽度最多为 单元格。在给定的单元以及相邻的单元中存在的数据点满足某些特性，这些特性可以让数据被更有效的处理 以二维情况为例，此时网格间的距离为 ，需要记住的一点是，网格单元的数量基于数据空间的分区，并且与数据的数量点无关。这是决定该方法在低维数据上的效率的重要因素，在这种情况下，网格单元的数量可能不多。另一方面，此方法不适用于更高维的数据。对于给定的单元格，其 邻居被定义为通过最多1个单元间的边界可从该单元到达的单元格的集合。请注意，在一个角上接触的两个单元格也是 邻居。 邻居是通过跨越2个或者3个边界而获得的那些单元格。上图中显示了标记为 的特定单元格及其 和 邻居集。显然，内部单元具有8个 邻居和40个 邻居。然后，可以立即观察到以下的几种性质： 此过程的第一步是将部分数据点直接标记为非异常值（如果由于第一个规则而导致他们的单元格包含 个点以上）。此外，此类单元格的所有相邻单元格仅包含非异常值。为了充分利用第一条规则的修剪能力，确定每个单元格及其 邻居中点的总和。如果总数大于 ,则这些点也都标记为非离群点。 接下来，利用第二条规则的修剪能力。 对于包含至少一个数据点的每个单元格 ，计算其中的点数及其 和 邻居的总和。 如果该数字不超过 ，则将单元格 中的所有点标记为离群值。 此时，许多单元可能被标记为异常值或非异常值。 对于此时仍未标记为异常值或非异常值的单元格中的数据点需要明确计算其 最近邻距离。即使对于这样的数据点，通过使用单元格结构也可以更快地计算出 个最近邻的距离。考虑到目前为止尚未被标记为异常值或非异常值的单元格 。这样的单元可能同时包含异常值和非异常值。单元格 中数据点的不确定性主要存在于该单元格的 邻居中的点集。无法通过规则知道 的 邻居中的点是否在阈值距离 内，为了确定单元 中数据点与其 邻居中的点集在阈值距离 内的点数，需要进行显式距离计算。对于那些在 和 中不超过 个且距离小于 的数据点，则声明为异常值。需要注意，仅需要对单元 中的点到单元 的 邻居中的点执行显式距离计算。这是因为已知 邻居中的所有点到 中任何点的距离都小于 ，并且已知 中 的所有点与 上任何点的距离至少为 。因此，可以在距离计算中实现额外的节省。 对于一个给定数据集，基于索引的方法利用多维索引结构(如 树、 树)来搜索每个数据对象 在半径 范围 内的相邻点。设 是一个异常值在其 -邻域内允许含有对象的最多个数，若发现某个数据对象 的 -邻域内出现 甚至更多个相邻点， 则判定对象 不是异常值。该算法时间复杂度在最坏情况下为 其中 是数据集维数， 是数据集包含对象的个数。该算法在数据集的维数增加时具有较好的扩展性，但是时间复杂度的估算仅考虑了搜索时间，而构造索引的任务本身就需要密集复杂的计算量。 基于密度的算法主要有局部离群因子(LocalOutlierFactor,LOF)，以及LOCI、CLOF等基于LOF的改进算法。下面我们以LOF为例来进行详细的介绍和实践。 基于距离的检测适用于各个集群的密度较为均匀的情况。在下图中，离群点B容易被检出，而若要检测出较为接近集群的离群点A，则可能会将一些集群边缘的点当作离群点丢弃。而LOF等基于密度的算法则可以较好地适应密度不同的集群情况。 那么，这个基于密度的度量值是怎么得来的呢？还是要从距离的计算开始。类似k近邻的思路，首先我们也需要来定义一个“k-距离”。 对于数据集D中的某一个对象o，与其距离最近的k个相邻点的最远距离表示为k-distance(p)，定义为给定点p和数据集D中对象o之间的距离d(p,o)，满足： 由k-距离，我们扩展到一个点的集合——到对象o的距离小于等于k-距离的所有点的集合，我们称之为k-邻域： 。 在二维平面上展示出来的话，对象o的k-邻域实际上就是以对象o为圆心、k-距离为半径围成的圆形区域。就是说，k-邻域已经从“距离”这个概念延伸到“空间”了。 有了邻域的概念，我们可以按照到对象o的距离远近，将数据集D内的点按照到o的距离分为两类： 给定点p关于对象o的可达距离用数学公式可以表示为： 。 这样的分类处理可以简化后续的计算，同时让得到的数值区分度更高。 我们可以将“密度”直观地理解为点的聚集程度，就是说，点与点之间距离越短，则密度越大。在这里，我们使用数据集D中给定点p与对象o的k-邻域内所有点的可达距离平均值的倒数（注意，不是导数）来定义局部可达密度。 给定点p的局部可达密度计算公式为： 由公式可以看出，这里是对给定点p进行度量，计算其邻域内的所有对象o到给定点p的可达距离平均值。给定点p的局部可达密度越高，越可能与其邻域内的点 属于同一簇；密度越低，越可能是离群点。 表示点p的邻域 内其他点的局部可达密度与点p的局部可达密度之比的平均数。如果这个比值越接近1，说明o的邻域点密度差不多，o可能和邻域同属一簇；如果这个比值小于1，说明o的密度高于其邻域点密度，o为密集点；如果这个比值大于1，说明o的密度小于其邻域点密度，o可能是异常点。 最终得出的LOF数值，就是我们所需要的离群点分数。在sklearn中有LocalOutlierFactor库，可以直接调用。下面来直观感受一下LOF的图像呈现效果。 LocalOutlierFactor库可以用于对单个数据集进行无监督的离群检测，也可以基于已有的正常数据集对新数据集进行新颖性检测。在这里我们进行单个数据集的无监督离群检测。 首先构造一个含有集群和离群点的数据集。该数据集包含两个密度不同的正态分布集群和一些离群点。但是，这里我们手工对数据点的标注其实是不准确的，可能有一些随机点会散落在集群内部，而一些集群点由于正态分布的特性，会与其余点的距离相对远一些。在这里我们无法进行区分，所以按照生成方式统一将它们标记为“集群内部的点”或者“离群点”。 然后使用LocalOutlierFactor库对构造数据集进行训练，得到训练的标签和训练分数（局部离群值）。为了便于图形化展示，这里对训练分数进行了一些转换。 可以看出，模型成功区分出了大部分的离群点，一些因为随机原因散落在集群内部的“离群点”也被识别为集群内部的点，但是一些与集群略为分散的“集群点”则被识别为离群点。 同时可以看出，模型对于不同密度的集群有着较好的区分度，对于低密度集群与高密度集群使用了不同的密度阈值来区分是否离群点。 因此，我们从直观上可以得到一个印象，即基于LOF模型的离群点识别在某些情况下，可能比基于某种统计学分布规则的识别更加符合实际情况。
一、基本概念 异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。 常见的异常成因：数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类）的思想），自然变异，以及数据测量或收集误差。 异常检测的方法： （1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。 （2）基于邻近度的技术：通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象。 （3）基于密度的技术：仅当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。二、异常点检测的方法 1、统计方法检测离群点 统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。大部分用于离群点检测的统计学方法都是构建一个概率分布模型，并考虑对象有多大可能符合该模型。离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。异常检测的混合模型方法：对于异常检测，数据用两个分布的混合模型建模，一个分布为普通数据，而另一个为离群点。 聚类和异常检测目标都是估计分布的参数，以最大化数据的总似然（概率）。聚类时，使用EM算法估计每个概率分布的参数。然而，这里提供的异常检测技术使用一种更简单的方法。初始时将所有对象放入普通对象集，而异常对象集为空。然后，用一个迭代过程将对象从普通集转移到异常集，只要该转移能提高数据的总似然（其实等价于把在正常对象的分布下具有低概率的对象分类为离群点）。（假设异常对象属于均匀分布）。异常对象由这样一些对象组成，这些对象在均匀分布下比在正常分布下具有显著较高的概率。 优缺点：（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。 2、基于邻近度的离群点检测。 一个对象是异常的，如果它远离大部分点。这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。一个对象的离群点得分由到它的k-最近邻的距离给定。离群点得分对k的取值高度敏感。如果k太小（例如1），则少量的邻近离群点可能导致较低的离群点得分；如果k太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。 优缺点：（1）简单；（2）缺点：基于邻近度的方法需要O(m^2)时间，大数据集不适用；（3）该方法对参数的选择也是敏感的；（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。 3、基于密度的离群点检测。 从基于密度的观点来说，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。需要小心的选择d，如果d太小，则许多正常点可能具有低密度，从而具有高离群点得分。如果d太大，则许多离群点可能具有与正常点类似的密度（和离群点得分）。使用任何密度定义检测离群点具有与基于邻近度的离群点方案类似的特点和局限性。特殊地，当数据包含不同密度的区域时，它们不能正确的识别离群点。 为了正确的识别这种数据集中的离群点，我们需要与对象邻域相关的密度概念，也就是定义相对密度。常见的有两种方法：（1）使用基于SNN密度的聚类算法使用的方法；（2）用点x的密度与它的最近邻y的平均密度之比作为相对密度。使用相对密度的离群点检测（局部离群点要素LOF技术）：首先，对于指定的近邻个数（k），基于对象的最近邻计算对象的密度density(x,k) ，由此计算每个对象的离群点得分；然后，计算点的邻近平均密度，并使用它们计算点的平均相对密度。这个量指示x是否在比它的近邻更稠密或更稀疏的邻域内，并取作x的离群点得分（这个是建立在上面的离群点得分基础上的）。 优缺点： （1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理； （2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)； （3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。 4、基于聚类的技术 一种利用聚类检测离群点的方法是丢弃远离其他簇的小簇。这个方法可以和其他任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值。这种方案对簇个数的选择高度敏感。使用这个方案很难将离群点得分附加到对象上。一种更系统的方法，首先聚类所有对象，然后评估对象属于簇的程度（离群点得分）（基于原型的聚类可用离中心点的距离来评估，对具有目标函数的聚类技术该得分反映删除对象后目标函数的改进（这个可能是计算密集的））。基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇。离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。还有一种更复杂的方法：取一组不能很好的拟合任何簇的特殊对象，这组对象代表潜在的离群点。随着聚类过程的进展，簇在变化。不再强属于任何簇的对象被添加到潜在的离群点集合；而当前在该集合中的对象被测试，如果它现在强属于一个簇，就可以将它从潜在的离群点集合中移除。聚类过程结束时还留在该集合中的点被分类为离群点（这种方法也不能保证产生最优解，甚至不比前面的简单算法好，在使用相对距离计算离群点得分时，这个问题特别严重）。 对象是否被认为是离群点可能依赖于簇的个数（如k很大时的噪声簇）。该问题也没有简单的答案。一种策略是对于不同的簇个数重复该分析。另一种方法是找出大量小簇，其想法是（1）较小的簇倾向于更加凝聚，（2）如果存在大量小簇时一个对象是离群点，则它多半是一个真正的离群点。不利的一面是一组离群点可能形成小簇而逃避检测。 优缺点： （1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的； （2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点； （3） 产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性； （4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。新颖性和离群值检测 离群值检测：训练数据包含离群值，即与其他观测值相距甚远的观测值。离群检测估计器会尝试拟合训练数据最集中的区域，忽略异常观察。 新颖性检测：训练数据不受异常值的污染，有兴趣检测新观察值是否是异常值。该情况下离群值也称为新颖性。 离群值检测和新颖性检测均用于异常检测，离群值检测称为无监督异常检测，新颖性检测称为半监督异常检测。离群值检测的情况下，离群值/异常不能形成密集的群集，可假设离群值/异常位于低密度区域；新颖性检测的情况下，只要新颖性/异常位于训练数据的低密度区域，就可以形成密集的簇。 通过对玩具数据集进行异常检测比较异常检测算法 数据集中包含一种或两种模式（高密度区域），以说明算法处理多模式数据的能力。 对于每个数据集，将生成15%的样本作为随机均匀噪声。该比例是OneClassSVM的nu参数和其他异常值检测算法的污染参数提供的值。离群值之间的决策边界以黑色显示，但是LOF除外，因为当采用LOF用于离群值检测时，没有适用于新数据的预测方法。 OneClassSVM对异常值敏感，对异常值检测执行的不好。当训练集不受异常值污染时，此估计器最适合新颖性检测。即不适用在高维中进行离群值检测或者不对基础数据的分布进行任何假设，OneClassSVM在这些情况下可能会根据其超参数给出有用的结果。 covariance EllipticEnvelope（协方差椭圆密度）假定数据是高斯分布并学习一个椭圆。在数据不是单峰时，会退化。此估计器对异常值具有鲁棒性。 IsolationFrorest和LocalOutlierFactor针对多模式数据集效果显著。LOF针对第三种数据集，明显优于其它三种估计器，该数据集中两种模式的密度不同。LOF的局部方面，即它仅将一个样本的异常评分与其邻居评分作比较，从何体现了该方法的优势。 针对最后一个均匀分布在超立方体中的数据集，很难说一个样本比另一个样本异常得多。除了OneClassSVM有些过拟合外，所有估计器都针对该情况提出不错的解决方案。针对这种情况，应该仔细观察样本的异常分数，性能好的估算器应该为所有样本分配相似的分数。 使用局部离群因子（LOF）进行离群值检测 LOF算法是一种无监督的异常检测方法，可计算给定数据点相对于其邻居的局部密度偏差。其中密度远低于其邻居的样本为异常值。 LOF算法的优势在于同时考虑了数据集的局部和全局属性：即使在异常样本具有不同底层密度的数据集中，仍能保持良好性能。问题不在于样本有多孤立，而在于样本相对于周围邻域有多孤立。 通常考虑的邻居数量（1）大于群集必须包含的最小样本数量，以便其他样本可以是相对于该群集的局部离散值；（2）小于可能是局部异常值的最大进距采样数，此类消息通常不可用，采用n_neighbors=20。 具有局部异常值的新颖性检验 LOF是一种无监督的异常检测方法，可计算给定数据点相对于其邻居的局部密度偏差，密度远低于其邻居的样本为异常值。LOF用于新颖性检验时，切勿在训练集上使用预测、决定函数、实例得分，会导致结果错误。只能对新的看不见的数据（不在训练集中）使用这些方法。 通常考虑邻居数量（1）大于群集必须包含的最小样本数，以便其他样本可以是相对于该群集的局部离群值；（2）小于可能是局部异常值的最大进距采样数，此类消息通常不可用，采用n_neighbors=20。 隔离林 在高维数据集中执行异常检测的一种有效方法是使用随机森林，分离的观察通过随机选择一个函数，随机选择所选择的特征的最大值和最小值之间的分割值。递归分区可用树结构表示，隔离样本所需的拆分数量等于从根节点到终止结点的路径长度。随机树的森林中的平均路径长度是对正态性和决策函数的度量。随机分区产生的异常路径明显较短，因此如果随机树森林为特定样本生成的较短路径，则该树代表的值很可能是异常的。 OneClassSVM 无监督的离群值检测，支持高维分布，基于libsvm 不假定数据分布的任何参数形式，可以更好的对数据的复杂形状进行建模，能够捕获真实的数据结构，难点在于调整核函数宽度参数，以便在数据散布矩阵的形状和数据过度拟合的风险间取得折中。 协方差椭圆密度 用于检测高斯分布数据集中的异常值的对象 经验协方差估计（作为非稳健估计）受到观测值异质结构的高度影响；鲁棒协方差估计能够集中于数据分布的主要模式，但是它坚持假设数据是高斯分布，产生了对数据结构的某些估计，在一定程度上是准确的。HBOS单维效果极佳，但是标准差方法的mask 掩码效应严重。例如 数据通常在100以内，但是有两个异常点，500，1000000。这个算法就不能检出500这个异常点。 对比而言，孤立森林理论上更适合大数据的异常检测，且无掩码效应。孤立森林确定异常时训练只用样本数据。每颗树样本数量默认只有256个，默认只用100颗树。所以理论上25600个样本就能确定海量数据中的异常点了。 Sklearn的 isolation forest 例子默认是读入全量数据再采样。如果配上warm up 选项就能分批放入采样。 异常检测的深度学习研究综述
中国纪检监察》杂志是中央纪委国家监委机关刊，是中央重点党刊，是全国纪检监察工作综合指导期刊。杂志创办于1988年10月，原名《中国监察》，由邓小平同志题写刊名，先后被国家新闻出版总署评为“中国百强报刊”、“国家期刊奖百种重点期刊”。2014年7月1日，按照中央纪委领导的要求，为充分体现中央纪委机关刊定位，更好地服务于党风廉政建设和反腐败工作，经国家新闻出版广电总局（新广出审【2014】857号文件）批准，《中国监察》正式更名为《中国纪检监察》，主办单位和出版单位由中国监察杂志社变更为中国纪检监察杂志社。更名后，《中国纪检监察》进一步聚焦中心、突出主业，大力宣传党中央、中央纪委关于党风廉政建设和反腐败工作的方针政策、决策部署，弘扬正气、鞭挞腐恶，为深入开展党风廉政建设和反腐败斗争营造良好的舆论氛围。
主要职责是：
1、维护党的章程和其他党内法规，监督检查党的路线、方针、政策、决议和国家法律、法规、决定及命令在区内的执行情况。
2、协助党工委加强党风廉政建设和组织协调反腐败工作。
3、受理有关党员、干部的申诉和控告；负责区内的行政监察工作。
扩展资料：
中央纪委国家监委组织机构包括：内设职能部门、直属单位和派驻纪检监察组。内设职能部门具体为：办公厅、组织部、宣传部、研究室、法规室、党风政风监督室、信访室、中央巡视工作领导小组办公室、案件监督管理室。
第一监督检查室至第十一监督检查室、第十二审查调查室至第十六审查调查室、案件审理室、纪检监察干部监督室、国际合作局、机关事务管理局、机关党委、离退休干部局。
此外，设有中国纪检监察杂志社、中国纪检监察报社、中国方正出版社、网络中心、网络技术中心、机关综合服务中心、信息中心、中国纪检监察学院、中国纪检监察学院北戴河校区等直属单位。设有中央纪委国家监委派驻纪检监察组。
参考资料来源：衡阳市政府官网-纪工委
中直机关是党中央的重要工作部门，在遵守政治纪律政治规矩上必须要求更高更严。怎样才能强化党员干部的政治纪律观念？严明党的政治纪律政治规矩从哪里入手？经过反复研讨，中直工委明确，要抓住党章这个“总规矩”，抓住理想信念这个“总开关”。
中直工委常务副书记张建平在年初部署党建工作任务时要求，深入开展学习党章和对党忠诚教育，引导党员干部树立政治意识、纪律意识、规矩意识和保持一致意识。中直工委副书记、中直纪工委书记周福启强调，要把加强党章学习教育，严明党的政治纪律政治规矩作为一项重要任务来安排。
“中直工委、纪工委的部署，重点突出，任务明确，让我们在加强机关政治纪律政治规矩建设上有了抓手。我们开展的以党章为主要内容的廉政知识答题活动，包括党组领导班子成员都参与进来，效果很好。”中国侨联机关纪委书记赵红英说。
扩展资料
“继续加大这方面工作的监督检查力度，推动各党组织和党员干部严格遵守党的政治纪律和政治规矩。”今年初，在中直纪工委报送的中直机关遵守党的政治纪律和组织纪律情况专项检查报告上，中共中央政治局委员、中央书记处书记、中直工委书记栗战书作出批示。至此，中直机关已连续3年开展政治纪律专项检查。
一年一个重点，常抓抓出习惯。根据部署，今年重点检查中直机关党员干部是否能够保持政治定力，同党中央保持高度一致；是否坚决反对自由主义，做到“两个决不允许”；是否强化党的观念，增强纪律意识，绝对忠诚组织，自觉做到“四个服从”；是否铁面执纪，坚决纠正“四风”顽疾，确保纪律刚性约束等。
专项检查中，各单位在坚持总体要求不变的情况下，根据本单位实际确定检查重点和任务，确保效果。比如，中央纪委机关结合纪律审查工作，强调“审查纪律就是政治纪律”，把党员干部遵守审查纪律情况作为专项检查的重要内容。
中央组织部把违反组织工作纪律，跑风漏气作为专项检查的重点内容，把政治纪律、组织纪律的具体要求落实到组工干部实际工作中，落实到从严管理干部的全过程，使纪律真正严起来、立起来、紧起来。
让违纪违规者付出应有代价：
中直各单位坚持对违反政治纪律、政治规矩行为发现一起、查处一起、曝光通报一起，决不姑息。
加大查处力度的同时，一些单位坚持抓早抓小，通过召开组织生活会等方式，对违反政治纪律问题早发现早提醒。
“对党员干部遵守政治纪律和政治规矩情况进行经常性检查，发现苗头性、倾向性问题，立即进行批评和纠正，在关键时间节点对个别人进行提醒谈话，帮助认识和改正错误。”中央政策研究室机关纪委书记陆俊在介绍本单位经验时说。
在此基础上，一些单位还坚持把健全制度规定作为治本之策，通过完善制度，堵塞漏洞，建立长效机制。中央政法委提出遵守政治纪律、政治规矩“三个决不允许”。
参考资料：中共中央纪律检查委员会-做政治上的"明白人”
中国新闻出版传媒有限公司，是经香港政府批准的合法新闻传媒机构，注册证号：1403961 中国纪检监察周刊杂志社是中国新闻出版传媒有限公司的分支机构，新闻商业登记证号：51581001-000-12-09-1是2009年成立。
每个学校所制，制定的要求都不一样，本科的重复度大概是在百分之十左右然后专科的一般是没有查重，要求字数限制的话，本科在几万字不等专科，在一万字左右吧
目前，高校对于硕博士论文,需要通过抄袭检测系统的检测才能算过关。对本科生来说，大部分学校也采取抽查的方式对本科论文进行检测。抄袭过多，一经查出超过30%,后果严重。轻者延期毕业，重者取消学位。辛辛苦苦读个大学，学位报销了多不爽。但是，软件毕竟是人工设置的一种机制，里面内嵌了检测算法，我们只要摸清其中的机理，通过简单的修改，就能成功通过检测。本文是在网络收集的资料。整理了最重要的部分，供大家参考。论文抄袭检测算法：1.论文的段落与格式论文检测基本都是整篇文章上传，上传后，论文检测软件首先进行部分划分，上交的最终稿件格式对抄袭率有很大影响。不同段落的划分可能造成几十个字的小段落检测不出来。因此，我们可以通过划分多的小段落来降低抄袭率。2.数据库论文检测，多半是针对已发表的毕业论文，期刊文章，还有会议论文进行匹配的，有的数据库也包含了网络的一些文章。这里给大家透露下，很多书籍是没有包含在检测数据库中的。之前朋友从一本研究性的著作中摘抄了大量文字，也没被查出来。就能看出，这个方法还是有效果的。3.章节变换很多同学改变了章节的顺序，或者从不同的文章中抽取不同的章节拼接而成的文章，对抄袭检测的结果影响几乎为零。所以论文抄袭检测大师建议大家不要以为抄袭了几篇文章，或者几十篇文章就能过关。4.标注参考文献参考别人的文章和抄袭别人的文章在检测软件中是如何界定的。其实很简单，我们的论文中加了参考文献的引用符号，但是在抄袭检测软件中。都是统一看待，软件的阀值一般设定为1%，例如一篇文章有5000字,文章的1%就是50字，如果抄袭了多于50，即使加了参考文献，也会被判定为抄袭。5.字数匹配论文抄袭检测系统相对比较严格，只要多于20单位的字数匹配一致，就被认定为抄袭，但是前提是满足第4点，参考文献的标注。论文抄袭修改方法：首先是词语变化。文章中的专业词汇可以保留，尽量变换同义词；其次，改变文中的描述方式，例如倒装句、被动句、主动句；打乱段落的顺序，抄袭原文时分割段落，并重组。通过上述方法，能有效降低抄袭率。下面举几个例子，大家可以参考下：例句A：本文以设备利用率最大化为目标函数,采用整数编码与实数编码相结合的遗传算法,研究了HFS的构建问题。本文提出的染色体编码方法及相应的遗传操作方法可实现研究对象的全局随机寻优。通过对car系列标准算例的研究,显示了本文提出方法具有较高的计算重复性和计算效率。修改A：本文研究了HFS问题的构建，通过遗传算法并结合整数与实数编码，目标函数为最大化设备利用率来求解。本文的染色体编码方法与对应的遗传算法操作可有效提高算法的全局搜索能力。通过对一些列基准算例的研究，验证了本文算法的有效性，并具有较高的计算重复性和较高的运算效率。例句B：由于房地产商品的地域性强，房地产开发企业在进行不同区域投资时，通常需要建立项目公司，此时就会面临建立分公司还是子公司的选择。子公司是一个独立的法人，而分公司则不是独立法人，它们在税收利益方面存在差异。子公司是独立法人，在设立区域被视为纳税人，通常要承担与该区域其它公司一样的全面纳税义务；分公司不是独立的法人实体，在设立分公司的所在区域不被视为纳税人，只承担有限的纳税义务，分公司发生的利润与亏损要与总公司合并计算。修改B：房地产开发企业在不同区域进行投资时，由于此类商品的地域性强，因此需要建立项目公司。此时，企业需要选择建立分公司还是子公司。主要的区别是子公司具有独立的法人，分公司则不是独立法人。其次，在税收利益方面，由于分公司不是独立的法人实体，在设立分公司的所在区域不被视为纳税人，只承担纳税义务，总公司需要合并计算分公司的利润与亏损；而子公司是独立法人，在所在区域被视为法人实体，需要承担与区域其他公司一样的全面纳税义务。修改抄袭的方法不外乎这些，这里更建议同学们，先熟悉你所看的参考论文，关闭文档，用自己的话写出来，这样就不会受参考文献的太多影响。有同学这里就提出问题了，学校用的检测系统是知网的学术不端检测系统，不是淘宝几元钱买的万方数据检测。其实，各个检测系统的算法区别并不大，只是数据库有多有少，如果你没有太多，什么系统都不用怕。既然你抄了，得到检测报告的同时，先好好修改自己的文章。抄了之后，改相拟度，可以这样去头去尾留中间，意同词不同。一、查重原理1、知网学位论文检测为整篇上传，格式对检测结果可能会造成影响，需要将最终交稿格式提交检测，将影响降到最小，此影响为几十字的小段可能检测不出。对于3万字符以上文字较多的论文是可以忽略的。对比数据库为：中国学术期刊网络出版总库，中国博士学位论文全文数据库/中国优秀硕士学位论文全文数据库，国重要会议论文全文数据库，中国重要报纸全文数据库，中国专利全文数据库，个人比对库，其他比对库。部分书籍不在知网库，检测不到。2、上传论文后，系统会自动检测该论文的章节信息，如果有自动生成的目录信息，那么系统会将论文按章节分段检测，否则会自动分段检测。3、有部分同学反映说自己在段落中明明引用或者抄袭了其他文献的段落或句子，为什么没有检测出来，这是正常的。中国知网对该套检测系统的灵敏度设置了一个阀值，该阀值为5%，以段落计，低于5%的抄袭或引用是检测不出来的，这种情况常见于大段落中的小句或者小概念。举个例子：假如检测段落1有10000字，那么引用单篇文献500字以下，是不会被检测出来的。实际上这里也告诉同学们一个修改的方法，就是对段落抄袭千万不要选一篇文章来引用，尽可能多的选择多篇文献，一篇截取几句，这样是不会被检测出来的。4、一篇论文的抄袭怎么才会被检测出来？知网论文检测的条件是连续13个字相似或抄袭都会被红字标注，但是必须满足3里面的前提条件：即你所引用或抄袭的A文献文字总和在你的各个检测段落中要达到5%。二、快速通过论文查重的七大方法方法一：外文文献翻译法查阅研究领域外文文献，特别是高水平期刊的文献，比如Science，Nature，WaterRes等，将其中的理论讲解翻译成中文，放在自己的论文中。优点：1、每个人语言习惯不同，翻译成的汉语必然不同。因此即使是同一段文字，不同人翻译了之后，也 不会出现抄袭的情况。2、外文文献的阅读，可以提升自身英语水平，拓展专业领域视野。缺点：英文不好特别是专业英文不好的同学实施起来比较费劲。方法二：变化措辞法将别人论文里的文字，或按照意思重写，或变换句式结构，更改主被动语态，或更换关键词，或通过增减。当然如果却属于经典名句，还是按照经典的方法加以引用。优点：1．将文字修改之后，按照知网程序和算法，只要不出现连续13个字重复，以及关键词的重复，就不会被标红。2．对论文的每字每句都了如指掌，烂熟于心，答辩时亦会如鱼得水。缺点：逐字逐句的改，费时费力。方法三：减头去尾，中间换语序将别人论文里的文字，头尾换掉中间留下，留下的部分改成被动句，句式和结构就会发生改变，再自行修改下语病后，即可顺利躲过查重。优点：方便快捷，可以一大段一大段的修改。缺点中文没学好的，会很费劲，要想半天。方法四：转换图片法将别人论文里的文字，截成图片，放在自己的论文里。因为知网查重系统目前只能查文字，而不能查图片和表格，因此可以躲过查重。优点：比改句序更加方便快捷。缺点：用顺手了容易出现整页都是图片的情况，会影响整个论文的字数统计。方法五：插入文档法将某些参考引用来的文字通过word文档的形式插入到论文中。优点：此法比方法四更甚一筹，因为该方法日后还可以在所插入的文档里进行重新编辑，而图片转换法以后就不便于再修改了。缺点：还没发现。方法六：插入空格法将文章中所有的字间插入空格，然后将空 格 字 间距调到最小。因为查重的根据是以词为基础的，空格切断了词语，自然略过了查重系统。优点：从查重系统的原理出发，可靠性高。缺点：工作量极大，课可以考虑通过宏完成，但宏的编制需要研究。方法七：自己原创法自己动手写论文，在写作时，要么不原文复制粘贴；要么正确的加上引用。优点：基本上绝对不会担心查重不通过，哪怕这个查重系统的阈值调的再低。缺点：如果说优缺点的话，就是写完一篇毕业论文，可能会死掉更多的脑细胞。呵呵。。。知网系统计算标准详细说明：1．看了一下这个系统的介绍，有个疑问，这套系统对于文字复制鉴别还是不错的，但对于其他方面的内容呢，比如数据，图表，能检出来吗？检不出来的话不还是没什么用吗？学术不端的各种行为中，文字复制是最为普遍和严重的，目前本检测系统对文字复制的检测已经达到相当高的水平，对于图表、公式、数据的抄袭和篡改等行为的检测，目前正在研发当中，且取得了比较大的进展，欢迎各位继续关注本检测系统的进展并多提批评性及建设性意见和建议。2．按照这个系统39%以下的都是显示黄色,那么是否意味着在可容忍的限度内呢?最近看到对上海大学某教师的国家社科基金课题被撤消的消息,原因是其发表的两篇论文有抄袭行为,分别占到25%和30%. 请明示超过多少算是警戒线？百分比只是描述检测文献中重合文字所占的比例大小程度，并不是指该文献的抄袭严重程度。只能这么说，百分比越大，重合字数越多，存在抄袭的可能性越大。是否属于抄袭及抄袭的严重程度需由专家审查后决定。3．如何防止学位论文学术不端行为检测系统成为个人报复的平台？这也是我们在认真考虑的事情，目前这套检测系统还只是在机构一级用户使用。我们制定了一套严格的管理流程。同时，在技术上，我们也采取了多种手段来最大可能的防止恶意行为，包括一系列严格的身份认证，日志记录等。4．最小检测单位是句子，那么在每句话里改动一两个字就检测不出来了么？我们对句子也有相应的处理，有一个句子相似性的算法。并不是句子完全一样才判断为相同。句子有句子级的相似算法，段落有段落级的相似算法，计算一篇文献，一段话是否与其他文献文字相似，是在此基础上综合得出的。5．如果是从相关书籍上摘下来的原话，但是此话已经被数据库中的相关文献也抄了进去，也就是说前面的文章也从相关书籍上摘了相同的话，但是我的论文中标注的这段话来自相关的书籍，这个算不算学术抄袭？检测系统不下结论，是不是抄袭最后还有人工审查这一关，所以，如果是您描述的这种情况，专家会有相应判断。我们的系统只是提供各种线索和依据，让人能够快速掌握检测文献的信息。6．知网检测系统的权威性？学术不端文献检测系统并不下结论，即检测系统并不对检测文献定性，只是将检测文献中与其他已发表文献中的雷同部分陈列出来，列出客观事实，而这篇检测文献是否属于学术不端，需专家做最后的审查确认。一篇论文的抄袭怎么才会被检测出来？知网论文检测的条件是连续13个字相似或抄袭都会被红字标注，但是必须满足3里面的前提条件：即你所引用或抄袭的A文献文字总和在你的各个检测段落中要达到5%。论文查重修改的规律：1、如果是引用，在引用标号后，不要轻易使用句号，如果写了句号，句号后面的就是剽窃了（尽管自已认为是引用），所以，引用没有结束前，尽量使用分号。有些人将引用的上标放在了句号后面，这是不对的，应该在句号之前。2、可以将文字转换为表格，将表格边框隐藏。3、如果你看的外文的多，由外文自己翻译过来引用的，个人认为，不需要尾注，就可以当做自己的，因为查重的数据库只是字符的匹配，无法做到中文和英文的匹配。4、查重是一个匹配的过程，是以句为单位，如果一句话重复了，就很容易判定重复了，所以：的确是经典的句子，就用上标的尾注的方式，在参考文献中表达出来，或者是用：原文章作者《名字》和引号的方式，将引用的内容框出来。引号内的东西，系统会识别为引用如果是一般的引用，就采用罗嗦法，将原句中省略的主语、谓语、等等添加全，反正哪怕多一个字，就是胜利，也可以采用横刀法，将一些句子的成分，去除，用一些代词替代。或者是用洋鬼子法，将原文中的洋名，是中文的，就直接用英文，是英文的直接用中文，或是哦中文的全姓名，就用中文的名，如果是中文的名，就找齐了，替换成中文的姓名。故意在一些缩写的英文边上，加上（注释）(画蛇添足法），总之，将每句话都可以变化一下，哪怕增加一个字或减少一个字，都是胜利了。特别注意标点符号，变化变化，将英文的复合句，变成两个或多个单句，等等，自己灵活掌握。因为真正写一篇论文，很罕见地都是自己的，几乎不可能，但大量引用别人的东西，说明你的综合能力强，你已经阅读了大量的资料，这就是一个过程，一个学习、总结的过程。所有的一切，千万别在版面上让导师责难，这是最划不来的。导师最讨厌版面不规范的，因为他只负责内容，但又不忍心因为版面问题自己的弟子被轰出来。5、下面这一条我傻妞试过的，决对牛B：将别人的文字和部分你自己的文字，选中，复制（成为块，长方形），另外在桌面建一个空文件，将内容，复制到文件中，存盘，关闭。将这个文件的图标选中，复制，在你的正文中的位置上，直接黏贴，就变成了图片了，不能编辑的。这个操作事实上是将内容的文件作为一个对象插入的，所以是图片。这个操作事实上是将内容的文件作为一个对象插入的。所以是图片。以上那些东西再次总结一下：查重是一个匹配的过程，是以句为单位，如果一句话重复了，就很容易判定重复了，所以：1）如果的确是经典的句子，就用上标的尾注的方式，在参考文献中表达出来。2）如果是一般的引用，就采用罗嗦法，将原句中省略的主语、谓语、等等添加全，反正哪怕多一个字，就是胜利。3）也可以采用横刀法，将一些句子的成分，去除，用一些代词替代。4）或者是用洋鬼子法，将原文中的洋名，是中文的，就直接用英文，是英文的直接用中文，或是中文的全姓名，就用中文的名，如果是中文的名，就找齐了，替换成中文的姓名。5）故意在一些缩写的英文边上，加上（注释）(画蛇添足法），总之，将每句话都可以变化一下，哪怕增加一个字或减少一个字，都是胜利了。6）如果是引用，在引用标号后，不要轻易使用句号，如果写了句号，句号后面的就是剽窃了（尽管自已认为是引用），所以，引用没有结束前，尽量使用分号。有些人将引用的上标放在了句号后面，这是不对的，应该在句号之前。7）可以将文字转换为表格、表格基本是查重不了的，文字变成图形、表格变成图形，一目了然，绝对不会检查出是重复剽窃了。
你好的！对，参与检测的包括参考文献！并且参考文献占有很大的比率！不是你说的，参考文献就不参与检测了！+=+=+=+=+=+=+=+=+=+==+===+ ⑴ 最近看见很多人在网上求相关的检测软件，或者到非法检测机构检测的！ ⑵ 我来给大家说明一下，相关的软件都是假的！ ⑶ 一般来说，这种检测的过程是相当的复杂的，涉及到与知网的论文库对比！ ⑷ 而这些软件没有授权的话不可能进入知网的！ ⑸ 经过我的简单测试得知，不管你的论文是什么样，基本上来说，抄袭率不是很高就是很低！ ⑹ 就算你的论文完全自己写的，抄袭率可能90%以上！ ⑺ 或者完全抄袭的，可能抄袭率是0%！ ⑻ 至于这个软件出现的原因： ⑼ 部分非法分子用这个软件盗取同学们的论文成果！ ⑽ 当你们利用这个检测之后，就会联网将论文发到相应的邮箱里！以此来告诫大家！！=========【各高校用知网、万方的最多】======================①最后，建议大家论文检测一定要去万方或者知网监测！②万方能便宜一些，一万字大约1块钱！③对检测结果进行认真修改之后要是为了谨慎起见，知网监测一下最好！
现在进行论文查重主要是利用专业查重软件进行检测，一些院校也可能采用人工审核，即组织一大批导师对学生毕业论文进行查看，而且为了保证毕业论文的质量，一种综合检验论文的方法也随之诞生，那么什么是综合检测论文呢？有哪些作用呢？ 一、综合检测论文的作用 1、论文综合检测主要作用和目的是为了减少误判，将本不是抄袭但被论文查重系统判定为抄袭的论文重新以人工方式进行检测，给与该生毕业的机会。 2、人工查重的引入，使人工判定的权重有所增加，使查重系统的控制比例有所降低，可以提高检定报告的合理性、可信度。 3、论文综合检测方法的采用，使论文检测结果不会被人完全控制或网站控制，双重检测法也可以使论文的查重结果更加可靠、准确。 二、综合检测论文在什么情况下使用 1、综合检测论文，即把查重系统与人工相结合的，它主要是针对查重系统在检测过程中过于极端的情况下，导致论文出现误判的情况，可以用此方法检测出异常，才会要求再次以人工检测。 2、当同一论文在不同的检重站检测出的重复性检测站有较大差异时，也会考虑采用综合测验的方法，以避免检定系统出现的误判。
动态图上的异常检测任务包括：发现异常的对象、关系、时点。动态图上的异常检测与静态图上的异常检测不同的地方在于：
本文首先将异常类型分为：anomalous vertices, edges, subgraphs, and events(or change)，将使用的方法分为：community detection, MDL(minimum description length) and compression, decompression, distance, probabilistic， 按每种方法使用的异常类型进行了文献学分类。各方法的主要参考文献见表1：
本文假设不同时点的节点和边都有唯一标签从而不会混淆，定义 为图序列，其中 为总时间步， ， 为节点集， 为边集， 时称 为图流。本文的主要记号见表2：
给定 ，节点集 ,打分函数 ，定义异常节点集为 ，使得对于 ， ，其中 为得分 的摘要式统计。
一个典型的异常节点如图1，其可由基于社区检测的方法识别，即： 其中 为节点所属的社会划分, 为异或操作。
给定 ，边集 ,打分函数 ，定义异常边集为 ，使得对于 ， ，其中 为得分 的摘要式统计。
一个典型的异常边如图2，可令 ，其中 为时间步 时 的权重,可以为边的概率。
给定 ，子图集 ,打分函数 ，定义异常集为 ，使得对于 ， ，其中 为得分 的摘要式统计。
两种典型的异常子图如图3,其中(a)为图的收缩，(b)为图的分裂。图的收缩可根据子图中的的数量衡量，即 ，图的分裂可由不同时间点社区的数量衡量。
与异常节点、边、子图检测不同，异常事件或异常突变检测检验的是时点。
给定 ,打分函数 ，若时点 满足: ， ，则称时点 为一个事件。
给定 ,打分函数 ，若时点 满足: ， ，则称时点 为一个突变。
通常的异常检测都使用两步法：第一步，基于特征的图表示；第二，基于机器学习的异常检测。
基于社区检测的方法关注的是社区和关联节点的演化过程，特征向量的生成亦基于图中的社区结构。不同社区检测方法的区别在于：（1）社区结构的领域，如社区内的连接性.单个节点在每一步所属的社区；(2)社区结构的定义，如基于概率的软社区定义.硬社区定义。基于社区检测的方法可用于异常定点、子图、突变的检测。
基于软社区匹配并单独考察每一个社区，我们可以在连续时间步内计算每个节点归属的平均变化，如果某个节点归属的平均变化显著异于其他节点，则称其为演化社区异常点。
节点社区归属的变化可以构造一个时间模式，称为软时序模式。一些文献使用了最小描述长度(MDL)结合非负矩阵分解的方法来自动检测节点角色及构造转移模型。多数文献通过抽取图中不同节点的共同模式，并比较每个节点与共同模式之间的差异来定义异常节点。部分文献使用了交替迭代优化替代常用的两步法。部分文献使用了corenet的概念，该概念不同于单纯使用density,modularity,hop-distance等概念，而是使用了节点间的加权路径，即一个节点的corenet包含该节点与权重大于给定阈值的两跳邻居。假设两个强连接的节点通常属于同一社区，则如果移除一个节点的两个邻居，一个邻域具有较高的边权重，另一个具有较低的边权重，则移除较高权重邻居的影响应更大，在每一步，每个节点首先被赋予一个异常得分，该得分衡量了其corenet的变化，异常得分较高的 各节点将被视为异常节点。
文献【69】定义了六种基于社区的异常：shrink, grow, merge, split, born, and vanish。其使用图和社区代表(representatives)进行比较以减少计算量，图代表为出现在t时刻，同时还出现在t-1、t+1或t+1与t-1时刻的节点集，社区代表是出现在其他社区最少的定点集合，基于社区代表和图代表，基于规则，判断社区是否落在六种异常中。
文献【73】定义了一种基于社区的异常：comet，周期性出现或消失的社区，演化图可表示为一个张量，然后基于低秩张量分解和MDL原则进行comet检测。
文献【3】基于多种信息源构造时序复网络，识别跨时间和网络的稳定社区结构。行为相似的网络可以用聚类或前验知识分组，如何一个社区结构在组内跨时间步稳定，但在组外没有对应社区，则该社区即为异常，如何两个社区共享一定比例的定点则称为对应。
社交网络可以根据特定时间窗口内的发文量定义事件，一个经历共同事件的组即构成一个异常子图。
通过划分图流为一致的分割来检测，分割是依据划分的相似性。
通过将最新图的顶点分区与当前增长分割中的图的分区进行比较，可以在线找到这些分割。【67】基于可返回随机的相关矩阵和modularity最大化来进行定点划分，当新图的划分与当前分割的划分有很大不同时，一个新段开始，并将新图的时间点输出为检测到的突变。两个划分的相似度使用Jaccard系数定义。GraphScope思路类似，但基于MDL来指导划分和分割。
基于MDL原则和基于该原则的压缩技术利用数据中的模式和规律性实现紧凑的图表示，其主要通过将图的邻接矩阵表示为一个二进制串，如果矩阵的行和列可以重新排列使矩阵的二进制字符串表示的熵最小化，那么压缩损失（也称为编码损失）就会最小化。数据指向的特征都来自于图或其特定子结构的编码代价；因此，异常被定义为抑制可压缩性的图或子结构（如边）
对于一条边和对应子图，如果包含该边的编码损失比不包含该边的编码损失高，则称该边为异常边。
【74】使用了一种两步交替迭代法进行节点的自动划分，当节点划分的熵收敛时，根据包含和不包含该边的编码损失，该方法也给出了边的异常度得分。
突变检测的主要思路是:连续时间步间的图是相似的，因而可以分为一组，从而降低压缩比。压缩比的上升表明新一个时间步的图与已有的图差异明显，因此是一个突变。
该方法将图集合表示为一个tensor，在该tensor上进行矩阵分解或降维，基于分解或降维后的图发现其模式和规律性，该方法可以融合更多属性信息，最常用的方法是SVD和PARAFAC（广义SVD）。
矩阵分解可用于计算每个节点的活跃（activity)向量，如果某个节点的活跃向量在连续时间步间变化明显，则称为异常节点。
【87】首先抽取每个节点的边相关矩阵 ，即该节点的每个邻域都有一行一列，对于节点 的矩阵中的一个entry 代表了边 和 间加权频率的相关性，加权频率由衰减函数获得，时间越近权重越高。M的最大特征值和对应特征向量即顶点的活跃向量的summary及边的相关性。通过寻找这些值的变化而形成的时间序列用于计算每个时间步长中每个顶点的分数，得分高于阈值的顶点将被输出为异常。
基于分解的异常事件检测有两种方法：（1）先基于分解方法来近似原始数据，然后以重建损失作为近似优劣的指标。如果某个子张量、切片或元素的重建损失很高，则即可以视其与周围数据不同特征不同，将其标记为异常事件、子图或节点。（2）跟踪奇异值和向量，以及特征值和特征向量，以检测异常顶点的显著变化。
为解决 intermediate blowup 问题（即计算中输入和输出张量超过内存限制），【81】提出了momery-efficient tucker（MET）分解方法，该方法源于Tucker分解，Tucker分解将高阶tensor用一个core tensor和每个mode(维度)矩阵表示。【80】使用了Compact Matrix Decomposition(CMD)，其可以用来计算给定矩阵的稀疏低秩矩阵。使用CMD对图流中的每个邻接矩阵进行分解，可得到重建值的时间序列，基于重建值序列可进程事件检测，典型应用有COLIBRI, PARCUBE，其中后者在斑点(spotting)异常中的表现更高效。
【84】使用了随机图模型进行基于概率模型的检测，其将真实图邻接矩阵和期望图的邻接矩阵间的差异构造为残差矩阵，对残差矩阵执行SVD，再使用线性Ramp滤波器，基于top奇异值即可进行异常时间窗口检测，通过检查正确的奇异向量来确定相应的顶点。
除以上方法，我们还可以基于分解空间的显著变化来识别事件。【77】通过对数据执行PCA，计算的特征向量可以分为正常和异常两个集合，方法是检验数据中的值映射到特征向量。在每个时间步，根据特征值对特征向量进程降序排列，第一个特征向量则包含一个在其余值的3个标准差之外的投影点，此后的每个特征向量，都构成了异常集。第二步即是将数据映射到正常和异常子空间，一旦完成了这些操作，当从上一个时间步长到当前时间步异常成分的修改超过一个阈值时，即将其视为一个事件。【83】扩展了该方法，提出了联合稀疏PCA和图引导的联合稀疏PCA来定位异常和识别对应的顶点。通过为异常集使用稀疏的成分集，可以更容易识别负责的顶点。顶点根据它们在异常子空间中对应行的值得到一个异常分数，由于异常分量是稀疏的，不异常的顶点得分为0。
图的活跃向量 为主成分，左奇异向量对应最大奇异值，奇异值和奇异向量通过对加权邻接矩阵进行SVD得到。当活跃向量大幅异于“正常活跃"向量时，即定义该时点为突变点，”正常活跃“向量由前序向量得到。
正常活跃向量 ，它是对最后W时间步中活动向量形成的矩阵进行SVD得到的左奇异向量。每个时点都定义一个得分 ,其代表了当前活跃向量与正常向量的差异。异常可以使用动态阈值方案在线发现，其中得分高于阈值的时间点被输出为变化。通过计算正常向量和活动向量之间的变化比率来找到负责的顶点，与变化最大的索引所对应的顶点被标记为异常，类似的方法也可以用于节点-节点相关矩阵的活跃向量，或基于邻居相似度的节点-节点相关矩阵。
基于距离的异常检测算法的不同点在于选择用于提取和比较距离度量，以及它们用于确定异常值和相应图的方法。
如果一些边的属性演化异于正常演化，则该边就是一个异常边。
边之间的权重使用衰减函数定义，在每个时间步长中，根据相似度得分的变化之和计算每条边的异常值得分，使用阈值或简单的 作为异常值标准。
将网络视为边的流，意味着网络没有固定的拓扑，一个边的频率和持久性可以用来作为其新颖性的指标，【48】定义了集合系统不一致性指标来度量频率和持久性，当一条边到达时，计算其差异，并与活动边集的平均不一致性值进行比较，如果边的加权不一致性大于平均不一致性的阈值水平，则声明该边为异常边，基于异常边，可以进一步识别其他异常图元素（如顶点，边，子图）。
具有许多“异常”边的子图即是异常的子图。
【52】将边的权重视为异常得分，每个时间步长上的每条边都有它自己的异常分数，给定了该边权值在所有图序列的分布，该分数表示在该特定的边上看到该特定权值的概率函数。或者，为网络中的边分配异常值分数的现有方法的输出可以用作为该方法的输入。后一种方法允许应用于任何能够为边分配异常值分数的网络，一旦完成每条边的异常打分，即可发现显著异常的区域（SARs），即一个窗口内的固定子图，其类似于HDSs。【112】提出了一种迭代算法，该算法首先固定子图发现最优时间窗口，然后固定时间窗口发现最优子图。【97】拓展了该方法，允许子图渐变，即在相邻时间步间增加或移除顶点。
定义函数 为测度图距离的函数，将其应用于连续图序列，即得到距离序列，基于该距离序列应用一些启发式算法（如基于移动平均阈值的 取值）即可得到异常事件。
称每个顶点及其egonet的特征为局部特征，整张图的特征为全局特征。每个顶点的局部特征可聚合为一个向量，基于该向量的各阶矩可构造signature向量，利用signature向量间的Canberra距离（归一化的曼哈顿距离）可构造图之间的距离函数【93】。【92】利用全局特征，定义了一种基于dK-2序列的距离测度，将高于阈值的特征视为异常点。
【96】使用了顶点亲和度（即一个顶点对另一个顶点的影响，可以用于快速信念传播）得分作为signature向量，其基于连续时间步技术顶点亲和度，基于马氏距离度量两个图的相似度，亲和度得分的变化反应并适应变化的影响水平，例如桥边的移除比正常边移除的得分更高。利用单个移动范围的质量控制，可以对相似度得分的时间序列设置一个移动阈值，如指数移动平均加权。
作为特征相似度的补充，我们也可以比较两个图的结构差异来度量突变的大小，这类方法致力于发现定义距离的函数而非发现特征向量。【88】计算了异常网络的10种距离函数，使用ARMA模型构造特征值的正常模型，然后基于正常模型计算时点的残差，残差超过给定阈值的时间即可标记为异常。10种距离函数中，基于最大共有子图的方法表现最好。【90】使用了五中得分函数（顶点/边重叠，顶点排序，向量相似度，序列相似度，signature相似度）来检测三种异常（子图缺失，顶点缺失，连通性变化），表现最好的方案是抽取每个顶点和边的特征构造signature向量，使用SimHash定义距离。
我们还可以通过计算每个图的稳健性序列来检测事件，稳健性序列是图连通性的测度，具有高稳健性的图即使在去除一些顶点或边的情况下，也能保持相同的一般结构和连通性，事件检测即发现稳健性值异常变化的时点【95】。【89】使用的是图半径的变体作为稳健性指标，图半径的定义是基于所有顶点的平均离心度，而非常用的最大离心度。
基于概率理论、分布、扫描统计学等方法可以构造“正常”样本的模型，偏离该模型的样本即视为异常，这类方法的主要区别在于构造方法、建模对象、离群值定义。
主要有两种方法：一，构造扫描统计时间序列并检测离均值若干标准差的点；二，顶点分类。
扫描统计常称为滑动窗口分析，其在数据的特征区域中发现测度统计量的局部最小或最大值。对某个特定图，扫描统计量可以是图不变特征的最大值，如边的数量。
【8】使用了一个适应测度统计量的变量，即每个节点的0-2度邻居数，然后对每个顶点的局部统计量使用近期值的均值和标准差进行标准化，图的扫描统计量即最大的标准化局部统计量。标准化可以解释每个顶点的历史信息，代表每个顶点的统计量只与自己的历史信息有关而与其他顶点无关。这保证测度的最大变化与变化的绝对量无关而与比例有关。基于扫描统计量标准化时间序列，将序列均值的五个标准差作为异常值。最负责的顶点被确定为为整个图的扫描统计值所选择的顶点。
类似于使用邻居进行扫描统计，我们还可以用Markov随机场（MRF）来发现节点的状态，并通过信念传播算法推断最大似然分配，其中，每个顶点标签取决于其邻居节点。【99】通过发现二部核来检测异常点（即犯），二部核定义为犯与从犯间的交互。利用边的插入或删除只影响局部子图这一事实，它在添加新边时逐步更新模型。在传播矩阵中，一个顶点可以处于三种状态之一：欺诈者、共犯者或诚实者。
边异常检测通常使用计数过程建模，统计上显著异于该模型的边标记为异常边。
【50】用贝叶斯离散时间计数过程来建模顶点间的通信次数（边权重），并根据新图更新模型。基于学习到的计数的分布，对新观测的边进行预测 值计算，基于 值标记异常顶点对。
首先用固定的子图，多重图，累积图来构造预期行为的模型，对模型的偏离可作为子图异常检测的依据。
【104】结合扫描统计量和隐马尔可夫模型（HMM）建模边行为，其使用的局部扫描统计量是基于两种图形状：k-path图和星型图，其将滑动窗口的扫描统计数据与其过去的值进行比较，并使用在线阈值系统识别局部异常，局部异常是所有统计上显著的子图(代表k个路径或恒星)的并集。
另一个建模动态图的方法是基于多重图，其中平行边对应于两个连续时间步顶点间的通信，初始的多重图可分解为多个针对每个时间窗口的叠套子图（TSG），TSG满足两个条件：（1）对于任何两个有共同点的边，首先开始通信的边最后完成通信；（2）存在一个根顶点r，它没有传入的边，并且有一条到TSG中每个顶点的路径。出现概率低的TSG视为异常子图。【102】
累积图即为包含直到当前时点的所有边的图，边权重依据衰减函数定义，通过识别“持久模式”来定义子图的正常行为。该持久模型识别模型如下：首先构造一种图，该图每个边根据时间来加权，然后基于该图迭代抽取最重连接成分来发现。随着累积图的发展，提取的子图将被监控，并将其当前活动与基于最近行为的预期活动进行比较来进行子图异常检测。【101】
事件检测可以基于偏离图似然模型或特征值分布的偏差来进行。
【103】提出了一种新的蓄水池抽样方法来抽取图流的结构摘要，这种在线抽样方法维持多个网络划分以构造统计上显著的摘要，当一个新图进入图流，每个边都根据不同分区的边生成模型计算出一种似然性，然后以这些似然性的几何均值作为全局图似然性。
【98】使用了类似的边生成模型，每个边 的概率都存储在矩阵 中，概率基于期望最大化估计，基于所有收发对的分布，然后为每个收发对给出潜在得分，基于所有边似然得分的均值即得到每个图的得分。
【100】计算了特征值和压缩特征等式的分布（而非计算收发对的分布），基于每个顶点都存在一个顶点局部特征时间序列的假设，可在每个时间步构造一个顶点-顶点相关矩阵，通过保留最大特征值和一组低维矩阵（每个顶点对应一个矩阵），可对相关矩阵的特征方程进行压缩，通过学习特征值和矩阵的分布，即可发现异常顶点和事件。当特征值偏离期望分布时，即认为发生了事件，当顶点的矩阵偏离矩阵分布时，可认为该顶点为异常顶点。
在统计学中，统计模型是指当有些过程无法用理论分析 方法 导出其模型，但可通过试验或直接由工业过程测定数据，经过数理统计法求得各变量之间的函数关系。下文是我为大家整理的关于统计模型论文的 范文 ，欢迎大家阅读参考!
统计套利模型的理论综述与应用分析
【摘要】统计套利模型是基于数量经济学和统计学建立起来的，在对历史数据分析的基础之上，估计相关变量的概率分布，并结合基本面数据对未来收益进行预测，发现套利机会进行交易。统计套利这种分析时间序列的统计学特性，使其具有很大的理论意义和实践意义。在实践方面广泛应用于个对冲基金获取收益，理论方面主要表现在资本有效性检验以及开放式基金评级，本文就统计套利的基本原理、交易策略、应用方向进行介绍。
【关键词】统计套利 成对交易 应用分析
一、统计套利模型的原理简介
统计套利模型是基于两个或两个以上具有较高相关性的股票或者其他证券，通过一定的方法验证股价波动在一段时间内保持这种良好的相关性，那么一旦两者之间出现了背离的走势，而且这种价格的背离在未来预计会得到纠正，从而可以产生套利机会。在统计套利实践中，当两者之间出现背离，那么可以买进表现价格被低估的、卖出价格高估的股票，在未来两者之间的价格背离得到纠正时，进行相反的平仓操作。统计套利原理得以实现的前提是均值回复，即存在均值区间(在实践中一般表现为资产价格的时间序列是平稳的，且其序列图波动在一定的范围之内)，价格的背离是短期的，随着实践的推移，资产价格将会回复到它的均值区间。如果时间序列是平稳的，则可以构造统计套利交易的信号发现机制，该信号机制将会显示是否资产价格已经偏离了长期均值从而存在套利的机会 在某种意义上存在着共同点的两个证券(比如同行业的股票)， 其市场价格之间存在着良好的相关性，价格往往表现为同向变化，从而价格的差值或价格的比值往往围绕着某一固定值进行波动。
二、统计套利模型交易策略与数据的处理
统计套利具 体操 作策略有很多，一般来说主要有成对/一篮子交易，多因素模型等，目前应用比较广泛的策略主要是成对交易策略。成对策略，通常也叫利差交易，即通过对同一行业的或者股价具有长期稳定均衡关系的股票的一个多头头寸和一个空头头寸进行匹配，使交易者维持对市场的中性头寸。这种策略比较适合主动管理的基金。
成对交易策略的实施主要有两个步骤：一是对股票对的选取。海通证券分析师周健在绝对收益策略研究―统计套利一文中指出，应当结合基本面与行业进行选股，这样才能保证策略收益，有效降低风险。比如银行，房地产，煤电行业等。理论上可以通过统计学中的聚类分析方法进行分类，然后在进行协整检验，这样的成功的几率会大一些。第二是对股票价格序列自身及相互之间的相关性进行检验。目前常用的就是协整理论以及随机游走模型。
运用协整理论判定股票价格序列存在的相关性，需要首先对股票价格序列进行平稳性检验，常用的检验方法是图示法和单位根检验法，图示法即对所选各个时间序列变量及一阶差分作时序图，从图中观察变量的时序图出现一定的趋势册可能是非平稳性序列，而经过一阶差分后的时序图表现出随机性，则序列可能是平稳的。但是图示法判断序列是否存在具有很大的主观性。理论上检验序列平稳性及阶输通过单位根检验来确定，单位根检验的方法很多，一般有DF，ADF检验和Phillips的非参数检验(PP检验)一般用的较多的方法是ADF检验。
检验后如果序列本身或者一阶差分后是平稳的，我们就可以对不同的股票序列进行协整检验，协整检验的方法主要有EG两步法，即首先对需要检验的变量进行普通的线性回归，得到一阶残差，再对残差序列进行单位根检验，如果存在单位根，那么变量是不具有协整关系的，如果不存在单位根，则序列是平稳的。EG检验比较适合两个序列之间的协整检验。除EG检验法之外，还有Johansen检验，Gregory hansan法，自回归滞后模型法等。其中johansen检验比较适合三个以上序列之间协整关系的检验。通过协整检验，可以判定股票价格序列之间的相关性，从而进行成对交易。
Christian L. Dunis和Gianluigi Giorgioni(2010)用高频数据代替日交易数据进行套利，并同时比较了具有协整关系的股票对和没有协整关系股票对进行套利的立即收益率，结果显示，股票间价格协整关系越高，进行统计套利的机会越多，潜在收益率也越高。
根据随机游走模型我们可以检验股票价格波动是否具有“记忆性”，也就是说是否存在可预测的成分。一般可以分为两种情况：短期可预测性分析及长期可预测性分析。在短期可预测性分析中，检验标准主要针对的是随机游走过程的第三种情况，即不相关增量的研究，可以采用的检验工具是自相关检验和方差比检验。在序列自相关检验中，常用到的统计量是自相关系数和鲍克斯-皮尔斯 Q统计量，当这两个统计量在一定的置信度下，显著大于其临界水平时，说明该序列自相关，也就是存在一定的可预测性。方差比检验遵循的事实是：随机游走的股价对数收益的方差随着时期线性增长，这些期间内增量是可以度量的。这样，在k期内计算的收益方差应该近似等于k倍的单期收益的方差，如果股价的波动是随机游走的，则方差比接近于1;当存在正的自相关时，方差比大于1;当存在负的自相关是，方差比小于1。进行长期可预测性分析，由于时间跨度较大的时候，采用方差比进行检验的作用不是很明显，所以可以采用R/S分析，用Hurst指数度量其长期可预测性，Hurst指数是通过下列方程的回归系数估计得到的：
Ln[(R/S)N]=C+H*LnN
R/S 是重标极差，N为观察次数，H为Hurst指数，C为常数。当H>时说，说明这些股票可能具有长期记忆性，但是还不能判定这个序列是随机游走或者是具有持续性的分形时间序列，还需要对其进行显著性检验。
无论是采用协整检验还是通过随机游走判断，其目的都是要找到一种短期或者长期内的一种均衡关系，这样我们的统计套利策略才能够得到有效的实施。
进行统计套利的数据一般是采用交易日收盘价数据，但是最近研究发现，采用高频数据(如5分钟，10分钟，15分钟，20分钟收盘价交易数据)市场中存在更多的统计套利机会。日交易数据我们选择前复权收盘价，而且如果两只股票价格价差比较大，需要先进性对数化处理。Christian L. Dunis和Gianluigi Giorgioni(2010)分别使用15分钟收盘价，20分钟收盘价，30分以及一个小时收盘价为样本进行统计套利分析，结果显示，使用高频数据进行统计套利所取得收益更高。而且海通证券金融分析师在绝对收益策略系列研究中，用沪深300指数为样本作为统计套利 配对 交易的标的股票池，使用高频数据计算累计收益率比使用日交易数据高将近5个百分点。
三、统计套利模型的应用的拓展―检验资本市场的有效性
Fama(1969)提出的有效市场假说，其经济含义是:市场能够对信息作出迅速合理的反应,使得市场价格能够充分反映所有可以获得的信息,从而使资产的价格不可用当前的信息进行预测,以至于任何人都无法持续地获得超额利润.通过检验统计套利机会存在与否就可以验证资本市场是有效的的，弱有效的，或者是无效的市场。徐玉莲(2005)通过运用统计套利对中国资本市场效率进行实证研究，首先得出结论：统计套利机会的存在与资本市场效率是不相容的。以此为理论依据，对中国股票市场中的价格惯性、价格反转及价值反转投资策略是否存在统计套利机会进行检验，结果发现我国股票市场尚未达到弱有效性。吴振翔，陈敏(2007)曾经利用这种方法对我国A股市场的弱有效性加以检验，采用惯性和反转两种投资策略发现我国A股若有效性不成立。另外我国学者吴振翔，魏先华等通过对Hogan的统计套利模型进行修正，提出了基于统计套利模型对开放式基金评级的方法。
四、结论
统计套利模型的应用目前主要表现在两个方面：1.作为一种有效的交易策略，进行套利。2.通过检测统计套利机会的存在，验证资本市场或者某个市场的有效性。由于统计套利策略的实施有赖于做空机制的建立，随着我股指期货和融资融券业务的推出和完善，相信在我国会有比较广泛的应用与发展。
参考文献
[1] . Burgess：A computational Methodolology for Modelling the Dynamics of statistical arbitrage, London business school,PhD Thesis,1999.
[2]方昊.统计套利的理论模式及应用分析―基于中国封闭式基金市场的检验.统计与决策,2005,6月(下).
[3]马理,卢烨婷.沪深 300 股指期货期现套利的可行性研究―基于统计套利模型的实证.财贸研究,2011,1.
[4]吴桥林.基于沪深 300 股指期货的套利策略研究[D].中国优秀硕士学位论文.2009.
[5]吴振翔,陈敏.中国股票市场弱有效性的统计套利检验[J].系统工程理论与实践.2007,2月.
关于半参统计模型的估计研究
【摘要】随着数据模型技术的迅速发展，现有的数据模型已经无法满足实践中遇到的一些测量问题，严重的限制了现代科学技术在数据模型上应用和发展，所以基于这种背景之下，学者们针对数据模型测量实验提出了新的理论和方法，并研制出了半参数模型数据应用。半参数模型数据是基于参数模型和非参数模型之上的一种新的测量数据模型，因此它具备参数模型和非参数模型很多共同点。本文将结合数据模型技术，对半参统计模型进行详细的探究与讨论。
【关键词】半参数模型 完善误差 测量值 纵向数据
本文以半参数模型为例，对参数、非参数分量的估计值和观测值等内容进行讨论，并运用三次样条函数插值法得出非参数分量的推估表达式。另外，为了解决纵向数据下半参数模型的参数部分和非参数部分的估计问题，在误差为鞅差序列情形下，对半参数数据模型、渐近正态性、强相合性进行研究和分析。另外，本文初步讨论了平衡参数的选取问题，并充分说明了泛最小二乘估计方法以及相关结论，同时对半参数模型的迭代法进行了相关讨论和研究。
一、概论
在日常生活当中，人们所采用的参数数据模型构造相对简单，所以操作起来比较容易;但在测量数据的实际使用过程中存在着相关大的误差，例如在测量相对微小的物体，或者是对动态物体进行测量时。而建立半参数数据模型可以很好的解决和缓解这一问题：它不但能够消除或是降低测量中出现的误差，同时也不会将无法实现参数化的系统误差进行勾和。系统误差非常影响观测值的各种信息，如果能改善，就能使其实现更快、更及时、更准确的误差识别和提取过程;这样不仅可以提高参数估计的精确度，也对相关科学研究进行了有效补充。
举例来说，在模拟算例及坐标变换GPS定位重力测量等实际应用方面，体现了这种模型具有一定成功性及实用性;这主要是因为半参数数据模型同当前所使用的数据模型存在着一致性，可以很好的满足现在的实际需要。而新建立的半参数模型以及它的参数部分和非参数部分的估计，也可以解决一些污染数据的估计问题。这种半参数模型，不仅研究了纵向数据下其自身的t型估计，同时对一些含光滑项的半参数数据模型进行了详细的阐述。另外，基于对称和不对称这两种情况，可以在一个线性约束条件下对参数估计以及假设进行检验，这主要是因为对观测值产生影响的因素除了包含这个线性关系以外，还受到某种特定因素的干扰，所以不能将其归入误差行列。另外，基于自变量测量存在一定误差，经常会导致在计算过程汇总，丢失很多重要信息。
二、半参数回归模型及其估计方法
这种模型是由西方著名学者Stone在上世纪70年代所提出的，在80年代逐渐发展并成熟起来。目前，这种参数模型已经在医学以及生物学还有经济学等诸多领域中广泛使用开来。
半参数回归模型介于非参数回归模型和参数回归模型之间，其内容不仅囊括了线性部分，同时包含一些非参数部分，应该说这种模型成功的将两者的优点结合在一起。这种模型所涉及到的参数部分，主要是函数关系，也就是我们常说的对变量所呈现出来的大势走向进行有效把握和解释;而非参数部分则主要是值函数关系中不明确的那一部分，换句话就是对变量进行局部调整。因此，该模型能够很好的利用数据中所呈现出来的信息，这一点是参数回归模型还有非参数归回模型所无法比拟的优势，所以说半参数模型往往拥有更强、更准确的解释能力。
从其用途上来说，这种回归模型是当前经常使用的一种统计模型。其形式为：
三、纵向数据、线性函数和光滑性函数的作用
纵向数据其优点就是可以提供许多条件，从而引起人们的高度重视。当前纵向数据例子也非常多。但从其本质上讲，纵向数据其实是指对同一个个体，在不同时间以及不同地点之上，在重复观察之下所得到一种序列数据。但由于个体间都存在着一定的差别，从而导致在对纵向数据进行求方差时会出现一定偏差。在对纵向数据进行观察时，其观察值是相对独立的，因此其特点就是可以能够将截然不同两种数据和时间序列有效的结合在一起。即可以分析出来在个体上随着时间变化而发生的趋势，同时又能看出总体的变化形势。在当前很多纵向数据的研究中，不仅保留了其优点，并在此基础之上进行发展，实现了纵向数据中的局部线性拟合。这主要是人们希望可以建立输出变量和协变量以及时间效应的关系。可由于时间效应相对比较复杂，所以很难进行参数化的建模。
另外，虽然线性模型的估计已经取得大量的成果，但半参数模型估计至今为止还是空白页。线性模型的估计不仅仅是为了解决秩亏或病态的问题，还能在百病态的矩阵时，提供了处理线性、非线性及半参数模型等方法。首先，对观测条件较为接近的两个观测数据作为对照，可以削弱非参数的影响。从而将半参数模型变成线性模型，然后，按线性模型处理，得到参数的估计。而多数的情况下其线性系数将随着另一个变量而变化，但是这种线性系数随着时间的变化而变化，根本求不出在同一个模型中，所有时间段上的样本，亦很难使用一个或几个实函数来进行相关描述。在对测量数据处理时，如果将它看作为随机变量，往往只能达到估计的作用，要想在经典的线性模型中引入另一个变量的非线性函数，即模型中含有本质的非线性部分，就必须使用半参数线性模型。
另外就是指由各个部分组成的形态，研究对象是非线性系统中产生的不光滑和不可微的几何形体，对应的定量参数是维数，分形上统计模型的研究是当前国际非线性研究的重大前沿课题之一。因此，第一种途径是将非参数分量参数化的估计方法，也称之为参数化估计法，是关于半参数模型的早期工作，就是对函数空间附施加一定的限制，主要指光滑性。一些研究者认为半参数模型中的非参数分量也是非线性的，而且在大多数情形下所表现出来的往往是不光滑和不可微的。所以同样的数据，同样的检验方法，也可以使用立方光滑样条函数来研究半参数模型。
四、线性模型的泛最小二乘法与最小二乘法的抗差
(一)最小二乘法出现于18世纪末期
在当时科学研究中常常提出这样的问题：怎样从多个未知参数观测值集合中求出参数的最佳估值。尽管当时对于整体误差的范数，泛最小二乘法不如最小二乘法，但是当时使用最多的还是最小二乘法，其目的也就是为了估计参数。最小二乘法，在经过一段时间的研究和应用之后，逐步发展成为一整套比较完善的理论体系。现阶段不仅可以清楚地知道数据所服从的模型，同时在纵向数据半参数建模中，辅助以迭代加权法。这对补偿最小二乘法对非参数分量估计是非常有效，而且只要观测值很精确，那么该法对非参数分量估计更为可靠。例如在物理大地测量时，很早就使用用最小二乘配置法，并得到重力异常最佳估计值。不过在使用补偿最小二乘法来研究重力异常时，我们还应在兼顾着整体误差比较小的同时，考虑参数估计量的真实性。并在比较了迭代加权偏样条的基础上，研究最小二乘法在当前使用过程中存在的一些不足。应该说，该方法只强调了整体误差要实现最小，而忽略了对参数分量估计时出现的误差。所以在实际操作过程中，需要特别注意。
(二)半参模型在GPS定位中的应用和差分
半参模型在GPS相位观测中，其系统误差是影响高精度定位的主要因素，由于在解算之前模型存在一定误差，所以需及时观测误差中的粗差。GPS使用中，通过广播卫星来计算目标点在实际地理坐标系中具体坐标。这样就可以在操作过程中，发现并恢复整周未知数，由于观测值在卫星和观测站之间，是通过求双差来削弱或者是减少对卫星和接收机等系统误差的影响，因此难于用参数表达。但是在平差计算中，差分法虽然可以将观测方程的数目明显减少，但由于种种原因，依然无法取得令人满意的结果。但是如果选择使用半参数模型中的参数来表达系统误差，则能得到较好的效果。这主要是因为半参数模型是一种广义的线性回归模型，对于有着光滑项的半参数模型，在既定附加的条件之下，能够提供一个线性函数的估计方法，从而将测值中的粗差消除掉。
另外这种方法除了在GPS测量中使用之外，还可应用于光波测距仪以及变形监测等一些参数模型当中。在重力测量中的应用在很多情形下，尤其是数学界的理论研究，我们总是假定S是随机变量实际上，这种假设是合理的，近几年，我们对这种线性模型的研究取得了一些不错的成果，而且因其形式相对简洁，又有较高适用性，所以这种模型在诸多领域中发挥着重要作用。
通过模拟的算例及坐标变换GPS定位重力测量等实际应用，说明了该法的成功性及实用性，从理论上说明了流行的自然样条估计方法，其实质是补偿最小二乘方法的特例，在今后将会有广阔的发展空间。另外 文章 中提到的分形理论的研究对象应是非线性系统中产生的不光滑和不可微的几何形体，而且分形已经在断裂力学、地震学等中有着广泛的应用，因此应被推广使用到研究半参数模型中来，不仅能够更及时，更加准确的进行误差的识别和提取，同时可以提高参数估计的精确度，是对当前半参数模型研究的有力补充。
五、 总结
文章所讲的半参数模型包括了参数、非参数分量的估计值和观测值等内容，并且用了三次样条函数插值法得到了非参数分量的推估表达式。另外，为了解决纵向数据前提下，半参数模型的参数部分和非参数部分的估计问题，在误差为鞅差序列情形下，对半参数数据模型、渐近正态性、强相合性进行研究和分析。同时介绍了最小二乘估计法。另外初步讨论了平衡参数的选取问题，还充分说明了泛最小二乘估计方法以及有关结论。在对半参数模型的迭代法进行了相关讨论和研究的基础之上，为迭代法提供了详细的理论说明，为实际应用提供了理论依据。
参考文献
[1]胡宏昌.误差为AR(1)情形的半参数回归模型拟极大似然估计的存在性[J].湖北师范学院学报(自然科学版)，2009(03).
[2]钱伟民，李静茹.纵向污染数据半参数回归模型中的强相合估计[J].同济大学学报(自然科学版)，2009(08).
[3]樊明智，王芬玲，郭辉.纵向数据半参数回归模型的最小二乘局部线性估计[J].数理统计与管理，2009(02).
[4]崔恒建，王强.变系数结构关系EV模型的参数估计[J].北京师范大学学报(自然科学版).2005(06).
[5]钱伟民，柴根象.纵向数据混合效应模型的统计分析[J].数学年刊A辑(中文版).2009(04)
[6]孙孝前，尤进红.纵向数据半参数建模中的迭代加权偏样条最小二乘估计[J].中国科学(A辑：数学)，2009(05).
[7]张三国，陈希孺.EV多项式模型的估计[J].中国科学(A辑)，2009(10).
[8]任哲，陈明华.污染数据回归分析中参数的最小一乘估计[J].应用概率统计，2009(03).
[9]张三国，陈希孺.有重复观测时EV模型修正极大似然估计的相合性[J].中国科学(A辑).2009(06).
[10]崔恒建，李勇，秦怀振.非线性半参数EV四归模型的估计理论[J].科学通报，2009(23).
[11]罗中明.响应变量随机缺失下变系数模型的统计推断[D].中南大学，2011.
[12]刘超男.两参数指数威布尔分布的参数Bayes估计及可靠性分析[D].中南大学，2008.
[13]郭艳.湖南省税收收入预测模型及其实证检验与经济分析[D].中南大学，2009.
[14]桑红芳.几类分布的参数估计的损失函数和风险函数的Bayes推断[D].中南大学，2009.
[15]朱琳.服从几类可靠性分布的无失效数据的bayes分析[D].中南大学，2009.
[16]黄芙蓉.指数族非线性模型和具有AR(1)误差线性模型的统计分析[D].南京理工大学，2009.
猜你喜欢：
1. 统计学分析论文
2. 统计方面论文优秀范文参考
3. 统计优秀论文范文
4. 统计学的论文参考范例
方便面因为它“方便”，所以，深受中小学生、住校学生、出差人员以及熬夜者的青睐。然而，专家们却明确地指出：最好少吃方便面。让我们再谈谈方面的“结构”。眼下，食品添加剂多达300余种，它们分别起到色、漂白、调节胃口、防止氧化、延长保存期等多种功能，这些添加剂按规定都是可以使用的。我们偶尔吃几餐方面问题不大，但若像林技术员那样吃个十年八载，就很难确保身体健康了。这里简单列举方便面中的几种添加剂。食盐 一包方便面含盐6克，而我们每天食盐的摄取量是8克左右，所以，方便面含盐量明显偏高，吃盐过多易患高血压，且损害肾脏。磷酸盐 它的用途广，可以改善方便面的味道。但是，人体摄磷过多，会使体内的钙无法充分利用，容易引起骨折、牙齿脱落和骨骼变形。油脂 方便面都用油炸过，油炸后可减去面中水分，能延长保存期。但这些油脂经过氧化后变为“氧化脂质”，它积存于血管或其他器官中，加速人的老化速度，并引起动脉硬功夫化，易导致脑溢血、心脏病、肾病等。防氧化剂 方便面从制成到消费者手中，短的一两个月，长时达一两年，其中添加的防氧化剂和别的化学药品已经在慢慢地变质，对人全有害无益。为此，专家们建议：最好少吃或不吃方便面，万一要吃，每周不要超过两包，方可保你平安无事。为了防止和降低方便面对人体的危害，我们在吃方便面的时候，可以把泡方面的汤倒掉，再兑上开水或别的汤，以减少其中的盐分和别的有害物质。再者，吃方便面时，可在面中加些菠菜、青椒等含维生素丰富的有色蔬菜，以便冲淡各种添加剂对人体的危害。常吃方便面会得营养缺乏症方便面是上班族们喜欢的一种食品，它既可以当点心、宵夜，又可以当正餐，而且食用方便，非常适合繁忙的上班族。尤其是不少男性，既没有女人那么多对于身材的顾虑，又对饮食马马虎虎，方便面更是他们的"宠儿"，经常会在办公桌里放上几包。但是，经常吃方便面的男人们，你们知道嘛，吃的时候方便了，可它会带给你多少麻烦吗？ 方便面是经过油炸后干燥密封包装而成。尽管现在很多方便面都号称不是油炸的，但多少都会含有食用油，因此，放置的时间一长，方便面之中的油脂就会被空气氧化分解，生成有毒的醛类过氧化物。吃了这种油已变质的方便面，会给你带来意想不到的麻烦，比如引起头晕、头痛、发热、呕吐、腹泻等中毒现象。放在办公桌里的方便面经常会超过了保质期而你还没有注意，误食之后麻烦就大了。另外，方便面的包装破裂、封闭不严、存放时间过长，也有被细菌、毒物污染的可能。因此，方便面的卫生不容忽视。一般要根据需要量来决定购买数量，一次不宜存放过多，存放的时间不宜太长，要选购包装完好、商标明确、厂家清楚的。包装破裂就容易被污染，又会加速方便面氧化变质的速度。即便是包装完整的，食用前也要检查一下，除要注意是否过期以外，还要看看面饼的质量，如果发现面饼的表面变色、生有霉菌、有虫蛀痕迹时，说明面已经变质，不能再吃了。如果闻到有"哈喇"味，入口有辣味或其他异味的时候，说明油已经变质了，也不能食用了。 即使是新鲜的方便面，如果长期用来替代主食，而不添加任何其他食品，就很容易导致人体营养缺乏，对健康极为不利。人体的正常生命活动需要六大要素：即蛋白质、脂肪、碳水化合物、矿物质、维生素和水。只要缺乏其中一种营养素、时间长了，人就会患病。而方便面的主要成分是碳水化合物，汤料只含有少量味精、盐分等调味品，即使是各种名目的鸡汁、牛肉汁、虾汁等方便面，其中肉汁成分的含量非常少，远远满足不了我们每天所需要的营养量。因此，在吃方便面的时候要注意以下几点： 一是方便面只适于救急，如临时就餐不便或受到条件限制吃不到东西的时候食用。一天最多吃一次，也不能天天吃。 二是喜欢方便面或确实由于条件限制、需要较长时间吃方便面时，应该酌情增加一些副食，以补充营养的不足。如食用些香肠、牛肉干、肉脯、肉松、熟鸡蛋（约100克左右）、卤肉等。还可以在方便面中加一些香油或猪油（约25克左右）。或者配餐用一些生吃的瓜果、蔬菜，如黄瓜、西红柿、萝卜、地瓜、荸荠、藕、香蕉、梨、桔子等，数量应该保持在250-300克左右。 三是患有肠胃疾病和胃口不佳、吸收不良的人，最好不要吃方便面。 总之，方便面作为一种方便食品，偶尔吃一些对身体没有害处，但经常吃就会有损健康了。总而言之,经常吃方便面对身体就会有害处了...
方便面里的食品添加剂分别起着增色、漂白、调节胃口、防止氧化、延长保存期等多种作用，这些食品添加剂按规定都是可以使用的。因此，偶尔吃方便面是无关紧要的。但是，一些人经常拿来当早餐或懒得下厨房时把它当饭吃，更有甚者长年累月吃方便面，这就有碍身体健康了。油脂：为了延长保存期，大多数品种的方便面都用油炸过，油脂经过氧化后变成氧化脂质。它积存于血管或其他器官中，形成老化现象，加速人的老化速度，引起动脉硬化，易导致脑溢血、心脏病、肾脏病等疾病。食盐：一包方便面含盐约6克，而一个人一天食盐的摄取量以6克为宜，所以方便面含盐量明显偏高。经常吃方便面会因摄入食盐过多而易患高血压，且损害肾脏。磷酸盐：磷酸盐添加剂可以改善方便面的味道。但是，人体摄磷太多会使体内的钙无法充分吸收、利用，容易引起骨折、牙齿脱落和骨骼变形。防氧化剂：方便面从制成到消费者，短时为一两个月，长时竟达一两年，其中添加的防氧化剂和其他化学药品因长期贮存，受环境影响，已经在慢慢变质，食后对人体有一定的害处。为此，有关专家建议最好少吃方便面。为了防止和降低方便面对人体的危害，吃方便面时，将泡方便面的汤倒掉，再兑上开水或别的汤，以减少其中的盐及其他有害物质。另外，吃方便面时可加些含维生素丰富的蔬菜，如菠菜、青椒等，以便冲淡各种添加剂对人体的危害。
方便面是油炸食品，含有致癌物质。建议少吃或者不吃。