可以用Set 去除重复
我觉得用程序处理，再怎么快也不会有高效率，最好在使用这些数据时，先将数据导入数据库，用查询语句来处理，如distinct
一、这么大的数据量如果一次性放到一个Map中是否内存会使用过多，这是要考虑的，是否可以考虑批量处理呢？读取也可以用批量。二、假如一次性放到一个MAP中，是否可以保存到数据库中，保存的时候肯定是用批量处理。
用算法中的求最大相似子字符串的方法LCS或许可以，它可以找到两个字符串中最大相似的子字符串。Java code/** @author talent_marquis<甜菜侯爵>* Email: * Copyright (C) 2007 talent_marquis<甜菜侯爵>* All rights reserved.*/package ;/** LCS, Longest-Common-Subsequence*/public class LCS{public enum DIRECTION{ TOP, TOP_LEFT, LEFT };private char[] first;private char[] second;private int[][] lcsTable;private DIRECTION[][] lcsAssistTable;private int lcsLength;private String lcs_str, lcsMatrix_str, lcsAssistMatrix_str;private StringBuffer str_buffer;public LCS( String str1, String str2 ){first = ();second = ();lcsTable = new int[ + 1 ][ + 1 ];lcsAssistTable = new DIRECTION[ + 1 ][ + 1];lcs_str = null;
首先需要在手机端先安装好迅捷论文查重app。2.打开之后,点击【开始查询】,然后选好查重方式:【文本查重】or【文档查重】,就能快速进行查重了。3.想要查询整个论文文档的话,直接点击【文档查重】,然后依次输入题目、作者、上传文件,再【开始查重】就行了。至于【文本查重】,这个比较适合用在查询部分论文内容。论文怎么查重复率-百度经验
所有大学生在写毕业论文时，必须经历的一步就是查重。目前所有高校对毕业论文查重都有明确要求。怎么查论文的重复率？paperfree小编给大家讲解。 重复率是判断学生论文是否符合标准的依据。论文重复率测试将直接影响学生能否顺利进入答辩环节。因此，论文的重复检测直接关系到大学生能否顺利毕业。论文查重其实很简单。他只需要找一个好的论文查重系统，设置好自己的论文格式，然后上传到论文查重检测系统进行查重检测。现在的查重系统非常智能我们只需要上传论文到查重系统，就可以静静地等待查重结果。在查重的过程中，一定要警惕一些不好的商家，不能随便把论文上传到那些知名的查重系统。 如今，许多大学论文都有非常严重的抄袭现象，许多学生在第一次查重现论文的重复率简直离谱。论文查重基本上要查重3~5次以上，查重后一定要认真查重报告，中标的红色部分一定要降重。 最后，小编还提醒大家，一定要选择专业的论文查重系统进行查重，只有专业的系统才能准确、安全。能有效保障您的权益，您的论文信息不会被泄露。
第一、引言当进行查重后部分人发现自己论文参考资料也被算重复标红了，事实上很大原因是参考资料格式不正确导致。那么部分人也会觉得自己论文引用的格式是没有问题的。其实引用的内容占全文的比较少时也不用考虑这部分内容。引用值都是有规定的只要引用的文献超出了阈值，那么都是会被算重复的。这部分写作时我们一定要注意格式和字数控制。第二、正文部分未包含论文致谢等内容我们提前对论文进行查重时通常只上传论文的正文部分。但是当我们提交学校进行查重时，通常都是上传整篇文章进行，那么论文查重系统就会自动识别到感谢登非正文部分时，大部分出来的结果都会显示这部分重复。这部分与一般的感谢词语都很相似而且使用的模板都差不多。如果不去改变句子与相关单词的话是会重复的。第三、表的文字数据：一些实验研究和得出的结论用表格表述效果是更好的，能更加直观地把内容表达出来。那么这部分也是很容易重复的。当结果建立在统一的表格上部分数字不需要进行修改。但是不想重复就必须彻底地修改，避免影响最终的重复率。
毕业论文查重复率是由软件进行查询的。不同的软件查重率也是不一样的，大家可以根据自己学校的情况来查毕业论文的重复率。一般情况下，毕业论文的重复率不能超过20%，但是也要根据每个学校的具体要求来说，学生可以上淘宝网去买一些查重软件对自己的毕业论文进行查询。当然查重复率越低 是越好的。
现在大学毕业生的毕业论文要求是越来越高了，这也让不少大学生苦不堪言，但是遇到难事了，总要想办法去解决才行，首先我们需要知道的就是——了解毕业论文查重的步骤，那么具体是怎样的呢？下面一起来看看吧！
毕业论文查重的步骤如下：
第一步：搜索“毕业论文查重网站”
在进行论文查重时候，一定要选择正规并且有全文的论文查重网站，现在的论文查重网站是非常的多的。
第二步：进入到论文查重入口
选择好论文查重网站后，在网站首页找到论文查重的入口，点进去然后提交检测就可以了，一般参考文献是不会被检测到的，目录也是不会被检测到的，可以不放进去检测。
第三步：上传论文
同学们上传论文前，要注意论文的格式，格式一定要按照学校的要求去进行，格式错误，有很大的可能造成重复率过高，要求同学们仔细检查，不要让自己的论文报告有误差。
第四步：打印查重报告
查重结束后，要开始打印论文报告，论文检测报告里面包含着每一个方面的重复率，都有着详细的讲解的，如果发现查重率高于学校标准，同学们在修改的时候，可以以这份查重报告为依据，进行优化修改！
论文是使用相关的论文查重检测系统进行重复率查询的，用户只需要将论文上传至检测系统，整个检测过程所需时间是非常快的，一般耗时三十分钟至一个小时左右，经检测后下载查重报告即可。学生们都知道学校用于毕业论文检测查重的系统是知网，同时国内很多杂志社对期刊论文的查重也是使用知网进行的。除了知网以外，少数学校和杂志社也会使用万方和维普检测系统。
目前论文查重软件很多品牌，除了高校指定的查重软件，其他的查重软件都有着一定的免费字数领取，各个查重网站活动也不一样，今天给各位同学介绍如何快速领取cnkitime学术不端免费查重权益，包含大学生版（专/本科毕业论文定稿）、研究生版（硕博毕业论文定稿）、期刊职称版（期刊投稿，职称评审）以上版本均可免费查重不限篇数。
第一步:电脑打开浏览器（360/搜狗）登录：；
第二步:微信扫码一键登录进入查重页面；
第三步：选择适合需论文查重的版本，大学生版本、研究生版、期刊职称版；
第四步：输入题目和作者上传所需检测的内容；
第五步：检测时间一般情况3~10分钟；
第六步：点击下载报告，查重报告包含:简洁报告/全文标注报告/相似片段对照报告；检测完成后，请及时下载报告，报告只保留7天。
打开查重系统网站，点击“开始查询”，输入题目、作者，将论文粘贴在这个地方，点击“开始查重”，等待查询，过程可能有点久，要耐心等待。查询结束之后，点击“查看报告”即可清楚地了解到论文的重复比例。注意事项：论文查重其实很简单，人人都能操作查询需要一定的时间，但不会太久，要耐心等待
可以运用PaperPass论文重复率检测软件检测论文重复率。
降低论文的重复率有两种，分别是人工降重方法和机器人降重方法。
人工降重方法又分为两种：
1、将重复的语句用自己的语言进行解释。
2、把论文机翻成英文再机翻回中文，然后理清逻辑、修改语病、通顺上下文。
机器降重的方法：
1、机器虽不能完全取代人工，但在使用上，其较人工方法更为快捷简便这点是毋庸置疑的。机器智能降重，其通过大量学术论文数据语料训练，能够快捷智能地将原有重复率高的语句进行替换，并搭载于PaperTime查重软件上，实现了边查重边降重的功能，大大节省了用户的时间成本。
2、且机器降重效率高、速度快，几万字的相似内容不超过10秒就可以降重完成，真正意义上达到了快速降低论文重复率的要求。
3、人工智能并不能完全取代人工，因此机器人降重也不是万能的。机器人降重后有些语句还需人工进行再调整，这样才能够保障论文逻辑通顺。在进行机器人降重后千万要自己再顺一遍文章结构，以免出现纰漏以至于无法毕业。
降低论文重复率的方法:
1、运用自己的语句进行解释。
这种方法最为老实也最有底气，毕竟是自己真刀真枪写出来的。这种方法遇到前人写过很多遍了的论题就会被克得死死的，因为能想得到的句子，再怎么白话和通俗都有可能已经被他人写过，查重降重了无数次，重复率依然高得让人头疼。2、把论文翻译成英文再机翻译回中文，然后理清逻辑、修改语病、通顺上下文。
写邦科技于2017年自主研发了线上自动降重工具——机器人智能降重，其通过大量学术论文数据语料训练，能够快捷智能地将原有重复率高的语句进行替换，并搭载于PaperTime查重软件上，实现了边查重边降重的功能，大大节省了用户的时间成本。
PaperTime（查重软件）--降低论文重复率
下载抄袭检测精灵(抄袭检测 重复率多高)是一款绿色免费的论文抄袭检测关机，可以用来检测文章的相似度，原理就是将现有的文章和网上的文章相匹配，如果有非常相似的就会列出来，原理就是用一定的算法将你的论文和知网数据库中已收录的论文进行对比，从而得出你论文中哪些部分涉嫌和谐抄袭。
论文如何查重复率，具体如下：
学生进入知网查重首页后，在首页点击选择合适的论文查重系统，进入查重页面后，输入论文的题目和作者，点击上传按钮，将学生电脑本地中的论文上传至知网查重系统中。
确认无误后，点击开始查重按钮，等待30分钟-60分钟左右的查重时间，查重完毕后，学生点击下载检测报告按钮，输入查重订单编号，学生即可将查重报告单下载至电脑本地中，最后查看报告单中的去除本人已发表文献复制比即可。
国家对重复率没有强制性的规定，而且由于论文种类繁多，不同种类的论文重复率要求也不同。一般要求本科论文重复率不高于30%，硕士论文不高于15%，博士论文不高于10%。对于其他非毕业论文，如期刊论文，对重复率的要求一般不高于30%或20%，但对于核心论文或高级期刊论文，对重复率的要求会严格很多。
综上所述，我们发现如何检查论文重复率是很简单的事情。只要选择一个可靠、安全的查重系统，就可以得到一份具有参考性的查重报告，大家可以根据查重报告中的标记进行修改和降重，最终查重再利用学校要求的检测系统即可。
抄袭检测精灵(抄袭检测 重复率多高)是一款绿色免费的论文抄袭检测关机，可以用来检测文章的相似度，原理就是将现有的文章和网上的文章相匹配，如果有非常相似的就会列出来，原理就是用一定的算法将你的论文和知网数据库中已收录的论文进行对比，从而得出你论文中哪些部分涉嫌和谐抄袭。学校论文全文重复率在30%一下(而有的学校，本科是20%)。每章重复率应该没有要求，这个每个学校会出细则的，并且学校也出给出他们查重复率的地方——基本都是中国知网。具体打电话问老师，每界每个学校要求都不一样，所以在交论文之前一定要先检测一下重复度。
中国知网，行业老大哥，受众最多，资源库涵盖也最广，但不开放个人入口，价格稍贵。万方，行业内千年的老二，虽然用户使用率没有知网高，但其地位在学术界也是很硬的，⌄资源库也是非常广泛的，期刊查重、大学毕业论文查重，准确率也都非常高。其次就是维普，也是业内常用的查重软件之一。
毕业生很关注的是论文查重问题，毕竟，查重关系到毕业生是否能顺利毕业。只因论文查重率合格，毕业生才能顺利毕业。但并非所有的毕业生都能在完成论文后进行查重一次通过，可能要经过多次修改后才能顺利通过。要做一篇论文要做的就是对论文的查重系统有一些了解，那有什么论文查重系统呢？
到底论文查重系统有哪些？事实上，不管是大论文还是小论文，都需要查重。检测论文时都需要使用专业的论文查重系统。如今有许多系统可供使用。例如权威查重、维普、万方、 Papertime免费查重网站等，每个人可以使用的查重系统有许多选择。
有些人不知道要查重大论文和小论文选择什么论文去查重系统，其实在查重大论文和小论文时，在查重系统上选择并没有太大差别。许多论文查重系统不仅能对大型论文进行查重，而且还能进行小论文查重。有的查重系统甚至还根据不同论文类型开发了相应的论文查重系统，比如权威查重查重系统，这样更有针对性，查重结果也更准确。
论文的查重方法也很简单，其步骤也是相同的，可以同时检测大小论文查重，学校等机构或者查重系统对于大论文和小论文的查重率标准也是差不多的。
查重系统有很多种，在选择时，大家都需要进行一定的筛选。先看看系统的能见度以及稳定性，再看系统的数据库是否强大，当然比较方便的方法是使用与本校相同的论文查重系统。
Paperbye论文查重系统，无论从查重内容准确度，修改论文效率，还是使用体验，都在不断精进，2018年下半年正式推出全新的论文查重系统，不光可以查重还可以自动降重。因此paperbye并不是纯粹的论文查重系统，准确的描述是，自带改重的论文查重系统，解决了目前市场论文查重之后，不知道怎么修改和修改论文效率低的问题，利用软件的“机器人改重”功能，实现软件的自动修改论文重复内容，从而达到迅速自动降低论文重复率，特别是对于第一次写论文的同学，软件自动修改论文内容，会给同学们一些启示或直接使用机器修改的内容进行替换原文内容，提高的文章查重和修改效率。
具体看看有哪些实用功能：
1、机器人智能改重
Paperbye改重是机器人自动修改查重报告里相似的文字内容，自动修改就是论文查重完成后，系统自动把相似内容通过深度学习的数据内容进行替换修改，达到自动降低文章相似率的目的。一篇几万字的文章，10秒内容可以修改完成，这个修改效率是任何人工都无法比拟的，修改文章效率高是机器人修改的独特优势。机器人修改的语句并不是简单的替换关键词和调换语序，主要原理是通过深度学习大量数据后把语义相似的句子进行替换。
2、免费在线改重
在线改重功能是机器人改重功能的延伸和完善，机器改重功能并不是非常完美，就像我们现在的语音识别系统，语音输入并不是100%的完美识别，用手机语音输入文字大家应该有体会。对于机器人修改的语句并不是每句都修改的很完美的，遇到一些专业性比较强的术语修改的会有些牵强，但是不用担心，可以在免费改重工具编辑器里自主修改，通过人工修改相结合达到完美降重效果。
3、同步查重功能
这个功能根据“赫洛克效应”的及时反馈的心理原理，在修改论文的过程中，修改一句话，通过paperbye的“同步查重”功能，马上就可以看到修改效果，达到及时反馈，并且及时检验了修改的方法技巧，使继续修改的信心大增，可以大大提高修改论文的质量和效率。传统的论文查重方式的是你必须把全文或片段改完，重新提交论文到查重系统里重新检测才能知道结果，这种方式无论从流程，还是查重后修改，都比较繁琐，更重的是如果通过修改查重后的相似比例降下来不理想，给人的感觉比较身心疲惫，没有愉悦感，对修改论文极度厌恶。Paperbye论文查重系统解决了这个问题，算是颠覆传统，开创先河，让论文降重不再痛苦。
4、同步查重和在线改重的结合
这两个功能在paperbye查重系统里像一双筷子一样，紧密结合使用的，自己对文章内容修改后，就需要对修改的内容进行查重，点击系统里的“同步查重”，马上就会看到修改后的效果，甚至修改1个字，都可以进行马上查重并反馈修改结果，真正实现一边修改论文，一边进行论文查重。修改、查重同步进行，完美结合。市场上声称“在线改重”，好多同学容易误解，那种改重是必须改完整片文章，再整篇提交，就是传统的论文查重方式，并不能实现修改一句马上看到修改结果。目前paperbye才是真正的实现了边修改边查重的同步效果。
随着学校对论文要求越来越严格，很多同学都会在提交毕业论文之前对自己的论文进行查重，然而论文查重网站非常多，并不是所有的论文查重网站都靠谱，今天paperfree来讲解一下，本科论文查重系统哪个准确？一、看资历我们可以根据网站相关信息、公司相关信息。对论文查重系统公司进行一个大致的了解，同时我们也可以在互联网上查看品牌词，查看相关评论等。二、看学校认可学校要求的论文查重系统是最准确的，我们在选择论文查重系统的时候进行选择跟学校要求的论文查重系统一致的，大部分学校都要求使用知网论文查重，知网论文查重系统查重结果基本上与学校一致。三、看系统体验一个好的查重系统用户体验非常重要，一般比较好的论文查重系统，查重流程都是非常简单的，只需要上传论文，支付一定的费用，系统就可以自动进行查重了。并不会有什么复杂的过程。而且查重结果很快就可以拿到。