打开知网官网后，在搜索框填上你的论文题目，检索一下，如果同名的比较多，再检索结果里检索作者姓名就行了。
以下是在知网中查看发表过的论文的步骤：1.登录知网账号 在浏览器中打开知网官网（），点击右上角的“登录”按钮，输入用户名和密码，登录知网账号。2.进入“我的空间” 登录成功后，点击网页顶部的“我的空间”按钮，进入个人用户中心。3.查看已发表的论文 在个人用户中心页面中，点击左侧的“学术论文”选项，然后在“学术论文”页面中，选择“我的论文”，即可查看自己已经发表过的论文列表。4.查看论文详情 在“我的论文”页面中，点击已发表的论文标题或者“详情”按钮，即可查看该论文的详细信息，包括论文的摘要、作者、期刊名称、发表日期、关键词、引用情况等。值得注意的是，如果您的论文被发表在其他数据库或期刊上，可以在知网中通过“期刊论文检索”或者“综合搜索”等功能进行检索，以找到自己的论文。
必然不可以，读取文献内容需要权限的
1.【中国知网】
中国知网是高校都用的学术资源网站，论文、期刊和外文文献都可以在这里找到，需要充值钱进去花钱下载才可以，毕竟是要引用别人的知识储备。直接在官网搜索想要的论文/期刊，也可以通过输入搜索关键词来找到需要的东西，外文文献相对比较难找点。
2.【中国数据网】
中国数据网就是进入“中华人民共和国国家统计局”官网找数据，接着可以在“数据查询”里点相关数据查询，有年度、季度、月度数据，也有普查、国际和部门数据，里面还有细分指标数据查询。如年度数据指标有国民经济、人口、对外经济贸易、能源、财政、价格指数、工农业、社会服务、固定资产投资和房地产等，可以搜索最近5年、10年、20年的数据资料。
3.【中国期刊库
里面都是中国各种出版社的期刊，可以花钱购买正版、高质量的论文/期刊，也可以下载一些免费的资料，看个人是不是需要了，我是觉得知网里的论文和期刊已经足够用了。
4.【其他网站】
再比如，不同的专业可以查询不同的网站，中国互联网络信息中心（CNNIC）可以在“互联网发展研究”里面下载《中国互联网发展状况统计报告》找到中国互联网使用情况的相关数据；而“中国城市金融学会”里可以下载最近关于经济、金融、医药等方面的优秀论文/期刊文章，还有研究报告都可以用，这两个网站都是可以免费下载的。
是可以的。如果你使用爬虫来收集数据，你需要在你的论文中提供完整的代码，以便有兴趣的读者能够测试爬取的正确性。你也要在你的论文中提供丰富的注释，以便读者可以理解你的爬虫是如何运行的。
基于python网络爬虫的设计与实现论文好写。因为基于python网络爬虫的设计与实现论文可以从网络上寻找相关的资料来攥写，比较方便，所以基于python网络爬虫的设计与实现论文好写。
毕业论文可以用爬虫数据需要附代码吗毕业论文可以用爬虫数据需要附代码吗是可以的，但是要注意，爬虫数据的使用必须遵守相关的法律法规，以及拥有者的权利，防止侵犯他人的隐私和知识产权，才能确保毕业论文的合法性。
1、思路：明确需要爬取的信息分析网页结构分析爬取流程优化2、明确需要爬取的信息职位名称工资职位描述公司名称公司主页详情网页分析网页结构3、目标网站-拉勾网网站使用json作为交互数据，分析json数据，需要的json关键数据查看需要的信息所在的位置，使用Jsoup来解析网页4、分析爬取流程1.获取所有的positionId生成详情页，存放在一个存放网址列表中List
下载知网论文步骤：
我是在家使用的知网，用的是文献党下载器（），在文献党下载器资源库，双击“知网”名称进入知网首页，首页有很多检索项，可以根据自己已知内容来选择：
例如输入关键词“乡村振兴”能检索出很多篇相关文献，在相关文献页，可以勾选左侧工具栏选项添加检索条件，还可以选择文献类型比如是学术期刊、学位论文、会议等进行二次检索：
例如需要下载今天才首发的这篇最新文献，点击篇名打开文献：
在文献详情页点击PDF下载全文：
下载好的全文：
下载参考文献可以点击文献详情页的引号标识：
另外，下载知网硕博论文是CAJ格式，需要下载知网阅读器才能打开下载的文件，但很多人反应该阅读器不好用，所以下载知网博硕论文可以把知网转换成英文版知网，再输入篇名检索就能下载到PDF格式的全文了，下载后的仍然是中文：
最后说下知网的高级检索，知网的高级检索页，点击“学术期刊”会出现“文献来源类别”选项可选核心期刊：
点击“学位论文”会出现“优秀论文级别”选项：
以上就是在家使用知网的途径及使用知网的常用几个功能。
知网下载论文的方法如下：
一、工具／原料：
华为 Matebook 15、Windows 10、Chrome 、知网（网页）。
二、具体步骤：
1、百度检索“中国知网”。
2、打开中国知网后，将搜索方式设置为主题。
3、输入想要搜索的主题，按回车键进行搜索。
4、在显示列表中找到想要下载的文章，点击文章标题打开该网页。
5、在下方显示有两种下载方式，分别是“PDF 下载”和“CAJ 下载”。
6、如果下载 CAJ 文献，则必须在电脑中安装 CAJViewer 这款软件，依据个人电脑软件和喜好选择下载即可。
7、有的文献还支持 HTML 阅读，也就是在线阅读，这样就省去了下载步骤。
一、使用的技术栈：爬虫：python27 +requests+json+bs4+time分析工具： ELK套件开发工具：pycharm数据成果简单的可视化分析1.性别分布0 绿色代表的是男性 ^ . ^1 代表的是女性-1 性别不确定可见知乎的用户男性颇多。二、粉丝最多的top30粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。三、写文章最多的top30四、爬虫架构爬虫架构图如下：说明：选择一个活跃的用户（比如李开复）的url作为入口url.并将已爬取的url存在set中。抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。解析该用户的个人信息，并存取到本地磁盘。logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。五、编码爬取一个url:解析内容：存本地文件：代码说明：* 需要修改获取requests请求头的authorization。* 需要修改你的文件存储路径。源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization打开chorme，打开https : // www. zhihu .com/，登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方可增加线程池，提高爬虫效率存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。八、关于ELK套件关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。
唔可能是你没有登录成功啊
因为发现-知乎这个链接是不用登录就能抓的
但是这个知乎没有登录不行
看了下知乎登录不是这么简单的你没有登录成功
1 问题描述
起始页面 ython 包含许多指向其他词条的页面。通过页面之间的链接访问1000条百科词条。
对每个词条，获取其标题和简介。
2 讨论
首先获取页面源码，然后解析得到自己要的数据。
这里我们通过urllib或者requests库获取到页面源码，然后通过beautifulsoup解析。
可以看到，标题是在
标签下的。可以看出，简介是在class为lemma-summary的div下的。
可以看出，其他词条的格式都遵循hcom/item/xxx的形式
3 实现
# coding=utf-8from urllib import requestfrom bs4 import BeautifulSoupimport reimport tracebackimport timeurl_new = set()url_old = set()start_url = 'httpm/item/python'max_url = 1000def add_url(url):if len(url_new) + len(url_old) > 1000: returnif url not in url_old and url not in url_new:(url)def get_url():url = ()(url) return urldef parse_title_summary(page):soup = BeautifulSoup(page, '')node = ('h1')title = = ('div', class_='lemma-summary')summary = return title, summarydef parse_url(page):soup = BeautifulSoup(page, '')links = ('a', href=(r'/item/'))res = set()baikeprefix = ''for i in links:(baikeprefix + i['href']) return resdef write2log(text, name='d:/'):with open(name, 'a+', encoding='utf-8') as fp:('\n')(text)if __name__ == '__main__':(start_url) print('working')time_begin=()count = 1while url_new:url = get_url() try:resp = (url)text = ().decode()write2log('.'.join(parse_title_summary(text)))urls = parse_url(text) for i in urls:add_url(i) print(str(count), 'ok')count += 1except:() print(url)time_end=() print('time elapsed: ', time_end - time_begin) print('the end.')
输出结果
working1 ok略983 ok984 oktime elapsed: end.
将urllib替换为第三方库requests：
pip install requests
略if __name__ == '__main__':(start_url) print('working')time_begin = ()count = 1while url_new:url = get_url() try: with () as s:resp = (url)text = () # 默认'utf-8'write2log('.'.join(parse_title_summary(text)))urls = parse_url(text) for i in urls:add_url(i) print(str(count), 'ok')count += 1except:() print(url)time_end = () print('time elapsed: ', time_end - time_begin) print('the end.')
输出
略986 ok987 ok988 ok989 oktime elapsed: end.
一个通用的爬虫架构包括如下四部分：
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author: Administrator # @Date: 2015-10-31 15:45:27 # @Last Modified by: Administrator # @Last Modified time: 2015-11-23 16:57:31 import requests import sys import json import re reload(sys) ('utf-8') #获取到匹配字符的字符串 def find(pattern,test): finder = (pattern, test) start = () end = () return test[start:end-1] cookies = { '_ga':'', '_za':'8d570b05-b0b1-4c96-a441-faddff34', 'q_c1':'23ddd234234', '_xsrf':'234id':'"ZTE3NWY2ZTsdfsdfsdfWM2YzYxZmE=|1446435757|15fef3b84e044c122ee0fe8959e606827d333134"', 'z_c0':'"QUFBQXhWNGZsdfsdRvWGxaeVRDMDRRVDJmSzJFN1JLVUJUT1VYaEtZYS13PT0=|14464e234767|57db366f67cc107a05f1dc8237af24b865573cbe5"', '__utmt':'1', '__utma':'', '__utmb':'', '__utmc':'51123390', '__utmz':'|utmcgcn=(referral)|utmcmd=referral|utmcct=/', '__utmv':'|2=registration_date=2028=1^3=entry_date=201330318=1'} headers = {'user-agent': 'Mozilla/ (Windows NT ; WOW64) AppleWebKit/ (KHTML, like Gecko) Chrome/ Safari/', 'referer':'', 'host':'','Origin':'', 'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8', 'Connection':'keep-alive','X-Requested-With':'XMLHttpRequest','Content-Length':'81', 'Accept-Encoding':'gzip,deflate','Accept-Language':'zh-CN,zh;q=','Connection':'keep-alive' } #多次访问之后，其实一加载时加载20个问题，具体参数传输就是offset，以20递增 dicc = {"offset":60} n=20 b=0 # 与爬取图片相同的是，往下拉的时候也会发送http请求返回json数据，但是不同的是，像模拟登录首页不同的是除了 # 发送form表单的那些东西后，知乎是拒绝了我的请求了，刚开始以为是headers上的拦截，往headers添加浏览器 # 访问是的headers那些信息添加上，发现还是拒绝访问。 #想了一下，应该是cookie原因。这个加载的请求和模拟登录首页不同 #所以补上其他的cookies信息，再次请求，请求成功。 for x in xrange(20,460,20): n = n+20 b = b+20 dicc['offset'] = x formdata = {'method':'next','params':'{"offset":20}','_xsrf':'20770d88051f0f45e941570645f5e2e6'} #传输需要json串，和python的字典是有区别的，需要转换 formdata['params'] = (dicc) # print (dicc) # print dicc circle = ("", cookies=cookies,data=formdata,headers=headers) #response内容 其实爬过一次之后就大同小异了。 都是 #问题返回的json串格式 # {"r":0, # "msg": ["