一、使用的技术栈：爬虫：python27 +requests+json+bs4+time分析工具： ELK套件开发工具：pycharm数据成果简单的可视化分析1.性别分布0 绿色代表的是男性 ^ . ^1 代表的是女性-1 性别不确定可见知乎的用户男性颇多。二、粉丝最多的top30粉丝最多的前三十名：依次是张佳玮、李开复、黄继新等等，去知乎上查这些人，也差不多这个排名，说明爬取的数据具有一定的说服力。三、写文章最多的top30四、爬虫架构爬虫架构图如下：说明：选择一个活跃的用户（比如李开复）的url作为入口url.并将已爬取的url存在set中。抓取内容，并解析该用户的关注的用户的列表url，添加这些url到另一个set中，并用已爬取的url作为过滤。解析该用户的个人信息，并存取到本地磁盘。logstash取实时的获取本地磁盘的用户数据，并给elsticsearchkibana和elasticsearch配合，将数据转换成用户友好的可视化图形。五、编码爬取一个url:解析内容：存本地文件：代码说明：* 需要修改获取requests请求头的authorization。* 需要修改你的文件存储路径。源码下载：点击这里，记得star哦！https : // github . com/forezp/ZhihuSpiderMan六、如何获取authorization打开chorme，打开https : // www. zhihu .com/，登陆，首页随便找个用户，进入他的个人主页，F12(或鼠标右键，点检查)七、可改进的地方可增加线程池，提高爬虫效率存储url的时候我才用的set(),并且采用缓存策略，最多只存2000个url，防止内存不够，其实可以存在redis中。存储爬取后的用户我说采取的是本地文件的方式，更好的方式应该是存在mongodb中。对爬取的用户应该有一个信息的过滤，比如用户的粉丝数需要大与100或者参与话题数大于10等才存储。防止抓取了过多的僵尸用户。八、关于ELK套件关于elk的套件安装就不讨论了，具体见官网就行了。网站：https : // www . elastic . co/另外logstash的配置文件如下：从爬取的用户数据可分析的地方很多，比如地域、学历、年龄等等，我就不一一列举了。另外，我觉得爬虫是一件非常有意思的事情，在这个内容消费升级的年代，如何在广阔的互联网的数据海洋中挖掘有价值的数据，是一件值得思考和需不断践行的事情。
方法/步骤
别折腾了，不打算往爬虫方向发展的话没必要自己学，爬虫所需要的技术非常广泛、且对深度都有一定要求，不存在“快速学会”的情况。所有那些吹快速学会爬虫的培训班都是扯淡，那些课程学完后的水平连傻瓜式爬虫工具都不如，有啥意义？再说了，你们写论文、做研究又不会需要什么很大量、很高频、很实时的数据，那些傻瓜式爬虫工具完全足够了，点几下就能出数据。
免费下载知网论文的方法如下：
1、方法一：到中国国家图书馆网站上注册一个账号。进入知网，然后通过关键词i检索文献，之后将需要的文章标题复制下来，然后再从国家图书馆的入口进入知网搜索刚才复制下的标题，就能下载了。登陆之后下载这些期刊论文都是免费的。
2、方法二：超星移动图书馆，不过要等推送，慢。使用方法，首先你要是个学生，有学校的图书馆账号，一般就是你的学号。超星移动图书馆有网页版、PC版的，也有手机版和苹果版的，选择学校，用学校图书馆账号登录，绑定邮箱，然后你搜索到想要的文献后选择文献推送，就会把文献发给你的邮箱，承诺是48小时到，我一般遇上的都是第二天到。
3、方法三：学校VPN。各大高校基本提供了VPN，校园外用户可以使用vpn2，登陆后从“图书馆电子资源导航”进入即可。
4、方法四：上中国知网，根据下载量、引用量，选择期刊或论文，文献非常多，但无法查看完整文章。之后打开道客巴巴网站，搜索文章名称，基本都可以找到完整的文章但无法免费下载。下载“ 海纳百川 ”软件，专门针对道客巴巴的文章可以直接免费下载PDF版。
1、首先搜索“中国知网”，点击进入中国知网网站。
2、然后在搜索栏中输入自己需要下载的外文文献的主题，点击搜索。
3、找到所需要下载的一篇外文文献，单击题目进入。
4、进入如下图画面后，复制该文献的DIO。
5、然后搜索网站SCI-HUB，进入网站后，在搜索栏粘贴之前复制的DIO，点击“open”。
6、这时候你所需要下载的外文文献就会显示在网页中，单击上方的下载箭头，保存其PDF就完成了。
关于python外文参考文献举例如下：
1、A Python script for adaptive layout optimization of trusses.
翻译：用于桁架的自适应布局优化的Python脚本。
2、a python library to extract, compare and evaluate communities from complex networks.翻译：用于从复杂网络中提取，比较和评估社区的python库。
3、Multiscale finite element calculations in Python using SfePy.
翻译：使用SfePy在Python中进行多尺度有限元计算。
4、Python-based Visual Recognition Classroom.
翻译：基于Python的视觉识别教室。
5、High‐performance Python for crystallographic computing.
翻译：用于晶体学计算的高性能Python。
6、Python programming on win32.
翻译：Win32上的Python编程。
7、A Python package for analytic cosmological radiative transfer calculations.
翻译：一个用于分析宇宙学辐射传递计算的Python包。
Python genes get frantic after a meal.
翻译：饭后Python基因变得疯狂。
A Python toolbox for controlling Magstim transcranial magnetic stimulators.
翻译：用于控制Magstim经颅磁刺激器的Python工具箱。
参考资料来源：百度百科-参考文献
参考资料来源：中国知网-a python library
张若愚 Python 科学计算【M】.北京：清华大学出版社.2012
题目指的是设计和实现一个基于Python的知识问答社区网络爬虫系统，该系统可以从网络上抓取知识问答社区的数据，并将其转换成可以用于分析的格式。
关于知乎验证码登陆的问题，用到了Python上一个重要的图片处理库PIL,如果不行，就把图片存到本地，手动输入。
通过对知乎登陆是的抓包，可以发现登陆知乎，需要post三个参数，一个是账号，一个是密码，一个是xrsf。 这个xrsf隐藏在表单里面，每次登陆的时候，应该是服务器随机产生一个字符串。所有，要模拟登陆的时候，必须要拿到xrsf。
用chrome （或者火狐 httpfox 抓包分析）的结果：
所以，必须要拿到xsrf的数值，注意这是一个动态变化的参数，每次都不一样。
拿到xsrf，下面就可以模拟登陆了。 使用requests库的session对象，建立一个会话的好处是，可以把同一个用户的不同请求联系起来，直到会话结束都会自动处理cookies。
注意：cookies 是当前目录的一个文件，这个文件保存了知乎的cookie，如果是第一个登陆，那么当然是没有这个文件的，不能通过cookie文件来登陆。必须要输入密码。
这是登陆的函数，通过login函数来登陆，post 自己的账号，密码和xrsf 到知乎登陆认证的页面上去，然后得到cookie，将cookie保存到当前目录下的文件里面。下次登陆的时候，直接读取这个cookie文件。
这是cookie文件的内容
以下是源码：
运行结果：
反爬虫最基本的策略：
爬虫策略： 这两个都是在http协议的报文段的检查，同样爬虫端可以很方便的设置这些字段的值，来欺服务器。
反爬虫进阶策略： 1.像知乎一样，在登录的表单里面放入一个隐藏字段，里面会有一个随机数，每次都不一样，这样除非你的爬虫脚本能够解析这个随机数，否则下次爬的时候就不行了。 2.记录访问的ip，统计访问次数，如果次数太高，可以认为这个ip有问题。
爬虫进阶策略： 1.像这篇文章提到的，爬虫也可以先解析一下隐藏字段的值，然后再进行模拟登录。 2.爬虫可以使用ip代理池的方式，来避免被发现。同时，也可以爬一会休息一会的方式来降低频率。另外，服务器根据ip访问次数来进行反爬，再ipv6没有全面普及的时代，这个策略会很容易造成误伤。（这个是我个人的理解）。
通过Cookie限制进行反爬虫： 和Headers校验的反爬虫机制类似，当用户向目标网站发送请求时，会再请求数据中携带Cookie，网站通过校验请求信息是否存在Cookie，以及校验Cookie的值来判定发起访问请求的到底是真实的用户还是爬虫，第一次打开网页会生成一个随机cookie，如果再次打开网页这个Cookie不存在，那么再次设置，第三次打开仍然不存在，这就非常有可能是爬虫在工作了。
反爬虫进进阶策略： 1.数据投毒，服务器在自己的页面上放置很多隐藏的url，这些url存在于html文件文件里面，但是通过css或者js使他们不会被显示在用户看到的页面上面。（确保用户点击不到）。那么，爬虫在爬取网页的时候，很用可能取访问这个url，服务器可以100%的认为这是爬虫干的，然后可以返回给他一些错误的数据，或者是拒绝响应。
爬虫进进阶策略： 1.各个网站虽然需要反爬虫，但是不能够把百度，谷歌这样的搜索引擎的爬虫给干了（干了的话，你的网站在百度都说搜不到！）。这样爬虫应该就可以冒充是百度的爬虫去爬。（但是ip也许可能被识破，因为你的ip并不是百度的ip）
反爬虫进进进阶策略： 给个验证码，让你输入以后才能登录，登录之后，才能访问。
爬虫进进进阶策略： 图像识别，机器学习，识别验证码。不过这个应该比较难，或者说成本比较高。
参考资料： 廖雪峰的python教程 静觅的python教程 requests库官方文档 segmentfault上面有一个人的关于知乎爬虫的博客，找不到链接了
Python自动化可以实现，有偿服务
可以先利用搜索引擎学习。简单爬虫不难，无非发起http访问，取得网页的源代码文本，从源代码文本中抽取信息。首先要自己会写代码。学习爬虫可以从下面一些知识点入手学习。1、http相关知识。2、浏览器拦截、抓包。3、python2 中编码知识，python3 中bytes 和str类型转换。4、抓取javascript 动态生成的内容。5、模拟post、get，header等6、cookie处理，登录。7、代理访问。8、多线程访问、python 3 asyncio 异步。9、正则表达式、xpath等。。。。10、scrapy requests等第三方库的使用。
到你的系统“终端”(macOS, Linux)或者“命令提示符”(Windows)下，进入我们的工作目录demo，执行以下命令。pip install snownlppip install -U textblobpython -m textblob.download_corpora好了，至此你的情感分析运行环境已经配置完毕。在终端或者命令提示符下键入：jupyter notebook你会看到目录里之前的那些文件，忽略他们就好。
我帮你按照计划,实现原创内容！
方法/步骤
在知网上查论文的题目打开知网，就能够找到搜索这样的提示，然后就可以搜索输入自己的论文题就可以了。
你把你的题目再说一下，我怎么没看明白啊。
登录知网，然后再搜索栏里边儿搜索你想有的论文的关键词或者关键字，然后再选择相应的条目就行。
你用主题搜索,然后模糊匹配,看看这样有没有