学者网是广东省服务计算工程技术研究开发中心(华南师范大学计算机学院汤庸团队)开发的学术社交网站,类似于谷歌学者。目标群体主要是高校学者。因此该网站用户定位十分精确。从价值上,个人信息价值高,主要有姓名单位邮箱等,如下图。
本着学习的目的,我编写了一套简单的程序对该网站进行数据抓取。本次爬虫项目分三个步骤:一、网站分析;二、程序设计。
另外免责声明:本文所有方法与代码与正常web浏览模式一致,不涉及侵犯任何计算机系统;本文爬到的数据皆为网页公开数据不涉及任何隐私;本文方法代码完全公开,请仅作学习使用,其余用途与本文作者无关。
1,如何迭代