|
|
毕业设计（论文）任务书
第1页
| 毕业设计（论文）题目： 基于python开源爬虫框架scrapy的租房信息爬取系统 毕业设计（论文）要求及原始数据（资料）： 1 . 综述国内外网络爬虫技术与反爬虫技术研究现状； 2 . 深入了解网络协议及协议运行相关技术； 3 . 深入了解非结构化数据库相关技术； 4 . 深入了解scrapy架构运行规则及爬取数据相关技术 5 . 设计并实现基于scrapy架构的爬虫程序 6 . 设计并实现基于非结构化数据库的数据存储数据结构 7 . 设计并实现基于python的数据处理与展示程序 8 . 训练检索文献资料和利用文献资料的能力； 9 . 训练撰写技术文档与学位论文的能力。 |
第2页
| 毕业设计（论文）主要内容： 1 . 综述国内外网络爬虫技术与反爬虫技术研究现状； 2 . 了解网络协议及协议运行相关技术； 3 . 了解scrapy及非结构化数据库相关技术； 4 . 深入分析爬虫程序中的关键技术及程序编写的设计流程 5 . 设计并实现基于scrapy架构的爬虫程序 6 . 设计并实现数据处理与展示程序 学生应交出的设计文件（论文）： 1．内容完整、层次清晰、叙述流畅、排版规范的毕业设计论文； 2．包括毕业设计论文、源程序等内容在内的毕业设计电子文档及其它相关材料。 |
第3页
| 主要参考文献（资料）： [1] 王元卓. 网络大数据_现状与展望[J], 计算机学报,2013,36(6):1125-1138 [2] 2015-2020全球IP网络流量报告[C]. [3] 金朗. 我国住房租赁市场的问题与发展对策[J],,宏观经济管理2018.3:80-85 [4] 2015年中国网络租房调查报告[EB/OL].http://www.199it.com/archives /379687.html [5] 张浩. 基于Scrapy的房屋租赁信息搜索系统的设计与实现[D]. 西安电子科技大学, 2017. [6] 梁文超. 网络租房法律规制研究[J], 法制与社会,2018.4(下):80-83 [7] 周立柱. 聚焦爬虫技术研究综述[J], 计算机应用,2005,25(9):1965-1969 [8] 网络爬虫_凶猛来袭[EB/OL].http://www.cnki.com.cn/Article/CJFDTot al-FAYN201803032.htm [9] 安子建. 基于Scrapy框架的网络爬虫实现与数据抓取分析[D]. 吉林大学, 2017. [10] 陈利婷. 大数据时代的反爬虫技术[J], 电脑与信息技术,2016,24(6):60-61 [11] 刘石磊. 对反爬虫网站的应对策略[J], 电脑知识与技术,2017,13(15):19-23 [12] 张嘉琳. 由Robots协议引发的不正当竞争问题思考_以3百大战为视角[J], 法制与社会,2013.8(中):96-97 [13] 高祖瑞. 互联网竞争关系下的爬虫协议研究[J], 法制与社会,2018.3(上):85-87 [14] 管华. 对当今Python快速发展的研究与展望[J], 信息系统工程,2015.12.20:114-116
| ||||||||||||||||||||||||||||||||||||||||
