毕业论文
您现在的位置: 框架 >> 框架介绍 >> 正文 >> 正文

学习scrapy框架爬小说的进一步完

来源:框架 时间:2024/10/10

一、完善目标:

1、为方便使用,把小说拼音或英文名,小说输出中文名,第一章节url地址变量化,修改这些参数即可爬取不同的小说。

2、修改settings.py设置文件,配置为记录debug的log信息,以方便排错。

3、修改字符集编码,解决部分网页有emoji符号,导致无法把爬取的网页内容存入数据表的问题。(如:

转载请注明:http://www.0431gb208.com/sjszlfa/7956.html