网站站点克隆复制整站下载脚本python版本

脚本名称：网站站点克隆复制整站下载脚本python版本

脚本使用语言：python

脚本运行环境：本地Python环境(3.5.2)

python应用模块：re,random,time,os,lxml,bs4(BeautifulSoup4),urllib

脚本模块包含：

1、下载模块

2、数据处理模块

3、保存本地模块

4、生成文件名模块

5、其他方法模块

6、总调用run.py

脚本功能：

整站的资源下载，包含JS文件,图片附件,生成HTML静态文件保存本地

脚本开发阶段：

2017-09-16:

1、测试运行查找BUG

2017-09-18:

1、img属性,但src不是图片后缀的过滤

2、页面内链接替换当一个链接包含另一个链接时会被截取替换的BUG

3、增加更新静态HTML文件的属性

4、以及其他小BUG

2017-09-19:

1、修改了页面源码的a属性的链接替换问题

2、修改了图片下载错误的BUG

脚本相关运行截图：

TAGS:网站 , 下载 , 复制 , 克隆

来自Davids zhou博客原创文章请尊重作者：http://www.zongk.com/zongk/96.html转载请标注此链接