网站站点克隆复制整站下载脚本python版本

作者:Davidszhou   来源:原创插件   时间:2017-09-16 03:38:57   点击:

脚本名称:网站站点克隆复制整站下载脚本python版本

脚本使用语言python

脚本运行环境本地Python环境(3.5.2)

python应用模块re,random,time,os,lxml,bs4(BeautifulSoup4),urllib

脚本模块包含

1、下载模块

2、数据处理模块

3、保存本地模块

4、生成文件名模块

5、其他方法模块

6、总调用run.py

脚本功能

整站的资源下载,包含JS文件,图片附件,生成HTML静态文件保存本地

脚本开发阶段

2017-09-16:

1、测试运行查找BUG

2017-09-18:

1、img属性,但src不是图片后缀的过滤

2、页面内链接替换当一个链接包含另一个链接时会被截取替换的BUG

3、增加更新静态HTML文件的属性

4、以及其他小BUG

2017-09-19:

1、修改了页面源码的a属性的链接替换问题

2、修改了图片下载错误的BUG

脚本相关运行截图

网站站点克隆复制整站下载脚本python版本

网站站点克隆复制整站下载脚本python版本

TAGS:网站 , 下载 , 复制 , 克隆

来自Davids zhou博客原创文章请尊重作者:http://www.zongk.com/zongk/96.html转载请标注此链接

你可能需要
七日热点
热力推荐
网站统计
文章总数:129
今天发布:0
软件资源数:18