断点续传
一种网络传输策略
断点续传就是当爬虫软件遇到错误、线路中断或者遇到意外强制关闭后,下次开启程序依然可以从上一个断点处继续运行,这样可以在一定程度上减少用户的烦恼。对于网页抓取技术而言,断点续传是实现爬行纲软件中必要的手段之一。
实现断点续传的方法为:每当程序执行到一定程度,例如系统抓取了1000条数据时,系统就将当前的参数保存到一个文件中,这个文件可以保存到本地,也可以保存到服务器上,文件中需要写入本次执行的全部必要参数,如检索的关键词、网址、开始检索的页数、当前检索到多少页、检索结果总页数、输出文件路径等。每次写断点时更新这个文件,如果程序关闭,下次执行时就先预读这个断点文件,然后从上次的断点位置重新开始抓取。
断点续传包括FTP协议的断点续传和HTTP协议的断点续传。
用途
有时用户上传下载文件需要历时数小时,万一线路中断,不具备断点续传的FTP服务器或下载软件就只能从头重传,比较好的FTP服务器或下载软件具有FTP断点续传能力,允许用户从上传下载断线的地方继续传送,这样大大减少了用户的烦恼。
IE浏览器默认下载方式不支持断点续传。
常见的支持断点续传的上传、下载软件:QQ旋风迅雷、快车(迷你快车)、web迅雷、影音传送带、快车、BitComet、电驴eMule、哇嘎Vagaa、RF[RaySourse/RayFile]、酷6、土豆网、优酷、百度视频、新浪视频、腾讯视频、百度智能云等都支持断点续传。
在 *nix(Linux/Unix)系统下,常用支持断点续传的FTP客户端软件是Lftp
特点
断点续传支持从文件上次中断的地方开始传送数据,而并非是从文件开头传送。
断点续传下载软件具有以下特点:
1、断点续传功能,既可节约时间又可以节约金钱。
2、定时下载功能,可以为将要下载的软件制定一任务列表,让下载软件在规定的时间自动拨号上网并下载软件,下载完毕后再自动挂起Modem,断开与internet的连接,甚至自动关闭计算机
3、多文件同时下载。
4、支持拖放式操作,可将下载文件的URL超链接用鼠标拖放到下载软件的窗口上,即可激活下载软件,同时开始文件的下载。
5、自动捕捉剪贴板上的URL并激活下载软件,可以捕捉到剪贴板中的URL,甚至浏览器中单击下载文件超链接,即可激活程序实现文件的下载。
6、致命错误发生时的关闭机制。
7、预防病毒侵害的安全机制,文件下载完毕,即可自动将其发送到指定的病毒的检测软件进行病毒扫描。
断点续传下载软件包括Thunder、NetAnts、FlashGet、Net Vampire、Download Manager、GetRight、Go!Zilla、WinDownload、Internet Download Manager等。
相关内容
解决四载波基站一对一版本升级的复杂性和不稳定性,传统近端升级的方法远远不能满足四载波基站软件版本频繁升级的需求。研究无线网络设备升级的方法,提出了对四个小区同时远程升级的设计方案,远程升级过程中网络出现异常,并且支持断点续传。经过多次频繁地对四载波基站进行远程升级,实验数据表明,提高了四载波基站版本升级的稳定性和简洁性,并且广泛地应用于移动通信设备中  。
风电场与集控中心,一般通过电力专线或运营商专线连接。当专线中断或通信异常时,风机数据无法传输到集控中心,造成本时段风机数据的缺失。数据断点续传技术,在数据通信恢复时,可将中断时段的风机数据传输至集控中心,并插补至集控中心的历史数据库。为了保证数据传输的速度与质量,将电力102规约应用到风机断点数据续传之中,进一步提高了数据的传输速度,保证了数据质量  。
目录
概述
用途
特点
相关内容
参考资料