spider_demo.rar - // 由于本程序目的是演示Spider的工作流程,因此在各个方面只求实现功能,并无任何优化,不适合商业使用。
// 本程序除MyRegexNamespace以外无使用其他组件,该组件为The Regulator 2.0编译而成,功能就是一个取URL的正则表达式。
// DEMO只在windows2003企业版下进行过测试,开发环境VS.NET2005
// 由于本程序在url合法性检测部分使用了.NET 2.0才支持的类或函数,如需在.NET 1.1运行必须修改部分代码
// 程序运行目录下的yy.txt为初始爬行url地址,每个url为一行
// 程序运行目录下生成的more.txt为工作记录,保存了爬行的url及页面保存的文件名
// 程序运行目录下的\html目录为爬行过的页面保存位置
// 欢迎任何人以任何形式方式进行修改,但请保留此信息
//=======================================================,2010-09-21 16:14:17,下载5次