spider_engine
所属分类：搜索引擎
开发工具：Visual C++
文件大小：3794KB
下载次数：19
上传日期：2010-10-14 17:20:20
上 传 者：
MissCaptain
说明： 分析网页代码，提取url进行散列处理，提交客户端程序进行排重处理，然后存入客户机数据库，随后根据数据库中的url列表遍历整个网络。
(Analysis of web code, extract the hashed url, submit re-schedule the client program to deal with, and then stored in the client database, and then the url list in the database through the whole network.)
文件列表:
网络爬虫 - 复制\Debug\spiderCli.exe (593995, 2009-12-04)
网络爬虫 - 复制\Debug\spiderCli.ilk (850120, 2009-12-04)
网络爬虫 - 复制\Debug\spiderCli.obj (373374, 2009-12-04)
网络爬虫 - 复制\Debug\spiderCli.pch (6017676, 2009-12-04)
网络爬虫 - 复制\Debug\spiderCli.pdb (1172480, 2009-12-04)
网络爬虫 - 复制\Debug\spiderSer.exe (602187, 2009-12-04)
网络爬虫 - 复制\Debug\spiderSer.ilk (901724, 2009-12-04)
网络爬虫 - 复制\Debug\spiderSer.obj (164763, 2009-12-04)
网络爬虫 - 复制\Debug\spiderSer.pch (5414572, 2009-12-04)
网络爬虫 - 复制\Debug\spiderSer.pdb (1090560, 2009-12-04)
网络爬虫 - 复制\Debug\vc60.idb (214016, 2009-12-04)
网络爬虫 - 复制\Debug\vc60.pdb (159744, 2009-12-04)
网络爬虫 - 复制\index.htm (1308, 2009-12-04)
网络爬虫 - 复制\MP3F.UDB (0, 2009-12-04)
网络爬虫 - 复制\spiderCli.cpp (15743, 2009-12-04)
网络爬虫 - 复制\spiderCli.dsp (3437, 2009-12-04)
网络爬虫 - 复制\spiderCli.dsw (543, 2009-12-04)
网络爬虫 - 复制\spiderCli.ncb (33792, 2009-12-04)
网络爬虫 - 复制\spiderCli.opt (48640, 2009-12-04)
网络爬虫 - 复制\spiderCli.plg (761, 2009-12-04)
网络爬虫 - 复制\spiderSer.cpp (2235, 2006-06-06)
网络爬虫 - 复制\spiderSer.dsp (3437, 2009-12-04)
网络爬虫 - 复制\spiderSer.dsw (543, 2009-12-04)
网络爬虫 - 复制\spiderSer.ncb (33792, 2009-12-04)
网络爬虫 - 复制\spiderSer.opt (48640, 2009-12-04)
网络爬虫 - 复制\spiderSer.plg (763, 2009-12-04)
网络爬虫 - 复制\urlfile.udb (3162, 2006-09-26)
网络爬虫 - 复制\Debug (0, 2009-12-04)
网络爬虫 - 复制 (0, 2009-12-05)
[spiderCli.cpp]：爬虫程序客户端程序
作用： 分析网页代码，提取url进行散列处理，提交客户端程序进行排重
处理，然后存入客户机数据库，随后根据数据库中的url列表遍历
整个网络。
[spiderSer.cpp]:爬虫程序客户端程序
作用： 接收各爬虫程序客户端提交的url散列数据进行统一排重，反馈当
前url的信息（在数据库中是否已存在）给客户端程序。
[urlfile.udb]: url列表数据库，在程序运行前应保证其中有且仅有一条起始url。
[mp3f.udb]： mp3文件url列表
其他说明：程序在vc++6环境下编译调试，由于在测试时处在一个自组的小型局域网内
所以默认的服务器的ip为192.168.0.2，此ip可根据不同情况随意设置，此处
我并没有设计该功能，此处为疏忽。
运行：
一台服务器运行服务器端程序[spiderSer.exe]，其他客户端运行客户端程序
[spiderCli.exe]，并保证其与[urlfile.udb][mp3f.udb]文件在同一目录下。
近期下载者：
相关文件：
收藏者：