用C#2.0实现网络蜘蛛(WebSpider)

一、引言

　　在最近几年，以Google为首的搜索引擎越来越引起人们的关注。由于在Google出现之前，很多提供搜索服务的公司都是使用人工从网络上搜集信息，并将这些信息分类汇总后作为搜索引擎的数据源。如yahoo公司一开始就是通过数千人不停地从网上搜集供查询的信息。这样做虽然信息的分类会很人性化，也比较准确，但是随着互联网信息爆炸式地增长，通过人工的方式来搜集信息已经不可能满足网民对信息的需求了。然而，这一切随着Google的出现而得到了彻底改变。Google一反常规的做法，通过程序7*24地从网上不停地获取网络资源，然后通过一些智能算法分析这些被下载到本地的网络资源，最后将这些分析后的数据进行索引后就形成了一套完整的基本上不需要人工干预的搜索引擎。使用这种模式的搜索引擎甚至可以在几天之内就可获取Internet中的所有信息，同时也节省了大量的资金和时间成本。而这种搜索引擎最重要的组成部分之一就是为搜索引擎提供数据源的网络蜘蛛。也就是说，实现网络蜘蛛是实现搜索引擎的第一步，也是最重要的一步。

　　二、网络蜘蛛的基本实现思想和实现步骤

　　网络蜘蛛的主要作用是从Internet上不停地下载网络资源。它的基本实现思想就是通过一个或多个入口网址来获取更多的URL，然后通过对这些URL所指向的网络资源下载并分析后，再获得这些网络资源中包含的URL，以此类推，直到再没有可下的URL为止。下面是用程序实现网络蜘蛛的具体步骤。

1. 指定一个(或多个)入口网址，并将这个网址加入到下载队列中(这时下载队列中只有一个或多个入口网址)。

　　2. 负责下载网络资源的线程从下载队列中取得一个或多个URL，并将这些URL所指向的网络资源下载到本地(在下载之前，一般应该判断一下这个URL是否已经被下载过，如果被下载过，则忽略这个URL)。如果下载队列中没有URL，并且所有的下载线程都处于休眠状态，说明已经下载完了由入口网址所引出的所有网络资源。这时网络蜘蛛会提示下载完成，并停止下载。

　　3. 分析这些下载到本地的未分析过的网络资源(一般为html代码)，并获得其中的URL(如标签中href属性的值)。

　　4. 将第3步获得的URL加入到下载队列中。并重新执行第2步。

　　三、实现数据的输入输出

　　从实现网络蜘蛛的步骤中我们可以看出，下载队列的读、写URL的操作一直贯穿于整个系统中。虽然这个下载队列可以用.Queue类实现，但是各位读者要清楚地知道，在互联网上的URL可不是几十个、几百个这么少。而是以千万计的。这么多的URL显然不能保存在内存中的Queue对象中。因此，我们需要将它保存在容量更大的存储空间中，这就是硬盘。

　　本文采用了一个普通的文本文件来保存需要下载和分析的URL(这个文本文件也就是下载队列)。存储格式是每一行为一个URL。既然将URL都保存在了文本文件中，就需要对这个文本文件进行读写。因此，在本节实现了一个用于操作这个文本文件的FileIO类。

　　在实现FileIO类之前，先来说一下要如何操作这个文本文件。既然要将这个文件作为队列使用，那么就需要对这个文件进行追加行和从文件开始部分读取数据操作。让我们首先来实现向文件中追加行操作。实现代码如下：

//　这两个变量为类全局变量 
　　private　FileStream　fsw; 
　　private　StreamWriter　sw; 
　　//　创建用于向文件中追加行的文件流和StreamWriter对象 
　　public　void　OpenWriteFile(string　file) 
　　{ 
　　if　(!File.Exists(file))　//　如果文件不存在，先创建这个文件 
　　File.Create(file).Close(); 
　　//　以追加模式打开这个文件 
　　fsw　=　new　FileStream(file,　FileMode.Append　,FileAccess.Write,　FileShare.ReadWrite); 
　　//　根据创建的FileStream对象来创建StreamWriter对象 
　　sw　=　new　StreamWriter(fsw); 
　　} 
　　//　关闭写文件流 
　　public　void　CloseWriteFile() 
　　{ 
　　if　(fsr　!=　null) 
　　fsw.Close(); 
　　} 
　　//　向文件中追加一行字符串 
　　public　void　WriteLine(string　s) 
　　{ 
　　sw.WriteLine(s); 
　　sw.Flush();　//　刷新写入缓冲区，使这一行对于读文件流可见 
　　}

　　在实现上述的代码时要注意，在创建FileStream对象时，必须使用FileShare.ReadWrite，否则这个文件无法被两个或两个以上的Stream打开，也就是说下面要介绍的读文件流将无法操作这个被写文件流打开的文件。从文件中读取行的实现代码如下：

　从文件中读取行的实现代码

　　　//　这两个变量为类全局变量 
　　private　FileStream　fsr; 
　　private　StreamReader　sr; 
　　//　创建用于读取文件行的文件流和StreamWriter对象 
　　public　void　OpenReadFile(string　file) 
　　{ 
　　if　(!File.Exists(file))　//　如果文件不存在，首先创建这个文件 
　　File.Create(file).Close(); 
　　fsr　=　new　FileStream(file,　FileMode.OpenOrCreate,　FileAccess.Read, 
　　FileShare.ReadWrite); 
　　sr　=　new　StreamReader(fsr); 
　　} 
　　//　关闭读文件流 
　　public　void　CloseReadFile() 
　　{ 
　　if(fsr　!=　null) 
　　fsr.Close(); 
　　} 
　　//　从文件中读取一行 
　　public　string　ReadLine() 
　　{ 
　　if(sr.EndOfStream)　//　如果文件流指针已经指向文件尾部，返回null 
　　return　null; 
　　return　sr.ReadLine(); 
　　}

　　除了上述的读写文件的代码外，FileIO还提供了一个IsEof方法用来判断文件流指针是否位于文件尾部。IsEof方法的实现代码如下如下：

　　IsEof方法的实现代码

。。。。