欢迎信息安全界的朋友！黑站、挂马的勿扰！只做基础理论研究。交流IDS、IPS、buffer overflow、内核编程、sniffer，技术共享！

                                                 
              .                 .    . . .                  
             .                        .        .            
         'BBNNNN                        .  .                
          N                      .       .     .            
         N                         .   .   .                
         N.  .                        .                     
        N  .   .                  .  N   .  NN              
        B   .                       NN.     NN              
       NN                  .  .     BN      NN              
       N .  . .           .      .  ND.     NN              
       N. .                ..  .    NN .    NN              
       N    ..                   .  NB      NN              
       N                 B. .       NN.     NN                    
       N  .               NN        NB .    NN              
       NNNBNNNN            B     .  N.      NN            
       N  .                        .N       NN              
 .     N                 .          N.      NN              
      .N   .            .   .    .  N  .  . BN  ..          
  ..  .B .   .     ..     .       . N       NN     .  .     
       N       NNN.  B.    .  .     N   NNNNNN NNN          
    .. N       N N  N  .NNNB    NNN.B. BN. NBN   B. B.      
      .B .   .   N NN . N N  . NB NBN .N    NN   N  N  .    
     .NN   .    N NN   .  B   .B .  N  N. . B    N.BN.      
  .   N         N N  .    NN   N  ..B. N .  N   .B NN       
      N         NN       NNN   N  NNN  N   NB   NNNN        
  . . B.        BN       NN  .  NNN NN NNNNNN. .NB N  .     
      N         N  . .              . . NN . N.  . N        
   .  N          .                        . .  .  .B   .    
    . D.        .    .      .    .     .      .    N.       
      N          .      .  '    .            .     N  .     
      N          .  .     .       .       .        N  .     
  .             .               .             .   NN .      
                                    . .           N   .     
                                  .        .   .  N .       
                                         .  .     N. ..     
                                    .     .      NN    .    
                                .     . .    NNBNB. '       
                                 . .  BNBNNNNN         .    
                                . .   . . .           .     
                                 .    .      .

预览模式: 普通 | 列表

搜索引擎/网络蜘蛛程序代码

作者:friddy 日期:2009-10-30

1、Nutch

官方网站 http://www.nutch.org/
中文站点 http://www.nutchchina.com/
最新版本：Nutch 0.7.2 Released
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，可以建立自己内部网的搜索引擎，也可以针对整个网络建立搜索引擎。自由(Free)而免费(Free)。
2、Lucene

官方网站 http://lucene.apache.org
中文站点 http://www.lucene.com.cn/
Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包[用Java写的]，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
3、Larbin: http://larbin.sourceforge.net/index-eng.html
larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。
国内开发的相关程序