七道奇
找到您需要的资源啦!?本站所有软件高速免费下载,记得下次再来哦,七道奇您下载的首选
软件大小:5.00 MB 下载次数:100
更新时间:2018-11-25 02:06:00

软件简介:上一页万能网吧计费系统破解补丁 V2.8 绿色免费版最新无限制破解版测试可用 下一页网页连开 V3.0 绿色版最新无限制破解版测试可用


  本软件是由七道奇为您精心收集,来源于网络转载,软件收录的是官方版,软件版权归软件作者所有,本站不对其观点以及内容做任何评价,请读者自行判断,以下是其具体内容:
  

  Apache Nutch是一个开放源代码的Java搜索引擎框架,它提供了运行自己的搜索引擎所需要的全部工具,包括全文搜索和Web爬虫,使用Nutch不仅可以建立自己内部网的搜索引擎,同时也可以针对整个网络建立搜索引擎。

Apache Nutch

软件特色】

  1、Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎

  2、每个月取几十亿网页

  3、为这些网页维护一个索引

  4、对索引文件进行每秒上千次的搜索

  5、提供高质量的搜索结果

【功能特点】

  1、支持将起始URL集合注入到Nutch系统之中

  2、支持生成片段文件,其中包含了将要抓取的URL地址

  3、根据URL地址在互联网上抓取相应的内容

  4、解析所抓取到的网页,并分析其中的文本和数据

  5、根据新抓取的网页中的URL集合来更新起始URL集合,并再次进行抓取

  6、同时,对抓取到的网页内容建立索引,生成索引文件存放在系统之中

Apache Nutch

【使用教程】

  1、首先先运行软件,选择File -> Import Project ->选择apache-nutch-1.9文件夹,确定后选择Import project from external model(Eclipse)

  2、一直点击next到结束,成功将项目导入project中去

  3、源码导入工程后,并不能执行完整的爬取。Nutch将爬取的流程切分成很多阶段,每个阶段分别封装在一个类的main函数中。在外面通过Linux Shell调用这些main函数,来完整爬取的流程。下面我们来运行Nutch中最简单的流程:Inject。我们知道爬虫在初始阶段,是需要人工给出一个或多个url,作为起始点(广度遍历树的树根)。Inject的作用,就是把用户写在文件里的种子(一行一个url,是TextInputFormat),插入到爬虫的URL管理文件(crawldb,是SequenceFile)中。

  4、接下来我们按照Nutch默认的配置,需要修改Nutch的配置文件,为插件文件夹指定一个绝对路径,修改conf/nutch-default.xml文件内容,并且保存到工程中

  5、接下来我们就可以开始对指定的网站的信息进行完整的爬取了

【更新日志】

  V1.9更新:

  1、增加了可爬取的数据类型

  2、增加对Web爬虫的管理功能

  3、解决了一些格式上的已知问题

  4、修复了一些bug,优化了软件界面

  5、优化了软件性能

【下载地址】

Apache Nutch(Java搜索引擎工具) V2.3 官方版



  “Apache Nutch(Java搜索引擎工具) V2.3 官方版最新无限制破解版测试可用[联网软件]”系转载自网络,如有侵犯,请联系我们立即删除,另:本文仅代表作者个人观点,与本网站无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性七道奇不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

Copyright © 2020-2022 www.xiamiku.com. All Rights Reserved .