nutch相关框架视频教程(hadoop、hbase、lucene、solr、tika、gora)(1-12讲).pdf

Nutch 相关框架视频教程 Nutch 相关框架视频教程 第一讲 1、 通过 nutch，诞生了 hadoop、tika、gora。 2、 nutch 通过 ivy 来进行依赖管理（1.2 之后）。 3、 nutch 是使用 svn 进行源代码管理的。 4、 lucene、nutch、hadoop，在搜索界相当有名。 5、 ant 构建之后，生成 runtime 文件夹，该文件夹下 面有 deploy 和 local 文件夹，分别代表了 nutch 的 两种运行方式。 6、 nutch 和 hadoop 是通过什么连接起来的？通过 nutch 脚 本 。 通 过 hadoop 命 令 把 apache-nutch-1.6.job 提 交 给 hadoop 的 JobTracker。 7、 nutch 入门重点在于分析 nutch 脚本文件。 1 / 22 Nutch 相关框架视频教程 第二讲 1、 git 来作为分布式版本控制工具，github 作为 server。 提供免费的私有库。 2、 nutch 的提高在于研读 nutch-default.xml 文件中 的每一个配置项的实际含义（需要结合源代码理解）。 3、 定制开发 nutch 的入门方法是研读 build.xml 文件。 4、 命令： apt-get install subversion svn co /repos/asf/nutch/tags/release-1.6/ cd release-1.6 apt-get install ant ant cd runtime/local mkdir urls vi urls/url.txt 并输入 nohup bin/nutch crawl urls -dir data -depth 3 -threads 100 vi release-1.6/conf/nutch-site.xml 增加 配置 2 / 22 Nutch 相关框架视频教程 cd ../../release-1.6 ant cd runtime/local nohup bin/nutch crawl urls -dir data -depth 3 -threads 100 删除报错的文件夹 nohup bin/nutch crawl urls -dir data -depth 1 -threads 100 第三讲 1、 nutch 的存储文件夹 data 下面各个文件夹和文件里 面的内容究竟是什么？ 2、 命令： crawldb bin/nutch | grep read bin/nutch readdb data/crawldb -stats bin/nutch readdb data/crawldb -dump data/crawldb/crawldb_dump bin/nutch readdb data/crawldb -url http://4008209999./ bin/nutch readdb data/crawldb -topN 10 data/crawldb/crawldb_topN bin/nutch readdb data/crawldb -topN 10 data/crawldb/crawldb_topN_m 1 segments crawl_generate ： bin/nutch readseg -dump data/segments/20130325042858