banditjava
- 浏览: 158225 次
- 性别:
- 来自: 北京
-
最新评论
-
w156445045：
我最近想写这方面的论文，学位论文啊，哎。希望博主能给点思路，谢 ...
《Lucene+Nutch搜索引擎》看过以后。。。 -
inprice：
这也要研究啊！！！！！ 失望ing.........
完成了对于heritrix的初步研究 -
dt_fb：
您好，我想问问您，你有跳过recrawl.sh这个脚本文件么？ ...
Nutch开源搜索引擎的crawl日志分析及工作目录说明 -
lovepoem：
能增量吗?是不是还是把所有的url遍历出来。和以前的对比。算是 ...
Nutch开源搜索引擎增量索引recrawl的终极解决办法 -
itang：
见到牛人照片了， MS下巴动过刀（开玩笑）
搜索引擎名人堂之Jeff Dean
文章列表
Facebook发布HipHop JIT
Fackbook 发布了PHP运行环境HipHop。HipHop提供JIT能力，替代了PHP传统运行和提供更好的页面解释性能，更低的CPU占用率。HipHop有助于提供可观的PHP可测量性和与Java，Python和C++为后端的最优的接口
倒不如说用一个结构复杂的HTML的微缓存系统，或者源码级的代码翻译器，Facebook的赵海平描述HipHop如何工作：
为PHP而产生的HipHop从技术上自身不是一个编译器。在一宽程序上它是一个源代码翻译器。HipHop程式化的翻译你的PHP代码到高性能C++，然后用g++去编译它。HipHop用一个相 ...
Jclouds beta版包括计算和存储云
最近发布，jclouds是一个开源的Java版本的多用云框架。这个发布版本致力于选择。云提供者的选择和管理它们的工具的选择。在jclouds发布版本中，你将找到15种服务选择，包括EC2，Atoms, vCloud, Azure, 和Rimu Hosting。你可以直接选择用这些api，或者用一个多用云抽象，如：BlobStore 或者ComputeService。你也能通过Ant来使用Ant和其它API.
http://code.google.com/p/jclouds/downloads/list
Jclouds beta include ...
“JAVA之父”James Gosling在TSSJS 2010上的主题报告
Java之父James Gosling为第一天开场
当大家在争吵关于刚定下来的Oracle对Sun的收购案和它将影响整个行业，我们想不出有什么更好的方法得到一个内部观点比从Java之父James Gosling自我规划中更诱人，它将呈现给我们第一天的名为“Java今天和明天” 政策演讲。
这是第一时机你将能听到Mr.Gosling的独特的见解，包括JavaFX，Glassfish，Java EE 6，边缘设备，实时系统和在JVM上的动态语言等等一切的东西。捐献给强力混合的所有东西来描给Java的今天。Java ...
PHP和Perl正彻底成为企业级PHP，Perl和其它脚本语言在企业级方面正取得引人注目的进展，和传统的技术.Net、Java分庭抗礼。你的企业将准备采用吗？
Canonical的首席运营官，开源的传道者Matt Asay写到：
当动态编程语言像PHP和Python占据了Web工程应用首要地位，它们正打破Java和.net的统治地位的这些信号是非常清晰了。Forreste最近报到了PHP声称是应用于企业应用的最高实例，突破了57%。但是实际上，大部分企业软件花费转向了基于Java和.Net软件。
谁会赢呢？
也许两者都会。
Matt持续提供了一个非常有远见的分析，这些 ...
Resin实现JavaEE 6的规范
Resin团队总是专注于提供一个轻量级、快速、可靠和易用的应用服务器。我们自豪于我们的轻量级传统，体积小，独立和个性化，对待一件工艺品的组织。我们也总是考虑标准的价植，开发者的选择，多方协作和拥有竞争力但协调的产品。
在了解Java EE6规范前，它是以难以去理解resin里的这些概念。选择真正的从在创造一个轻量级应用服务器或者目标是遵从全部服务从标准中分离开来。Resin从历史上看，选择了轻量级实现路线，沿着一个普通Servlet容器，也提供像JPA和EJB3的APIS，也提供像一个高性能JTA相容事务管理器、数据连接池、权限提供者、安全、集群和管 ...
本文主要描述的是如何将paoding分词用plugin方式集成到 nutch1.0中去，在集成之前首先要在eclipse中把nutch1.0编译通过。然后，写一个中文分词程序，配置好插件配置文件，重新打包编译。如果有linux环境，就可以直接进行编译，如果没有linux环境，还需要下载并配置cygwin等模拟linux环境。
一.环境说明
工具：myeclipse6.5 ,jdk1.6.0_14,tomcat-6.0.20
软件：nutch1.0
相关软件请自行google，下载安装
二.配 ...
很久没有更新博客了，应该快一年了。现在呢，我把去年研究过的Nutch重新拾掇起来，开始了新的开源搜索引擎研究旅程。更多感慨是，Nutch已经在今年3月份已经发布了1.0版本，之前研究的Nutch还是0.9版本，其最大的变化并不是版本的升级，而是Nutch已经正式成为了Apache.org的子项目，并且可爱的Hadoop发的速度甚至超过了Nutch本身。也正在由于Hadoop存在使得Nutch在众多的开源搜索引擎里面显得更有魅力。而且，国内的牛人们已经将hadoop的中文资料给整理出来了，在http://www.hadoop.org.cn，很有范，学习中。
包括：
...
在配置nutch的时候，我是采用三台服务器来实现的，现在详细讲述一下如何配置在ssh时不用密码来登录，这个也是配置nutch运行起来的前提。
现在linux1是主节点，它需要主动发起SSH连接到linux2和linux3，对于SSH服务来说，linux1就是S ...
最近monner兄共享了一篇搜索引擎资料《原理技术与系统》，很有收获啊。下面我将其中的术语部分列出来，大家一起学习一下。
附录. 术语
B:
半结构化数据（semi-structured data），和普通纯文本相比，Web上的网页数据具有一定的结 ...
- 2008-10-15 15:30
- 浏览 2505
- 评论(1)
北京限行规定从本周一(10.13)开始实施，首次停驶车牌尾号：星期一至星期五分别为1和6、2和7、3和8、4和9、5和0（含临时号牌；机动车牌尾号为英文字母的按0号管理）。
这两天开车上班和下班，除了注意路牌和加塞的汽车以外，还在关注有多少违规的车辆，注意力分散，其实很危险。我的车尾号是3，按照规定尾号是8的车主和我周三就不能开车了，从心底来讲，我比较抵触这种不注重私车主权益的条款的。
车船税交了，养路费交了，购置税交了，过路费不少一分，为什么不让我开车？是为了北京的蓝天，为了缓解日益拥堵的交通，还是替政府无力解决交通压力而埋单。
看看路上的车，尾号是8的车是最多的，而且多半是好车，宝马， ...
- 2008-10-15 11:39
- 浏览 2205
- 评论(0)
从该文对googlebot的分析看，googlebot似乎是想先对网站的结构和规模做出分析，然后再规划抓取行为，googlebot的行为确
实很有意思。Yahoo的机器人似乎是以月为单位周期的更新，抓取新网页和索引，感觉是想以量取胜，并且对网页似乎没有进一步的分析。感觉MSNbot在
整体上还略逊于另两个竞争对手。
Introduction
引言
In the previous edition - Binary Search Tree 2
- a large scale experiment on search engine behaviour was staged with
more tha ...
- 2008-10-13 15:35
- 浏览 1902
- 评论(3)
１．引言
万维网WWW（World Wide Web）是一个巨大的，分布全球的信息服务中心，正在以飞快的速度扩展。1998年WWW上拥有约3.5亿个文档[14]
，每天增加约1百万的文档[6]
，不到9个月的时间文档总数就会翻一番[14]
。WEB上的文档和传统的文档比较，有很多新的特点，它们是分布的，异构的，无结构或者半结构的，这就对传统信息检索技术提出了新的挑战。
传统的WEB搜索引擎大多数是基于关键字匹配的，返回的结果是包含查询项的文档，也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满
意。有些站点有意提高关键字出现的频率来提高自身在搜索引擎中的重要性，破坏搜索引擎 ...
- 2008-10-13 15:11
- 浏览 2094
- 评论(0)
最近迷上央视版的《李小龙传奇》，虽然还没有来得及看完，但我还是有很多感触，以往的李小龙电影重点都是如何用漂亮的动作击倒对手，如何惩恶扬善，但很少有像这部片子里表述的一样，用大量的篇幅来描述李小龙如何从 ...
- 2008-10-07 22:30
- 浏览 1573
- 评论(2)
搜索引擎给大家的感觉，就是用起来简单，以google为首，一个文本，一个按钮，一个简单的列表页面，几乎是用户常用操作的全部。但viewzi可不这么看，除了搜索引擎的复杂架构之外，它对于结果的显现也是梦幻的。
下面我列举了查询关键字“nutch”，通过不同的view来呈现结果的查询链接，总有一种呈现方式是你所喜欢的，不信你试试以下的链接，体验一下吧。
http://www.viewzi.com/search/techcrunch/nutch
http://www.viewzi.com/search/webscreenshot/nutch
http://www.viewzi.com/search ...
- 2008-10-04 20:15
- 浏览 1801
- 评论(3)
研究搜索引擎技术快一个月了，最大的老师就是google和自己的编程经验了，另外还有一本我从海淀图书城抓来的《Lucene+Nutch搜索引擎》，从一个门外汉到初级入门者，其中经历了很多痛苦和短暂兴奋。
就在我认为可以大展拳脚 ...
- 2008-10-03 23:42
- 浏览 7605
- 评论(12)