搜索引擎开发的一点点思路

现在，由于baidu,google的流行，
以及去年的一些事件，如三鹿事件等，
人们越来越关注网络的能量，
但开发一个通用型的搜索引擎，
不仅有很高的技术壁垒，
而且需要大量的资金，
风险不言而喻，
于是，另辟蹊径，
开发垂直搜索，以及站内的全文搜索，
成为当下的热点。
对于站内搜索，毫无疑问，lucene以及solr几乎成为应用java进行开发的首先，
而垂直搜索，需要一个爬虫，
爬虫的性能同时又决定了垂直搜索能否成功的关键，
开源的很多，heritrix，nutch，
这2过是关注比较多的。
为了方便大家交流，
我建了一个搜索引擎开发的群102511713，欢迎加入
只限交流技术问题。