从我们的网站网天下www.net360.cn开通至今三个月的时间里面，我们作了一个详细的统计，至少有25家搜索引擎的爬虫光顾了我们网站，每天都有至少5各以上的爬虫在我们的网站上爬，其中光临最频繁的是百度和google。
各种搜索搜索引擎光顾的方式各不一样，有的搜首页，有的搜索概览，这些还是君子所为，但是有些搜索引擎就不是那样光明正大了，采用连锅端的方式，把我们每个页面全部搜去，百度就是典型代表，我们作为一个分类信息的服务商，包含了工作、美容、培训、旅游、折扣信息等几十个分类的信息，内容就是我们的生命，我们当然欢迎搜索引擎采用我们的页面，但是也不希望看到自己的内容被别人无条件的用作赚钱的资本。
从这个事情我想到了搜索引擎的前途，搜索是目前最热门最火的互联网业务，各个搜索厂商大发其才，但是好像没有一个搜索引擎考虑到内容提供者的利益，百度最近的官司也说明了目前这种一方的利模式将面临重大的挑战，今后搜索引擎想要服务更好，内容更全、用户更满意就必须考虑到内容提供商的利益，否则搜索引擎将会陷入发展的泥潭，面临艰难的困境！
如有不同意见欢迎商榷，mgjg0517@yahoo.com.cn

同意！内容为王永远是生存和致胜的根本，从前段时间的百度MP3败诉，包括象新浪这样的只靠搜刮传统媒体的东西，一旦后者强势呈现，据说到现在新闻出版署不也是没给新浪批证嘛

抱怨不是办法，要是真想解决这个问题，建议你处理一下你的robot.txt文件。

下面给禁止google爬虫的办法，其它引擎类似，请自行处理：


要从 Google 目录中删除整个网站或部份网页的记录，可以在您服务器的根目录中放置一个 robots.txt 文件。

如果您不希望 Google 漫游器或其它搜索引擎进入您的网站，请在服务器的根目录中放入一个 robots.txt 文件，其内容如下：

User-Agent: *
Disallow: /
这是大部份网络漫游器都会遵守的标准协议，加入这些协议后，它们将不会再漫游您的网络服务器或目录。有关 robots.txt 文件的详细信息，请访问：http://www.robotstxt.org/wc/norobots.html。

to3楼，其实我关心的不是说技术上是否能制止的问题，而是一个值得大家关注和思考的问题，尤其是对于一些垂直的内容提供商就更为重要，搜索引擎之所以现在这么热，根本性的原因并不是技术上先进的优势而是海量的内容，对于搜索引擎在未收费之前，就不存在这个问题，但是一旦搜索引擎开始收费，这个问题就出现了，你要求搜索引擎推广，你必须给钱，但是搜索引擎利用内容提供商的网站的内容吸引用户，从而向广告投放者推广其收费广告业务的时候，却根本不考虑内容商的利益，所以我认为无论是从产业的长远发展还是法律意义上都站不住脚

楼上的朋友，我觉得这是一个双赢的局。

毕竟搜索引擎可以给内容提供商带来可观的流量。但是如果搜索引擎更进一步，把内容提供商的内容直接提供给用户－比如之前的百度MP3搜索－的确是侵占了内容提供商的利益。

又：不是所有的搜索引擎登录都是收费的，越是市场份额不大的搜索引擎，收费登录越起劲，真是奇怪了。

未来网络信息服务就是搜索的天下，叹，无奈……

我倒觉得搂住的观点有一些道理，也许用不了两年，局面就会有所改观

做搜索的搜索吧 搜索聚合

早有人做了

反正谁都是无利不起早，就看谁强势，其实到后来也许就是内容商更强势。

大的门户可以考虑禁止搜索引擎收录自己的页面，反正也不缺搜索引擎那点流量，不过小的网站就不好说了。

其实如果是小的网站，作专业化内容，也可以不理睬搜索引擎。

小网站多数都是小投入，不利用搜索引擎的话的，推广成本较高。

最近发现网络上有假蜘蛛
主要是一些小偷程序，采集程序，为了防止被服务端的安全设置喀嚓，伪装成搜索引擎蜘蛛，已有案例。

有个在英国的人口贩子好像就干这事。