閱讀 :532

Alexa是一家專門發(fā)布網(wǎng)站世界排名的網(wǎng)站。這是一個專門查看網(wǎng)站流量排名的網(wǎng)站，從網(wǎng)站的日志來看，這個好像也是一個搜索引擎，因為它也在爬行網(wǎng)站的具體內(nèi)容，難道它也在搜索引擎？

從日志信息看到了下面一些代碼：

2010-04-21 00:00:08 W3SVC**** ******** GET /jiazhuang/ - 80 - 204.236.235.245 ia_archiver+(+http://.alexa/site/help/webmasters;+crawler@alexa) 200 0 0

從上面的情況可以看出，它爬行的樣子，非常像一個搜索引擎。

在網(wǎng)上了解了一下這個公司，原來它的起身就是一家搜索引擎公司。

Alexa每天在網(wǎng)上搜集超過1,000GB的信息，不僅給出多達幾十億的網(wǎng)址鏈接，而且為其中的每一個網(wǎng)站進行了排名。

不過到了最后，這個公司已經(jīng)放棄了搜索引擎這個業(yè)務(wù)。

2002年5月Alexa全新改版，放棄了搜索引擎轉(zhuǎn)而與Google合作，變身為一家專門發(fā)布網(wǎng)站世界排名的網(wǎng)站。

以前從來沒有見過這個公司的蜘蛛，難道以后又想轉(zhuǎn)到搜索引擎領(lǐng)域？

第一次見到這個公司的蜘蛛爬行網(wǎng)站。

這個屬于正常的蜘蛛，不過國外的搜索引擎爬行，對本站也沒有什么效果。

下一篇:向微軟Bing搜索引擎提供Sitemap 下一篇 【方向鍵 ( → )下一篇】

上一篇:晚來天欲雪下一句 上一篇 【方向鍵 ( ← )上一篇】