掌上電腦的鎢

一個網站，很多事情一樣，在此生活，一些簡單的創造，但難以維持。 為了避免不愉快的意外，並確保一切進展相當好，最好是採取定期監測的基本參數，如網頁服務，帶寬消耗，該活動的網絡蜘蛛 （如谷歌的）等。

一個工具，我發現可靠地控制其中的一些參數Awstats會自動分析。 這是一個腳本分析服務器日誌文件對我們的網站，產生了一系列的網頁的簡表和圖表的大量參數。 你看，在運作這個演示。 要畫蛇添足，也可以安裝Jawstats，一個前端它收集的數據已經收集和顯示Awstats會自動分析網頁更活躍，更愉快。 還有一個演示提供Jawstats。

Jawstats誘人顯示有關我們的網站

我告訴你的，是如何從 Awstats會自動分析數據，成功地減少了帶寬消耗的鎢的PDA驚人的66％。 回顧標籤“蜘蛛”發現，其中之一是消費數百次以上的帶寬比其他的日常消費近2Gb的。 這意味著 60GB的每月可以摧毀多個管理員誰都有他留在主機站點的收費根據帶寬消耗。

此外，蜘蛛被列為“不_user_agent。 AWStats軟件回顧這一次我能有一點比較清楚地描述這個蜘蛛：“未知的機器人（空標識用戶代理字符串）。 顯然，蜘蛛是找出一個空字符串。 回顧我的日誌文件存取（特別是阿帕奇access.log）我看到對應的條目是這樣的：

XXXX - - [01/Nov/2009:04:53:02 -0800] "GET /wp-content/imagenes/bluetooth-carwhisperer.jpg HTTP/1.0" 200 28567 "-" "-"

雖然在進入一個正常的蜘蛛本身標識用戶代理：

XXXX - - [01/Nov/2009:01:33:54 -0700] "GET /de/2006/05/13/pagina-interesante-acerca-de-la-palm-tx/ HTTP/1.1" 200 16060 "-"
"Baiduspider+(+http://www.baidu.com/search/spider.htm)"

搜索網我看到這個蜘蛛“匿名”的問題，創造了很多其他的網站管理員，以及在原則上沒有提供任何服務，至少在法律上。 所以我需要做的就是拒絕接受這種意見。 因為如果我們使用Apache作為 Web servdor，沒有必要修改該文件。htaccess的根文件夾中我們的網站，並添加以下行：

#Unknown robot (identified by empty user agent string)
RewriteCond %{REQUEST_METHOD} !^HEAD$
RewriteCond %{REQUEST_URI} !^.*robots\.txt$
RewriteCond %{REQUEST_URI} !/favicon\.ico$
RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^$ [NC]
RewriteCond %{HTTP_REFERER} ^-?$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^-?$ [NC]
RewriteRule .* - [F]

行“RewriteCond”界定在何種情況下適用的規則，行“RewriteRule”實際上是拒絕訪問，如果他們申請。 前三個條件，排除一些正當要求，並在過去四年是那些查明那些表現空的用戶代理 ，還是連字符。

結果，經過幾天的審訊，這是不需要的蜘蛛完全停止訪問 Web，每日帶寬急劇下降，無論是在Jawstats在對比提供的數據我的託管。

因此，如果您有一個不尋常的帶寬使用您的網站上，對一些個月，審查活動的蜘蛛。

其他設備的配套...

作者： 馬克岡薩雷斯特魯瓦在一般
| 評論RSS | 引用 | 打印此職位

標籤： 阿帕奇 ，AWStats軟件， 帶寬， 博客， 蜘蛛

分享：