टंगस्टन पीडीए

एक वेबसाइट है, इस जीवन में बहुत सी बातें पसंद है, को सरल बनाने के कुछ है, लेकिन मुश्किल बनाए रखने के लिए. अप्रिय आश्चर्यों से बचने के लिए और यह सुनिश्चित करें कि सभी काफी अच्छी तरह से चला जाता है, यह उचित है कि इस तरह की सेवा पृष्ठों के रूप में बुनियादी मानकों के एक नियमित रूप से निगरानी रखना, बैंडविड्थ की खपत, वेब मकड़ियों की गतिविधि (Google) और इतने पर जैसे.

एक उपकरण मैंने बहुत विश्वसनीय इन मानकों के कुछ नियंत्रण पाया है Awstats है. यह एक स्क्रिप्ट का विश्लेषण करती है कि हमारे सर्वर के वेब साइट के लॉग फाइल, सारांश तालिका और मानकों का बड़ी संख्या का ग्राफ के साथ पृष्ठों की एक श्रृंखला उत्पन्न करने के लिए है. तुम देखो कि ऑपरेशन में इस प्रदर्शन में. लिली के लिए सोने का मुलम्मा करना, तुम भी Jawstats स्थापित, कर सकते हैं एक दृश्यपटल जो डाटा एकत्र किया है और यह Awstats में दिखाए गए एक वेब और अधिक गतिशील और मनोरंजक एकत्र. वहाँ भी है एक डेमो उपलब्ध Jawstats.

Jawstats आकर्षक के बारे में जानकारी प्रदर्शित करता हमारी वेबसाइट

क्या मैं आज तुम्हें बताना है कि, Awstats डेटा से, के लिए एक आश्चर्यजनक 66% में टंगस्टन पीडीए बैंडविड्थ की खपत को कम करने में सफल रहे. "टैब मकड़ियों" पाया गया कि उनमें से एक था समीक्षा दूसरों की तुलना में अधिक बैंडविड्थ बार के उपभोग सैकड़ों लगभग 2Gb की दैनिक खपत के साथ. इस महीने के प्रति 60Gb है, जो एक से अधिक वेबमास्टर जो कि आरोप खपत बैंडविड्थ के अनुसार अपने एक आयोजन स्थल पर रह गया है बर्बाद कर सकते हैं अभिप्रेत है.

इसके अलावा, मकड़ी 'के रूप में _user_agent सूचीबद्ध नहीं है. इस बार मैं इस मकड़ी के कुछ हद तक स्पष्ट वर्णन मिलता समीक्षा Awstats: "अज्ञात रोबोट (खाली उपयोगकर्ता एजेंट स्ट्रिंग द्वारा की पहचान). यह स्पष्ट है कि मकड़ी के एक खाली स्ट्रिंग के साथ की पहचान है. मेरे (विशेष रूप से Apache access.log) मैं देख रहा हूँ कि इस तरह प्रविष्टियों से मेल खाती है होस्टिंग पर लॉग इन फ़ाइलों की समीक्षा:

XXXX - - [01/Nov/2009:04:53:02 -0800] "GET /wp-content/imagenes/bluetooth-carwhisperer.jpg HTTP/1.0" 200 28567 "-" "-"

जबकि एक सामान्य मकड़ी ही है कि उपयोगकर्ता एजेंट की पहचान के लिए एक प्रविष्टि:

XXXX - - [01/Nov/2009:01:33:54 -0700] "GET /de/2006/05/13/pagina-interesante-acerca-de-la-palm-tx/ HTTP/1.1" 200 16060 "-"
"Baiduspider+(+http://www.baidu.com/search/spider.htm)"

खोज जाल मैं इस मकड़ी 'अनाम' के रूप में देखा, साथ ही सिद्धांत रूप में कई अन्य वेबमास्टरों के लिये समस्याओं का निर्माण किसी भी सेवाएं प्रदान करना नहीं था, कम से कम कानूनी रूप से. इसलिए मैं था करने के लिए इस तरह के विचारों को अस्वीकार किया गया है. क्योंकि यदि हम वेब servdor अपाचे के रूप में उपयोग करते हैं, कोई फ़ाइल संपादित करने की आवश्यकता है. हमारी वेबसाइट के रूट फ़ोल्डर में Htaccess, और निम्नलिखित लाइनों जोड़ें:

#Unknown robot (identified by empty user agent string)
RewriteCond %{REQUEST_METHOD} !^HEAD$
RewriteCond %{REQUEST_URI} !^.*robots\.txt$
RewriteCond %{REQUEST_URI} !/favicon\.ico$
RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^$ [NC]
RewriteCond %{HTTP_REFERER} ^-?$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^-?$ [NC]
RewriteRule .* - [F]

लाइन "RewriteCond" परिस्थितियों के अंतर्गत शासन लागू होता है को परिभाषित करने, लाइन "RewriteRule" वास्तव में उपयोग से वंचित है यदि वे लागू होते हैं. पहले तीन स्थितियों कुछ वैध अनुरोध बाहर है, और पिछले चार उन है कि खाली प्रयोक्ता एजेंट या बस हैफ़ेन चरित्र के साथ प्रदर्शन किया उन लोगों की पहचान कर रहे हैं.

परिणाम है, परीक्षण के कई दिनों के बाद, कि यह अवांछित मकड़ी पूरी तरह से बंद कर दिया गया है कि वेब का उपयोग, और दैनिक बैंडविड्थ नाटकीय रूप से गिर गया है, दोनों Jawstats में मेरा होस्टिंग द्वारा उपलब्ध कराए गए आंकड़ों के रूप में विपरीत.

तो अगर तुम बैंडविड्थ की अपनी साइट पर एक असामान्य उपयोग कर रहे हैं, कुछ महीनों के लिए, मकड़ियों की गतिविधियों की समीक्षा करें.

अन्य उपकरणों के सौदे ...

द्वारा: मार्क गोंजालेज Troyes जनरल में
| टिप्पणियाँ आरएसएस | Trackback | प्रिंट इस पोस्ट

टैग की गईं: एपाचे, awstats, बैंडविड्थ,, ब्लॉग मकड़ियों

साझा करें: