Вольфрам КПК

Сайт, как и многие вещи в этой жизни, то для создания простых, но трудно сохранить. Чтобы избежать неприятных сюрпризов и убедитесь, что все идет достаточно хорошо, целесообразно принять регулярный мониторинг основных параметров, таких как обслуживаемых страниц, пропускная способность потребляется, деятельность Сети пауки (например, Google) и так далее.

Инструмент я нашел достаточно надежным для управления некоторыми из этих параметров Awstats. Это скрипт, который анализирует лог-файлов сервера нашего веб-сайта, чтобы создать серию страниц с сводные таблицы и графики большого числа параметров. Вы видите, что в эксплуатацию в этом демо. Чтобы попусту терять время, вы также можете установить Jawstats, интерфейс, который собирает данные, которые он собрал и показал в Awstats веб гораздо более динамичной и приятной. Существует также доступна демо Jawstats.

Jawstats привлекательнее отображает информацию о нашем сайте

То, что я говорю вам сегодня, как, по данным Awstats, удалось снизить потребляемую пропускную способность вольфрама КПК в ошеломляющие 66%. Обзор на вкладке "пауки", обнаружили, что один из них был затрат в сотни раз большую пропускную способность, чем другие, при ежедневном потреблении около 2Gb. Это означает, 60Gb в месяц, которые могут испортить более чем одного веб-мастеру, который имеет свое пребывание на хостинг сайта, что обвинения в соответствии с пропускной способностью потребления.

Кроме того, паук указана как "не _user_agent. Awstats Обзор на этот раз я получить более четкое описание данного Паук: "Неизвестно робота (который определяется пустая строка агента пользователя). Очевидно, что паук является выявление с пустой строкой. Анализируя лог файлы на хостинг (в частности, Apache access.log) Я вижу, что соответствующий записей так:

XXXX - - [01/Nov/2009:04:53:02 -0800] "GET /wp-content/imagenes/bluetooth-carwhisperer.jpg HTTP/1.0" 200 28567 "-" "-"

Хотя запись для нормального паука в том, что идентифицирует пользователя, агент:

XXXX - - [01/Nov/2009:01:33:54 -0700] "GET /de/2006/05/13/pagina-interesante-acerca-de-la-palm-tx/ HTTP/1.1" 200 16060 "-"
"Baiduspider+(+http://www.baidu.com/search/spider.htm)"

Поиск по чистым я видел этого паука "анонимных" создает проблемы для многих других веб-мастеров, а также в принципе не предоставлять никаких услуг, по крайней мере юридически. Поэтому мне пришлось сделать, это отказаться от просмотра такого рода. Ибо, если мы используем как servdor Apache Web, нет необходимости редактировать этот файл. Htaccess в корневом каталоге нашего сайта, а также добавить следующие строки:

#Unknown robot (identified by empty user agent string)
RewriteCond %{REQUEST_METHOD} !^HEAD$
RewriteCond %{REQUEST_URI} !^.*robots\.txt$
RewriteCond %{REQUEST_URI} !/favicon\.ico$
RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^$ [NC]
RewriteCond %{HTTP_REFERER} ^-?$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^-?$ [NC]
RewriteRule .* - [F]

Линия "RewriteCond" определить условия, при которых применяется правило, линия "RewriteRule" фактически отказано в доступе, если они применяются. Первые три условия исключить некоторые законные требования, а последние четыре являются те, которые определяют, выполняемым с пустыми User-Agent или просто символ дефиса.

В результате, через несколько дней после судебного разбирательства, является то, что это нежелательный паук полностью остановлен для доступа к Интернету, а также ежедневные пропускная способность резко снизилась, как в Jawstats противопоставляются, как в данных, предоставленных мой хостинг.

Так что если у вас возникли необычные использование пропускной способности на Вашем сайте, в течение нескольких месяцев, обзор деятельности пауков.

Специальные предложения в другое оборудование ...

Автор: Марк Гонсалес Труа в Генеральном
| Комментарии RSS | Trackback | Распечатать этот пост

Tagged: Apache, AWStats, пропускная способность, блога, пауки

Share: