Mercoledì 11 NOVEMBRE 2009
Come ridurre il consumo di larghezza di banda del vostro sito a metà
Un sito web è, come molte cose in questa vita, per creare qualcosa di semplice, ma difficile da mantenere. Per evitare spiacevoli sorprese e di garantire che tutto va abbastanza bene, è consigliabile prendere un monitoraggio regolare dei parametri di base, come ad esempio pagine servite, la larghezza di banda consumata, l'attività di web spider (ad esempio Google), e così via.
Uno strumento che ho trovato abbastanza affidabili per controllare alcuni di questi parametri è Awstats. Questo è uno script che analizza i file di log del server per il nostro sito web, per generare una serie di pagine, con tabelle riassuntive e grafici di un gran numero di parametri. Si vede che in funzione in questo demo. Per indorare il giglio, è anche possibile installare Jawstats, un frontend che raccoglie i dati che ha raccolto e illustrato nella Awstats un Web molto più dinamico e divertente. Vi è anche una demo disponibile Jawstats.
Jawstats mostra attraente informazioni sul nostro sito
Quello che vi dico oggi è come, dai dati Awstats, è riuscito a ridurre la larghezza di banda consumata dal PDA Tungsten in un incredibile 66%. Revisione della scheda "ragni", ha constatato che uno di loro era consumano centinaia di volte maggiore larghezza di banda rispetto ad altri, con un consumo giornaliero di circa 2 Gb. Ciò significa che 60Gb al mese, che possono rovinare più di un webmaster che ha il suo soggiorno in un sito di hosting che le tariffe in base alla larghezza di banda consumata.
Inoltre, il ragno è elencato come "non _user_agent. AWStats Rivedere questa volta ho ottenere una descrizione un po 'più chiara di questo ragno: "Unknown robot (identified by stringa agente utente vuoto). E 'chiaro che il ragno è l'identificazione con una stringa vuota. Rivedere i file di registro sul mio hosting (in particolare l'access.log di Apache), vedo che corrisponde a voci come questa:
XXXX - - [01/Nov/2009:04:53:02 -0800] "GET /wp-content/imagenes/bluetooth-carwhisperer.jpg HTTP/1.0" 200 28567 "-" "-"
Mentre una voce per un ragno normale sé che identifica lo user agent:
XXXX - - [01/Nov/2009:01:33:54 -0700] "GET /de/2006/05/13/pagina-interesante-acerca-de-la-palm-tx/ HTTP/1.1" 200 16060 "-"
"Baiduspider+(+http://www.baidu.com/search/spider.htm)"
Ricerca in rete ho visto questo ragno "anonimo" stava creando problemi per molti altri webmaster, nonché in linea di principio non forniscono alcun servizio, almeno legalmente. Così ho dovuto fare è stato di respingere le opinioni di questo tipo. Perché, se usiamo Apache come Web servdor, non vi è alcuna necessità di modificare il file. Htaccess nella cartella principale del nostro sito, e aggiungere le seguenti righe:
#Unknown robot (identified by empty user agent string)
RewriteCond %{REQUEST_METHOD} !^HEAD$
RewriteCond %{REQUEST_URI} !^.*robots\.txt$
RewriteCond %{REQUEST_URI} !/favicon\.ico$
RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^$ [NC]
RewriteCond %{HTTP_REFERER} ^-?$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^-?$ [NC]
RewriteRule .* - [F]
La linea "RewriteCond" definisce le condizioni alle quali si applica la regola, la linea "RewriteRule" in realtà è negato l'accesso, se si applicano. Le prime tre condizioni escludere alcune richieste legittime, e gli ultimi quattro sono quelli che identificano quelle effettuate con user-agent vuote o solo il carattere trattino.
Il risultato, dopo alcuni giorni di prova, è che questo ragno indesiderati si è fermato completamente per accedere al Web, e la larghezza di banda giornaliera è diminuita drasticamente, sia nella Jawstats contrapposte come nei dati forniti dal mio hosting.
Quindi, se hai un uso insolito della larghezza di banda sul tuo sito, per alcuni mesi, l'attività di revisione dei ragni.
Offerte in altre attrezzature ...
Da: Mark Gonzalez Troyes in generale
| RSS commenti | Trackback | 
Stampa questo post
| Condividi: |           |
Anche se in linea di principio sembra essere una buona idea quello che fai, non è davvero molto utile in un certo numero di casi. Questo è perché ci sono molti strumenti e siti web (mal costruita), che elenca in dettaglio il programma utente, quando accede al vostro sito, e quindi questa norma blocca completamente. Quindi si consiglia di verificare chi / che ti stanno bloccando, e vedendolo l'accesso a coloro che ritengono che lo richiedono. L'altra opzione è quella di identificare la persona o le persone sono gli IP da cui si stavano attaccando il sito, e bloccare direttamente ...
Infatti, contenimento, anche come primo passo di questo metodo è efficace, ora arriva la parte più difficile di analisi, cercando di individuare gli IP principale di questo abuso, per creare una regola più precisa che non riconoscono l'equa retribuzione per i peccatori.