Спиране на спам ботове и линкове във Аналитикс

От няколко години във интернет се подвизава един метод за създаване на трафик към сайт. Говорим за spambot referrers които посещават сайт X като са дошли от сайт Y. По този начин те правят refferer трафик към сайт Х от името на сайт Y. Само администраторите и потребителите на Analytics подобен софтуер (Google Analytics, KissMetrics, Moz Analytics, Piwik, HubSpot Analytics и други) може да го видят уви. Но това са предимно администратори, web програмисти, дизайнери, оптимизатори или самите собственици на сайтове и има голям интерес от тяхна страна. Все пак всеки би се заинтригувал точно как сайт Y ни е линкнал.

Уви този метод не е етичен и напоследък доста се злоупотребява със него във интернет. Сега ще ви покажа прост метод как този спам трафик може да се блокира под Apache, nginx и Google Analytics.

за Apache .htaccess:

SetEnvIfNoCase Referer semalt.com spambot=yes
SetEnvIfNoCase Referer buttons-for-website.com spambot=yes
SetEnvIfNoCase Referer darodar.com spambot=yes
SetEnvIfNoCase Referer 7makemoneyonline.com spambot=yes
SetEnvIfNoCase Referer ilovevitaly.co spambot=yes
SetEnvIfNoCase Referer myftpupload.com spambot=yes
SetEnvIfNoCase Referer econom.co spambot=yes
SetEnvIfNoCase Referer iskalko.ru spambot=yes
SetEnvIfNoCase Referer ilovevitaly.ru spambot=yes
SetEnvIfNoCase Referer ilovevitaly.com spambot=yes
SetEnvIfNoCase Referer o-o-8-o-o.ru spambot=yes
SetEnvIfNoCase Referer o-o-6-o-o.ru spambot=yes
SetEnvIfNoCase Referer cenoval.ru spambot=yes
SetEnvIfNoCase Referer priceg.com spambot=yes
SetEnvIfNoCase Referer cenokos.ru spambot=yes
SetEnvIfNoCase Referer seoexperimenty.ru spambot=yes
SetEnvIfNoCase Referer gobongo.info spambot=yes
SetEnvIfNoCase Referer vodkoved.ru spambot=yes
SetEnvIfNoCase Referer adcash.com spambot=yes
SetEnvIfNoCase Referer websocial.me spambot=yes
SetEnvIfNoCase Referer cityadspix.com spambot=yes
SetEnvIfNoCase Referer luxup.ru spambot=yes
SetEnvIfNoCase Referer ykecwqlixx.ru spambot=yes
SetEnvIfNoCase Referer superiends.org spambot=yes
SetEnvIfNoCase Referer slftsdybbg.ru spambot=yes
SetEnvIfNoCase Referer edakgfvwql.ru spambot=yes
SetEnvIfNoCase Referer socialseet.ru spambot=yes
SetEnvIfNoCase Referer screentoolkit.com spambot=yes
SetEnvIfNoCase Referer savetubevideo.com spambot=yes
Order allow,deny
Allow from all
Deny from env=spambot

вмъкнете горния код някъде във основния код на .htaccess. Ако имате друг лош referrer просто го допишете във списъка.

за nginx:

if ($http_referer ~* (semalt.com)) {return 403;}
if ($http_referer ~* (buttons-for-website.com)) {return 403;}
if ($http_referer ~* (darodar.com)) {return 403;}
if ($http_referer ~* (7makemoneyonline.com)) {return 403;}
if ($http_referer ~* (ilovevitaly.co)) {return 403;}

добавете във конфирурационния файл на виртуалния сървър само тези редове които ви трябват. Ако има друг сървър просто го добавете като конфигурация.

за Google Analytics:

Admin tab > View Section > Filters Add a filter > Custom > Filter Field трябва да бъде Referral Pattern > и прибавяме сайта като www\.domain\.com
или
Admin tab > Property Section > JS tracking Info и прибавяме сайтовете към referral exclusion list

Разбира се това няма да попречи на “Лошите Момчета” да продължават да се опитват да ви заразят статистиките във аналитикса, но ще ги намали драстично. Винаги трябва да проверявате лог файловете си и аналитикса за подозрителен трафик от сайтове и да реагирате своевременно.

23 comments
iapostolov
iapostolov

@PeterNikolow промени регекса от www\.domain\.com на domain\.com по-ясно ще е за newibies

iapostolov
iapostolov

@PeterNikolow Не. Екстра е. При обемите, които гледам, тези даже не се забелязват

1337bg
1337bg

@PeterNikolow Полезна и актуална статия! Преди два дена ресърчвах именно на тази тема :)

PeterNikolow
PeterNikolow

@iapostolov добро попадение! Сега подготвям и още един матерял по темата.

PeterNikolow
PeterNikolow

@iapostolov ако имаш 10k на ден навярно нема те бъркат, но при малки обеми цакат яко 1 страница и 0:00 време на посещение

PeterNikolow
PeterNikolow

@1337bg Ей, късмет! Подготвям още 2 матр'яла на подобна тематика...

iapostolov
iapostolov

@PeterNikolow аз сега друго взех да правя. Измислените търсачки (ала аск.ком) ги слагам в отделен Channel, за да не са в органика и рефърала

PeterNikolow
PeterNikolow

@iapostolov да, но при бутикови сайтове направо правят катаклизми. Виж при moo.bg дали няма подобни ексцесии?

iapostolov
iapostolov

@PeterNikolow то на него няма нищо :) Даже и аналитикс няма. Ще видя в манджата

PeterNikolow
PeterNikolow

@iapostolov айде честито... Мисля си да направя БГ кампания за тест колко риби ще клъвнат?

PeterNikolow
PeterNikolow

@iapostolov преди 10 години със един wget или curl се инфектираха логовете, сега е малко по-трудно ама си е работа за 5токласници

iapostolov
iapostolov

@PeterNikolow хаха :) Имам много трафик и от "търсачки" тип аск.ком

iapostolov
iapostolov

@PeterNikolow нееее, инсталира тулбар и шитове с една камара софтуери :)

PeterNikolow
PeterNikolow

@iapostolov мен ме редиректна към бинг-а щот съм на айпада