Лоханулся с disallow

давно не смотрел нововведения в robots.txt, но вот смотрю вроде каталог запрещен к индексации, а индексация идет.. полез в веб-мастер Яндекса, ввел урл., жму проверку — разрешен, чешу репу, disallow есть, адрес точный, Яндекс как надо роботс съел, и разрешен… что за зах?

Полез копаться, оказалось если писать как 3-4 года назад по схеме
User-agent: * Host: URL Disallow: Disallow: /adres/
уже не катит, если в начале стоит все разрешено, дальше не читает!
убираем:
User-agent: * Host: URL Disallow: /adres/
Вуаля, запрещено… проверяйте

Опубликовал Mark de Sad 10th Ноябрь 2011.
Размещено в Работа.
Метки: robots.txt.

Ранее в этой же рубрике:

Google обратил внимание на качество выдачи в России? // 6th Август 2011 //
100 рублей в мес. за PR3 - дорого? // 28th Июнь 2011 // 4
Накрутка поведеческих факторов. // 31st Май 2011 //
Весна вместе с Profit, успей забрать IPad! // 4th Март 2011 //
SEOPult пару лет - полет нормальный // 27th Февраль 2011 //

Оставить комментарий или два

Рубрики

Поиск

Нравится? Жми!

Архивы

Метки

Заработай и ты