Недавно на форуме Рамблера я обнаружил заметку Влада Шабанова о интересной фиче для файла robots.txt, которая давно разработана Рамблером и поддерживается в каждой новой версии робота Рамблера.
На вопрос "какие еще недокументированные фичи существуют у Рамблера при обработке robots.txt?" Влад Шабанов ответил, что других недокументированных фич нет.

  Найдено на:   Seventh Son: рабочие заметки на полях...

Ваша оценка: