avatar CanAur 25 фев 2009, 21:20

Robots.txt

у меня вот какой вопрос.
Наверное все знают, что существует такой файл robots.txt
который указывает какие страницы индексировать нельзя.

содержимое моего файла выглядит так:

Код: Выделить всё

# 11`

User-agent: *
Disallow: /tmp
Disallow: /logs
Disallow: /index.php?act=calendar
Disallow: /admin/index.php
Disallow: /index.php?act=UserCP&CODE=00
Disallow: /index.php?act=Members
Disallow: /index.php?showuser=
Disallow: /index.php?act=search&CODE=getactive
Disallow: /index.php?act=Stats&CODE=leaders
Disallow: /index.php?act=Stats
Disallow: /index.php?act=Members&max_results=20&sort_key=posts&sort_order=desc&filter=ALL
Disallow: /index.php?act=Login&CODE=06&k=2b57923c988337704a2e2b065183245d
Disallow: /index.php?act=Login&CODE=05
Disallow: /index.php?act=Search&f=0
Disallow: /index.php?act=Help
Disallow: /index.php?act=stats
Disallow: /index.php?showuser=
Disallow: /index.php?act=Stats&CODE=leaders
Disallow: /index.php?act=Search&nav=at&CODE=show&searchid=0bc061108ff5f81e10f23d1c91e0f637&search_in=topics&result_type=topics&lastdate=0
Disallow: /index.php?act=Online&CODE=listall&sort_key=name&sort_order=asc&show_mem=reg
Disallow: /index.php?act=Members&max_results=20&sort_key=posts&sort_order=desc&filter=ALL
Disallow: /lofiversion/
Disallow: /index.php?act=calendar
Disallow: /index.php?showtopic=11&pid=57&st=0&#entry57
Disallow: /index.php?act=search&CODE=getactive
User agent - *
указывает, что правило действительно для всех ботов.

Disallow
означает отрывок адреса, по которому располагаются запретные страницы.


Кто может подробнее рассказать, как в нём можно указывать динамическое содержимое? там чёрт ногу сломит.
А то Google позаписал себе кучу ненужных страниц (даже некоторые одинаковые, но с разными адресами)
:O:
Я боюсь от этого снижаются показатели моего форума.
Комментариев нет
Комментариев пока нет, но ты можешь быть первым! Нужно лишь войти или зарегистрироваться и поделиться своим мнением.