Robots.txt (to admin)

Опубликовано в пользователем o0o0o

Можно Robots.txt сайта скорpектировать чтобы он страницы сайта отдавал и не требовал скачать счётчики рекламные снизу страницы на top.rambler.ru, top.germany.ru.... etc.?????

хотел скинуть форум для чтения в off-лаине.
Что за странный робот. txt?? Я хочу только страницы по линкам внутри этого сайта скинуть - а этот гад не хочет их отдавать если я линки на рекламные счётчики не качаю. А у меня с этих линков под сотню мегов всякой лабуды ненужной сливается... мне места жалко на винте. Вместе c десятком мег форумных страниц ещё сотни мег всякой дряни идет.

то Админ.
плиз robots.txt подредактируйте что ли...

НАШ ФОРУМ
o0o0o в

эта програмка - пятый Интернет Эксплорер.
A с ним сражаться бесполезно - у него только 2-3 параметра менять можно при использовании этой фичи - глубину ссылок задавать, да зарезать/разрешать слив со внешних сайтов ;((

Вгетом или телепортом скачать не проблема... но задача именно в том и состоит чтобы использовать штатные средства винды для просмотра страниц в офлаине.

То есть просьба подредактировать этот robot.txt чтобы он позволял скачивать форум роботами. По моему это не сильно трафик увеличит, если ночью кто-то будет форум сливать. Кроме меня, да может ещё 2-3 врятли кто этим ещё заниматься будет...
Или какие-то принципиальные проблемы есть?

Administrator в

[quote="o0o0o"]Можно Robots.txt сайта скорpектировать чтобы он страницы сайта отдавал и не требовал скачать счётчики рекламные снизу страницы на top.rambler.ru, top.germany.ru.... etc.?????

хотел скинуть форум для чтения в off-лаине.
Что за странный робот. txt?? Я хочу только страницы по линкам внутри этого сайта скинуть - а этот гад не хочет их отдавать если я линки на рекламные счётчики не качаю. А у меня с этих линков под сотню мегов всякой лабуды ненужной сливается... мне места жалко на винте. Вместе c десятком мег форумных страниц ещё сотни мег всякой дряни идет.

то Админ.
плиз robots.txt подредактируйте что ли...[/quote]

В robots.txt написано Disalow /forum, так что если бы программа, к-й ты качаешь форум следовала указаниям robots.txt, то ты ничего не смог бы скачать.

Так что сражайся со своей программой, ну или используй
wget -r --no-parent http://www.russianbelgium.com/forum/