Навигация
Главная
Бесплатные шаблоны dle
Платные шаблоны dle
Бесплатные модули dle
Хаки dle
Скачать DataLife Engine
Заработок для Web мастеров
Контакты
Rss
Вход на сайт
  Логин
  Пароль
Популярные новости
Реклама

Приручаем поисковых роботов

Все пользователи сети интернет любят поисковые системы. Они позволяют им ориентировать огромных пространствах сети, помогают найти именно то что им необходимо. Но для владельцев интернет сайтов они могут также стать и головной болью, т.к. поисковые роботы заходя на сайт, имеют одну единственную цель: проиндексировать ваш сайт как можно быстрее и добавить в свою базу данных. Почему головной болью? Да потому что поисковые роботы делают свою работу достаточно быстро и усердно, скачивая страницы вашего сайта с большой интенсивностью. Если на вашем 5 страниц, то нет проблем, все проходит быстро и безболезненно. А если тысячи, десятки тысяч? На практике это выглядит так: неожиданно в какое то определенное время суток, сайт начинает генерировать большую нагрузку, сервер держит эту нагрузку, до тех пор пока ему позволяют лимиты или возможности, а потом либо сервер падает, либо просто перестает отдавать страницы, а вы получаете от хостинг компании грозные требования прекратить нагружать сервер, переехать на более высокий тариф, и т.д. Что делать в данной ситуации? Заблокировать роботов? Не наш метод. Все просто, роботов можно приручить и сделать их добрыми и пушистыми и заставить их считаться с вами. Для этого нужно обратиться к документации и протоколу управления роботами. Каждый уважающая себя поисковая система уважает разработанные стандарты и следует им. При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:
Внимание! У Вас нет прав для просмотра скрытого текста.


Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки. Вы можете менять интервал по своему усмотрению, делая его больше или меньше. Но имейте ввиду делая интервал слишком большим, вы замедляете темпы индексации сайта, и индексация проходит гораздо дольше. Все как говорится должно быть в меру.

7 февраля 2009 добавил apocalypce
     просмотров 5668   комментариев (12)

написал maxach    22 февраля 2009 16:00   



 Группа: Посетители
 Регистрация: 22.01.2009
 Публикаций: 0
 Комментариев: 2
да вот ето полезнаю штука, спасибо!


        

написал apocalypce    1 марта 2009 00:54   



 Группа: Посетители
 Регистрация: 10.08.2008
 Публикаций: 7
 Комментариев: 8
пожалуйста!подребуется раскрутка сайта помогу http://expo-tm.ru


        

написал q-style    9 марта 2009 13:19   



 Группа: Посетители
 Регистрация: 5.02.2009
 Публикаций: 0
 Комментариев: 6
Автор наверно не знает что при такой разкладке сайт вылетет из гугла! т.к. там максимум можно ставить 5 секунд! не советую так делать! если вы не смертник! wink


        

написал antik2010    4 апреля 2009 11:31   



 Группа: Посетители
 Регистрация: 11.03.2009
 Публикаций: 0
 Комментариев: 1
вот дрянь, когда нубом был создал этот робот тхт по этому подобию, думаю чё меня яндекс индексирует а гугл нет. Щас понел, автор убейся ап стену...
q-style

Спасибо тебе большое!


        

написал dfyz    26 апреля 2009 04:24   



 Группа: Посетители
 Регистрация: 3.06.2008
 Публикаций: 0
 Комментариев: 5
Если создавать роботс.тхт то только так
User-agent: *
Disallow: /cgi-bin
Host: Site.ru или www.site.ru используя эта для того что б дать работу знать как вы хотите что б индексировался сайт.


P.S> НЕ ДУМАЮ ЧТО РОБОТЫ СМОГУТ СДЕЛАТЬ ТАКУЮ ЗАГРУЗКУ КАК НАПИСАНО.
Хотя и сайтов у меня не мало и не только тысячи страниц.....


        

написал zloyweb    27 апреля 2009 13:51   



 Группа: Посетители
 Регистрация: 27.04.2009
 Публикаций: 0
 Комментариев: 9
на самом деле вещь изначально бесполезная и вредная!
автор ты пень


        

написал divemobile.ru    23 июня 2009 19:58   



 Группа: Посетители
 Регистрация: 24.05.2009
 Публикаций: 0
 Комментариев: 1
Хз, так сколько можно ставить? и вобще, если не ставить, то сколько оно само делает? просто есть парочка сайтов, которые только 20к из 85к проиндексированы.


        

написал d1mok    12 августа 2009 19:38   



 Группа: Гости
 Регистрация: --
 Публикаций: 0
 Комментариев: 0
fellow


        

написал peter911    31 октября 2009 16:53   



 Группа: Гости
 Регистрация: --
 Публикаций: 0
 Комментариев: 0
angry


        

написал zloyweb    8 декабря 2009 17:15   



 Группа: Посетители
 Регистрация: 27.04.2009
 Публикаций: 0
 Комментариев: 9
сразу бан. проверено на чужих ошибках


        

написал k28887    25 июля 2010 10:48   



 Группа: Гости
 Регистрация: --
 Публикаций: 0
 Комментариев: 0
бред какой-то! Какой бан? из-за чего? у меня стоит 10 уже второй год - и ни какого бана, причем все прекрасно индексируется!!!!


        

написал Zidan-0z0    10 октября 2011 19:46   



 Группа: Гости
 Регистрация: --
 Публикаций: 0
 Комментариев: 0
Ну так блин кого слушать!?


        

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.














Rambler's Top100

Яндекс цитирования