Robots.txt - есть или нет? :)

Статус
В этой теме нельзя размещать новые ответы.
Тэхатэ для форумов оч хорош! Кушать начинает быстрее, вот только гугля стала пугать...
 
Точно не знаю с этим ли связанно но после того как прописал robots, страницы сайта оптимизированные под определенные запросы существенно поднялись в выдаче яндекса, главная оптимизированная под высокочастотник с 11 позиции на 4 поднялась.
 
Точно не знаю с этим ли связанно но после того как прописал robots, страницы сайта оптимизированные под определенные запросы существенно поднялись в выдаче яндекса, главная оптимизированная под высокочастотник с 11 позиции на 4 поднялась.

Вполне возможен такой поворот событий.
Имхо с robots.txt почти тажа ситуация, что и с sitemap.xml
Какбы ничего не дает, но что-то всеравно дает.
Если гугль сначала его не находит, а потом он появляется, то это приравнивается к обновлению сайта. Гугль любит обновления, любит когда над сайтом ручками работают, поэтому и немного повысил в рейтинге.
Гугль вобще **** загадочный :)

З.Ы. По поводу яндекса хз.
 
я везде использую роботс чтобы подсказать яше про сайтмап а так же защитится от зеркальной склейки доменов
Граждане подскажите несведущему, что есть такое "зеркальная склейка доменов" и нужно ли впадать в панику и срочно от этой склейки защищаться?:)
 
Если бот яндекса находит очень похожие страницы (зеркальные), то может их склеить, выбрав главную и не факт, что твою сочтет главной. паника всегда вред, но меры предпринять надо, увеличить уникальность контента или сделать более авторитетной свою страницу.
 
Попутно вопрос про sitemap.xml:

Стоит ли заносить в структуру sitemap.xml сразу все страницы (примерное число страниц ~2-3k) молодого сайта. Не скажется ли это как то на индексации?

Или же наоборот, постепенное добавление страниц скажется положительно на индексации, и будет свидетельствовать о развитии ресурса.
 
И кстати Гуглу порой абсолютно наплевать на роботс, если на запрещенную в роботсе страницу есть внешние ссылки он ее все равно проиндексирует.
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху