Новые возможности Яндекс.Вебмастер. Яндекс вебмастер - полное руководство

Кто не хочет быть первым в поисковой выдаче Яндекса и Google? Даже если ваш сайт некоммерческий. Таких нет. Ибо, как гласит народная мудрость, плох тот солдат который не хочет быть генералом.
Примерно вот так выглядит первая страница поисковой выдачи Яндекса по запросу «Купить фотоаппарат»:

Как видите первыми идут рекламные материалы, а затем Яндекс.Маркет и сайты популярных сетевых магазинов торгующих бытовой техникой М.Видео и Эльдорадо.
Попасть на первую страницу в выдаче по запросу «купить фотоаппарат » означает обеспечить себя гарантированным потоком пользователей, заинтересованных в покупке фотоаппарата. Это ли не мечта любого владельца сайта по продаже фототехники?

Как гарантированно попасть на первую страницу в поисковой выдаче?

Вариантов всего два. Первый — это создать сайт, который попадёт в десятку лучших по нужным запросам. Второй — заказать рекламу в Яндекс.Директ.
Рассмотрим оба варианта.

1. Создать сайт, который попадёт в десятку лучших по нужным запросам.

Задача сложная, но вполне решаемая. Для этого необходимо заняться SEO-продвижением. Можно это сделать самостоятельно, а можно обратиться к профессионалам.
Что конкретно можно сделать, чтобы поднять свой сайт на первую страницу?

Провести юзабилити-аудит сайта и получить квалифицированные рекомендации по его улучшению. Что это даст?
Во-первых , специалисты выявят существующие на сайте проблемы, и дадут рекомендации о том, как их устранить. Чем лучше сайт, тем выше вероятность, что он попадёт в топ-10.
Во-вторых , если сайт вдруг удастся продвинуть на заветное место поисковой выдачи, и пользователи начнут на него переходить, а затем сразу же закрывать, то долго на этом месте сайт не продержится. Поисковики скоро поймут, что сайт не нравится пользователям, и вновь отодвинут его подальше.
Поэтому легче и лучше продвигать действительно хорошие сайты, а улучшить сайт можно как раз с помощью юзабилити-аудита.
Написать самому хорошие продающие тексты для сайта или заказать их у seo-копирайтеров. Такие тексты написаны по определённым правилам. С одной стороны, в них учтено вхождение достаточного количества ключевых слов. А с другой стороны, они написаны именно для пользователей – с учётом интересов и поведенческих особенностей целевой аудитории. Иными словами мало просто писать для людей, нужно чтобы сайт отвечал поисковым запросам. Главное правило: не что люди ищут, а как люди ищут . Ваш сайт должен разговаривать с посетителями на одном языке.
Заказать регистрацию в каталогах статей , с целью получить весомые ссылки на свой сайт и зарекомендовать себя в качестве эксперта.
После этого зарегистрировать сайт в каталогах сайтов – это поможет получить ссылки на ваш сайт с нужными анкорами, кроме того, они будут разнородные, что более естественно.

Только помните, что любые действия по оптимизации сайта занимают время и не дают гарантированного результата. Чем выше конкуренция в интересующей вас сфере, тем сложнее продвинуть сайт. Позиции сайта, скорее всего, улучшатся, но никто не сможет дать гарантий, что вы попадёте именно в топ-10 по всем интересующим ключевым запросам.
Если решите обратиться к профессионалам, то тут главное выбрать правильную компанию. Я рекомендую специалистов Сервиса 1PS.RU, которые уже 13 лет занимаются продвижением сайтов в поисковых системах и предоставляют все перечисленные выше услуги, что достаточно удобно. Рекомендую почитать отзывы о работе Сервиса 1PS.RU .

2. Заказать контекстную рекламу на Яндекс.Директ.

По некоторым запросам очень трудно попасть в ТОП-10. Если не получилось, то не беда! Ведь есть контекстная реклама, которая показывается выше поисковой выдачи. А первые места на странице выдачи поиска гарантированы вам уже через 3 дня. К тому же платить придётся только за тех клиентов, которые заинтересуются вашим предложением и перейдут по ссылке объявления на ваш сайт. Это очень эффективный и удобный способ рекламы.
Что нужно сделать, чтобы получить максимальную отдачу от рекламы в поисковых системах?

Подобрать ключевые слова с учётом интересов целевого посетителя.
Совет: поручите этот вопрос интернет-маркетологу, который проведёт предварительные исследования целевой аудитории и проверит популярность каждого запроса.
Написать объявления, которые привлекут клиента и побудят его к действию.
Установить на сайте специальные программы-счётчики.
Проводить периодический срез по результатам рекламной компании с тем, чтобы вовремя внести корректировки.

Сервис 1PS.RU предлагает три тарифа по размещению контекстной рекламы : Тариф Базовый, Тариф Стандартный и Тариф Премиум. Вы можете выбрать любой из них, в зависимости от ваших познаний Интернет-маркетинга, уровня конкуренции в вашей сфере бизнеса и ваших финансовых возможностей.
И SEO, и контекстная реклама имеют свои плюсы и минусы. Какой способ продвижения сайта выбрать – решать вам. Если вы всё ещё сомневаетесь, то обратитесь к специалистам Сервиса 1PS.RU . Они подскажут оптимальный вариант именно для вашего сайта.

P.S.

Все действия по продвижению сайта с целью его появления на первых местах в поисковой выдаче Яндекса можно проводить самостоятельно и совершенно бесплатно. Методика и способы не меняются. Это написание статей которые попадают в ТОП-10 по поисковым запросам и реклама в Яндекс.Директ.
Но помните, что когда вы выполняете работу самостоятельно вы платите зарплату сами себе, ведь все равно несете некоторые издержки, кроме того в это же самое время вы могли бы преуспеть в том деле которое у вас лучше всего получается.
По части продвижения сайта все зависит от того, что вы хотите получить на выходе и какой ваш уровень профессионализма в той или иной области. Ведь ничто не мешает самостоятельно выращивать пшеницу, молоть муку и выпекать хлеб. Но человечество уже давно отошло от натурального хозяйства и предпочитает разделение труда. Да и быть специалистом во всех областях просто невозможно.

Доброго дня, читатели . Я всегда получаю много вопросов от вебмастеров, владельцев сайтов и блогеров об ошибках и сообщениях, которые появляются в Яндекс.Вебмастер. Многих такие сообщения пугают.

Но, хочу сказать, не все сообщения бывают критичны для сайта. И в ближайших статьях я постараюсь максимально полно охватить все возможные вопросы, которые могут возникать у вебмастеров. В данной статье пойдет речь о разделах:

Диагностика — Диагностика сайта
Индексирование — Страницы в поиске

О том, и зачем он нужен, я писала ещё несколько назад. Если вы не знакомы с данным инструментом, ознакомьтесь сначала со статьей по ссылке.

Диагностика сайта

Возможные проблемы

1. В файле robots.txt не задана директива Host

Данное замечание Яндекс примечательно тем, что директива Host не является стандартизированной директивой, ее поддерживает только поисковая система Яндекс. Нужна она в том случае, если Яндекс неправильно определяет зеркало сайта.

Как правило, зеркало сайта определяется Яндексом автоматически на основе URL, которые формирует сама CMS, и на основе внешних ссылок, которые ведут на сайт. Чтобы указать главное зеркало сайта, не обязательно указывать это в файле robots.txt. Основной способ — использовать 301 редирект, который либо настроен автоматически в CMS, либо необходимый код вносится в файл.htachess.

Обращаю внимание, что указывать директиву в файле robots.txt нужно в тех случаях, когда Яндекс неправильно определяет главное зеркало сайта, и вы не можете повлиять на это никаким другим способом.

CMS, с которыми мне приходилось работать в последнее время, WordPress, Joomla, ModX, по умолчанию редиректят адрес с www на без, если в настройках системы указан адрес сайта без приставки. Уверена, все современные CMS обладают такой возможностью. Даже любимый мной Blogger правильно редиректит адрес блога, расположенного на собственном домене.

2. Отсутствуют мета-теги

Проблема не критичная, пугаться ее не нужно, но, если есть возможность, то лучше ее исправить, чем не обращать внимание. Если в вашей CMS по умолчанию не предусмотрено создание мета-тегов, то начните искать плагин, дополнение, расширение или как это называется в вашей CMS, чтобы иметь возможность вручную задавать описание страницы, либо, чтобы описание формировалось автоматически из первых слов статьи.

3. Нет используемых роботом файлов Sitemap

Конечно, лучше эту ошибку исправить. Но обратите внимание, что проблема может возникать и в тех случаях, когда файл sitemap.xml есть, так и в тех, когда его действительно нет. Если файл у вас есть, но Яндекс его не видит, просто перейдите в раздел Индексирование — Файлы Sitemap. И вручную добавьте файл в Яндекс.Вебмастер. Если такого файла у вас вообще нет, то в зависимости от используемой CMS, ищите варианты решения.

Файл sitemap.xml находится по адресу http://vash-domen.ru/sitemap.xml

4. Не найден файл robots.txt

Все же этот файл должен быть, и если у вас есть возможность его подключить, лучше это сделать. И обратите внимание на пункт с директивой Host.

Файл robots.txt находится по адресу http://vash-domen.ru/robots.txt

На этом фонтан ошибок на вкладке Диагностика сайта у меня иссяк.

Индексирование

Страницы в поиске

Начнем именно с этого пункта. Так будет легче структурировать информацию.

Выделяем в фильтре «Все страницы»
Опускаемся ниже, справа на странице «Скачать таблицу» Выбираем XLS и открываем файл в Excel.

Получаем список страниц, которые находятся в поиске, т.е. Яндекс о них знает, ранжирует, показывает пользователям.
Смотрим, сколько записей в таблице. У меня получилось 289 страниц.

А как понять, сколько должно быть? Каждый сайт уникален и только вы можете знать, сколько страниц вы опубликовали. Я покажу на примере своего блога на WordPress.
В блоге на момент написания статьи имеется:

Записи — 228
Страницы — 17
Рубрики — 4
Метки — 41
+ главная страница сайта

В сумме имеем 290 страниц, которые должны быть в индексе. В сравнении с данными таблицы разница всего в 1 страницу. Смело можно считать это очень хорошим показателем. Но и радоваться рано. Бывает так, что математически все совпадает, а начинаешь анализировать, появляются нестыковки.

Есть два пути, чтобы найти ту одну страницу, которой нет в поиске. Рассмотрим оба.

Способ первый. В той же таблице, которую я скачала, я разделила поиск на несколько этапов. Сначала отобрала страницы Рубрик. У меня всего 4 рубрики. Для оптимизации работы пользуйтесь текстовыми фильтрами в Excel.

Затем Метки, исключила из поиска Страницы, в результате в таблице остались одни статьи. И тут, сколько бы статей не было, придется просмотреть каждую, чтобы найти ту, которой нет в индексе.

Обращаю внимание, что в каждой CMS своя структура. У каждого вебмастера свои SEO , canonical, файла robots.txt.

Опять же, если на примере WordPress, обратите внимание, какие разделы сайта у вас индексируются, а какие закрыты. Здесь могут быть и страницы Архива по месяцам и годам, страницы Автора, пейджинг страниц. У меня все эти разделы закрыты настройками мета тега robots. У вас может быть иначе, поэтому считайте все, что у вас не запрещено для индексации.

Если взять для примера Blogger, то владельцам блогов нужно считать только опубликованные Сообщения, Страницы и главную. Все остальные страницы архивов и тегов закрыты для индексации настройками.

Способ второй. Возвращаемся в Вебмастер, в фильтре выбираем «Исключенные страницы».

Теперь мы получили список страниц, которые исключены из поиска. Список может быть большой, намного больше, чем со страницами, включенными в поиск. Не нужно бояться, что что-то не так с сайтом.

При написании статьи я пыталась работать в интерфейсе Вебмастера, но не получила желаемого функционала, возможно, это временное явление. Поэтому, как и в предыдущем варианте, буду работать с табличными данными, скачать таблицу можно также внизу страницы.

Опять же, на примере своего блога на WordPress я рассмотрю типичные причины исключения.

В полученной таблице нам в первую очередь важна колонка D — «httpCode». Кто не знает, что такое ответы сервера, прочитайте в википедии . Так вам будет легче понять дальнейший материал.

Начнем с кода 200. Если вы можете попасть на какую-то страницу в интернете без авторизации, то такая страница будет со статусом 200. Все такие страницы могут быть исключены из поиска по следующим причинам:

Запрещены мета тегом robots
Запрещены к индексации в файле robots.txt
Являются неканоническими, установлен мета тег canonical

Вы, как владелец сайта, должны знать, какие страницы какие настройки имеют. Поэтому разобраться в списке исключенных страниц должно быть не сложно.

Настраиваем фильтры, выбираем в колонке D — 200

Теперь нас интересует колонка E — «status», сортируем.

Статус BAD_QUALITY — Недостаточно качественная. Самый неприятный из всех статус. Давайте разберем его.

У меня в таблице оказалось всего 8 URL со статусом Недостаточно качественная. Я их пронумеровала в правой колонке.

URL 1, 5, 7 — Страницы фида, 2,3,4,5,8 — служебные страницы в директории сайта wp-json. Все эти страницы не являются HTML документами и в принципе не должны быть в этом списке.

Поэтому внимательно просмотрите свой список страниц и выделите только HTML страницы.

Статус META_NO_INDEX. Из индекса исключены страницы пейджинга, страница автора, из-за настроек мета тега robots

Но есть в этом списке страница, которой не должно быть. Я выделила url голубым цветом.

Статус NOT_CANONICAL. Название говорит само за себя. Неканоническая страница. На любую страницу сайта можно установить мета тег canonical, в котором указать канонический URL.

9 декабря в ходе 6-й вебмастерской Яндекса Дмитрий Попов из команды Вебмастера представил две новых функции для вебмастеров. Выгрузка отчетов по поисковым запросам и обновленный инструмент - Страницы в поиске. О других обновлениях и возможностях Вебмастера мы писали .

Запись докладов доступна на канале Яндекс Академии . Рекомендуем к просмотру, будет полезно новичкам и опытным вебмастерам.

В разделе Поисковые запросы теперь можно не только смотреть все основные параметры, статистику, но и выгрузить любую необходимую информацию в.csv отчет.

Доступны:

сводные отчеты по группам запросов, популярным и избранным запросам;
детальный отчет по конкретному запросу или их группе;
детальный отчет по любому из отслеживаемых вебмастером показателей группы или запроса.

Данные можно удобно загружать в сторонние системы аналитики.

Важно: На момент написания статьи отчеты формируются некорректно. Отчет может быть пустым, либо отображать данные в сложночитаемом виде. О проблеме сообщили в поддержку Яндекса.

Обновлено: В скором времени Яндекс обещает устранить проблему. Пока, к сожалению, такие действия нужны:

меню «Файл» - «Импорт» - выбираем «Текстовый файл»;
указываем предварительно скачанный файл архива;
выбираем вариант «С разделителями» и формат «UTF-8»;
в качестве разделителя указываем «Запятая»;
нажимаем «Готово».

Второй важный инструмент - Страницы в поиске

Инструмент помогает понять:

График истории изменений отображает страницы по основным разделам.

Новый инструмент здорово облегчил жизнь вебмастерам и владельцам сайтов. Теперь можно быстро найти и удалить дублирующиеся страницы, страницы с неправильно настроенным атрибутом canonical. Отследить нерелевантную страницу и переписать на ней текст, добавить фотографию и т.д.

А как вам обновленный вебмастер? Какими еще инструментами пользуетесь?

P.S. Обязательно прочитайте следующую статью о глубокой работе с Я.вебмастером с помощью инструмента Поисковые запросы , а также материал про нововведение Яндекса -

Все мы знаем, что Яндекс.Вебмастер показывает какие страницы проиндексированы, но к сожалению не показывает, какие из них не попали в поиск.

Лично у меня уже много месяцев, сервис Яндекс.Вебмастер показывает мне очень непонятную картину:

Загружено роботом 93694
Страниц в поиске 3215
Исключено роботом 178

Делаем подсчет: 93694 - 3215 - 178 = 90301 интересно, что с этими страницами не так, про них забыли?

С этим вопросом я решил разобраться и побеседовал с представителем яндекса (далее Яндекс).

Конечно я прочитал страницу и возможно их не видно по одной из описанных причин.

Однако, если это так, то хотелось бы узнать, собирается ли Яндекс сделать полную раскладку по страницам, которые не попадают в поиск?

А именно, мне бы хотелось видеть в Яндекс.Вебмастер такую картинку:

дубликаты уже показанных страниц: 111
содержат поисковый спам: 222
содержат ненужный пользователям контент: 333

Яндекс: (ответил к сожалению сухо) приведите, пожалуйста, несколько примеров страниц, которые отсутствуют в поиске, чтобы я мог прокомментировать, с чем это может быть связано.

Я: подскажите, а как я могу узнать эти несколько страниц? Дело в том, что Яндекс.Вебмастер не показывает эти данные. Я даже залез в раздел Индексирование сайта - Страницы в поиске, и , которые есть в поиске, но на 40 странице все заканчивается и внизу страницы написано: Показаны первые 1000 из 3202 страниц. Вот и получается, что этот раздел недоработан. Может быть Вы знаете другой способ узнать страницы сайта, которые не попали в Поиск яндекса?

Яндекс: в Вебмастере, как и в поиске, предоставляется информация о 1 000 страниц в поиске. Это не ошибка.

Чтобы проверить наличие в поиске страницы или раздела сайта, рекомендую Вам использовать оператор поисковых запросов (http://help.yandex.ru/search/?id=1111369) url.

К примеру, так Вы сможете определить, присутствует ли главная страница Вашего сайта в поиске: http://yandex.ru/yandsearch?text=url%3Aсайт
Таким образом можно найти и любую другую страницу.

А так: http://yandex.ru/yandsearch?text=url%3Aсайт %2Fweb-master * - можно просмотреть страницы раздела web-master , добавив на конце запроса символ *

Я: т.е. Вы предлагаете мне вручную перебирать все 93782 страницы сайта? И всё это ради того, чтобы найти хотя бы 1 страницу, которая проиндексирована, но которой нет в поиске? Вы представляете сколько у меня времени уйдет на это? Или может быть я что-то не понял?

Яндекс: рекомендуем Вам для начала проверить, есть ли в поиске, самые Важные страницы Вашего сайта, которые, к примеру, ранее хорошо находились в поиске. К сожалению, мы не сможем Вам помочь в поисках страниц, которые отсутствуют, так как это выходит за рамки наших задач.

Вывод: Яндекс может, но не хочет реализовывать данную возможность, скорее всего преследуя свои возможно коммерческие цели.

p.s. написал свою идею сюда в , посмотрим, может что-нибудь ответят.

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

с помощью Яндекс Вебмастера;
с использованием операторов поисковой системы;
с помощью расширений и плагинов;
с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

для отслеживания изменений количества страниц в Яндексе;
для слежения за добавленными и исключенными страницами;
для выяснения причин исключения сайта из поисковой выдачи;
для получения информации о дате посещения сайта поисковиком;
для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

«site» — поиск по всем поддоменам и страницам указанного сайта;
«host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Нажимаем «Начать проверку» и через несколько секунд получаем результат: