Анализатор ссылок

Анализ ссылок и проверка внешних ссылок: вы видите каждую ссылку страницы так, как её читает Google. Внутренняя или внешняя, с nofollow или без, sponsored или ugc, куда она ведёт на самом деле и какие ссылки битые.

Читает HTML страницы с нашего сервера · проверяет каждый URL запросом GET · защиту от ботов отличает от битых ссылок

Проверка статусов вживую

Подойдёт и домен: example.org прочитает главную страницу.

  • ЗагрузкаЧитает HTML один раз
  • РедиректыДо 10, каждый проверяется
  • Robotsmeta + X-Robots-Tag
  • Найдено ссылок<a> и <area>
Проверка статусовGET для каждого URL, по 6 одновременно
Примеры
Анализ ссылок статьи Википедии: 1 117 внутренних и внешних ссылок, их статусы и карта того, куда они ведутАнализ ссылок статьи Википедии: 1 117 внутренних и внешних ссылок, их статусы и карта того, куда они ведутСначала ответСколько ссылок на странице, сколько остаётся на сайте, сколько ведёт наружу и сколько из них битых.Заметки с решениемБитые ссылки, ссылки, которые остановила только защита от ботов, редиректы, которые стоит обновить, пустые анкоры: у каждой заметки есть число и подсказка, что делать.Страница сверху внизОдна метка на ссылку там, где она стоит на странице: меню, статья, источники, подвал.Куда ведут ссылкиОдна полоса на раздел и на сайт, шириной с число ссылок, пунктиром, если ссылки nofollow.
Ссылки статьи Википедии Domain Name System: итоги, заметки и карта того, куда они ведут. Выберите число, чтобы увидеть, что показывает каждая часть.

nofollow, sponsored и ugc (и почему «dofollow» не атрибут)

rel="nofollow" просит поисковые системы не считать ссылку вашей рекомендацией, rel="sponsored" отмечает платную ссылку или рекламу, а rel="ugc" — ссылку, которую написали ваши пользователи. Ссылка без них учитывается: значения dofollow не существует.

С 10 сентября 2019 года все три значения — подсказки, а не команды, а с 1 марта 2020 года это относится и к сканированию и индексированию (Google). Значения можно сочетать, например ugc nofollow, через пробел или запятую.

Важнее всего одно: платная ссылка без sponsored или nofollow нарушает политику Google в отношении спама (Google). В статье Википедии, которую мы прочитали, nofollow есть у 267 из 287 внешних ссылок: MediaWiki добавляет его к каждому источнику.

О чём просит каждое значение rel
  • <a href>Учитывается по умолчанию: ничего добавлять не нужно
  • rel="nofollow"Не ручаюсь за неё: если другое значение не подходит
  • rel="sponsored"Платная ссылка или реклама: нужно для платных ссылок (или nofollow)
  • rel="ugc"Написана пользователями: комментарии, сообщения на форумах
  • rel="ugc nofollow"Оба: разрешено, для более старых поисковых роботов
  • rel="dofollow"Не значение: браузеры и Google его игнорируют
  1. 2005Google вводит nofollow
  2. 2019-09-10появляются sponsored и ugc; все три становятся подсказками
  3. 2020-03-01подсказки и для сканирования с индексированием
wikipedia.org/wiki/Domain_Name_System267 nofollow20 учитываетсяMediaWiki помечает каждый источник nofollow
dnsrobot.net/blog/hosting-com-coupon14 sponsored9 учитываетсянаш собственный пост с купонами: платные ссылки с sponsored

Что, если nofollow задан для всей страницы?

Тогда Google не переходит ни по одной её ссылке, что бы ни стояло в rel у самой ссылки. Мета-тег robots или заголовок X-Robots-Tag со значением nofollow действует на всю страницу; этот инструмент помечает каждую ссылку как «nofollow (страница)».

Google читает имена robots и googlebot в любом регистре, даже в теле страницы, а none означает noindex плюс nofollow (Google). Те же правила можно передать заголовком, например X-Robots-Tag: nofollow.

Страницы истории правок Википедии намеренно содержат noindex,nofollow. Прежняя версия этого инструмента такой тег не читала и считала учитываемыми 194 из первых 200 ссылок страницы истории.

Один мета-тег, все ссылки
<meta name="robots" content="noindex,nofollow">
en.wikipedia.org/w/index.php?title=Example&action=history
Прежняя версия насчитала
194 учитываемых

из первых 200 ссылок: мета-тег не читался вовсе

Читаем так, как читает Google
549

ссылок, все nofollow (страница): Google не переходит ни по одной

543 nofollow (страница)6 nofollow
То же правило в виде заголовка HTTP
X-Robots-Tag: nofollow
X-Robots-Tag: none

«Здесь заблокирована, а в браузере открывается»

Многие сайты ставят перед страницами защиту от ботов. Она останавливает посетителей, которые не выполняют JavaScript или выглядят как скрипт, поэтому наш проверяющий получает 403 или 429, а ваш браузер проходит. Такие ссылки отмечены как заблокированные, а не битые.

Cloudflare помечает свои проверки заголовком cf-mitigated: challenge (Cloudflare) и по умолчанию проверяет клиентов с необычным user agent; 429 означает слишком много запросов (RFC 6585).

Мы отправляем честный user agent и не пытаемся обойти защиту. В прочитанной нами статье заблокированными оказались 18 URL: 17 из-за Cloudflare, AWS WAF, Akamai и лимитов запросов, один из-за обычного 403. Прежде чем что-то менять, откройте их сами.

Один URL, два посетителя
Наш проверяющийчестный user agent, без JavaScript403 · 429cf-mitigated: challenge
Ваш браузервыполняет проверкузащита от ботов200
Защита в статье
  • Проверка Cloudflare7dl.acm.org · onlinelibrary.wiley.com · queue.acm.org · 403
  • AWS WAF6api.semanticscholar.org · ui.adsabs.harvard.edu · sgp.fas.org · 202 · 405
  • Лимит запросов (429)3search.worldcat.org · api.semanticscholar.org · 429
  • Защита от ботов Akamai1dyn.com → www.oracle.com · 403

target=_blank и noopener: нужны ли ещё?

В современных браузерах нет. Ссылка с target="_blank" открывает новую вкладку, и все основные браузеры теперь считают её rel="noopener": новая страница не может обратиться к вашей и изменить её. Отсутствие noopener показано как заметка, а не как риск.

Стандарт HTML в 2019 году закрепил, что _blank подразумевает noopener (HTML); это реализовали Safari 12.1, Firefox 79 и Chrome 88. noreferrer дополнительно скрывает, откуда пришёл посетитель: это вопрос приватности и аналитики, а не исправление уязвимости.

Новая вкладка больше не может обратиться к вашей
ваша страница<a target="_blank">вообще без rel
открываетне может обратиться
новая вкладкаwindow.opener→ null
  1. 2019-02HTML: _blank подразумевает noopenerwhatwg/html #4330
  2. 2019Safari 12.1неявный noopener
  3. 2020Firefox 79неявный noopener
  4. 2021Chrome 88неявный noopener
Страницы, прочитанные сегодня
  • dnsrobot.net/blog/hosting-com-couponnoopener или noreferrer есть у 23 из 23
  • github.comnoopener или noreferrer есть у 10 из 10
  • developer.mozilla.org/en-US/noopener или noreferrer есть у 10 из 10

Анализатор ссылок: частые вопросы

Безопасно ли переходить по этой ссылке?

Этот инструмент не оценивает, безопасна ли ссылка, и ни один инструмент не может обещать этого только по адресу. Он показывает, куда ссылка вела при нашей проверке, включая каждый переход; сайт может отправить наш проверяющий не туда, куда ваш браузер, так что считайте это ориентиром. Чтобы проверить репутацию сайта, найдите его домен в проверке чёрных списков IP и WHOIS-поиске, а сомнительное открывайте только в обновляемом браузере.

Как выполнить анализ ссылок на сайте и найти все ссылки страницы?

Введите адрес страницы выше и нажмите «Проверить ссылки». Мы один раз читаем HTML страницы и перечисляем все ссылки в нём, от меню до подвала, с текстом анкора, адресом, значениями rel и статусом каждого URL. Список можно скачать в CSV или JSON либо скопировать сразу все URL.

Как проверить внешние ссылки и чем они отличаются от внутренних?

Внутренняя ссылка ведёт на тот же хост, что и страница, например на другую статью того же сайта. Внешняя ведёт на другой сайт. Ссылки на другой хост того же сайта, например на поддомен с языком, считаются отдельно и показываются рядом с внутренними, так что разделение совпадает с тем, чего вы ждёте от своего сайта.

Что значит nofollow и есть ли атрибут dofollow?

rel="nofollow" просит поисковые системы не считать ссылку вашей рекомендацией; с 2019 года Google читает его как подсказку, а не как жёсткое правило. Атрибута dofollow не существует: ссылка без nofollow, sponsored и ugc учитывается по умолчанию, а инструменты со списком «dofollow-ссылок» просто имеют в виду ссылки без этих значений.

Когда использовать rel="sponsored" или rel="ugc"?

Ставьте sponsored на ссылки, за которые вам заплатили, включая партнёрские ссылки и рекламу; политика Google в отношении спама требует для них sponsored или nofollow. Ставьте ugc на ссылки, которые пишут ваши посетители, например в комментариях и на форумах. Значения можно сочетать, например ugc nofollow, для роботов, которые понимают только старый nofollow.

Почему при проверке внешних ссылок одна помечена «Заблокирована», а не битая?

Нашего проверяющего остановила защита от ботов: обычно проверка Cloudflare или Akamai (403), файрвол AWS или лимит запросов (429), либо сервер просто ответил 403 автоматическому читателю. Это ничего не говорит о том, существует ли страница: браузер обычно её открывает. Такие ссылки показаны отдельно, чтобы вы не удалили рабочие. Откройте их сами, чтобы убедиться.

Почему ссылка перенаправляет и нужно ли это исправлять?

Сайт переместил страницу и отправляет посетителей на новый адрес. Ссылка работает, но каждый переход стоит запроса и времени. Сначала исправьте ссылки внутри своего сайта, ведь вы управляете обоими концами, а внешние обновляйте до конечного адреса, когда правите страницу. Редирект, который заканчивается на 404, здесь считается битой ссылкой.

Находит ли он ссылки, добавленные с помощью JavaScript?

Нет. Он читает HTML, который присылает сервер, а именно его роботы загружают первым. Ссылки, которые скрипт добавляет после загрузки страницы, не видны, поэтому для example.com здесь нет ссылок. Google всё же может найти такие ссылки при рендеринге страницы, если это настоящие ссылки <a href>.

Страница блокирует автоматическое чтение. Можно ли всё равно её проанализировать?

Да. Откройте страницу в браузере, посмотрите её исходный код (Ctrl+U или ⌘⌥U на Mac), скопируйте всё и выберите «Вставить исходный код страницы». HTML читается в вашем браузере тем же механизмом; на наш сервер уходят только адреса ссылок, и он проверяет каждый. Ссылки, которые скрипт добавляет после загрузки, всё равно не попадают в список.

Сколько ссылок он проверяет?

Он перечисляет все ссылки страницы, до 10 000, и проверяет каждый уникальный URL один раз: до 1000 за прогон не дольше 90 секунд. Запросы идут по шесть сразу, по четыре на сайт и не больше 100 URL на любой другой сайт, а частота проверок одного сайта ограничена для всех посетителей вместе. Каждая проверка — настоящий GET с пошаговым отслеживанием редиректов, ведь на запросы HEAD часто приходят неверные ответы.

Сколько ссылок должно быть на странице?

Столько, сколько помогает вашим читателям. Google не устанавливает ограничения и говорит, что идеального числа нет; старый совет держаться меньше 100 ссылок появился, когда Google читал лишь часть страницы. Следите, чтобы важные ссылки были настоящими ссылками <a href> в HTML, а страница оставалась в пределах 2 МБ, которые читает Googlebot.

Бесплатен ли анализатор ссылок и хранятся ли страницы?

Да, он бесплатный и без регистрации. Мы один раз читаем страницу со своего сервера, проверяем каждый URL и отправляем вам результат; готовый анализ хранится 5 минут, чтобы не читать одну страницу дважды, а данные о том, кто спрашивал, не хранятся. Чтобы поделиться результатом, скопируйте ссылку: в ней адрес страницы, поэтому у любого, кто её откроет, будет тот же анализ.