Как узнать дату публикации статьи в интернете

Как узнать, когда был создан сайт?

Если необходимо выяснить, как давно в Интернете находится тот или иной сайт, то можно использовать несколько различных способов. Рассмотрим их на примере известного поисковика Yandex.

Как узнать, когда создан сайт – whois-сервисы

Можно воспользоваться информацией, предоставляемой специальными сервисами. Сайты Whois Service выдают информацию не только о дате его создания, но и о владельце, месте размещения хостинга и т.п.

Одним из популярных сайтов, к которым можно обратиться, – Domaintools.

Интерфейс его прост до предела. Необходимо в единственном поле Whois Lookup ввести адрес нашего подопытного – www.yandex.ru. После нажатия на кнопку «Search» сервер выдает результаты.

В строке Dates указана информация о создании домена – Created on 1997-09-23. Дата записана в американской системе «год-месяц-число», нам привычнее европейское представление – 23.09.1997.

Есть и другие сайты, которые могут дать подобную информацию – как англоязычные, так и русскоязычные:

  • whois.net
  • dnsstuff.com
  • whois-service.ru
  • wwhois.ru/whois.php

Как проверить, когда был создан сайт по дате на нем?

Некоторые сайты сами указывают момент начала своей работы. Традиционно дата размещается на странице в нижнем колонтитуле, называемом еще подвал или футер (footer).

На главной странице Yandex такой информации нет, но попробуем найти эту информацию в разделе «About». Так и есть, все тот же 1997 год.

Не всегда эта надпись соответствует дате регистрации. На некоторых динамично обновляемых сайтах она может просто фиксировать текущий год, означая, что копирайт относится к информации, которая отображена на странице именно в этот момент времени.

Определяем дату по содержанию сайта

Если в нижнем колонтитуле сайта у значка копирайта указан текущий год, то можно попытаться найти самые первые записи, появившиеся на нем. Попробуем уточнить дату создания Yandex Блогов. В футере копирайт указывает на 2013-2016 годы. Проверим. Для этого зайдем в раздел «Архив» и, воспользовавшись календарем, найдем самую старую запись.

Неожиданно оказывается, что это 28 января 2005 года.

Копирайт же указывает на другую дату. Почему так произошло? Оказывается, до 2012 года включительно Яндекс пользовался услугами дизайн-студии Артемия Лебедева и на страницах стоял ее копирайт. А с 2013 года дизайном сервисов начала заниматься собственная команда портала и копирайт Яндекса занял свое законное место на странице.

VPS SSD хостинг – выбор профессионалов. Только сертифицированное серверное оборудование!

Ответ на запрос браузера

Дату последнего изменения страницы можно узнать от сервисов, которые предоставляют ответ сервера на запрос.

Обратившись, например, к https://2ip.ru/server-response/, получаем пакет информации от yandex.ru. Интересующая нас информация находится после пункта Last-Modified.

В ответе указывается время по Гринвичу (Greenwich Mean Time), которое меньше московского на три часа.

Как узнать дату создания сайта онлайн?

Для проверки даты создания сайта можно использовать порталы, дающие его комплексный анализ, например, cy-pr.com. Кроме этой информации на нем можно получить подробный отчет о статистике сайта в поисковиках, его посещаемости, количестве обратных ссылок, географии его посетителей и многом другом.

В форму на странице требуется ввести адрес сайта и нажать кнопку «Анализ».

В строке Дата регистрации указана уже знакомая нам дата создания Яндекса – 23 сентября 1997 года. Другие порталы, которые предоставляют подобную информацию:

Домены в популярных национальных и международных зонах со скидкой – домены России в зоне .RU, и .РФ, международные домены .COM, .NET, .BIZ, .ORG, .ME.

Интернет-архив

Можно попытаться узнать дату создания сайта, обратившись в интернет-архив.

Да, несмотря на некоторую абсурдность названия, существует портал archive.org, занимающийся благородным делом – созданием копий сайтов (snapshot) в различные моменты времени. Проверим, когда в его поле зрения попал Яндекс.

Вводим в поле для поиска адрес Яндекса и нажимаем «BrowseHistory».

В верхней части экрана видна линейка времени, на которой отображены даты создания копий сайта. Ниже расположен календарь, где вокруг дат размещены цветные круги, пропорциональные количеству копий, сделанных в этот день. Выбираем самый ранний, 1998 год.

Видно, что копии делались только дважды – 6 и 12 декабря.

Двойным кликом на отмеченных датах можно открыть сайт в том виде, как он выглядел на этот момент. Нетрудно убедиться, что «тот» Яндекс с современным имеет мало общего.

Как узнать дату создания страницы сайта?

Если страница сайта содержит какую-либо обновляемую информацию, например, новости, то дату ее создания можно определить по дате самой последней записи. На главной странице Yandex хорошо видно, когда она была сформирована именно в этом виде, 15 октября в 11 часов 42 минуты:

Вот так выглядит дата создания страницы в блоге Яндекса:

Видно, что последняя запись была сделана 7 октября в 11:10, что и является моментом создания этой страницы.

Если страница содержит какие-либо формы для комментариев, то дату ее создания можно определить по дате самого первого комментария, например:

Конечно, первый комментарий может появиться не сразу после создания страницы, но уж никак не раньше. То есть мы можем быть уверены, что страница создана ранее этой даты.

Таким методом легко определить дату начала работы форума. Необходимо найти самые первые комментарии или сообщения от администраторов о правилах форума. Обычно они являются самыми первыми записями и точно отражают дату начала работы форума.

Или, если доступны данные о зарегистрированных пользователях, посмотреть дату первой регистрации.

Каждый из этих методов проверки не занимает много времени. Можно воспользоваться одним из них, а можно совместить несколько вариантов.

Как узнать дату публикации материалов в интернете

Проверка фейков – это не только проверка достоверности тех или иных данных. В некоторых случаях необходимо удостовериться, что человек опубликовал материал в определенный день. Это может быть нужно, например, чтобы быть уверенными в авторстве материала или в том, что именно этот человек или этот сайт является первоисточником для определенных фактов или сведений.

Как найти дату публикации материалов на сайте

Чтобы удостовериться, что материал был опубликован в определенный день либо что именно этот ресурс является первоисточником и сведения были опубликованы на нем в определенную дату, а не постфактум, через несколько дней, нужно найти дату публикации материала. Кроме того, иногда бывает нужно увидеть дату последнего обновления материала, чтобы удостовериться, что опубликованные в нем данные действительно самые свежие и актуальные.

Сразу признаем, что сделать это часто бывает довольно сложно.

Дело в том, что существует очень много способов скрыть эту информацию от посетителей сайта либо подменить ее, практически не оставляя следов.

Иными словами, не всегда просто узнать, когда был опубликован тот или иной материал на сайте. Большинство сайтов указывают дату и иногда даже время публикации, обычно эта информация размещается ниже названия материала. В некоторых случаях дату можно обнаружить прямо в адресе веб-страницы – многие системы управления контентом формируют адрес на основе даты публикации. Такой веб-адрес будет выглядеть, например, так:

Если явного отображения даты нет, то можно поискать ее в коде страницы. В нем дата может быть отображена в заглавии – рекомендуется найти команду «Last Modified». В этом случае можно будет увидеть дату обновления страницы. Однако следует помнить, что эти даты могут не совпадать. Довольно часто редакторы сайтов добавляют слово «обновлено» для измененных материалов.

К явному отображению дат следует отнестись с осторожностью — ведь нет никакой гарантии того, что на странице указана точная дата выхода материала. Не стоит исключать возможности того, что автор или редактор могут и соврать. По большому счету, указание даты – это не более чем добрая воля владельца сайта или его контент-менеджера.

Браузер Firefox позволяет увидеть дату последнего обновления просматриваемой страницы. В контекстном меню страницы при ее просмотре через Firefox есть пункт «Информация о странице». С ее помощью можно получить много различной информации о веб-странице, в том числе и дату последнего обновления. Правда, эта дата может быть некорректна для больших порталов – браузер будет отображать не дату публикации статьи на конкретной странице, а дату обновления всего сайта либо вовсе дату открытия страницы в браузере.

Дата публикации и кеш браузера

Поисковая система Google кеширует страницы – сохраняет в собственной базе данных копии, чтобы обеспечить более быстрый их просмотр пользователями. Кроме того, кеш Google позволяет увидеть страницу, которая недоступна. Благодаря ему мы можем узнать, когда страница была работоспособна в последний раз и как она выглядела на момент кеширования. Следует понимать, что дата страницы из кеша — это не дата публикации, а день, когда страница была доступной для просмотра и то, как она выглядела в тот день.

Чтобы получить копию страницы из кеша браузера, нужно скопировать ее адрес и ввести его в поисковую строку Google. Если на странице есть дата, то Google укажет ее ниже названия статьи.

Рядом с содержанием страницы можно увидеть небольшую стрелочку – с ее помощью можно посмотреть сохраненную в кеше копию страницы.

При просмотре страницы из кеша поисковая система сообщит вам, на какой момент страница выглядела именно так.

Аналогично работает и кеш поисковой системы «Яндекс». Так как «Яндекс» не так часто кеширует страницы, то в некоторых случаях информация из кеша «Яндекса» может быть ближе к точной дате публикации материала.

Дата публикации через Google

Можно ввести на странице Google команду «Inurl:», после которой в кавычках указать веб-адрес статьи. Ниже заголовка и до описания будет отображаться первоначальная дата публикации – если поисковая система смогла найти эту дату в коде страницы.

Читайте также:  Как вернуть деньги или продукцию

Если дата не отображается в результатах выдачи Google, добавьте «&as_qdr=y15» в конце адреса полученной страницы результатов поиска Google.

Эта дата не обязательно является датой публикации. Как правило, это дата, когда Google заметил последнее обновление этой страницы. Но для статических статей и сообщений в блоге эта дата, как правило, довольно релевантна.

Дата публикации и карта сайта

Еще один способ увидеть дату публикации – воспользоваться картой сайта. Не всегда карта сайта доступна по ссылке с главной его страницы. В этом случае можно воспользоваться файлом Sitemap – это файл формата .xml, который содержит URL-адреса и метаданные для каждой страницы в пределах сайта.

Стандартного способа найти этот файл не существует, но есть три способа, которые помогут решить эту задачу.

Во-первых, это ввести «sitemap.xml» в конце веб-адреса сайта.

Если это не сработало и страница не найдена, можно прокрутить страницу до конца и поискать ссылку на “Sitemap”.

Если и это не принесло успеха – можно дать запрос «site: example.com filetype:xml» в Google. В поисковой выдаче будут отображены только XML-файлы для этого домена. В этом списке можно найти ссылки на карту сайта.

Если же удалось найти карту сайта, в ней можно найти строку для конкретной страницы. Рядом со страницей будет указана дата последнего изменения страницы.

Даты и комментарии

Многие сайты еще поддерживают комментарии, и именно комментарии помогут узнать дату публикаций для некоторых материалов. Комментарии, в отличие от текстов, сопровождаются указанием даты. Можно прокрутить страницу, найти самый старый комментарий – его дата поможет понять, когда был опубликован материал.

Архив интернета

Google и все другие поисковые системы отслеживают историю изменений страниц, поскольку они периодически их индексируют. Иногда страница может исчезнуть из кеша поисковой системы – либо в силу того, что сайт давно не обновлялся, либо владелец сайта сам захотел удалить страницу. Еще одна причина недоступности сохраненной копии в кеше – недоступность сайта.

Однако существует еще один способ проверить, как выглядела давно удаленная страница и, в некоторых случаях, найти на ней дату публикации. Для этой цели можно воспользоваться архивом интернета.

Используя интернет-архив «Wayback Machine», можно просматривать веб-страницы в том виде, в котором они выглядели в определенный момент времени в прошлом. Следует учесть, что Internet Archive копирует и хранит копии страниц с определенной периодичностью – может быть раз в несколько месяцев или раз в несколько недель. Это означает, что при поиске даты публикации можно будет получить не конкретную дату, а некий временной интервал появления страницы.

Интернет-архив может индексировать не все страницы сайта. Это означает, что не исключено, что нужный материал в архиве не сохранился.

Существует проблема и с отслеживанием новых ресурсов – по словам администрации архива, до того, как его страницы появятся в базе, может пройти около полугода.

Но, даже со всеми этими ограничениями, интернет-архив может быть полезным в вопросе исследования временных изменений веб-страниц.

Дата публикации и дата загрузки изображений на сайте

Веб-адреса изображений, загруженных на веб-сайт, часто содержат временную отметку. Отображаемая дата может считаться надежной, если это конкретное изображение было загружено именно для этой статьи. Хотя дата загрузки изображений может не совпадать с датой публикации, она позволяет примерно установить период, когда она была написана.

Однако стоит помнить, что если изображение взято с хостингов или из библиотеки самого сайта, куда оно было ранее загружено, его дата будет неточной по отношению к статье или странице.

Как найти дату создания сайта

В некоторых случаях бывает нужно найти дату создания сайта, например, чтобы оценить, корда появился тот или иной ресурс, действительно ли он существовал в определенное время.

Дату создания сайта обычно владельцы веб-сайтов не указывают, однако в открытых источниках можно найти дату регистрации доменного имени. Не стоит забывать, что регистрация домена может быть проведена гораздо раньше, чем собственно начал работать сайт.

Найти дату регистрации домена можно с помощью сервисов Whois – эти инструменты позволяют не только найти информацию о дате регистрации домена, но и подскажут, кто владелец ресурса, покажут его контактные данные.

Задача поиска даты публикации материалов в интернете довольно сложна. Более того – даже если вы нашли дату довольно быстро, то рекомендуется проверить ее другими способами, ведь подменить дату уже опубликованного материала можно очень легко. Однако использование разных способов в комплексе, анализ открытых источников позволят сделать эту задачу более реальной.

Как быстро узнать дату создания сайта в Интернете?

Здравствуйте, уважаемые читатели! Бывают такие ситуации, когда позарез нужно выяснить, как давно в Интернете работает тот или иной сайт. Причины для этого могут быть абсолютно разными, но способы достижения цели всегда одни и те же. В данной статье мы расскажем вам о том, как узнать дату создания сайта. Пользуйтесь предложенными способами на здоровье.

С какого момента считается возраст?

Первое, о чём нужно сказать: определять мы будем дату РЕГИСТРАЦИИ ДОМЕНА. Число, месяц и год, когда было зарегистрировано доменное имя, и будут считаться днём рождения веб-сайта.

Конечно, не факт, что он начал свою работу сразу же – между регистрацией домена и запуском ресурса в работу могли пройти дни, месяцы и даже годы. Кроме того, на этом доменном имени ранее мог располагаться совершенно другой сайт или простая заглушка. Не всегда есть возможность точно проверить это, но всё же некоторые пути для этого есть. Читайте далее и всё узнаете.

Способы определения возраста

Для выяснения даты создания вы можете пойти несколькими путями. Для большей достоверности лучше использовать их все. Начнём по порядку – от самого простого.

Спросить у владельца

Говорят, что язык до Киева доведёт. В более широком смысле эта фраза означает следующее: если вас что-то интересует – спросите об этом, и, быть может, вы получите ответ. Всё просто.

Поэтому если вы хотите получить ответ из первых рук, то просто напишите администратору сайта, задав прямой вопрос: «Сколько работает ваш ресурс?». Естественно, предсказываем ответ: «А зачем вам это нужно?». Так что заранее лучше придумать и причину, по которой вас это интересует. Например, проводите опрос, изучаете рынок, хотите предложить услуги по продвижению и т.д. Или заявите прямо – простое любопытство.

Подозреваю, что мало кто воспользуется данным способом ввиду природной скромности, поэтому переходим далее.

Посмотреть на сайте

Откройте главную страницу любого ресурса и переместитесь в самый низ (так называемый подвал). Обычно там ставится знак копирайта и указывается период, в течение которого сайт функционирует.

Выглядит это примерно так: Название веб-ресурса © 2010 – 2016.

В данном примере мы понимаем, что начало работы — это 2010 год. Правда точный день (число и месяц) таким образом узнать нельзя.

Сервис проверки истории домена

Используем один из самых популярных онлайн сервисов – Whois History . Здесь можно посмотреть полную историю доменного имени, начиная с самого первого дня его регистрации. Введите имя в соответствующее поле и нажмите «Найти».

Переместитесь в самый низ результатов и обратите внимание на строчку «created». Это и будет датой регистрации.

Если в истории вы увидите, что в какой-то промежуток времени домен был свободен, то, скорее всего, до этого времени на нём располагался совсем другой сайт. Поэтому отсчёт даты создания того веб-сайта, который вы проверяете, начинается с того момента, когда доменное имя было зарегистрировано вновь.

Есть более простой сервис – Whois Service , где вы можете увидеть дату самой последней регистрации.

Как узнать, с какого дня начал работать сайт?

Как уже говорилось выше, дата регистрации домена не всегда совпадает с датой создания сайта. Доменному имени может быть уже 3 года, а ресурс, расположенный на нём, заработал всего 2 месяца назад. Как это определить?

Один из способов был описан выше – смотрите на копирайт в подвале главной страницы. Другой способ – воспользоваться веб-архивом. Что это такое?

Веб-архив – это ресурс, сохраняющий копии страниц других сайтов в определённый момент времени. Вы можете узнать, как выглядела та или иная веб-страница несколько месяцев или несколько лет назад.

Зайдите на веб-архив, введите нужный адрес и нажмите «Browse History».

Вы увидите даты, за которые доступен просмотр копии. Выберите самую раннюю, нажмите на неё и посмотрите, как выглядел сайт. Сопоставьте эту информацию с той, которую вы получили при просмотре копирайта и проверке истории, и делайте выводы.

Удачи вам! По всем вопросам пишите в комментариях к статье!

Возраст сайта. Как узнать. Что делать с этой информацией

Возраст сайта и домена. В чем разница

Сразу разграничим два понятия: возраст сайта и домена.
Возраст домена отсчитывается с даты регистрации URL. Длительность жизни сайта определяется с момента публикации первой статьи.

Определить реальный возраст сайта довольно сложно. Сами знаете, домены покупаются и продаются, а сайты переезжают на новые адреса.

Важен ли возраст сайта

Считается, что чем больше срок жизни, тем больше поисковики доверяют ресурсу. Особенно нелегко приходится сайтам до 1 года. Поисковики помещают молодые сайты в песочницу и старательно приглядывают за ними. Главное, пережить период взросления.

Но вот Джон Мюллер — представитель Google утверждает, что возраст веб-сайта никак не влияет на ранжирование.

Читайте также:  Принципы и функции конституции рф

Также он добавил:

«Я не вижу, как возраст сам по себе может быть хорошим сигналом. Контент не становится автоматически лучше только потому, что он более старый».

Как узнать возраст сайта

Спуститься в подвал

На некоторых ресурсах он указан в подвале главной страницы.

Вернуться к корням

Найдите первые публикации. Способ, конечно, не самый надежный. Старые публикации теряются при переезде на другие домены, а владельцы ресурсов удаляют устаревшие статьи.

Воспользоваться онлайн-сервисами

Например, можно обратиться к сервису Archive.org — архиву интернета. Этот ресурс с 1996 года собирает информацию и делает слепки всех известных и посещаемых ресурсов.

Так, сайт puzat.ru впервые появился в сети в 28 сентябре 2008 года.

Если кликнуть на подсвеченную дату в календаре, то можно увидеть, как выглядел сайт в это время.

Вот таким был puzat.ru в далеком 2008 году. Тогда доллар стоил 24 рубля, а сайт был личный блогом Романа Пузата. Никто не учился делать сайты на «Марафоне Начало» . Да, и марафонов еще не было. Хорошо, что сейчас всё изменилось. Ну, кроме курса доллара.

Зачем знать возраст домена

При покупке домена лучше убедиться, что он никем не использовался ранее. Скорее всего, домен забросили не просто так. Да, возможно, кто-то забыл заплатить за хостинг. Но о хорошем ресурсе, который приносит прибыль, не забудут. Кто знает, может он обложен различными фильтрами.

Однако по сети ходит байка: «Однажды один товарищ купил домен google.com за 10 долларов. Человек оказался сознательным и отдал домен обратно. В качестве благодарности ему подарили 1000 долларов».

Мораль: чудеса случаются, но это неточно.

Как узнать возраст домена

Whois-сервис

Ресурс умеет определять точную дату регистрации домена.
Например, puzat.ru был зарегистрирован 11 сентября 2008 года.

Site Spy

Сервис тоже умеет определять продолжительность жизни и точную дату регистрации домена.

Что стоит запомнить о возрасте сайта

Возраст и чистоту домена нужно проверять перед покупкой домена. Советуем выбирать новорожденные домены без истории.

Важность возраста сайта и домена — спорный момент. Он влияет на ранжирование только в первые месяцы жизни ресурса. Совсем молодой сайт будет ниже в выдаче. И это нормально. Поисковики хотят показывать пользователям только качественный контент. А вам нужно время для наращивания ссылочной массы и наполнения ресурса интересными статьями.

Это же актуально для ресурсов с большим стажем. Не получится забросить сайт и выезжать только на возрасте. Ресурс требует постоянного наполнения новым полезным и уникальным контентом.

А как вы считаете: играет возраст домена какую-то роль при ранжировании сайта? Высказывайтесь в комментариях.

Возраст страницы в Яндексе. Что на самом деле показывает оператор «date:»

Для ряда задач SEO -аналитики требуется определение возраста страниц в поисковой базе Яндекса. Типичные примеры таких задач – анализ конкурентов, проверка корректности склейки зеркал, отслеживание динамики добавления контента.

В настоящий момент преимущественно используется два способа определения даты первой индексации документа:

  • Параметр modtime в Яндекс.Xml.
  • Поиск с использованием оператора “date:”

Интересно, что согласно справке Яндекса оба метода должны приводить к нахождению даты изменения документа. См. официальную информацию по date а также анализ применения modtime.

Очень четко это противоречие видно из статьи в блоге Топэксперт:


(Вторая графа – “Описание”, третья – “Применимость”).

Итак, официальная информация не соответствует сложившейся практике использования оператора. Разумеется это произошло не просто так. Оптимизаторы неоднократно замечали, что даже регулярно изменяющиеся страницы (например раздел “новости” или главная страница блога) имеют, согласно “date:”, дату изменения, равную дате появления в индексе.

Попробуем разобраться в вопросе и разрешить это противоречие.

Отправная точка: наблюдаем резкую смену возраста согласно “date:” на ряде страниц сайта

В начале декабря 2016 было зафиксировано изменение даты для ряда страниц на alexeytrudov.com. Пример (актуальная выдача):

Проверка в конце ноября показывала дату 20121205, точно так же как и параметр modtime в Яндекс.Xml. Примечательно, что этот параметр для изучаемого сайта не изменился:

Вероятно, мы имеем дело с рассинхронизацией основного поиска и Яндекс.Xml.

5 декабря 2016 удалось зафиксировать две разные даты для одного документа одновременно:

Первая дата – это время публикации статьи. Но откуда взялась вторая?

На сайте в изучаемый период не было резких изменений в плане контента или структуры. Однако был подключен и активно тестировался плагин WP-Cache.com. Он сохраняет страницы сайта в виде простых html-файлов и отдает пользователям и поисковым роботам их. А для статичных файлов сервер также генерирует заголовок Last-Modified, содержащий время их последнего изменения.

Посмотрим, что написано в справке Яндекса об этом заголовке:

Насколько критично, что мой сервер не выдает last-modified? Я пытался настроить этот параметр, но ничего не вышло.

Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:

  • в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
  • при сортировке по дате сайт не будет виден большинству пользователей;
  • робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.

Чаще всего SEO -специалисты обращают внимание на третий пункт. Если же мы сопоставим первые два минуса с описанием оператора “date:”, то получим стройную гипотезу, объясняющую противоречия в его использовании.

При поиске с помощью оператора “date:” Яндекс действительно пытается отобразить дату изменения страницы. Однако если на сайте не настроена отдача корректного заголовка Last-Modified, то сделать это технически невозможно, так как робот не может мониторить изменения всего Интернета каждую секунду.

Поэтому для url, где Last-Modified не работает, Яндекс показывает дату первой индексации (либо повторной, что может наблюдаться при неполной склейке зеркал или выпадении из индекса; возможны и другие причины).

Примера одного сайта и нескольких десятков страниц недостаточно, чтобы считать эту гипотезу доказанной. Попробуем проверить ее на более серьезной выборке. Собственно, весь предыдущий текст был лишь введением.

Переходим к исследованию.

Корреляции между датами для 100 000 случайных документов

Массив данных для анализа был получен следующим образом:

  1. Выполнен поиск документов с помощью Яндекс.xml c ограничением по оператору “date:” для 100 разных дат из 2015 года и запросов в виде букв. Пример запроса: “а date:20151028”. Всего собрано 100000 документов, для каждого у нас имеется показатель “изменения” из “date:” и из modtime.
  2. Отсеяны повторяющиеся url. В выборке осталось 97949 документов.
  3. Для каждого документа запрошены заголовки сервера. Если среди них содержался Last-Modified, он записывался в базу.

Итого у нас оказалась база данных из 97949 тестовых url, для которых собраны:

  • дата согласно оператору date:
  • дата из modtime (если этот параметр содержался в xml-ответе)
  • дата из Last-Modified (если документ отдавал этот заголовок).

41 страница имела заголовок в некорректном формате, например таком:

В ходе дальнейшего анализа для таких url считалось, что Last-Modified отсутствует.

Какую картину мы получим, если изложенная выше гипотеза верна?

  • Во-первых, дата согласно оператору и дата, полученная из Last-Modified будут совпадать на значительном числе тестовых url.
  • Во-вторых, если при этом обнаружится, что для url с Last-Modified дата из оператора отличается от даты из modtime, то мы получим дополнительный сильный аргумент “за”. Логика проста – тут будет очевидно, что мы имеем дело с изменившимся документом, а не просто тем, для которого Last-Modified совпадает с датой создания и никогда не менялся.

Итак, это наш прогноз на основе гипотезы. Подтвердится ли он?

Результаты и обсуждение

Разберем частоту встречаемости разных типов url среди всей выборки.

Сначала базовые данные, для понимания общих закономерностей.

Группа urlКоличествоДоляПримечание
Modtime отсутствует1266112,93%
Date и Modtime не совпадают1533615,66%Только для тех url. где modtime есть
Date и Modtime совпадают6995271,42%
Присутствует корректный по формату Last-Modified1670617,10%

А теперь перейдем к типам url, которые могут подтвердить или опровергнуть выдвинутую гипотезу.

Сравнение дат из разных источников

Всего в выборке найдено 10799 url, для которых данные для date и Last-Modified совпадают. Это довольно много – 64,6% от всех документов, имеющих Last-Modified.

Есть ли среди них те, где не совпадает date и modtime? Да, их нашлось 10557 или 97,8%. Если дополнительно ограничить поиск только существующими modtime, то получаем только 3215 результатов.

Что это может означать?

Сравним две части выборки по встречаемости пустого modtime:

Без Last-Modified
(всего 81243)
С Last-Modified
(всего 16706)
Количество url с пустым modtime35999062
Доля url c пустым modtime4,43%54,24%

То же самое на диаграмме:

Разница в доле весьма высока. Можно предположить с достаточно высокой степенью уверенности, что страницы, отдающие Last-Modified, в 10 раз чаще имеют пустой modtime. Также очевидно, что наличие этого заголовка тесно связано с несовпадением между датами из modtime и оператора date.

Однако взаимосвязь между “date:” и Last-Modified еще не очевидна. Выше мы видели, что для 35% страниц они показывают разные данные. Изучим их подробнее.

Характеристики url, где данные из “date:” и Last-Modified не совпадают

Итак, в этой части выборки 5907 url.

  • 2635 отдают Last-Modified, совпадающий с датой парсинга (вероятнее всего, результат неверной настройки заголовка, когда он показывает текущее время; так рекомендует сделать несколько ошибочных инструкций).
  • Еще 1567 отдают Last-Modified с разными датами 2016 года, преимущественно ноябрьскими.
  • У 85 в этом заголовке указано 1 января 1970.
Читайте также:  Можно ли продать квартиру в аварийном доме

Несовпадение для этих случаев в рамках нашей гипотезы находится легко: либо Last-Modified не соответствует реальной дате изменения, либо робот еще не успел его учесть.

Таким образам потенциально противоречат нашей гипотезе только 1620 документов или 9,7%. Иначе говоря, в 90% случаев, если у робота была возможность учесть корректный Last-Modified, информация в нем совпадает с той датой, что можно определить с помощью “date:”.

При этом большинство документов, отдающих Last-Modified демонстрируют отличие между данными из modtime и “date:”.

Выводы

  1. Оператор date действительно предназначен для поиска страниц по дате изменения. Однако в условиях, когда большая часть страниц (83%, согласно нашей выборке) не отдают Last-Modified, возможности Яндекса по корректному отображению даты изменения ограничены.
  2. В случае использования корректного заголовка Last-Modified он используется для определения времени, отображаемого в “date:”, но не используется для modtime.
  3. Несмотря на сходное описание в официальной справке, даты изменения согласно “date:” и modtime формируются по-разному. Альтернативное объяснение – в том, что новые данные попадают в выдачу Яндекс.xml с задержкой.
  4. На практике следует учитывать возможность наличия Last-Modified у анализируемых url. Если страница отдает (или отдавала в прошлом) этот заголовок, то при помощи оператора “date:” установить дату первой индексации не представляется возможным.
  5. Едва ли не самое важное следствие. Нет оснований полагать, что “date:” как таковой служит надежным индикатором для реального возраста страницы, который может учитываться в ранжировании по принципу “чем старше тем лучше”. В противном случае страницы, отдающие Last-Modified согласно рекомендациям Яндекса, ранжировались бы хуже. В свете приведенных данных “возраст” по “date:” выглядит скорее техническим параметром для удобства пользователя.
  6. Предыдущий пункт отчасти актуален и для страниц, где Last-Modified не формируется. Взаимосвязь “date:” и Last-Modified достаточно хорошо выражена, но это не значит, что на результаты поиска с “date:” не влияют другие факторы, пока не определенные.

Использование Last-Modified может быть полезно не только для ускорения индексации, но и для попадания в выдачу по запросам с использованием расширенного поиска, когда пользователь ищет свежий контент (подходит для продвижения новостей, мероприятий, рекламных акций). Идея не нова, однако большая часть владельцев сайтов и оптимизаторов игнорируют эту возможность.

Автор: Алексей Трудов, SEO -аналитик и независимый консультант. Ведет персональный блог об интернет-маркетинге, основатель сервиса анализа сайта на основе реальной статистики SEO -прорыв.

Как быстро и точно определить возраст сайта несколькими способами

Здравствуйте, начинающие разработчики и читатели моего блога Start-Luck. Сегодня мы поговорим с вами о анализе конкурентов. Основным мерилом «крутости» сайтов считается их возраст. В принципе, я целиком и полностью согласен с этим мнением.

Даже если не брать в расчет интернет. Классно, когда человек проработал на должности с десяток лет. Наверняка за это время он многому научился и даст вам более ценные рекомендации.

Моему блогу чуть больше года, а сегодня вы поймете как узнать когда создан сайт конкурента. Немного об этой теме я уже рассказал в статье о путешествиях во времени. Эта публикация подскажет как посмотреть дизайн популярным ресурсов за последние 10 или 20 лет.

Сегодня нас интересует исключительно возраст: что считается возрастом, для чего полезны эти сведения и несколько точных и не очень методов узнать сколько лет проект находится в интернете.

Что такое «возраст» сайта

Если брать поисковые системы, которые в первую очередь должны волновать разработчика, то они под возрастом понимают время, когда был зарегистрирован URL. К примеру, под доменом VK.com долгое время находилась не социальная сеть Вконтакте, а какой-то очередной поисковик.

Если домен выкуплен, то реальный возраст конкретного проекта узнать будет довольно сложно, а о достоверности данных и речь быть не может. Однако, к счастью, если вы преследуете цель анализа ресурса в маркетинговых целях, для разработки собственной стратегии или анализа конкурента, то именно возраст домена вам и нужен.

Цель анализа

Мне на ум приходит три цели, которые вы можете преследовать, анализируя информацию о возрасте портала.

  • Вы хотите детально продумать собственную стратегию продвижения, основываясь на чужой статистике.
  • Вы читаете статью и нуждаетесь в информации насколько актуальны сведения, основываясь на возрасте страницы.
  • Возможно вы хотите купить уже существующий сайт или домен, например, на Telderi. И несмотря на то, что там отображается вся информация, вы хотите убедиться в ее качестве.

Последняя причина моя любимая: «Вам просто скучно, а потому – почему бы и нет». Если у вас есть другие варианты, с удовольствием почитаю комментарии, оставляйте, буду премного благодарен.

Влияние возраста

Как человек с большим опытом работы ценится выше, так и взрослый сайт охотнее помещают на первые места поисковой выдачи. Ранжирование – именно на него и влияет возраст. Возможно, вы уже знаете, что молодые сайты, не достигшие полугода, находятся в «песочнице» и заработать первое место практически невозможно.

Есть также и старые публикации, которые выкидывают с первых мест, так как информация написана очень давно. Конечно же, поисковики пока не умеют читать тексты и если вы пишете свежий материал о том, как сделать анестезию при помощи молотка, то есть все шансы попасть в ТОП, вытеснив публикации о современных препаратах.

Хотя, поговаривают, что скоро LSI наберет обороты и статьи будут проверяться еще и на достоверность фактов.

Проверка

Самый простой способ узнать возраст – посмотреть дату публикации, если она имеется. Назвать этот метод достоверным нельзя, так как многие разработчики нарочно обновляют свои старые записи, чтобы не вылетать из ТОПа. У других эта информация закрыта. В любом случае, в рамках этой статьи, об этом способе я должен был написать, хоть и не считаю его хорошим.

Второй способ практически идеален и это онлайн сервисы. Какие именно?

Давайте проверим как работают эти сервисы на примере моего сайта.

Итак, для начала захожу на pr-cy . Обратите внимание на здесь вы можете произвести множество различных анализов и узнать массу интересной информации не только о возрасте сайта. Давайте для интереса перейдем к анализу сайта. Ввожу свой URL.

Здесь отображен список задач для разрешения ошибок, статистика портала, его посещаемость, список ссылок, ведущих на проект и множество полезных сведений. Практически все, кроме возраста.

Для того, чтобы узнать больше о сроках регистрации домена возвращаюсь в инструменты и перехожу к проверке WhoIs. Это обязательный протокол для всех сайтов, который позволяет определить полную информацию о владельцах IP и доменов. Обязательный атрибут каждого интернет-проекта.

И, к сожалению, ничего не получаю. Мне предлагают перейти на портал Reg.Ru. Ну, что же, pr-cy все равно не плох, к тому же, быть может это какая-то временная ошибка, которая вот-вот исправится.

Интересный момент, не обязательно переходить на Рег.ру. Можно немного изменить ссылку https://www.cy-pr.com , ввести сюда имя домена, и получить всю необходимую информацию.

Reg.Ru

Скажу сразу, Reg.Ru меня более чем порадовал. Заходите на сайт, вставляете домен, который надо проверить и опять-таки кликаете в WhoIs.

Здесь можно найти дату регистрации и ее окончания. Стоит отметить, что если вам понравился какой-то домен и вы ждете, когда можно будет его перекупить, то сразу скажу, что идейка так себе. У предыдущего владельца домена всегда будут на него преимущественные права.

Известен случай, когда некий программист был в течение нескольких минут владельцем домена Google. Купил он его кажется за 10$, посмеялся, что корпорация забыла проплатить следующий период, написал письмо в Гугл и вернул URL обратно. Могу ошибаться, но кажется, за это ему выплатили несколько сотен или тысячу долларов, в качестве благодарности.

На этом история закончилась.

Кстати, по серверам DNS можно понять где размещен сайт, на каком хостинге.

Reg.ru уникальная система проверки. Обратите внимание на ссылочку внизу окна «История домена».

За дополнительную плату, которая зависит от типа проверки, можно узнать историю изменения хостинга и владельцев домена, то есть реальный возраст сайта без учета того времени, когда сайт принадлежал другим людям.

WhoIs.net

Еще один сервис, помогающий определить возраст домена WhoIs.net . Он на английском, но разобраться будет не так трудно. Вставляете ссылку и жмете на лупу.

Готово, тут вам и информация о создании домена, и о месторасположении DNS – серверов, то есть за каким хостингом закреплено доменное имя.

Site-Spy

Один из самых простых сервисов для проверки — Site-Spy . Он сам посчитает сколько лет сайту вплоть до дня основания и выдаст вам основную информацию.

Переходите во вкладку «Узнать возраст сайта» и получаете конкретный результат.

Также вы можете получить информацию о серверах.

Ну и последний ресурс 2ip.ru , точно также как и первый, дает широкие возможности для анализа. Благодаря ему вы можете узнать свой IP, на какой платформе создан сайт, как быстро он загружается и даже его посещаемость.

Вот вся информация.

Давайте ради интереса проверим на какой CMS располагается мой блог. Откровенно говоря, редкий случай, когда сервис действительно верно определяет Start-Luck. И тем не менее в этот раз он не подвел. Найдены признаки использования движка WordPress. Ура-ура.

На этом, мой небольшой обзор считаю завершенным. Не забывайте, что у вас есть возможность подписаться на рассылку, чтобы получать сводку опубликованных материалов за неделю и не пропустить нечто ценное.

Добавить комментарий