Достаём потерянные статьи из сетевых хранилищ / Habr
Решение рассматривается (пока) только для одного сайта — того, на котором мы находимся. Идея появилась в результате того, что один пользователь сделал юзерскрипт, который переадресует страницу на кеш Гугла, если вместо статьи видим «Доступ к публикации закрыт». Понятно, что это решение будет работать лишь частично, но полного решения пока не существует. Можно повысить вероятность нахождения копии выбором результата из нескольких сервисов. Этим стал заниматься скрипт HabrAjax (наряду с 3 десятками других функций). Теперь (с версии 0.859), если пользователь увидел полупустую страницу, с которой можно перейти лишь на главную, в личную страницу автора (если повезёт) и назад, юзерскрипт предоставляет несколько альтернативных ссылок, в которых можно попытаться найти потерю. И тут начинается самое интересное, потому что ни один сервис не заточен на качественное архивирование одного сайта.Кстати, статья и исследования порождены интересным опросом А вас раздражает постоянное «Доступ к публикации закрыт»? и скриптом пользователя dotneter — комментарий habrahabr.ru/post/146070/#comment_4914947.
Кеш Гугла
В отличие от кеша Яндекса, к нему имеется прямой доступ по ссылке, не надо просить пользователя «затем нажать кнопку „копия“». Однако, все кеширователи, как и известный archive.org, имеют ряд ненужных особенностей.
2) далее, возникает такая смешная особенность, что они могут чуть позже закешировать пустую страницу, говорящую о том, что «доступ закрыт».
3) поэтому результат кеширования — как повезёт. Можно обойти все такие кеширующие ссылки, если очень надо, но и оттуда информацию стоит скопировать себе, потому что вскоре может пропасть или замениться «более актуальной» бессмысленной копией пустой страницы.
Кеш archive.org
Он работает на весь интернет с мощностями, меньшими, чем у поисковиков, поэтому обходит страницы какого-то далёкого русскоязычного сайта редко. Частоту можно увидеть здесь: wayback.archive.org/web/20120801000000*/http://habrahabr.ru
Да и цель сайта — запечатлеть фрагменты истории веба, а не все события на каждом сайте. Поэтому мы редко будем попадать на полезную информацию.
Кеш Яндекса
Нет прямой ссылки, поэтому нужно просить (самое простое) пользователя нажать на ссылку «копия» на странице поиска, на которой будет одна эта статья (если её Яндекс вообще успел увидеть).
Как показывает опыт, статья, повисевшая пару часов и закрытая автором, довольно успешно сохраняется в кешах поисковиков. Впоследствии, скорее всего, довольно быстро заменится на пустую. Всё это, конечно, не устроит пользователей веба, который по определению должен хранить попавшую в него информацию.
Yahoo Pipes
pipes.yahoo.com/pipes/search?q=habrahabr+full&x=0&y=0 и прочие.
Довольно интересное решение. Те, кто умеет их настраивать, возможно, полноценно решат задачу архивирования RSS. Из имеющегося, я не нашёл пайпов с поиском статьи по её номеру, поэтому пока нет прямой ссылки на такие сохранённые полные статьи. (Кто умеет с ним работать — прошу изготовить такую ссылку для скрипта.)
Многочисленные клонировщики
Все из них болеют тем, что не дают ссылки на статью по её номеру, не приводят полный текст статьи, а некоторые вообще ограничиваются «захабренным» или «настолько ленивы», что копируют редко (к примеру, раз в день), что актуально не всегда. Однако, если хотя бы один автор копировщика подкрутит движок на сохранение полноценного и актуального контента, он окажет неоценимую услугу интернету, и его сервис займёт главное место в скрипте HabrAjax.
Задача
Перед сообществом стоит задача, не утруждая организаторов сайта, довести продукт до качественного, не теряющего информацию ресурса. Для этого, как правильно заметили в комментариях к опросу, нужен архиватор актуальных полноценных статей (и комментариев к ним заодно).
В настоящее время неполное решение её, как описано выше, выглядит так:
Если искать в Яндексе, то подобранный адрес выведет единственную ссылку (или ничего):
Нажав ссылку «копия», увидим (если повезёт) сохранённую копию (страница выбрана исключительно для актуального на данный момент примера):
В Гугле несколько проще — сразу попадаем на копию, если тоже повезёт, и Гугл успел сохранить именно то, что нам надо, а не дубль отсутствующей страницы.
Забавно, что скрипт теперь предлагает «выбор альтернативных сервисов» и в этом случае («профилактические работы»):
Жду предложений по добавлению сервисов и копировщиков (или хотя бы проектов) (для неавторизованных — на почту spmbt0 на известном гуглоресурсе, далее выберем удобный формат).
UPD 23:00: опытным путём для mail.ru было выяснено строение прямой ссылки на кеш:
'http://hl.mailru.su/gcached?q=cache:'+ window.location
habr.com
Как посмотреть кэш страницы сайта в Google, Яндекс, Bing и Mail.ru?
Смотрим кэшированные документы
Иногда вы делаете кой-какие изменения на своём сайте (с целью улучшения SEO-показателей) и, что весьма логично, вам хочется узнать, как поисковики отнесутся к этим изменениям — улучшат/ухудшат ранжирование страниц(ы) или же всё оставят без изменений?
Для того, чтобы узнать, «увидели» или нет поисковые роботы внесённые вами изменения, необходимо проверить «свежесть» страницы вашего сайта в поисковом индексе. Т.е. нужно понять —
Кэш поисковой системы — это почти то же самое, что и её индекс. Это копии документов сайта от определённого числа (обычно, от момента последнего посещения поисковым роботом), которые хранятся у поисковиков. Чем-то он напоминает кэш-память браузера.
Как посмотреть кэш страницы сайта?
Все основные поисковики охотно предоставляют возможность просмотреть кэш веб-документов в их индексе. Сделать это можно вручную или по-быстрому.
По-быстрому — проще всего при помощи специальных сервисов и дополнений для браузеров, почитайте эти статьи (там всё просто):
Но и вручную уметь это делать также полезно, потому как плагины иногда глючат, сервисы недоступны и т.п.
Да, и увидеть кэш документа не получится, если он вообще не проиндексирован. Про то, как проверить индексацию в Яндексе, Гугле, Mail.ru и Bing.com — здесь.
Просмотр кэша страницы вручную
В Google
На странице с выдачей (SERP) следует навести мышку на конкретный результат выдачи и кликнуть «Сохраненная копия»:
Просмотр кэшированного документа в Google
Естественно, запрос можно сформировать как угодно. На картинке приведён пример просмотра кэша конкретной страницы — http://web-ru.net/category/internet/.
Интересно, что прямо сейчас после клика по ссылке «Сохраненная копия» меня перекинуло на документ 404-й ошибки в Google:
404 в Google
Бывает и такое. Но, как правило, это временное явление. Обычно же просмотр страницы из кэша выглядит как-нибудь так. Т.е. он представляет из себя html-фрейм, в который загружен весь сайт.
У каждой из этих 4-х поисковых систем сверху можно обнаружить надпись вроде такой «по состоянию на 9 окт 2012 15:13:22 GMT». Т.е. отображается веб-страница такой, какой она была 9 октября 2012 года.
Кэш в Яндексе
Смысл тот же: вводим запрос, наводим курсор на один из результатов выдачи и кликаем на «Копия»:
Посмотрим кэш страницы в Яндекс
Для Bing.com
Нужно кликнуть на маленькую стрелочку, расположенную около URL-адреса страницы:
Кэш документав Bing.com
В Mail.ru
В этой поисковой системе лучше смотреть кэш отдельных страниц, а не, например, категорий. Просто потому что в Мэйле при запросе, содержащем URL категории, могут быть выведены ссылки на несколько статей этой категории, а не на саму категорию. Хотя Mail.ru как поисковик пока особо не интересен, и можно об этом вообще не думать. Ну а в целом, всё то же:
Кэш документа сайта в Mail.ru
Кстати, если в Гугле, Яндексе и Bing ввести «человеческий» запрос и посмотреть кэшированный документ, то этот запрос будет выделен на открытом сайте жёлтым цветом. Примерно так:
Выделенный запрос в кэше страницы в Гугле
Это может быть способом посмотреть, например, как оптимизированы тексты на сайтах ваших конкурентов 
Таким образом, зная дату и время занесения страницы в кэш Google, Yandex и т.д. можно понять, известно ли поисковой системе о произошедших на ней изменениях или пока ещё нет.
Loading…web-ru.net
Как посмотреть кэш сайта 🗄 Cache.pw
Открыть кэш сайта
Введите URL с https:// или http:// в начале и нажмите на кнопку.
Как это работает
Когда вы вставите URL и кликните по любой из кнопок вы будете перенаправлены на кещированную версию этой странице в том сервисе, по кнопке которого вы кликнули.
Да, всё так просто.
Vkontakte
Telegram
Кэш Google
Кэш Google (Google Cache) включает в себя множество сохранённых страниц из интернета и продолжает пополнять их число каждый день. Это полезно: если нужный сайт недоступен вы можете открыть кэшированную версию страницы от Гугла.
Закешированные страницы обновляются достаточно часто, изменения с оригинальной страницы попадают на копию из кэша за 1-2 дня.
Кэш Яндекса
Кэш Яндекса (Yandex Cache) включает в себя множество сохранённых страниц из интернета и продолжает пополнять их число каждый день. Это полезно: если нужный сайт недоступен вы можете открыть кэшированную версию страницы от Yandex’а.
Закешированные страницы обновляются не слишком часто, изменения с оригинальной страницы попадают на копию за ~неделю.
Кэш Archive.org
Archive.org, также известный как Wayback Machine, представляет собой цифровой архив Интернета, который был создан некоммерческой организацией Internet Archive из Сан-Франциско, Калифорния.
Сервис позволяет пользователям просматривать старые версии веб-страниц, причём за разные промежутки времени, можно отследить жизненный путь страницы на сайте.
Vkontakte
Telegram
Как закешировать свой сайт
Хотите закешировать сайт в Яндексе, Google и Archive.org?
Просто добавьте его в Google Search Console и Яндекс Вебмастер и немного подождите.
Связь с нами: [email protected].
Отправить перевод
Хотите помочь нам с переводом Cache.pw на другие языки? Напишите нам на [email protected].
cache.pw
Google Cache Browser — просмотр кэша без мучений / Habr
Бывает так, что нужно походить по страницам сайта, который внезапно лёг или вовсе закрылся, и испокон веков нас здесь выручает Google с его поисковым кэшем. Одна беда — «походить» в этом случае превращается в сплошное мучение: посмотреть страницу, скопировать адрес ссылки, по которой хочется пройти, вставить в поисковую строку и добавить префикс «cache:». Многовато действий ради одного перехода по ссылке. Вот ссылка на решение этой проблемы для нетерпеливых: GCB 2.0.Google Cache Browser 1.0 и его проблемы
Несколько лет назад я уже пытался решить эту проблему, и даже создал небольшой сервис Google Cache Browser, который работал по принципу прокси: скачивал страничку кэша, подменял в ней все ссылки так, чтобы они снова вели на сам сервис, и в таком виде отдавал в браузер пользователю. Однако, он обладал несколькими существенными недостатками:
- Он порядочно расходовал трафик.
- Регулярно попадал в бан гугла.
- В меньшей степени, но все равно заметно грузил процессор (применять регулярные выражения к большим страницам — неблагодарное занятие).
- Несмотря на все мои ухищрения, он подменял не все ссылки. На некоторых сайтах они были оформлены так, что диву даешься. О валидности этого HTML и речи не шло.
В результате сервис постепенно заглох и однажды я просто не стал продлять домен.
Google Cache Browser 2.0 и JS-фу
После этого мои мысли периодически возвращались к проблемам, потопившим сервис, и вертелись они в основном вокруг того, что хорошо бы перенести всю эту обработку на клиентскую сторону: браузер куда лучше подходит для манипуляции содержимым веб-страницы, чем регулярные выражения. И совсем недавно я нашёл способ это сделать!
Основной проблемой было то, что для моих целей нужно было запускать мой JavaScript в контексте домена webcache.googleusercontent.com, и примерно неделю назад я заметил, что кэшированные страницы по-прежнему грузят и выполняют свои джаваскрипты, при чем не их кэшированные версии, а актуальные версии с сайта. С этого момента осталось только загнать в кэш гугла подходящую страницу с подключённым JS и начать работать в контексте домена гугла.
Все это довольно удачно совпало по времени с SOPA и временным отключением хороших сайтов вроде Википедии, поэтому вчера вечером я таки взялся и довел сервис до ума: теперь он функционирует полностью в браузере (ни единого серверного скрипта), в последних версиях Firefox, Chrome, Opera и в IE8. Проверять в других браузерах у меня времени не хватило, так что шлите баг-репорты! 🙂
И, да, последняя плюшка: все исходники сервиса я опубликовал на GitHub, на условиях GPLv3. Feel free to fork!
Итоги
Человечество осчастливлено возможностью худо-бедно читать Википедию в течение сегодняшнего дня, а я получил массу удовольствия от применения уже подзабытого JS-фу, поскольку на работе я большую часть времени занимаюсь серверной стороной.
ToDo
Как это обычно бывает, осталось ещё немало доработок, которые прекрасно дополнили бы сервис. Вот наиболее интересные из них:
- Сделать букмарклет для сервиса. При том, букмарклет будет уметь как перекидывать на кэшированную версию страницы, так и довешивать функционал на страницу из кэша, если она уже была открыта.
- Побороть некоторые спонтанные глюки с вёрсткой.
- Подстраховаться от выпадания страницы-точки входа из индекса.
- Более тщательно протестировать кросс-браузерность.
- Возможно, перенести сервис на отдельный, более благовидный домен.
Кстати, вы вполне можете приложить к этому руку — исходники-то лежат на ГитХабе 😉
habr.com
Как посмотреть кэш страницы сайта в Google
Возможно, сайт был подвергнут блокировке из-за нарушения закона, а может этот сайт просто пока что не отвечает на запрос. Как бы ни была причина, иногда вам нужно взять какую информацию с сайта, который совсем недавно перестал работать или был взломан и лишился всего контента. В большинстве случаев удача может повернуться к вам лицом. Вы можете просмотреть кэшированную версию этого сайта в Google?
Кэшированные сайты: что это?
Для того чтобы быстро отыскать все эти сайты, Google и другие поисковые системы сохраняют внутреннюю копии этих сайтов на серверах. Эти сохраненные файлы и называются кэшем, и Google позволяет их просматривать, если такая копия существует. Раньше этот процесс был очень понятен – вам просто нужно было нажать ссылку, представленную под результатом, выданном в поиске. Сейчас все немного сложнее, но вам не стоит беспокоиться, так как кэшированные сайты по-прежнему существуют.
Смотрим кэш сайта в Гугл:
1. Попробуйте найти что-нибудь. В данном случае, мы будем искать по ключу «кеширование», и предположим, что в коем-то веке Wikipedia ушла в даун .
2. Наведите курсор мыши на результат поиска, но не кликайте.
3. Вы увидите, что рядом справа от результата появится стрелка вправо. Кликните по этой стрелке.
4. Теперь вы можете видеть миниатюру сайта. Вы также увидите ссылку Cached сверху от миниатюры. Можете кликать по этой ссылке.
Таким образом, вы будете перенаправлены к кэшированной версии сайта. И эта версия не обязательно будет содержать актуальные данные. Это просто копия сайта в том состоянии, в котором бот Google последний раз его сканировал, и на самом деле эта страница хранится на сервере Google, и поэтому ссылка будет начинаться с webcache.googleusercontent.com, а не с Wikipedia.org. Google также расскажет вам о том, насколько свежая эта копия.
Иногда бывает так, что на страницах отсутствуют изображения или фоны. Вы можете кликнуть по ссылке в верхней части страницы и увидеть текстовую версию сайта, который вы на данный момент читаете. Иногда это помогает найти необходимую вам информацию. Вы также можете кликнуть по ссылке, которая приведет вас к актуальной странице, если вам вдруг нужно будет сравнить две эти версии.
Если вам нужно найти определенный термин, вы можете воспользоваться сочетанием клавиш Ctrl+F, и просто отыскать его при помощи вашего браузера.
Сайты, которые не кэшируются
У большинства сайтов есть кэшированные копии, но бывают и исключения. Владельцы сайтов могут использовать файл robots.txt для того, чтобы попросить поисковую систему не индексировать сайт, либо удалять кэш. Иногда такое бывает, когда владелец хочет полностью удалить сайт, и не хочет, чтобы где-то появлялся его контент. Ведь существует довольно много сайтов с «черным» контентом или контентом, который не обязательно должен индексироваться (приватные форумы, информация о кредитных картах или сайты с платным доступом к контенту).
Вы можете проследить за тем, как изменялся сайт, воспользовавшись инструментом от Google под названием WebArchive, но функционал этого инструмента также может быть запрещен файлом robots.txt.
Алексей Повловский
web-profy.com
Что такое кеш Google
Кеш используется во многих веб-сферах для того, чтобы ускорить доступ до тех или иных данных через интернет. Например, мы уже говорили о плагине Hyper Cache, который сохраняет копии страниц сайта на хостинге для того, чтобы пользователи могли загрузить их быстрее, и уменьшить этим нагрузку на хостинг.
Также кеш есть и во всех браузерах. Он сохраняет на компьютере пользователя копии всех сайтов, которые посещались, а затем, когда к ним осуществляется очередной запрос, они подгружаются в большей части с компьютера, что также ускоряет загрузку.
И, исходя из выше сказанного, сложно предположить, что у поисковых систем нет кеша. На самом деле есть и там тоже сохраняются все ваши сайты для того, чтобы поисковик меньше напрягался, когда показывает ваш сайт. В данной статье рассмотрим, как добраться до кеш Google, узнаем, что там есть, и как это можно использовать.
Кеш Google
Кеш Google хранится на сервере поисковика и никак не затрагивает хостинг, который оплачиваете вы. Ссылка, ведущая на кеш вашего сайта отличается от настоящих ссылок вашего сайта, поэтому это никак не влияет на продвижение. В общем, ничего плохого в кеш поисковика нет.
Чтобы добраться до кеша Google, введите в поисковике необходимый запрос, и на поисковой выдаче, около искомого сайта, рядом с его ссылкой вы увидите маленький треугольник в виде стрелки вниз. Кликните на него и выберите пункт «Сохранённая копия». В новой вкладке откроется кеш этого сайта, который сохранил Google.В кеше вы увидите, от какого он числа, и вам покажут ссылку на актуальную версию страницы.
В таком виде некоторые элементы сайта могут не отображаться, например, не будет изображений или каких-то частей дизайна. Но весь текст и HTML-разметка останется.
Для нужен кеш Google
То, что кеш Google необходим для быстрой обработки сайтов поисковиком, мы уже рассказали. Теперь посмотрим, чем он может быть полезен для нас.
Представьте грустную ситуацию, что вы написали какую-то статью и на хостинге случился сбой – всё потеряно. У вас, конечно же, есть бекап сайта и можете восстановить его, но той статьи, которую вы писали, там ещё нет, ещё не успела сохраниться в бекап. Что вы тогда будете делать? Неужели станете переписывать статью заново. Гораздо легче обратиться к кешу Google и посмотреть, его робот уже успел сходить на ваш сайт, и сохранил все данные в кеше. А вообще, чтобы не пришлось это всё делать, создавайте бекап чаще. Подробнее тут.
Другая ситуация. Допустим, снова случилось что-то на хостинге и ваш сайт временно не доступен. Не терять же из-за этого посетителей. Так вот, многих из них устроит кеш-версия страниц, и они могут посмотреть их в поисковике.
wpuroki.ru
Как найти в кеше Гугла и Яндекса определенную страницу
Угадать, когда удалят страницу с интересующей информацией, — невозможно. В любой момент ресурс может быть заблокирован или приведен на новый домен. Из-за этого найти контент, который пользователь просматривал ранее, — сложно. Приходится снова изучать результаты раздачи в Google и Яндекс. При этом нет никакой гарантии, что владелец компьютера найдет то, что искал.
Что такое кэш и как он работает
Функция встроена практически во все современные программы. Браузер сохраняет информацию, которую пользователь просматривает, чтобы сократить время на повторную загрузку контента. Все файлы хранятся в папке временного буфера обмена, которая чаще всего находится на диске C. Туда попадают: тексты, файлы html с данными о разверстке и картинки. Количество сохраненных материалов ограничено только объемом встроенной памяти компьютера и настройками отдельного браузера.
Cash необходим для ускорения работы системы. Каждый раз, когда владелец ПК открывает ссылку, браузер сохраняет всю опубликованную информацию по выбранному адресу. При повторном запросе того же адреса браузер находит необходимый файл в папке временных данных и загружает его, корректируя изменившуюся информацию. Это снижает потребление трафика и позволяет не перегружать линию. Каждый дубликат хранится в памяти устройства, поэтому пользователь может загрузить даже тот контент, который недоступен в интернете.
Поисковые системы также способны создавать копии в cash. Если владелец сайта удалил его или ресурс был заблокирован, пользователь все равно сможет посмотреть интересующую его страницу. На ней нельзя будет увидеть последние изменения или внести какие-либо правки. Также пользователи не смогут:
- оставлять комментарии;
- оценивать записи;
- публиковать новые материалы.
Как найти кеш сайта в Google
Чтобы открыть копию в поисковике, в запросе необходимо ввести название сайта и интересующую статью. В найденных результатах выбрать подходящий вариант. Справа от адреса располагается стрелка, указывающая вниз. Нажав на нее, пользователь открывает дополнительные возможности. Чтобы загрузить файл из кэша Google, нужно нажать на кнопку “Сохраненная копия”. Браузер открывает новую вкладку, в которой отобразится интересующая страница. Можно открыть ресурс напрямую, без использования результатов выдачи: для этого ввести запрос cash.ссылка, Где слово “ссылка” — домен необходимого сервиса.
Интересный факт!
Поисковая система ежедневно кэширует все ссылки, поэтому, загрузив копию, владелец компьютера увидит последнюю доступную версию сайта.
Поиск копии страницы в Яндекс
Механика работы cash на российском ресурсе не отличается от поисковика Google. Чтобы открыть интересующую копию сайта, нужно сделать запрос его домена. Рядом с адресом расположена стрелка, из которой выпадает меню расширенных возможностей. Для загрузки дубликата ресурса из кэша выбрать вариант “Сохраненная копия”. В открывшейся вкладке Яндекс всегда указывает дату загрузки отображенной версии сайта.
Как удалить сайт из кэша
Чтобы ускорить индексирование страницы поисковиками, владельцы ресурсов удаляют из кэша старые версии. Так, Яндекс и Google не обходят стороной ссылки, которые уже прописаны у них системе. Обе системы проводят периодическую актуализация данных, но этим занимается робот. Из-за такой специфики обновление информации происходит дольше, чем при вмешательстве владельца сайта.
Чтобы удалить страницу из кэша Google, необходимо:
- Зайти в сервис Webmaster.
- Перейти в раздел меню “Удалить URL-адрес”.
- Нажать на кнопку “Временно скрыть”, чтобы страницы перестала отображаться в результатах поиска.
- Ввести адрес ссылки.
- Нажать кнопку “Продолжить”.
- Выбрать необходимый тип удаления, в данном случае — второй пункт.
- Подтвердить запрос.
- Дождаться, когда заявка перейдет из статуса “Ожидание” в “Выполнено”.
Внимание!
Поисковая система Яндекс также поддерживает очистку кэша страниц, но для этого придется полностью удалить ссылку из каталога. При этом сбрасываются вся статистика и индексы.
Заблокированный сайт — еще не приговор. Сервисы Яндекс и Гугл постоянно создают кэш всех ресурсов, поэтому пользователи смогут получить к ним доступ даже после удаления контента с серверов. Для этого не потребуется дополнительный софт. Открыть копию можно всего в 2 клика. При этом она будет соответствовать последней актуальной версии сайта. Страницы из кэша могут спасти веб-программистов, если изменения кода обрушили весь интерфейс, а вспомнить, как он должен выглядеть, не получается.
rubrowsers.ru