The Wayback Machine, цифровой архив Всемирной сети, преодолел рубеж 400 млрд проиндексированных веб-страниц. Благодаря этому проекту мы имеем возможность увидеть, как изменялся облик многих известных сайтов от 1996 года до настоящего времени.Например, вот скромный интерфейс Yahoo, снятый 28 ноября 1996 года.
«Машину времени» официально запустили в 2001 году, а в 2009 году при помощи компании Sun Microsystems для неё открыли собственный дата-центр в транспортном контейнере. Серверы тогда вмещали 3 петабайта информации и обрабатывали до 500 запросов в секунду.
Обидно, что до сих пор некоторые сайты запрещают индексирование своих страниц через robots.txt, так что их архивы недоступны для общественности.
ссылка на оригинал статьи http://habrahabr.ru/post/222451/
Добавить комментарий