Wayback Machine - Wayback Machine

О машине времени из «Невероятной истории Пибоди» см. Wayback Machine (Невероятная история Пибоди). Для справки о цитировании Wayback Machine в английской Википедии см. Справка: Использование Wayback Machine.

Wayback Machine
Стилизованный текст, говорящий: «МАШИНА ВОЗВРАТА АРХИВ ИНТЕРНЕТА». Текст черный, за исключением «WAYBACK», который выделен красным.
Скриншот
20151221 Интернет-архив Wayback Machine.png
Визуализация архивов wikipedia.org на Wayback Machine (декабрь 2015 г.)
Тип сайта
Архив
Обслуживаемая площадьМировой (кроме Китая и России)
ВладелецИнтернет-архив
URLсеть.архив.org Отредактируйте это в Викиданных
Постановка на учетНеобязательный
Запущен24 октября 2001 г.; 19 лет назад (2001-10-24)[1][2]
Текущее состояниеАктивный
Написано вЯва, Python

В Wayback Machine цифровой архив из Всемирная паутина, основанный Интернет-архив, некоммерческая библиотека, основанная в Сан-Франциско. Это позволяет пользователю вернуться «назад во времени» и увидеть, как веб-сайты выглядели в прошлом. Его основатели, Брюстер Кале и Брюс Гиллиат, разработала Wayback Machine с намерением предоставить «универсальный доступ ко всем знаниям» путем сохранения архивных копий несуществующих веб-страниц.

С момента запуска в 2001 году в архив было добавлено более 463 миллиардов страниц. Служба также вызвала споры о том, является ли создание заархивированных страниц без разрешения владельца Нарушение авторского права в определенных юрисдикциях.

История

Интернет-архив основатели Брюстер Кале и Брюс Гиллиат запустила Wayback Machine в 2001 году, чтобы решить проблему исчезновения контента веб-сайта при его изменении или закрытии.[3] Сервис позволяет пользователям просматривать архивные версии веб-страница во времени, что в архиве называется «трехмерным индексом».[4] Кале и Гиллиат создали машину, надеясь заархивировать весь Интернет и обеспечить «универсальный доступ ко всем знаниям».[5]

Название Wayback Machine был выбран в качестве ссылки на вымышленный путешествие во времени устройство, "Wayback Machine "(произносится путь назад), используемый персонажами Мистер Пибоди и Шерман в мультфильме Шоу Рокки и Буллвинкла с 1960-х гг.[6][7] В одном из составных сегментов мультфильма Невероятная история Пибоди, персонажи обычно использовали машину, чтобы стать свидетелями известных исторических событий, участвовать в них и часто изменять их.

The Wayback Machine начала архивирование кешированный веб-страницы в мае 1996 г.,[8][9] с целью сделать сервис общедоступным через пять лет.[10] С 1996 по 2001 год информация хранилась на цифровой ленте, и Кале иногда позволяла исследователям и ученым подключаться к неуклюжим база данных.[11] Когда в 2001 году архиву исполнилось пять лет, его открыли и открыли для публики на церемонии в Калифорнийский университет в Беркли.[12] К моменту запуска Wayback Machine он уже содержал более 10 миллиардов заархивированных страниц.[13]

Сегодня данные хранятся в большом кластере Интернет-архива Linux узлы.[5] Время от времени он повторно посещает и архивирует новые версии веб-сайтов (см. Технические подробности ниже).[14] Сайты также можно захватить вручную, введя URL в окно поиска, при условии, что веб-сайт позволяет Wayback Machine "сканировать" его и сохранять данные.[10]30 октября 2020 года Wayback Machine начала проверку контента.[15]

Технические детали

Программное обеспечение было разработано для "ползти" в Интернете и загрузите все общедоступные страницы в Интернете, Суслик иерархия, Netnews (Usenet) система доски объявлений и загружаемое программное обеспечение.[16] Информация, собираемая этими «поисковыми роботами», не включает всю информацию, доступную в Интернете, так как большая часть данных ограничена издателем или хранится в базах данных, которые недоступны. Чтобы преодолеть несоответствия на частично кэшированных веб-сайтах, Archive-It.org был разработан в 2005 году Internet Archive как средство, позволяющее организациям и создателям контента добровольно собирать и сохранять коллекции цифрового контента, а также создавать цифровые архивы.[17]

Сканирование осуществляется из различных источников, некоторые из которых импортируются третьими сторонами, а другие создаются внутри Архива.[14] Например, сканирование выполняется Фонд Слоуна и Алекса, сканирование выполняется IA от имени НАРА и Фонд Интернет-памяти, зеркала Обычное сканирование.[14] «Worldwide Web Crawls» проводится с 2010 года и охватывает глобальную сеть.[14][18]

Частота создания снимков зависит от веб-сайта.[14] Веб-сайты из «Worldwide Web Crawls» включаются в «список сканирования», причем сайт архивируется один раз за сканирование.[14] В зависимости от размера сканирование может занять месяцы или даже годы.[14] Например, «Широкое сканирование номер 13» началось 9 января 2015 г. и завершилось 11 июля 2016 г.[19] Однако в любой момент времени может выполняться несколько сканирований, и сайт может быть включен в несколько списков сканирования, поэтому частота сканирования сильно различается.[14]

По состоянию на октябрь 2019 года пользователи ограничено до 5 архивных запросов и извлечений в минуту.[Почему? ]

Емкость хранилища и рост

По мере развития технологий на протяжении многих лет емкость Wayback Machine увеличивалась. В 2003 году, всего после двух лет публичного доступа, Wayback Machine росла со скоростью 12 терабайт в месяц. Данные хранятся на PetaBox стеллажные системы, разработанные персоналом Internet Archive по индивидуальному заказу. Первая стойка на 100 ТБ была полностью готова к работе в июне 2004 года, хотя вскоре стало ясно, что им потребуется гораздо больше места для хранения.[20][21]

Интернет-архив перенес свою настраиваемую архитектуру хранения на Открытое хранилище Sun в 2009 году и размещает новый центр обработки данных в Модульный центр обработки данных Sun на Sun Microsystems Калифорнийский кампус.[22] По состоянию на 2009 год, Wayback Machine содержала примерно три петабайты данных и росла со скоростью 100 терабайты каждый месяц.[23]

Новая улучшенная версия Wayback Machine с обновленным интерфейсом и более свежим индексом заархивированного контента была доступна для публичного тестирования в 2011 году.[24] В марте того же года на форуме Wayback Machine было сказано, что «бета-версия новой Wayback Machine содержит более полный и актуальный индекс всех просканированных материалов на 2010 год и будет продолжать регулярно обновляться. Индекс по вождению классической Wayback Machine осталось лишь немного материала за 2008 год, и никаких дальнейших обновлений индекса не планируется, так как в этом году он будет прекращен ».[25] Также в 2011 году Internet Archive установил свою шестую пару стоек PetaBox, что увеличило емкость хранилища Wayback Machine на 700 терабайт.[26]

В январе 2013 года компания объявила о важном достижении в 240 миллиардов URL-адресов.[27]

В октябре 2013 года компания представила функцию «Сохранить страницу».[28][29] который позволяет любому пользователю Интернета архивировать содержимое URL-адреса и быстро генерирует постоянная ссылка в отличие от предыдущего liveweb особенность.

Это стало угрозой злоупотребления службой для размещение вредоносных двоичных файлов.[30][31]

По состоянию на декабрь 2014 г., Wayback Machine содержала 435 миллиард веб-страницы - почти девять петабайт данных и увеличивались примерно на 20 терабайт в неделю.[13][32][33]

По состоянию на июль 2016 г., по сообщениям, Wayback Machine содержала около 15 петабайт данных.[34]

По состоянию на сентябрь 2018 года Wayback Machine содержала более 25 петабайт данных.[35][36]

Рост Wayback Machine[37][38]
Wayback Machine по годамЗаархивировано страниц (млрд)
2005
40
2008
85
2012
150
2013
373
2014
400
2015
452

Политика исключения веб-сайтов

Исторически Wayback Machine уважала стандарт исключения роботов (robots.txt) при определении, будет ли сканироваться веб-сайт; или, если он уже просканирован, если его архивы будут доступны для всеобщего просмотра. Владельцы веб-сайтов имели возможность отказаться от использования Wayback Machine с помощью файла robots.txt. Он применял правила robots.txt задним числом; если сайт блокировал Интернет-архив, любые ранее заархивированные страницы из домена также немедленно становились недоступными. Кроме того, Интернет-архив заявил, что «Иногда владелец веб-сайта напрямую связывается с нами и просит прекратить сканирование или архивирование сайта. Мы выполняем эти запросы».[39] Кроме того, на веб-сайте говорится: «Интернет-архив не заинтересован в сохранении или предоставлении доступа к веб-сайтам или другим Интернет-документам лиц, которые не хотят, чтобы их материалы были в коллекции».[40][41]

17 апреля 2017 г. появились сообщения о сайтах, которые перестали функционировать и стали припаркованные домены которые использовали robots.txt для исключения себя из поисковых систем, что привело к их непреднамеренному исключению из Wayback Machine.[42] Интернет-архив изменил политику и теперь требует явного запроса на исключение, чтобы удалить ее с Wayback Machine.[43]

Политика Окленда в отношении архивов

Политика обратного исключения Wayback частично основана на Рекомендации по управлению запросами на удаление и сохранению целостности архивов опубликовано Школой управления информацией и систем на Калифорнийский университет в Беркли в 2002 году, что дает владельцу веб-сайта право блокировать доступ к архивам сайта.[44] Wayback соблюдает эту политику, чтобы избежать дорогостоящих судебных разбирательств.[45]

Политика обратного исключения Wayback начала ослабевать в 2017 году, когда она перестала поддерживать robots.txt на правительственных и военных веб-сайтах США как для сканирования, так и для отображения веб-страниц. По состоянию на апрель 2017 года Wayback более широко игнорирует robots.txt, а не только для веб-сайтов правительства США.[46][47][48][49]

Использует

С момента своего публичного запуска в 2001 году, Wayback Machine изучалась учеными как в отношении способов хранения и сбора данных, так и в отношении фактических страниц, содержащихся в его архиве. По состоянию на 2013 год ученые написали около 350 статей о Wayback Machine, в основном из областей информационных технологий, библиотековедения и социальных наук. Ученые-социологи использовали Wayback Machine для анализа того, как развитие веб-сайтов с середины 1990-х годов до настоящего времени повлияло на рост компании.[13]

Когда Wayback Machine архивирует страницу, она обычно включает в себя большую часть гиперссылок, сохраняя эти ссылки активными, когда они так же легко могли быть сломаны из-за нестабильности Интернета. Исследователи из Индии изучили эффективность способности Wayback Machine сохранять гиперссылки в научных онлайн-публикациях и обнаружили, что она сохранила чуть более половины из них.[50]

«Журналисты используют Wayback Machine для просмотра мертвых веб-сайтов, датированных новостных сообщений и изменений в содержании веб-сайтов. Его содержание использовалось для привлечения политиков к ответственности и разоблачения лжи на поле боя».[51] В 2014 году архивная страница в социальных сетях Игорь Гиркин, лидер сепаратистских повстанцев в Украине, показал, как он хвастался тем, что его войска сбили подозреваемый украинский военный самолет, прежде чем стало известно, что это был гражданский самолет Malaysian Airlines (Рейс 17 Malaysia Airlines ), после чего удалил пост и обвинил украинских военных в сбитии самолета.[51][52] В 2017 г. Марш науки возник в результате обсуждения Reddit это указывает на то, что кто-то посетил Archive.org и обнаружил, что все ссылки на изменение климата был удален с веб-сайта Белого дома. В ответ пользователь прокомментировал: «По Вашингтону должен быть марш ученых».[53][54][55]

Кроме того, сайт активно используется для проверки, обеспечивая доступ к ссылкам и созданию контента для Редакторы Википедии.[56]

В сентябре 2020 года было объявлено о партнерстве с Cloudflare для автоматического архивирования веб-сайтов, обслуживаемых через службу «Всегда в сети», что также позволит направлять пользователей на свою копию сайта, если она не может связаться с исходным хостом.[57]

Ограничения

В 2014 году между сканированием веб-сайта и его доступностью для просмотра на Wayback Machine прошло шесть месяцев.[58] В настоящее время время задержки составляет от 3 до 10 часов.[59] Wayback Machine предлагает только ограниченные возможности поиска. Его функция «Поиск по сайту» позволяет пользователям находить сайт по словам, описывающим сайт, а не по словам, найденным на самих веб-страницах.[60]

Wayback Machine не включает в себя все когда-либо созданные веб-страницы из-за ограничений его поискового робота. Wayback Machine не может полностью архивировать веб-страницы, содержащие интерактивные функции, такие как платформы Flash и формы, написанные на JavaScript и прогрессивные веб-приложения, потому что эти функции требуют взаимодействия с хост-сайтом. Это означает, что с июня 2013 года Wayback Machine не может отображать комментарии YouTube при сохранении страниц YouTube, поскольку, по словам команды архива, комментарии больше не «загружаются на самой странице».[61] Веб-сканер Wayback Machine испытывает трудности с извлечением всего, что не закодировано в HTML или одном из его вариантов, что часто может приводить к неработающим гиперссылкам и отсутствующим изображениям. Из-за этого поисковый робот не может архивировать «потерянные страницы», которые не содержат ссылок на другие страницы.[60][62] Сканер Wayback Machine следует только за заранее определенным количеством гиперссылок на основе заранее установленного предела глубины, поэтому он не может архивировать каждую гиперссылку на каждой странице.[18]

Начиная с апреля 2018 года административные сотрудники архивной группы Wayback Machine ввели в действие правило квартального месяца, иногда удаляя временные интервалы в 23 дня или 39 дней (3/4 и 5/4 месяца соответственно), чтобы уменьшить размер очереди.[нужна цитата ]

В юридических доказательствах

Судебный процесс по гражданскому делу

Netbula LLC против Chordiant Software Inc.

В случае 2009 г. Netbula, LLC против Chordiant Software Inc., обвиняемый Хордиант подал ходатайство, чтобы заставить Netbula отключить robots.txt файл на своем веб-сайте, из-за чего Wayback Machine задним числом удаляла доступ к предыдущим версиям страниц, заархивированных с сайта Netbula, страницам, которые, по мнению Chordiant, подтверждают его версию.[63]

Netbula возражала против этого ходатайства на том основании, что ответчики просили изменить веб-сайт Netbula и что они должны были напрямую вызвать Интернет-архив для получения этих страниц.[64] Сотрудник Internet Archive подал заявление под присягой в поддержку ходатайства Chordiant, однако, заявив, что он не может создавать веб-страницы никакими другими средствами «без значительного бремени, расходов и нарушения своей работы».[63]

Мировой судья Говард Ллойд в Северном округе Калифорнии, округ Сан-Хосе, отверг аргументы Netbula и приказал им временно отключить блокировку robots.txt, чтобы позволить Chordiant получить искомые заархивированные страницы.[63]

Telewizja Polska

В деле октября 2004 г. Telewizja Polska USA, Inc. v. Echostar Satellite, No. 02 C 3293, 65 Fed. R. Evid. Серв. 673 (N.D. Ill. 15 октября 2004 г.), сторона в судебном процессе попыталась использовать архивы Wayback Machine в качестве источника допустимых доказательств, возможно, впервые. Telewizja Polska является поставщиком TVP Polonia и EchoStar управляет Блюдо Сеть. Перед судебным разбирательством EchoStar указала, что намеревается предложить снимки Wayback Machine в качестве доказательства прошлого содержания веб-сайта Telewizja Polska. Telewizja Polska подала ходатайство в лимине для подавления снимков на основании слух и неавторизованный источник, но магистратский судья Арландер Киз отклонил утверждение Telewizja Polska о слухах и отклонил ходатайство TVP в лимине исключить доказательства в суде.[65][66] Однако в ходе судебного разбирательства судья окружного суда Рональд Гусман, судья первой инстанции, отклонил выводы магистрата Киз и постановил, что ни аффидевит сотрудника Интернет-архива, ни лежащие в его основе страницы (то есть веб-сайт Telewizja Polska) не являются приемлемыми в качестве доказательств. Судья Гусман аргументировал это тем, что письменные показания сотрудника содержали как слухи, так и неубедительные подтверждающие заявления, а распечатки предполагаемой веб-страницы не были самоподтверждающими.[67][68]

Патентный закон

Основная статья: Интернет как источник известного уровня техники

При соблюдении некоторых дополнительных требований (например, предоставление авторитетного заявления архивариуса), Патентное ведомство США и Европейское патентное ведомство будет принимать отметки даты из Интернет-архива как свидетельство того, когда данная веб-страница была доступна для публики. Эти даты используются, чтобы определить, доступна ли веб-страница как предшествующий уровень техники например, при рассмотрении заявки на патент.[69]

Ограничения полезности

Существуют технические ограничения на архивирование веб-сайта, и, как следствие, противоборствующие стороны в судебном процессе могут неправомерно использовать результаты, предоставленные архивами веб-сайтов. Эта проблема может усугубляться практикой отправки снимков экрана веб-страниц в жалобах, ответах или отчетах экспертов-свидетелей, когда лежащие в основе ссылки не видны и, следовательно, могут содержать ошибки. Например, архивы, такие как Wayback Machine, не заполняют формы и, следовательно, не включают содержимое не-RESTful базы данных электронной коммерции в своих архивах.[70]

Легальное положение

В Европе Wayback Machine может быть истолкована как нарушающая Авторские права законы. Только создатель контента может решить, где его контент публиковать или дублировать, поэтому Архив должен будет удалить страницы из своей системы по запросу создателя.[71] Политики исключения для Wayback Machine можно найти в разделе часто задаваемых вопросов на сайте.[72]

Юридические проблемы с архивным контентом

Против Internet Archive было возбуждено несколько дел за его усилия по архивированию Wayback Machine.

Саентология

Смотрите также: Саентология и Интернет

В конце 2002 года Интернет-архив удалил различные сайты, критиковавшие Саентология из Wayback Machine.[73] В сообщении об ошибке говорилось, что это было ответом на «запрос владельца сайта».[74] Позже выяснилось, что юристы из Церковь Саентологии потребовали удаления, и что владельцы сайта не хотели, чтобы их материалы были удалены.[75]

Healthcare Advocates, Inc.

В 2003 году компания Harding Earley Follmer & Frailey защитила клиента от спора о товарных знаках с помощью Archive's Wayback Machine. Адвокаты смогли продемонстрировать, что требования истца были недействительными, основываясь на содержании их веб-сайтов за несколько лет до этого. Затем истец, Healthcare Advocates, изменил свою жалобу, включив в нее Интернет-архив, обвинив организацию в нарушении авторских прав, а также в нарушении DMCA и Закон о компьютерном мошенничестве и злоупотреблении. Защитники здравоохранения утверждали, что, поскольку они установили robots.txt файл на своем веб-сайте, даже если после подачи первоначального иска Архив должен был удалить все предыдущие копии веб-сайта истца с Wayback Machine, однако некоторые материалы по-прежнему были общедоступными на Wayback.[76] Иск был урегулирован во внесудебном порядке, после того как Wayback устранил проблему.[77]

Сюзанна Шелл

Активист Сюзанна Шелл подала иск в декабре 2005 года, требуя от Internet Archive выплаты ей 100 000 долларов США за архивирование ее веб-сайта profane-justice.org в период с 1999 по 2004 год.[78][79] Интернет-архив подал декларативное решение действие в Окружной суд США Северного округа Калифорнии 20 января 2006 г., добиваясь судебного определения, что Интернет-архив не нарушал Авторские права. Shell ответил и принес встречный костюм против Internet Archive за архивирование ее сайта, которое, как она утверждает, нарушает ее Условия использования.[80] 13 февраля 2007 г. судья Окружной суд США округа Колорадо отклонил все встречные иски, кроме нарушение контракта.[79] Интернет-архив не двигался увольнять Нарушение авторского права претензии "Шелл", которые, по утверждению "Шелл", связаны с ее копировальной деятельностью, которая также будет продолжена.[81]

25 апреля 2007 г. Internet Archive и Сюзанна Шелл совместно объявили об урегулировании своего иска.[78] Интернет-архив сообщил, что «... не заинтересован во включении в Wayback Machine материалов лиц, которые не желают архивировать свой веб-контент. Мы признаем, что г-жа Шелл имеет действующие и подлежащие исполнению авторские права на свой веб-сайт, и мы сожалеем что включение ее веб-сайта в Wayback Machine привело к судебному разбирательству ". Shell заявила: «Я уважаю историческую ценность цели Internet Archive. Я никогда не намеревался мешать достижению этой цели или причинять ей какой-либо вред».[82]

Даниил Давыдюк

В период с 2013 по 2016 год порнографический актер Даниил Давыдюк попытался удалить свои заархивированные изображения из архива Wayback Machine, сначала отправив несколько Запросы DMCA в архив, а затем, обратившись к Федеральный суд Канады.[83][84][85]

Цензура и другие угрозы

Archive.org в настоящее время заблокирован в Китае.[86][87] После того, как террористическая организация Исламское государство была запрещена, Интернет-архив был закрыт. полностью заблокирован в России в качестве хозяина информационного видеоролика этой организации в течение короткого времени в 2015–2016 годах.[51][88][89][нуждается в обновлении ] С 2016 года веб-сайт вернулся и стал доступен полностью, хотя местные коммерческие лоббисты подали иск против Интернет-архива в местный суд, чтобы запретить его на основании авторских прав.[90]

Элисон Макрина, директор проекта «Свобода библиотек», отмечает, что «хотя библиотекари глубоко ценят конфиденциальность личности, мы также категорически против цензуры».[51]

Известны редкие случаи, когда веб-сайт отключал доступ к контенту, который «напрасно» подвергал людей опасности.[51]

Другие угрозы включают стихийные бедствия,[91] разрушение (удаленное или физическое),[92] манипулирование содержимым архива (см. также: кибератака, резервный ), проблемные законы об авторском праве[93] и наблюдение за пользователями сайта.[94]

Кевин Воан подозревает, что в долгосрочной перспективе для нескольких поколений «почти ничего» выживет полезным способом, заявив: «Если у нас будет непрерывность в нашей технологической цивилизации», благодаря которой «многие голые данные останутся доступными для поиска и поиска». ".[95]

В статье, посвященной сохранению человеческих знаний, Атлантический океан прокомментировал, что Интернет-архив, который описывает себя как долгосрочное,[96] «яростно работает над сбором данных, прежде чем они исчезнут без какой-либо долгосрочной инфраструктуры».[97]

Смотрите также

Рекомендации

  1. ^ "WayBackMachine.org WHOIS, DNS и информация о домене - DomainTools". КТО. Получено 13 марта, 2016.
  2. ^ "InternetArchive.org WHOIS, DNS и информация о домене - DomainTools". КТО. Получено 13 марта, 2016.
  3. ^ Нотесс, Грег Р. (март – апрель 2002 г.). «Машина обратного пути: архив Интернета». В сети. 26: 59–61 - через EBSCOhost.
  4. ^ "Машина обратного пути", Часто задаваемые вопросы, в архиве с оригинала 18 сентября 2018 г., получено 18 сентября, 2018
  5. ^ а б «20 000 жестких дисков в миссии | Интернет-архив блогов». blog.archive.org. 25 октября 2016 г. В архиве с оригинала 20 октября 2018 г.. Получено 15 октября, 2018.
  6. ^ Грин, Вереск (28 февраля 2002 г.). «Библиотека размером с мир». BusinessWeek. Архивировано из оригинал 20 декабря 2011 г.
  7. ^ Тонг, Джуди (8 сентября 2002 г.). «Ответственная сторона - Брюстер Кале; Интернет-библиотека в Интернете». Нью-Йорк Таймс. В архиве из оригинала 20 февраля 2011 г.. Получено 15 августа, 2011.
  8. ^ "MTV Online: Главная страница - Wayback Machine". Wayback Machine. 12 мая 1996 г. Архивировано с оригинал 12 мая 1996 г.. Получено 17 июля, 2020.
  9. ^ "Infoseek Guide - Wayback Machine". Wayback Machine. 12 мая 1996 г. Архивировано с оригинал 12 мая 1996 г.. Получено 16 декабря, 2016.
  10. ^ а б "Интернет-архив: Wayback Machine". archive.org. В архиве из оригинала 3 января 2014 г.. Получено 15 октября, 2018.
  11. ^ Кук, Джон (1 ноября 2001 г.). «Веб-сайт возвращает вас в историю Интернета». Сиэтл Пост-Интеллидженсер. В архиве с оригинала 12 августа 2014 г.. Получено 15 августа, 2011.
  12. ^ Мэйфилд, Кендра (28 октября 2001 г.). "Wayback Goes возвращается в Интернете". Проводной. В архиве из оригинала 16 октября 2017 г.. Получено 16 октября, 2017.
  13. ^ а б c Arora, Sanjay K .; Ли, Инь; Юти, Ян; Шапира, Филипп (5 мая 2015 г.). «Использование машины обратного пути для майнинга веб-сайтов по социальным наукам: методологический ресурс». Журнал Ассоциации информационных наук и технологий. 67 (8): 1904–1915. Дои:10.1002 / asi.23503. ISSN  2330-1635.
  14. ^ а б c d е ж грамм час Калев Литару (28 января, 2016). «Интернет-архиву исполняется 20 лет: взгляд изнутри на архивирование Интернета». Forbes. В архиве из оригинала 16 октября 2017 г.. Получено 16 октября, 2017.
  15. ^ http://blog.archive.org/2020/10/30/fact-checks-and-context-for-wayback-machine-pages/
  16. ^ Кале, Брюстер. «Архивирование Интернета». Scientific American - Выпуск за март 1997 г. В архиве из оригинала 3 апреля 2012 г.. Получено 19 августа, 2011.
  17. ^ Джефф Каплан (27 октября 2014 г.). "Archive-It: сканирование Интернета вместе". Интернет-архив блогов. В архиве с оригинала 12 октября 2017 г.. Получено 16 октября, 2017.
  18. ^ а б "Worldwide Web Crawls". Интернет-архив. В архиве с оригинала 19 октября 2017 г.. Получено 16 октября, 2017.
  19. ^ «Широкий обход № 13». Интернет-архив. В архиве с оригинала 19 октября 2017 г.. Получено 16 октября, 2017.
  20. ^ "Интернет-архив: Петабокс". archive.org. Получено 25 октября, 2018.
  21. ^ Канеллос, Майкл (29 июля 2005 г.). «Большое хранилище по дешевке». CNET News.com. Архивировано из оригинал 3 апреля 2007 г.. Получено 29 июля, 2007.
  22. ^ «Интернет-архив и Sun Microsystems создают живую историю Интернета». Sun Microsystems. 25 марта 2009 г. В архиве из оригинала 26 марта 2009 г.. Получено 27 марта, 2009.
  23. ^ Мириан, Лукас (19 марта 2009 г.). «Интернет-архив открывает масштабный дата-центр Wayback Machine». Computerworld.com. Архивировано из оригинал 23 марта 2009 г.. Получено 22 марта, 2009.
  24. ^ «Обновленная машина Wayback в бета-тестировании». Архивировано из оригинал 23 августа 2011 г.. Получено 19 августа, 2011.
  25. ^ "Beta Wayback Machine, на форуме". В архиве из оригинала 17 апреля 2014 г.. Получено 16 апреля, 2014.
  26. ^ «Интернет-архивные форумы: введена в эксплуатацию 6-я пара стоек: использовано более 2 ПБ пространства данных». archive.org. В архиве с оригинала 24 октября 2016 г.. Получено 25 октября, 2018.
  27. ^ "Wayback Machine: теперь с 240 000 000 000 URL | Интернет-архив блогов". 9 января 2013 г. В архиве из оригинала 14 апреля 2014 г.. Получено 16 апреля, 2014.
  28. ^ Росси, Алексис (25 октября 2013 г.). «Исправление неработающих ссылок в Интернете». archive.org. Сан-Франциско, Калифорния, США: Коллективная группа, Интернет-архив. В архиве из оригинала 7 ноября 2014 г.. Получено 25 марта, 2015. Мы добавили возможность мгновенно архивировать страницу и получать постоянный URL-адрес для этой страницы в Wayback Machine. Эта служба позволяет любому - редакторам Википедии, ученым, юристам, студентам или домашним поварам, таким как я, - создавать стабильные URL-адреса для цитирования, обмена или добавления в закладки любой информации, к которой они хотят иметь доступ в будущем.
  29. ^ «Новый Интернет-архиватор Wayback Machine уже в сети». www.digitaljournal.com. 23 октября 2013 г.
  30. ^ Команда VirusTotal (25 марта 2015 г.). "Информация об IP-адресе 207.241.226.190". virustotal.com. Дублин 2, Ирландия: VirusTotal. В архиве из оригинала 14 июля 2014 г.. Получено 25 марта, 2015. 2015-03-25: Последние URL-адреса, размещенные на этом IP-адресе, обнаружены по крайней мере одним сканером URL-адресов или вредоносным набором данных URL-адресов. ...2/62 25-03-2015, 16:14 [полный URL-адрес отредактирован] /Renegotiating_TLS.pdf ... 1/62 25-03-2015, 04:46:34 [полный URL-адрес отредактирован] /CBLightSetup.exeCS1 maint: location (связь)
  31. ^ Рекомендации предоставлены Google (25 марта 2015 г.). "Страница диагностики безопасного просмотра для archive.org". google.com/safebrowsing. Маунтин-Вью, Калифорния, США. В архиве из оригинала 6 апреля 2015 г.. Получено 25 марта, 2015. 2015-03-25: Часть этого сайта была отмечена как подозрительная активность 138 раз за последние 90 дней. ... Что произошло, когда Google посетил этот сайт? ... Из 42410 страниц, которые мы протестировали на сайте за последние 90 дней, на 450 страницах было загружено и установлено вредоносное ПО без согласия пользователя. Последний раз Google посещал этот сайт 25 марта 2015 г., а подозрительный контент был обнаружен в последний раз 25 марта 2015 г. ... Вредоносное ПО включает 169 троянских программ, 126 вирусов, 43 бэкдора (ов).
  32. ^ «Интернет-архив. Часто задаваемые вопросы». В архиве с оригинала 21 октября 2009 г.. Получено 17 января, 2015.
  33. ^ «Интернет-архив. Часто задаваемые вопросы». 18 декабря 2014 г. Архивировано с оригинал 18 декабря 2014 г.. Получено 13 декабря, 2018.
  34. ^ «Может ли манипулирование большими данными изменить образ мышления мира?». Национальный. В архиве с оригинала 12 января 2017 г.. Получено 14 мая, 2017.
  35. ^ Крокетт, Захари (28 сентября 2018 г.). «Внутри Wayback Machine, капсулы времени Интернета». Суета. В архиве с оригинала 2 октября 2018 г.. Получено 26 октября, 2018.
  36. ^ Хеффернан, Вирджиния (18 сентября 2018 г.). «Вещи ломаются и разлагаются в Интернете - это хорошо». ПРОВОДНОЙ. В архиве с оригинала 25 сентября 2018 г.. Получено 26 октября, 2018.
  37. ^ мишель (9 мая 2014 г.). "Wayback Machine поразила 400000000000!". Интернет-архив. В архиве с оригинала 26 августа 2014 г.. Получено 25 марта, 2015.
  38. ^ "Интернет-архив Wayback Machine". Интернет-архив. Архивировано из оригинал 13 февраля 2015 г.. Получено 25 марта, 2015.
  39. ^ «Некоторые сайты недоступны из-за Robots.txt или других исключений». Архивировано из оригинал 15 апреля 2011 г.
  40. ^ «Интернет-архив. Часто задаваемые вопросы». Архивировано из оригинал 17 апреля 2014 г.
  41. ^ Кокс, Джозеф (22 мая 2018 г.). «Машина Wayback удаляет доказательства того, что вредоносное ПО было продано сталкерам». В архиве с оригинала 23 мая 2018 г.. Получено 23 мая, 2018.
  42. ^ "Robots.txt, предназначенный для поисковых систем, не подходит для веб-архивов". Интернет-архив. 17 апреля 2017 г.. Получено 29 июня, 2019.
  43. ^ https://help.archive.org/hc/en-us/articles/360004651732-Using-The-Wayback-Machine
  44. ^ «Рекомендации по управлению запросами на удаление и сохранению целостности архивов». Калифорнийский университет. 14 декабря 2002 г. В архиве с оригинала 18 сентября 2017 г.. Получено 14 сентября, 2017.
  45. ^ «Ретроактивное удаление из файла robots.txt прошлых сканирований, также известного как Политика архивов Окленда». Интернет-архив. 7 июля 2014 г. В архиве с оригинала 10 октября 2017 г.. Получено 14 сентября, 2017.
  46. ^ Марк Грэм (17 апреля 2017 г.). "Robots.txt, предназначенный для поисковых систем, не подходит для веб-архивов". Интернет-архив блогов. В архиве из оригинала 17 апреля 2017 г.. Получено 16 апреля, 2017.
  47. ^ "Archivierung des Internets: Internet Archive ignoriert künftig robots.txt" (на немецком). heise в сети. В архиве из оригинала 27 апреля 2017 г.. Получено 14 мая, 2017.
  48. ^ "Сучмаскинен: Интернет-архив будет künftig Robots.txt-Einträge ignorieren - Golem.de" (на немецком). В архиве с оригинала 19 июня 2017 г.. Получено 14 мая, 2017.
  49. ^ «Интернет-архив будет игнорировать файлы robots.txt для обеспечения точности исторических данных». Цифровые тенденции. 24 апреля 2017 года. В архиве из оригинала 16 мая 2017 г.. Получено 14 мая, 2017.
  50. ^ Сампат Кумар, Б.Т .; Притхвирадж, К. (21 октября 2014 г.). «Оживление мертвых: роль Wayback Machine в извлечении исчезнувших URL-адресов». Журнал информатики. 41 (1): 71–81. Дои:10.1177/0165551514552752. ISSN  0165-5515. S2CID  28320982.
  51. ^ а б c d е «Wayback Machine не будет подвергать цензуре архив на вкус, - сказал директор после очистки статьи об Олимпийских играх». В архиве с оригинала от 6 января 2017 г.. Получено 14 мая, 2017.
  52. ^ Лепор, Джилл (26 января 2015 г.). "О чем вчера говорила сеть". Житель Нью-Йорка. В архиве с оригинала 25 января 2015 г.. Получено 14 мая, 2017.
  53. ^ «Марш науки начался с« одноразовой строчки »этого человека на Reddit». Вашингтон Пост. В архиве с оригинала от 23 апреля 2017 г.. Получено 23 апреля, 2017.
  54. ^ "Собираются ли ученые маршем на Вашингтон?". Вашингтон Пост. В архиве с оригинала 31 января 2017 г.. Получено 31 января, 2017.
  55. ^ Фоли, Кэтрин Эллен. «Глобальный марш науки начался с единственной ветки на Reddit». Кварцевый. В архиве с оригинала от 24 апреля 2017 г.. Получено 23 апреля, 2017.
  56. ^ http://blog.archive.org/2018/10/01/more-than-9-million-broken-links-on-wikipedia-are-now-rescued
  57. ^ Грэм, Марк (17 сентября 2020 г.). «Cloudflare и Wayback Machine объединяют усилия для создания более надежной сети». Интернет-архив блогов. Получено 17 сентября, 2020.
  58. ^ «Интернет-архив. Часто задаваемые вопросы». Интернет-архив. 2 апреля 2014 г. Архивировано с оригинал 2 апреля 2014 г.. Получено 23 ноября, 2018.
  59. ^ «Интернет-архив. Часто задаваемые вопросы». archive.org. Получено 23 ноября, 2018.
  60. ^ а б Бейтс, Мэри Эллен (2002). «Машина обратного пути». В сети. 26: 80 - через EBSCOhost.
  61. ^ "YouTube - Archiveteam". archiveteam.org. Получено 6 августа, 2020.
  62. ^ «Интернет-архив. Часто задаваемые вопросы». archive.org. В архиве из оригинала от 20 апреля 2013 г.. Получено 18 октября, 2018.
  63. ^ а б c Ллойд, Ховард (октябрь 2009 г.). «Приказ отключить Robots.txt» (PDF). Архивировано из оригинал (PDF) 8 августа 2019 г.. Получено 15 октября, 2009.
  64. ^ Кортес, Антонио (октябрь 2009 г.). "Движение против удаления файла Robots.txt". Архивировано из оригинал 27 октября 2010 г.. Получено 15 октября, 2009.
  65. ^ Гельман, Лорен (17 ноября 2004 г.). «Снимки веб-страницы Интернет-архива считаются допустимыми в качестве доказательства». Пакеты. 2 (3). Архивировано из оригинал 30 апреля 2011 г.. Получено 4 января, 2007.
  66. ^ Хауэлл, Берил А. (февраль 2006 г.). «Проверка истории веб-поиска: как использовать Интернет-архив» (PDF). Журнал интернет-права: 3–9. Архивировано из оригинал (PDF) 5 июля 2010 г.. Получено 6 августа, 2008.
  67. ^ «Поиск доказательств в виртуальных местах. Допустимость Интернет-доказательств». В архиве с оригинала на 1 июля 2019 г.. Получено 14 июня, 2020.
  68. ^ Левитт, Кэрол А .; Рош, Марк Э. (2010). Находите информацию как профессионал: добыча общедоступных ресурсов Интернета для проведения расследований, Том 1. Американская ассоциация адвокатов. С. 194–196. ISBN  978-1-60442-890-2. Получено 14 июня, 2020.
  69. ^ Винн В. Коггинс (осень 2002 г.). "Предшествующий уровень техники в области патентов на бизнес-методы - когда электронный документ является печатной публикацией для целей предшествующего уровня техники?". USPTO. Архивировано из оригинал 21 сентября 2012 г.. Получено 15 августа, 2012.
  70. ^ «Разоблачение машины обратного пути». Архивировано из оригинал 29 июня 2010 г.
  71. ^ Бар, Мартин (2002). "The Wayback Machine и Google Cache - eine Verletzung deutschen Urheberrechts?". JurPC (на немецком языке): 9. Дои:10.7328 / jurpcb / 20021719. В архиве с оригинала от 23 августа 2009 г.
  72. ^ "Интернет-архив FAQ". В архиве из оригинала 17 апреля 2014 г.. Получено 16 апреля, 2014.
  73. ^ Боуман, Лиза М. (24 сентября 2002 г.). «Сетевой архив заставляет замолчать саентологического критика». CNET News.com. Архивировано из оригинал 15 мая 2012 г.. Получено 4 января, 2007.
  74. ^ Джефф (23 сентября 2002 г.). «исключения из Wayback Machine» (Блог). Wayback Machine Forum. Интернет-архив. В архиве из оригинала 11 февраля 2007 г.. Получено 4 января, 2007. Автор и Дата указывают начало обсуждения на форуме.
  75. ^ Миллер, Эрнест. «Шерман, установи путь назад для Саентологии». LawMeme. Йельская школа права. Архивировано из оригинал (Блог) 16 ноября 2012 г.. Получено 4 января, 2007.
  76. ^ Краска, Джессика (2005). «На веб-сайт предъявлен иск за скандальное путешествие в прошлое Интернета». EContent. 28. 11: 8–9.
  77. ^ Бэнгеман, Эрик (31 августа 2006 г.). "Интернет-архив решает проблему с машиной обратного пути". Ars Technica. В архиве из оригинала 5 ноября 2007 г.. Получено 29 ноября, 2007.
  78. ^ а б Интернет-архив против Shell, 505 F.Supp.2d 755 на justia.com, 1: 2006cv01726 (Окружной суд Колорадо 31 августа 2006 г.) («« Объявлено о мировом соглашении от 25 апреля 2007 г. »Заявка № 65, 2007-04-30:«… следовательно, ПРИКАЗАНО, что этот вопрос должен быть ОТКЛОНЕН С ПРЕДУБЕРЕЖЕНИЕМ ... »).
  79. ^ а б Бэбкок, Льюис Т., главный судья (13 февраля 2007 г.). "Интернет-архив против Shell Гражданский иск № 06cv01726LTBCBS " (PDF). В архиве (PDF) с оригинала 25 января 2014 г.. Получено 25 марта, 2015. 1) Ходатайство Internet Archive об отклонении встречного иска Shell о конверсии и гражданском краже (вторая причина иска) ВЫДАЕТСЯ, 2) ходатайство Internet Archive об отклонении встречного иска Shell о нарушении контракта (третья причина иска) ОТКАЗАНО; 3) Ходатайство Internet Archive отклонить встречный иск Shell по рэкету в соответствии с RICO и COCCA (четвертая причина иска) ПРЕДОСТАВЛЯЕТСЯ.
  80. ^ Клэберн, Томас (16 марта 2007 г.). «Женщина из Колорадо подала в суд на привлечение поисковых роботов к контрактам». Нью-Йорк, Нью-Йорк, США: Информационная неделя, UBM Tech, UBM LLC. В архиве из оригинала 4 сентября 2014 г.. Получено 25 марта, 2015. Компьютеры могут заключать контракты от имени людей. Единый закон об электронных транзакциях (UETA) гласит, что «договор может быть заключен путем взаимодействия электронных агентов сторон, даже если никто не знал или не проверял действия электронных агентов или вытекающие из них условия и соглашения».
  81. ^ Самсон, Мартин Х., Phillips Nizer LLP (2007). "Интернет-архив против Сюзанны Шелл". internetlibrary.com. Интернет-библиотека закона и судебных решений. В архиве с оригинала 3 августа 2014 г.. Получено 25 марта, 2015. Что еще более важно, по мнению суда, простое копирование Интернет-архивом сайта Shell и отображение его в своей базе данных не являлось необходимым осуществлением господства и контроля над собственностью ответчика. Важно отметить, отметил суд, что ответчик всегда владел и управлял собственным сайтом. Суд заявил: «Shell не представила фактов, свидетельствующих о том, что Internet Archive осуществляла доминирование или контроль над ее веб-сайтом, поскольку в жалобе Shell прямо говорится, что она продолжала владеть и управлять веб-сайтом, пока он находился в архиве на машине Wayback. Shell не указывает авторитетных источников, поддерживающих идею о том, что копирование документов само по себе является лишением возможности использовать для поддержки преобразования. И наоборот, многочисленные схемы определили, что это не так ».
  82. ^ brewster (25 апреля 2007 г.). "Интернет-архив и иск Сюзанны Шелл об урегулировании спора". archive.org. Денвер, Колорадо, США: Интернет-архив. В архиве с оригинала 5 декабря 2010 г.. Получено 25 марта, 2015. Обе стороны искренне сожалеют о беспорядках, которые судебный процесс мог вызвать для другой стороны. Ни Internet Archive, ни г-жа Шелл не оправдывают любое поведение, которое могло нанести вред любой из сторон в результате общественного внимания к этому иску. Стороны не участвовали в таком поведении и просят, чтобы общественный ответ на мирное урегулирование этого судебного разбирательства соответствовал их желанию, чтобы ни одна из сторон не причинила дальнейшего ущерба или беспорядков.
  83. ^ Стоббе, Ричард (5 декабря 2014 г.). "Последствия" права на забвение "для авторских прав? Или как удалить Интернет-архив". Mondaq. Получено 8 марта, 2019.
  84. ^ Маквей, Гленнис (16 октября 2014 г.). Филпотт, Джеймс; Вайсман, Адам; Бухольц, Рен; Чайники марки Brent; Перл, Аарон (ред.). "Давыдюк против Интернет-архива Канады, 2014 FC 944". CanLII. Федерация юридических обществ Канады. Получено 8 марта, 2019.
  85. ^ Сауткотт, Ричард Ф. (30 ноября 2016 г.). Филпотт, Джон; Альтон, Алекс; Бухольц, Рен (ред.). "Давыдюк против Интернет-архива Канады и Интернет-архива, 2016 FC 1313 (CanLII)". CanLII. Оттава, Онтарио: Федерация юридических обществ Канады. Получено 8 марта, 2019.
  86. ^ Конгер, Кейт. «Резервное копирование истории Интернета в Канаде, чтобы спасти ее от Трампа». TechCrunch. В архиве с оригинала 27 декабря 2016 г.. Получено 14 мая, 2017.
  87. ^ «Где найти то, что пропало в Интернете, и многое другое: Интернет-архив». Международное общественное радио. В архиве с оригинала 28 марта 2017 г.. Получено 14 мая, 2017.
  88. ^ Чиргвин, Ричард. «В России нет пути назад: Путин блокирует Archive.org». В архиве с оригинала 7 октября 2016 г.. Получено 14 мая, 2017.
  89. ^ «Россия не пойдет назад, блокирует Интернет-архив». Цифровые тенденции. 26 июня 2015 года. В архиве из оригинала 17 апреля 2016 г.. Получено 14 мая, 2017.
  90. ^ "В России выпущен крупнейший интернет-архив". Российская газета (на русском). Получено 18 октября, 2020.
  91. ^ «Помогите нам сохранить архив свободным, доступным и конфиденциальным для читателей | Интернет-архив блогов». 29 ноября 2016 г. В архиве из оригинала 21 мая 2017 г.. Получено 14 мая, 2017.
  92. ^ https://www.engadget.com/2013-11-07-wayback-machine-internet-archive-fire.html
  93. ^ «Интернет-архив: предлагаемые изменения в DMCA сделают нас» подвергнуть цензуре Интернет"". Потребитель. 7 июня 2016 г. В архиве с оригинала 11 ноября 2016 г.. Получено 14 мая, 2017.
  94. ^ Херб, Ульрих. "Die Trump-Angst Grassiert" (на немецком). heise в сети. В архиве с оригинала 7 декабря 2016 г.. Получено 14 мая, 2017.
  95. ^ ЛаФранс, Адриенн. «Темные века Интернета». Атлантический океан. В архиве из оригинала 7 мая 2017 г.. Получено 14 мая, 2017.
  96. ^ «Весь Интернет будет заархивирован в Канаде, чтобы защитить его от Трампа». Материнская плата. 29 ноября 2016 г. В архиве из оригинала 16 мая 2017 г.. Получено 14 мая, 2017.
  97. ^ ЛаФранс, Эдриенн (3 июня 2016 г.). «Человеческий страх полного знания». Атлантический океан. В архиве с оригинала 2 декабря 2016 г.. Получено 14 мая, 2017.

внешняя ссылка