Scrapy - Википедия - Scrapy

Не путать с Скрепи.
Scrapy
Scrapy logo.jpg
Разработчики)Scrapinghub, Ltd.
изначальный выпуск26 июня 2008 г. (2008-06-26)
Стабильный выпуск
2.4.1 / 17 ноября 2020; 28 дней назад (2020-11-17)[1]
Репозиторий
Отредактируйте это в Викиданных
Написано вPython
Операционная системаWindows, macOS, Linux
ТипПоисковый робот
ЛицензияЛицензия BSD
Интернет сайтскрап.org Отредактируйте это в Викиданных

Scrapy (/ˈskрeɪпаɪ/ SKRAY-пай ) это бесплатно и с открытым исходным кодом веб-сканирование рамки написано на Python. Первоначально разработанный для парсинга веб-страниц, он также может использоваться для извлечения данных с помощью API или как универсальный поисковый робот.[2] В настоящее время поддерживается Scrapinghub Ltd., компания по разработке и обслуживанию веб-скрейпинга.

Архитектура проекта Scrapy построена на «пауках», которые представляют собой автономные поисковые роботы, которым предоставляется набор инструкций. Следуя духу других не повторяйся фреймворки, такие как Джанго,[3] это упрощает создание и масштабирование больших проектов сканирования, позволяя разработчикам повторно использовать свой код. Scrapy также обеспечивает сканирование ракушка, который может использоваться разработчиками для проверки своих предположений о поведении сайта.[4]

Некоторые известные компании и продукты, использующие Scrapy: Lyst,[5] [6] Parse.ly,[7] Sayone Technologies[8], Наук По Медиалаб,[9] Data.gov.uk Сайт World Government Data.[10][1]

История

Scrapy родился в лондонской компании Mydeco, занимающейся агрегацией веб-сайтов и электронной коммерции, где он был разработан и поддержан сотрудниками Mydeco и Insophia (консалтинговой компании, базирующейся в г. Монтевидео, Уругвай). Первый публичный релиз состоялся в августе 2008 года под Лицензия BSD, а релиз 1.0 состоится в июне 2015 года.[11] В 2011 году новым официальным сопровождающим стал Scrapinghub.[12][13]

Рекомендации

  1. ^ «Примечания к выпуску - документация Scrapy». doc.scrapy.org. Получено 18 ноября 2020.
  2. ^ Краткий обзор Scrapy.
  3. ^ "Часто задаваемые вопросы". Получено 28 июля 2015.
  4. ^ «Скорлупа Scrapy». Получено 28 июля 2015.
  5. ^ Белл, Эдди; Хойссер, Джонатан. «Масштабируемый парсинг с использованием машинного обучения». Получено 28 июля 2015.
  6. ^ Scrapy | Компании, использующие Scrapy
  7. ^ Монталенти, Эндрю. «Веб-сканирование и извлечение метаданных в Python».
  8. ^ "Компании по переработке отходов". Сайт Scrapy.
  9. ^ Hyphe v0.0.0: вышел первый выпуск нашего нового веб-краулера!
  10. ^ Бен Фиршман [@bfirsh] (21 января 2010 г.). "Сайт World Govt Data использует Django, Solr, Haystack, Scrapy и другие интересные модные словечки bit.ly/5jU3La #opendata #datastore" (Твит) - через Twitter.
  11. ^ Медина, Юлия (19 июня 2015 г.). "Вышел официальный релиз Scrapy 1.0!". scrapy-пользователи (Список рассылки).
  12. ^ Пабло Хоффман (2013). Список основных авторов и соавторов. Получено 18 ноября 2013.
  13. ^ Центр поиска интервью.

внешняя ссылка