Scrapy ( ) é um framework de web-crawling gratuito e código aberto desenvolvido em Python. Originalmente idealizado para web scraping, também pode ser utilizado para extração de dados usando APIs ou como web crawler de forma mais abrangente.Scrapy at a glance. Atualmente é mantido pela Zyte (antiga Scrapinghub Ltd.) uma empresa de desenvolvimento e serviços relacionados a web-scraping.
A arquitetura do Scrapy é construída em torno de "spiders", que são crawlers autônomos que recebem um conjunto de instruções. Seguindo o exemplo de outros frameworks DRY (don't repeat yourself), como Django, tornando mais fácil o desenvolvimento e evolução de projetos de larga escala, que utilizam o crawling, pois permite a reutilização de código. Scrapy também fornece um shell para web-crawling, que pode ser utilizado pelos desenvolvedores para testar suas suposições sobre o comportamento de um site.
Algumas empresas, produtos e projetos bem conhecidos que usam o Scrapy são: Querido Diário, Lyst,Scrapy | Companies using Scrapy Parse.ly, Sayone Technologies, Sciences Po Medialab,Hyphe v0.0.0: the first release of our new webcrawler is out! Data.gov.uk’s World Government Data site.
História Scrapy nasceu na Mydeco, empresa de agregação da web e comércio eletrônico sediada em Londres, onde foi desenvolvido e mantido por empregados da Mydeco e Insophia (uma empresa de consultoria web sediada em Montevideu, Uruguay). A primeira versão pública foi disponibilizada em Agosto de 2008 sob uma Licença BSD, e a sua versão 1.0 lançada em Junho de 2015. Em 2011, Zyte (antiga Scrapinghub) tornou-se oficialmente responsável pelas manutenções do projeto.Interview Scraping Hub.
Sites externos
Site oficial
Categoria:Programas de computador Categoria:Software livre programado em Python