Scrapy – otwartoźródłowy szkielet do tworzenia aplikacji napisany w języku programowania Python i służący do pisania robotów internetowych, które przeszukują strony internetowe i wydobywają z nich określone dane.
Scrapy ma „selektory“, czyli własny mechanizm pozwalający na ekstrakcję danych. Jednakże może być w łatwy sposób łączony z bibliotekami do parsowania takimi jak: BeautifulSoup, czy lxml. Wspiera wykorzystywanie pośredników HTTP. Używa kolejki LIFO do przechowywania oczekujących żądań, co oznacza, że wykorzystuje przeszukiwanie w głąb. Jednakże umożliwia zmianę ustawień skutkującą przeszukiwaniem wszerz. Dodatkowo Scrapy odbiera i przechowuje ciasteczka wysyłane przez serwery i odsyła je w kolejnych żądaniach, w taki sam sposób jak robi to przeglądarka internetowa.
Aby wykorzystywać framework, potrzebny jest Python w wersji 2.7 lub 3.5+ (implementacja CPython) albo 5.9 (implementacja PyPy).
Przypisy
Kategoria:Python Kategoria:Frameworki Kategoria:Oprogramowanie na licencji BSD