Zaawansowana analiza danych w PySpark. Metody przetwarzania informacji na szeroką skalę z wykorzystaniem Pythona i systemu Spark - ebook

Potrzeby w zakresie analizy dużych zbiorów danych i wyciągania z nich użytecznych informacji stale rosną. Spośród dostępnych narzędzi przeznaczonych do tych zastosowań szczególnie przydatny jest PySpark - interfejs API systemu Spark dla języka Python. Apache Spark świetnie się nadaje do analizy dużych zbiorów danych, a PySpark skutecznie ułatwia integrację Sparka ze specjalistycznymi narzędziami PyData. By jednak można było w pełni skorzystać z tych możliwości, konieczne jest zrozumienie interakcji między algorytmami, zbiorami danych i wzorcami używanymi w analizie danych.

Oto praktyczny przewodnik po wersji 3.0 systemu Spark, metodach statystycznych i rzeczywistych zbiorach danych. Omówiono w nim zasady rozwiązywania problemów analitycznych za pomocą interfejsu PySpark, z wykorzystaniem dobrych praktyk programowania w systemie Spark. Po lekturze można bezproblemowo zagłębić się we wzorce analityczne oparte na popularnych technikach przetwarzania danych, takich jak klasyfikacja, grupowanie, filtrowanie i wykrywanie anomalii, stosowane w genomice, bezpieczeństwie systemów IT i finansach. Dodatkowym plusem są opisy wykorzystania przetwarzania obrazów i języka naturalnego. Zaletą jest też szereg rzeczywistych przykładów dużych zbiorów danych i ich zaawansowanej analizy.

Dzięki książce poznasz:

• model programowania w ekosystemie Spark
• podstawowe metody stosowane w nauce o danych
• pełne implementacje analiz dużych publicznych zbiorów danych
• konkretne przypadki użycia narzędzi uczenia maszynowego
• kod, który łatwo dostosujesz do swoich potrzeb

PySpark: systemowa odpowiedź na problemy inżyniera danych!

Słowo wstępne

1. Analiza wielkich zbiorów danych

• Praca z wielkimi zbiorami danych
• Przedstawiamy Apache Spark i PySpark
  • Komponenty
  • PySpark
  • Ekosystem
• Spark 3.0
• PySpark i wyzwania w nauce o danych
• O czym jest ta książka

2. Wprowadzenie do analizy danych za pomocą PySpark

• Architektura systemu Spark
• Instalacja interfejsu PySpark
• Przygotowanie danych
• Analiza danych za pomocą struktury DataFrame
• Szybkie statystyki zbiorcze w strukturze DataFrame
• Przestawienie i przekształcenie struktury DataFrame
• Złączenie struktur DataFrame i wybór cech
• Ocena modelu
• Dalsze kroki

3. Rekomendowanie muzyki i dane Audioscrobbler

• Zbiór danych
• Wymagania dla systemu rekomendacyjnego
• Algorytm naprzemiennych najmniejszych kwadratów
• Przygotowanie danych
• Utworzenie pierwszego modelu
• Wyrywkowe sprawdzanie rekomendacji
• Ocena jakości rekomendacji
• Obliczenie wskaźnika AUC
• Dobór wartości hiperparametrów
• Przygotowanie rekomendacji
• Dalsze kroki

4. Prognozowanie zalesienia za pomocą drzewa decyzyjnego

• Drzewa i lasy decyzyjne
• Przygotowanie danych
• Pierwsze drzewo decyzyjne
• Hiperparametry drzewa decyzyjnego
• Regulacja drzewa decyzyjnego
• Weryfikacja cech kategorialnych
• Losowy las decyzyjny
• Prognozowanie
• Dalsze kroki

5. Wykrywanie anomalii w ruchu sieciowym metodą grupowania edług k-średnich

• Grupowanie według k-średnich
• Wykrywanie anomalii w ruchu sieciowym
  • Dane KDD Cup 1999
• Pierwsza próba grupowania
• Dobór wartości k
• Wizualizacja w środowisku R
• Normalizacja cech
• Zmienne kategorialne
• Wykorzystanie etykiet i wskaźnika entropii
• Grupowanie w akcji
• Dalsze kroki

6. Wikipedia, algorytmy LDA i Spark NLP

• Algorytm LDA
  • Algorytm LDA w interfejsie PySpark
• Pobranie danych
• Spark NLP
  • Przygotowanie środowiska
• Przekształcenie danych
• Przygotowanie danych za pomocą biblioteki Spark NLP
• Metoda TF-IDF
• Wyliczenie wskaźników TF-IDF
• Utworzenie modelu LDA
• Dalsze kroki

7. Geoprzestrzenna i temporalna analiza tras nowojorskich taksówek

• Przygotowanie danych
  • Konwersja ciągów znaków na znaczniki czasu
  • Obsługa błędnych rekordów danych
• Analiza danych geoprzestrzennych
  • Wprowadzenie do formatu GeoJSON
  • Biblioteka GeoPandas
• Sesjonowanie w interfejsie PySpark
  • Budowanie sesji - dodatkowe sortowanie danych w systemie Spark
• Dalsze kroki

8. Szacowanie ryzyka finansowego

• Terminologia
• Metody obliczania wskaźnika VaR
  • Wariancja-kowariancja
  • Symulacja historyczna
  • Symulacja Monte Carlo
• Nasz model
• Pobranie danych
• Przygotowanie danych
• Określenie wag czynników
• Losowanie prób
  • Wielowymiarowy rozkład normalny
• Wykonanie testów
• Wizualizacja rozkładu zwrotów
• Dalsze kroki

9. Analiza danych genomicznych i projekt BDG

• Rozdzielenie sposobów zapisu i modelowania danych
• Przygotowanie pakietu ADAM
• Przetwarzanie danych genomicznych za pomocą pakietu ADAM
  • Konwersja formatów plików za pomocą poleceń pakietu ADAM
  • Pozyskanie danych genomicznych przy użyciu interfejsu PySpark i pakietu ADAM
• Prognozowanie miejsc wiązania czynnika transkrypcyjnego na podstawie danych ENCODE
• Dalsze kroki

10. Określanie podobieństwa obrazów za pomocą głębokiego uczenia i algorytmu PySpark LSH

• PyTorch
  • Instalacja
• Przygotowanie danych
  • Skalowanie obrazów za pomocą PyTorch
• Wektoryzacja obrazów za pomocą modelu głębokiego uczenia
  • Osadzenie obrazów
  • Import osadzeń obrazów do pakietu PySpark
• Określanie podobieństwa obrazów za pomocą algorytmu PySpark LSH
  • Wyszukiwanie najbliższych sąsiadów
• Dalsze kroki

11. Zarządzanie cyklem uczenia maszynowego za pomocą platformy MLflow

• Cykl uczenia maszynowego
• Platforma MLflow
• Śledzenie eksperymentów
• Zarządzanie modelami uczenia maszynowego i udostępnianie ich
• Tworzenie i stosowanie projektów za pomocą modułu MLflow Projects
• Dalsze kroki