Inżynieria danych na platformie AWS. Jak tworzyć kompletne potoki uczenia maszynowego - ebook

Platforma Amazon Web Services jest uważana za największą i najbardziej dojrzałą chmurę obliczeniową. Zapewnia bogaty zestaw specjalistycznych narzędzi ułatwiających realizację projektów z zakresu inżynierii danych i uczenia maszynowego. W ten sposób inżynierowie danych, architekci i menedżerowie mogą szybko zacząć używać danych do podejmowania kluczowych decyzji biznesowych. Uzyskanie optymalnej efektywności pracy takich projektów wymaga jednak dobrego rozeznania w możliwościach poszczególnych narzędzi, usług i bibliotek.

Dzięki temu praktycznemu przewodnikowi szybko nauczysz się tworzyć i uruchamiać procesy w chmurze, a następnie integrować wyniki z aplikacjami. Zapoznasz się ze scenariuszami stosowania technik sztucznej inteligencji: przetwarzania języka naturalnego, rozpoznawania obrazów, wykrywania oszustw, wyszukiwania kognitywnego czy wykrywania anomalii w czasie rzeczywistym. Ponadto dowiesz się, jak łączyć cykle rozwoju modeli z pobieraniem i analizą danych w powtarzalnych potokach MLOps. W książce znajdziesz też zbiór technik zabezpieczania projektów i procesów z obszaru inżynierii danych, takich jak stosowanie usługi IAM, uwierzytelnianie, autoryzacja, izolacja sieci, szyfrowanie danych w spoczynku czy postkwantowe szyfrowanie sieci dla danych w tranzycie.

Najciekawsze zagadnienia:

• narzędzia AWS związane ze sztuczną inteligencją i z uczeniem maszynowym
• kompletny cykl rozwoju modelu przetwarzania języka naturalnego
• powtarzalne potoki MLOps
• uczenie maszynowe w czasie rzeczywistym
• wykrywanie anomalii i analiza strumieni danych
• zabezpieczanie projektów i procesów z obszaru inżynierii danych

AWS i inżynieria danych: tak zwiększysz wydajność i obniżysz koszty!

Implementowanie solidnego kompletnego procesu uczenia maszynowego to żmudne zadanie, dodatkowo komplikowane przez szeroki zakres dostępnych narzędzi i technologii. Autorzy wykonali świetną robotę, a jej efekty pomogą zarówno nowicjuszom, jak i doświadczonym praktykom realizować to zadanie z wykorzystaniem możliwości, jakie dają usługi AWS

Brent Rabowsky, danolog w firmie Amazon Web Services

Przedmowa

Rozdział 1. Wprowadzenie do danologii na platformie AWS

• Zalety przetwarzania w chmurze
• Potoki i procesy w danologii
• Zalecane praktyki z obszaru MLOps
• Usługi SI Amazona i zautomatyzowane uczenie maszynowe w narzędziu Amazon SageMaker
• Pobieranie, eksploracja i przygotowywanie danych na platformie AWS
• Uczenie i dostrajanie modelu za pomocą narzędzia Amazon SageMaker
• Instalowanie modeli za pomocą usługi Amazon SageMaker i funkcji AWS Lambda
• Analizy i uczenie maszynowe dla strumieni danych na platformie AWS
• Infrastruktura platformy AWS i niestandardowy sprzęt
• Ograniczanie kosztów za pomocą tagów, budżetów i alertów
• Podsumowanie

Rozdział 2. Zastosowania danologii

• Innowacje w każdej branży
• Spersonalizowane rekomendacje produktów
• Wykrywanie niestosownych materiałów wideo za pomocą usługi Amazon Rekognition
• Prognozowanie zapotrzebowania
• Identyfikowanie fałszywych kont za pomocą usługi Amazon Fraud Detector
• Używanie usługi Amazon Macie do wykrywania wycieków wrażliwych danych
• Urządzenia konwersacyjne i asystenci głosowi
• Analiza tekstu i NLP
• Wyszukiwanie kognitywne i rozumienie języka naturalnego
• Inteligentne centra obsługi klienta
• Przemysłowe usługi SI i konserwacja predykcyjna
• Automatyzacja domu za pomocą narzędzi AWS IoT i Amazon SageMaker
• Pobieranie informacji medycznych z dokumentów służby zdrowia
• Samooptymalizująca i inteligentna infrastruktura chmury
• Kognitywna i predyktywna analityka biznesowa
• Edukacja następnego pokolenia programistów SI i UM
• Zaprogramuj naturalny system operacyjny za pomocą przetwarzania kwantowego
• Wzrost wydajności i obniżenie kosztów
• Podsumowanie

Rozdział 3. Zautomatyzowane uczenie maszynowe

• Zautomatyzowane uczenie maszynowe w usłudze SageMaker Autopilot
• Śledzenie wyników eksperymentów za pomocą usługi SageMaker Autopilot
• Uczenie i instalowanie klasyfikatora tekstu za pomocą usługi SageMaker Autopilot
• Zautomatyzowane uczenie maszynowe w usłudze Amazon Comprehend
• Podsumowanie

Rozdział 4. Pobieranie danych do chmury

• Jeziora danych
• Kierowanie zapytań do jeziora danych w S3 za pomocą usługi Amazon Athena
• Ciągłe pobieranie nowych danych za pomocą narzędzia AWS Glue Crawler
• Stosowanie architektury Lake House za pomocą usługi Amazon Redshift Spectrum
• Wybór między narzędziami Amazon Athena a Amazon Redshift
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie

Rozdział 5. Eksplorowanie zbioru danych

• Narzędzia do eksplorowania danych w AWS
• Wizualizowanie jeziora danych w środowisku SageMaker Studio
• Zapytania dotyczące hurtowni danych
• Tworzenie paneli kontrolnych za pomocą usługi Amazon QuickSight
• Wykrywanie problemów z jakością danych za pomocą narzędzi Amazon SageMaker i Apache Spark
• Wykrywanie tendencyjności w zbiorze danych
• Wykrywanie zmian różnego rodzaju za pomocą usługi SageMaker Clarify
• Analizowanie danych za pomocą usługi AWS Glue DataBrew
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie

Rozdział 6. Przygotowywanie zbioru danych do uczenia modelu

• Wybieranie i inżynieria cech
• Skalowanie inżynierii cech za pomocą zadań SageMaker Processing
• Udostępnianie cech za pomocą repozytorium cech z platformy SageMaker
• Wczytywanie i przekształcanie danych w usłudze SageMaker Data Wrangler
• Śledzenie historii artefaktów i eksperymentów na platformie Amazon SageMaker
• Wczytywanie i przekształcanie danych za pomocą usługi AWS Glue DataBrew
• Podsumowanie

Rozdział 7. Uczenie pierwszego modelu

• Infrastruktura platformy SageMaker
• Instalowanie wyuczonego modelu BERT za pomocą usługi SageMaker JumpStart
• Tworzenie modelu w platformie SageMaker
• Krótka historia przetwarzania języka naturalnego
• Architektura Transformer w algorytmie BERT
• Uczenie modelu BERT od podstaw
• Dostrajanie wstępnie wyuczonego modelu BERT
• Tworzenie skryptu uczenia
• Uruchamianie skryptu uczenia w usłudze SageMaker Notebook
• Ocena modeli
• Debugowanie i profilowanie procesu uczenia modelu w usłudze SageMaker Debugger
• Interpretowanie i wyjaśnianie predykcji modelu
• Wykrywanie tendencyjności modelu i wyjaśnianie predykcji
• Dodatkowe metody uczenia algorytmu BERT
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie

Rozdział 8. Uczenie i optymalizowanie modeli na dużą skalę

• Automatyczne znajdowanie optymalnych hiperparametrów dla modelu
• Stosowanie ciepłego startu dla dodatkowych zadań dostrajania hiperparametrów na platformie SageMaker
• Skalowanie poziome uczenia rozproszonego na platformie SageMaker
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie

Rozdział 9. Instalowanie modeli w środowisku produkcyjnym

• Predykcje w czasie rzeczywistym czy w trybie wsadowym?
• Generowanie predykcji w czasie rzeczywistym za pomocą punktów końcowych platformy SageMaker
• Automatyczne skalowanie punktów końcowych platformy SageMaker za pomocą usługi Amazon CloudWatch
• Strategie instalowania nowych i zaktualizowanych modeli
• Testowanie i porównywanie nowych modeli
• Monitorowanie pracy modelu i wykrywanie zmian
• Monitorowanie jakości danych w punktach końcowych platformy SageMaker
• Monitorowanie jakości modelu w zainstalowanych punktach końcowych platformy SageMaker
• Monitorowanie zmian tendencyjności w zainstalowanych punktach końcowych platformy SageMaker
• Monitorowanie zmian wkładu cech w zainstalowanych punktach końcowych platformy SageMaker
• Wsadowe generowanie predykcji za pomocą usługi przekształcania wsadowego na platformie SageMaker
• Funkcje AWS Lambda i usługa Amazon API Gateway
• Optymalizowanie modeli i zarządzanie nimi na obrzeżach sieci
• Instalowanie modelu opartego na platformie PyTorch za pomocą narzędzia TorchServe
• Generowanie predykcji przez algorytm BERT oparty na platformie TensorFlow na platformie AWS Deep Java Library
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie

Rozdział 10. Potoki i MLOps

• MLOps
• Potoki programowe
• Potoki uczenia maszynowego
• Koordynowanie potoku za pomocą usługi SageMaker Pipelines
• Automatyzacja w usłudze SageMaker Pipelines
• Inne sposoby tworzenia potoków
• Procesy z udziałem człowieka
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie

Rozdział 11. Analizy i uczenie maszynowe dla danych przesyłanych strumieniowo

• Uczenie w trybach online i offline
• Aplikacje strumieniowe
• Zapytania oparte na oknach dotyczące strumieniowanych danych
• Analiza i uczenie maszynowe na podstawie strumieni na platformie AWS
• Klasyfikowanie recenzji produktów w czasie rzeczywistym za pomocą narzędzi Amazon Kinesis, AWS Lambda i Amazon SageMaker
• Implementowanie pobierania strumieniowanych danych za pomocą usługi Kinesis Data Firehose
• Podsumowywanie recenzji produktów w czasie rzeczywistym na podstawie analizy strumienia
• Konfigurowanie usługi Amazon Kinesis Data Analytics
• Aplikacje w usłudze Kinesis Data Analytics
• Klasyfikowanie recenzji produktów za pomocą narzędzi Apache Kafka, AWS Lambda i Amazon SageMaker
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie

Rozdział 12. Bezpieczna danologia na platformie AWS

• Model podziału odpowiedzialności między platformę AWS i klientów
• Korzystanie z usługi IAM na platformie AWS
• Izolacja środowisk obliczeniowych i sieciowych
• Zabezpieczanie dostępu do danych w S3
• Szyfrowanie danych w spoczynku
• Szyfrowanie danych w tranzycie
• Zabezpieczanie instancji z notatnikami platformy SageMaker
• Zabezpieczanie środowiska SageMaker Studio
• Zabezpieczanie zadań i modeli platformy SageMaker
• Zabezpieczanie usługi AWS Lake Formation
• Zabezpieczanie danych uwierzytelniających do bazy za pomocą AWS Secrets Manager
• Nadzór
• Audytowalność
• Zmniejszanie kosztów i zwiększanie wydajności
• Podsumowanie