Antagonistyczne uczenie maszynowe, przeciwstawne uczenie maszynowe (ang. adversarial machine learning) – obszar badań zajmujący się atakami na algorytmy uczenia maszynowego i przeciwdziałaniem tym atakom.
Do najczęstszych ataków antagonistycznych zalicza się atak uniku (ang. evasion attack), atak zatrucia danych (ang. data poisoning), atak bizantyjski i ekstrakcja modelu.
Historia W 2004 pokazano, że sam filtr antyspamowy oparty na uczeniu maszynowym można wykorzystać do ataku uniku na filtry antyspamowe przez automatyczne uczenie się słów, które należy dodać do wiadomości e-mail, aby wiadomość nie została sklasyfikowana jako spam. mały|Przykład nałożenia spreparowanego filtra służącego do oszukania klasyfikatora i zaklasyfikowania obrazu psa beagle jako strusia. Wraz z popularyzacją uczenia głębokiego w 2010. pojawiły się metody oszukiwania sieci, w szczególności ataki oparte na gradiencie.
Rodzaje ataku Zatrucie danych Zatruwanie polega na zanieczyszczeniu zestawu danych uczących, walidacyjnych i testowych danymi mającymi na celu zwiększenie liczby błędów w wynikach. Biorąc pod uwagę fakt, że algorytmy uczące się są kształtowane przez zestawy danych uczących, zatruwanie może skutecznie przeprogramować algorytmy o potencjalnie złośliwych zamiarach. sieci społecznościowe jak Facebook są narażone na ten atak. Zatrucia uznawane są za główne zagrożenie w zastosowaniach przemysłowych.
Szczególnym przypadkiem zatrucia danych jest tworzenie backdoora, którego celem jest nauczenie określonego zachowania w przypadku danych wejściowych z określonym wyzwalaczem, np. niewielkim defektem obrazów, dźwięków, filmów lub tekstów.
Unik Ataki uniku polegają na wykorzystaniu niedoskonałości wyszkolonego modelu. Atakujący próbują uniknąć wykrycia, maskując treść wiadomości spamowych i złośliwego oprogramowania. Próbki są modyfikowane w taki sposób, aby uniknąć wykrycia, tzn. aby można je było sklasyfikować jako legalne. Przykładem ataku uniku jest spam graficzny, w którym treść spamu jest osadzona w załączonym obrazku, aby uniknąć analizy tekstu przez filtry antyspamowe.
Ataki uniku można podzielić na dwie różne kategorie: atak czarnej skrzynki i ataki białej skrzynki.
Ekstrakcja modelu Ekstrakcja modelu polega na tym, że przeciwnik analizuję system oparty na uczeniu maszynowym w celu wyodrębnienia danych, na których został on wytrenowany. Może to powodować straty w sytuacji, gdy dane uczące lub sam model są poufne i wrażliwe. Przykładowo, ekstrakcję modelu można wykorzystać do wyodrębnienia zastrzeżonego modelu obrotu akcjami, który przeciwnik mógłby wykorzystać w celu osiągnięcia własnych korzyści finansowych.
W skrajnym przypadku ekstrakcja modelu może doprowadzić do jego kradzieży przez wydobycie z modelu wystarczającej ilości danych, aby umożliwić jego całkowitą rekonstrukcję.
Zobacz też Bezpieczeństwo sztucznej inteligencji
Przypisy
Kategoria:Bezpieczeństwo komputerowe Kategoria:Uczenie maszynowe