l + f: Wanneer computers katten in honden veranderen


Een foto toont natuurlijk veel schapen, maar het geautomatiseerde classificatieproces van een sociaal netwerk sorteert de plaatsing onder wolven. Dit is een typisch praktijkvoorbeeld van een interessante nieuwe aanvalstechniek die wetenschappers van de Technische Universiteit van Braunschweig momenteel onderzoeken. Het interessante eraan: de boosdoeners zijn deze keer niet de machine learning-processen, maar het zogenaamd goed begrepen proces van schaalvergroting.

Een echte downscaling-aanval op de beeldclassificatie van Baidu.

(Afbeelding: Xiao et al, Usenix )

Strikt genomen is bijvoorbeeld AI op basis van neurale netwerken zelfs het slachtoffer van zogenaamde image scaling-aanvallen. Want tijdens de voorbeeldaanval van de Braunschweig-onderzoekers krijgt ze een schattige foto van een kat voorgeschoteld en herkent ze die dan correct. Mensen daarentegen zien een kopje koffie. Het probleem doet zich voor tijdens de voorbewerking van de afbeelding: de afbeelding met de espresso wordt typisch verkleind naar een van de standaardformaten zoals 224 × 224 of 299 × 299.

Dit schaalproces is echter gevoelig voor gerichte aanvallen. Want niet alle pixels van het beeld gaan even in de verkleining. Een nadere beschouwing van de huidige schaalmethoden leert dat enkele pixels een beslissende invloed hebben op het resultaat, terwijl de meerderheid slechts een kleine invloed heeft op het gegenereerde beeld. Uiteindelijk hoeft de aanvaller “slechts” de belangrijke pixels in het koffiebeeld te lokaliseren en te vervangen door kattenpixels.

De truc is om de kattenpixels zo in de originele afbeelding te strooien dat ze alleen verschijnen als je ze schaalt.

(Afbeelding: Rieck et al)

Dit is een eenvoudig optimalisatieprobleem dat computers heel goed kunnen oplossen. Voor een succesvolle aanval strooit men vervolgens de pixels van de gewenste doelafbeelding in het origineel. Tijdens de machineherkenning van het resulterende “aanvalsbeeld” wordt het beeld geschaald en vervolgens gepresenteerd aan de AI. Dit is wat de kat te zien krijgt. Een mens daarentegen ziet alleen een heerlijke espresso.

Deze downscaling-aanvallen kunnen in principe verwarring en chaos veroorzaken waar machineherkenning van beeldinhoud wordt gebruikt. Het begint met het automatisch taggen van gebruikersinhoud in sociale netwerken en houdt niet op bij gezichtsherkenning in een veiligheidscontext. Overigens beschrijven Rieck et al. in hun Analyse van downscaling-aanvallen niet alleen de onderliggende mechanismen, maar ze introduceren ook methoden om afbeeldingen er resistent voor te maken.


(ju)



Source link

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.

%d bloggers liken dit: