Hersenprogrammering is immuun voor tegenstanders: naar een nauwkeurige en robuuste beeldclassificatie met behulp van symbolisch leren (2024)

1Invoering

Beeldclassificatie is een actief onderzoeksgebied in kunstmatige intelligentie, waarvan het primaire doel is om contextuele informatie of visuele inhoud van een afbeelding te analyseren en toe te wijzen aan de klasse of categorie waartoe het behoort[[1].Er zijn aanzienlijke inspanningen geleverd op gebieden zoals Computer Vision (CV), Machine Learning (ML), Evolutionaire Computation (EC) en Swarm Intelligence (SI) om dit probleem aan te pakken[[2,,3,,4].Twee overheersende methoden zijn een van de meest populaire en succesvolle benaderingen voor het oplossen van beeldclassificatieproblemen: 1) zak met visuele woorden (BOV) van CV en 2) diepe convolutionele neurale netwerken (DCNN) ook bekend als Deep Learning (DL), een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdeling, een onderverdelingvan ML[[5,,6].Desalniettemin hebben EC en SI meestal bijgedragen op twee manieren: 1) het optimaliseren van functieselectie en 2) het optimaliseren van DCNN -architecturen.

Op deze manier is genetische programmering (GP) een van de belangrijkste tools van EC geweest om de selectie van functies te optimaliseren en automatisch de beste kenmerken te extraheren om beeldclassificatietaken te benaderen.Bijvoorbeeld, in 2018, auteurs van[[7]Stel een huisarts methode voor om gelijktijdig globale en lokale functie -extractie te bereiken voor beeldclassificatie met behulp van de datasets van Jaffe (1998), Yale (1997), Flower (2007) en Texture (2006).Zoals we zouden kunnen waarderen, zijn alle datasets sinds tegenwoordig verouderd;Niemand wordt gebruikt om algoritmen te testen.Bovendien wordt hun aanpak vergeleken met traditionele handgineerbare functies van CV-zoals SIFT (schaalinvariante functietransformatie), een beeldverwerkingstechniek die het lokale functieparadigma volgt, en het gedraagt ​​zich niet goed voor problemen zoals beeldcategorisatieomdat verschillende afbeeldingen met meerdere attributen een objectcategorie vertegenwoordigen.De oplossing vereist een consensus van verschillende kenmerken in de vorm van een reeks functies.Daarom ontbreekt dit onderzoekswerk niet meer recente databases en een vergelijking met de huidige classificatie -algoritmen.In 2019, het artikel[[8]stelt een huisartsbenadering voor om automatisch discriminerende rijke functies te genereren voor beeldclassificatie met behulp van de MIT Urban and Nature Scene Datasets (2003).Deze beelddatabases zijn ook verouderd;Daarom wordt de vergelijking gemaakt met traditionele CV -classificatiemethoden zoals histogram van georiënteerde gradiënten (HOG) en Support Vector Machine (SVM), vergelijkbaar met het vorige werk.

In 2019, het onderzoekswerk[[9]stelde een methode voor voor het gebruik van overdrachtsleren in huisartsen om kennis te extraheren en over te dragen om complexe textuurbeelden te classificeren.De voorgestelde methodologie gebruikt de volgende textuurdatasets Kylberg (2011), Brodatz (1999) en Outex (2002), en alle afbeeldingen worden aangepast aan$115 \ keer 115$Pixels om hun experimenten uit te voeren om de rekenkosten te voorkomen en het probleem te vereenvoudigen.In 2020, het artikel[[10]stelt een op GP gebaseerde functie-leerbenadering voor om automatisch vijf methoden te selecteren en te combineren: hist (histogramfuncties), DIF (domein-onafhankelijke functies), SIFT, HOG en LBP (lokale binaire patronen).De techniek genereert een samengestelde oplossing die functies op hoog niveau extraheert om afbeeldingen uit klassieke problemen met datasets met lage resolutie te classificeren-over$100 \ keer 100$pixels tot$200 \ keer 200$pixels.Auteurs vergeleken hun aanpak met andere op GP gebaseerde methoden en DL-methoden zoals Lenet-5 (een CNN-model met een input van grijswaardenafbeeldingen van$32 \ maal 32$Pixels, speelgoed-methode in vergelijking met de state-of-the-art) en twee handcraft CNNS-modellen van vijf- en acht-lagen zonder de informatie van de netwerkparameters te verstrekken.Daarom is het niet eenvoudig om de prestaties te beoordelen.

Naast het optimaliseren van functieselectie, hebben EC en SI strategieën ontwikkeld om te zoeken naar betekenisvolle DCNN -architecturen voor beeldclassificatie[[4].Niettemin, recente benaderingen, die zijn samengevat in[[11], onderzoek hybridisatie van zwerm- en evolutionaire berekeningsalgoritmen door de optimalisatie van hyperparameters tijdens de training te aggregeren.Om een ​​voorbeeld te geven, in 2019, auteurs van[[12]stelde een nieuwe methode voor met de naam EVOCNN, die genetische algoritmen gebruikt voor het evolueren van DCNN -architecturen en verbindingswaarden om problemen met beeldclassificatie aan te pakken.Hun experimenten waren gebaseerd op negen datasets die grijswaarden gebruiken.$28 \ keer 28$Pixels: MNIST, MNIST-RD, MNIST-RB, MNIST-BI, MNIST-RD + BI, Rechthoeken, rechthoeken-I, convex en mnist-mode.In 2019 echter, auteurs van[[13]stelde een nieuw algoritme voor op basis van deeltjeszwermoptimalisatie (PSO) met de naam PSOCNN, in staat om automatisch DCNN -architecturen te zoeken naar beeldclassificatie met snelle convergentie in vergelijking met anderen evolutionaire benaderingen zoals EVOCNN, onder anderen.Hun experiment gebruikte dezelfde negen hierboven genoemde datasets.

Ondanks de inspanning en interesse van de EC- en SI -gemeenschappen om het probleem van beeldclassificatie aan te pakken, hebben ze nog steeds te maken met verouderde problemen met behulp van klassieke datasets en maken ze vergelijkingen tegen verouderde DCNN -modellen.EC en SI zijn tekort geschoten om op gelijke voet te staan ​​met DCNN-modellen met kleine werken die niet hoger zijn dan hand-craft DCNN-architecturen.

Desalniettemin is een diepe genetische programmeermethode genaamd hersenprogrammering, geïnspireerd door kennis van neurowetenschappen die symbolische representaties gebruikt en regels bevat van expertsystemen met een hiërarchische structuur geïnspireerd door de menselijke visuele cortex, ontwikkeld door het evovision -onderzoeksteam.In 2016 begon Evovision een kunstmatige visuele cortex (AVC) te evolueren voor beeldclassificatie en objectdetectie.Hernández et al.gebruikte natuurlijke afbeeldingen van middelgrote (VGA) met behulp van Graz-01 (2003) en Graz-02 (2004) datasets, die de basis vormen voor de Visual Object Challenge (VOC-uitdaging)-beide nog steeds relevant in CV-literatuur-[[14].De resultaten werden vergeleken met verschillende functie -extractiemethoden Basismomenten (2006), hiërarchische max - genetische algoritme - Hmax -Ga (2012), verbeterde biologisch geïnspireerde model -EBIM (2011), SIFT (2006), segmentatie van segmentatie van gelijkenis - sm (2006 (2006), en momentinvarianten (2006) het meest van CV en één inclusief EC.In 2017, Hernández et al.[[15]Een CUDA -versie van BP geïmplementeerd om de verwerkingstijd van het oorspronkelijke systeem te versnellen.Het experiment analyseerde de prestaties met behulp van verschillende beeldgroottes, die begonnen met$256 \ maal 256$pixels, verdubbelen de maten tot tot$4096 \ maal 4096$Pixels, die de mogelijkheid aantonen van realtime functionaliteit en de toepassing op high-definition afbeeldingen.Bovendien werd de methode vergeleken in de tijdprestaties met een CUDA -implementatie van HMAX- en CUDA -versie van een CNN met uitstekende resultaten.

In 2019, het artikel[[16]stelt een willekeurige zoekopdracht voor om de beste parameters voor de AVC in beeldclassificatie te vinden.Het experiment vond geweldige individuen om GRAZ-01, GRAZ-02 en Caltech-101 (2004) datasets te classificeren.Graz -gegevenssets hebben beeldgroottes van$640 \ keer 480$Pixels en Caltech-101 heeft afbeeldingen van$300 \ keer 200$pixels.Merk op dat Graz -afbeeldingen een belangrijke uitdaging vormen vanwege het korte object optreden in het hele beeld, en een uitdaging worden om de wijziging van beelden voor verwerking te wijzigen.CALTECH-101 daarentegen presenteert een echt gegevens over beeldherkenning.In 2020 werd BP voorgesteld als een techniek om het complexe probleem van kunstmedia -categorisatie (AMC) te benaderen[[17].Het experiment bestaat uit het classificeren van kunstdatasets met hoge resolutie zoals Wikiart (2016) en Kaggle Art Images (2018).Bovendien werden BP -resultaten vergeleken met een gerenommeerd DCNN -model genaamd Alexnet, dat een competitief resultaat behaalde.Ook is BP geëvalueerd op real-world problemen van objecttracking met behulp van standaard datasets en algoritmen-fragtrack en Miltrack-terwijl ze ook uitstekende resultaten behaalden in reële omstandigheden in vergelijking met de methode van regio's met convolutionele neurale netwerken (R-CNN)[[18,,19].

Ondanks de vooruitgang die is geboekt om betere beeldclassificaties op te bouwen, is een onderzoeksmogelijkheid die niet is overwogen in EC en SI de robuustheid van de classificator.Tegenwoordig bestaat er een grote bezorgdheid over de prestaties van DCNN, dat een nieuw onderzoeksgebied heeft geopend dat verantwoordelijk is voor het omgaan met tegenstanders (AA) die opzettelijk kleine verstoringen in het invoerafbeelding creëren om het model te misleiden om verkeerd te voorspellen om verkeerd te voorspellen[[20,,21,,22,,23,,24,,25].Sommige van deze verstoringen zijn onmerkbaar voor de menselijke visie en kunnen de voorspelling van de DCNN volledig veranderen om zijn prestaties te laten vallen.Ze worden gegenereerd door verschillende vormen, waaronder het aanbrengen van kleine aanpassingen aan de inputpixels, met behulp van ruimtelijke transformaties, onder andere.Naast de analyse van DCNN -kwetsbaarheden zijn er enorme inspanningen geleverd om defensiemechanismen te ontwikkelen om AA te verminderen.Toch zijn de verstoringen complexer en zeer efficiënter geworden in het voor de gek houden van DCNN.Daarom willen we in dit artikel de classificatiemodellen tussen prestaties en robuustheid tegenover verstoringen contrasteren om de betrouwbaarheid van voorspellingen te garanderen en tegelijkertijd niet alleen op de nauwkeurigheid te concentreren.

2Gerelateerde werken

Het AMC -probleem in CV is voortgekomen uit de noodzaak om automatische systemen te hebben voor het identificeren van waardevolle kunstwerken om een ​​betrouwbare analyse te hebben van complexe functies die niet subjectief kunnen zijn, omdat mensen geneigd zijn te zijn.Het classificeren van beeldende kunstwerken omvat bijvoorbeeld een verfijnde selectie van functies die elk medium onderscheiden, wat extreem moeilijk is[[29].Meestal analyseert een kunstexpert de stijl, het genre en de media uit illustraties om de kunstenaar te identificeren en vervalsingen te detecteren[[30,,31,,17].Daarom maakt de ontwikkeling van geautomatiseerde systemen die dergelijke taken leveren een nauwkeurige en robuuste analyse een kritisch probleem op het gebied van beveiliging.Op deze manier zijn om een ​​robuuste analyse van kunstmedia te maken, beelden met hoge resolutie verplicht om voldoende informatie te bieden om de zorgvuldigheid te maximaliseren op basis van de kunstwerken.De kunststijl, meestal geassocieerd met de school van de auteur, beschrijft de onderscheidende artefacten van de kunstenaars, visuele elementen, technieken en methoden.De vorm is gerelateerd aan de lokalisatie van functies op verschillende niveaus.De klassieke hiërarchie van genres rangschikt geschiedenisschilderen en portret als hoog, terwijl landschappen en stilleven als laag worden geclassificeerd omdat ze geen personen bevatten.

AMC is aangepakt vanuit 3 perspectieven: 1) handgemaakte extractie van functies, 2) diepe convolutionele neurale netwerken en 3) genetische programmeermethoden.Ten eerste waren handgemaakte ontwikkelde functies de belangrijkste methode om formules te ontwikkelen die functies kunnen extraheren om een ​​beeldrepresentatie te verkrijgen om een ​​afbeelding gemakkelijk te classificeren.

Een van de eerste werken die handgemaakte functies gebruiken was[[32];Hier stelden de auteurs een discrete Cosine Transform (DCT) coëfficiëntenschema voor dat wordt gebruikt voor de identificatie van de functie -extractieschilder door de stijl van de kunstenaar te classificeren.Ze bouwen een aangepaste database van ongeveer 300 grijswaardenafbeeldingen van vijf schilders (Rembrandt, Van-Gogh, Picasso, Magritte en Dali) om te experimenteren.Li en Wang[[33]Voorgesteld met behulp van een tweedimensionaal verborgen Markov-model met meerdere resolutie om penseelstreken te analyseren om betrouwbare informatie te bieden om kunstenaars te onderscheiden van oude Chinese schilderijen.Hun database bestaat uit 276 grijswaardenafbeeldingen van vijf Chinese kunstenaars met een resolutie van$3000 \ keer 2000$Pixels maar geschaald naar 512 op de kortere dimensie, met behoud van de beeldverhouding.Auteurs in[[34]presenteren een vergelijkende studie van verschillende classificatiemethoden op basis van handgemaakte ontwikkelde functies.Ze contrasteerden semantisch niveau-functies met een SVM, Color Sift en tegenstander SIFT met BOV en latente Dirichlet-toewijzing met een generatief BOV-onderwerpmodel voor genre-classificatie van fijne art.In hun onderzoek werd een database met zeven categorieën schilderijen (abstract, barok, renaissance, popart, expressionisme, impressionisme en kubisme) gebruikt uit de dataset van de Artchive Fine-Art met behulp van 70 afbeeldingen uit elke klasse.Onlangs, Rosado[[35]gebruikte een BOV geïmplementeerd met behulp van een dichte-Sift-methode voor functie-extractie en probabilistische latente semantische analyse (PLSA) om een ​​beeldanalyse te maken van 434 gedigitaliseerde afbeeldingen van schilderijen, tekeningen, boeken en gravures door antonische tàpies.Over het algemeen merken we op dat het gebruik van handgemaakte ontwikkelde functies het mogelijk maakt om bemoedigende maar geen perfecte resultaten te verkrijgen.Na verloop van tijd werd de complexiteit van deze kenmerken uitdagender voor het ontwerpen.Naast het ontwerpproces van functies, was de ontwikkeling van het leeralgoritme een volledig onafhankelijk onderzoeksgebied dat nodig was om aan de extractie van de functie te passen.

DCNN is een doorbraak geweest op veel gebieden van beeldverwerking, en recente werken aan AMC hebben benaderingen gepresenteerd op basis van de ultramoderne DCNN-architecturen.Auteurs in[[36]introduceerde het gebruik van diepe convolutionele activeringsfuncties van een DCNN -model dat is getraind voor objectherkenning om de stijl te herkennen.Deze functies bereiken hoogwaardige identificerende stijlen bij het schilderen van afbeeldingen en presteren beter dan de meeste handgemaakte ontwikkelde functies.Bar et al.[[37]stelde een compacte binaire weergave voor die de picodes -descriptoren en de diepe convolutionele activeringskenmerken van een DCNN -model combineert om artistieke stijlen in schilderijen te identificeren die uitzonderlijke resultaten tonen om kunstwerken van Wikiart te classificeren met behulp van 27 klassen.Noord et al.[[38]gebruikte een aanpassing van AlexNet om artworkstijlen van Rijks Museum -afbeeldingen te classificeren.Ze kunnen de regio's visualiseren met een hitte -map van het kunstwerk dat de voorspelling van stijl beïnvloedt.Cetinisch en grgic[[39]Gebruikte de functies die uit VGG zijn geëxtraheerd om Wikiart -databasebeelden te classificeren in zeven genreklassen zoals portret, landschap, stad, stilleven, naakt, bloem en dier.Ze presteren beter dan handgemaakte ontwikkelde functies zoals SIFT, GIST-descriptor, varkens, Hog, Gray Level Co-voorkomen Matrix (GLCM) en HSV-kleurenhistogrammen met hun classificatiemethode.Seguin et al.[[40]Stel voor om te extraheren uit VGG -vergelijkbare componenten die worden gedeeld door verschillende kunstwerken met de naam Visual Link.Deze links proberen een gelijkenis te vinden van de schilderijen van dezelfde makers of dezelfde scholen.Het experiment gebruikte afbeeldingen uit de Web Gallery of Art Database die rapporteerde dat hun methode betere prestaties behaalt dan handgemaakte technische functies zoals SIFT.

Sun et al.[[41]gebruikte Alexnet en VGG om een ​​structuur te construeren met twee paden om object- en textuurfuncties te verkrijgen.De DCNN voert de objectberekening uit en de textuurpad gebruikt de grammatrices van tussenliggende kenmerken.Auteurs die in hun experimenten worden gebruikt Wikipaintings, Flickr -stijl en Ava -stijldatabases.Elgammal et al.[[42]stelde een analyse voor van beroertes in lijntekeningen met behulp van een database van 300 gedigitaliseerde tekeningen met meer dan 80 duizend slagen.Ze maken gebruik van handgemaakte ontwikkelde functies, diep geleerde functies en de combinatie van beide om te discrimineren tussen kunstenaars op een slagniveau met hoge nauwkeurigheid.Ook dient hun werk om vervalsingen te ontdekken die door kunstenaars zijn gemaakt.Cetinic et al.[[43]voerde een uitgebreid CNN-verfijningsexperiment uit met behulp van vijf caffe-modellen (Caffenet, Hybrid-CNN-netwerk, Memnet Network, Sentiment Network en Flickr Network) voor vijf verschillende kunstgerelateerde classificatietaken (kunstenaar, genre, stijl, tijdsperiode en associatie en associatie en associatiemet een specifieke nationale artistieke context) over drie grote datasets met een fijne kunst (Wikiart, Web Gallery of Art en TICC -dataset voor printmaking).In[[44], auteurs gebruikten Pre-Train DCNN-modellen (Alexnet, VGG, Googlenet, ResNet, Densenet) om basisartistieke media uit kunstwerken te herkennen.Ze verzamelden ongeveer 1000 illustraties per klasse (oliedakborstel, pastel, potlood en waterverf) via verschillende zoekmachines en websites om ze te classificeren.Ze verkregen vergelijkbare resultaten met die van getrainde mensen.

Ten slotte heeft een huisartsachtige methode genaamd hersenprogrammering concurrerende resultaten verkregen in vergelijking met een DCNN-model voor de AMC-taak[[17].Deze techniek is bedoeld om het gedrag van de hersenen na te bootsen op basis van leerprocessen van neurowetenschappen met nieuw symbolisch leren.In de experimenten worden twee gerenommeerde databases van kunstwerken met hoge resolutie gebruikt (Art Database van Kaggle en Wikiart) om vijf kunstmediaklassen (tekeningen, gravure, schilderen, iconografie en beeldhouwkunst) te classificeren.De voorgestelde techniek behaalt vergelijkbare resultaten met Alexnet over een binair classificatieprobleem.

Hoewel DCNN voorbeeldige resultaten heeft verkregen bij het oplossen van een breed scala aan computer vision -taken, veranderen kleine perturbaties met de naam tegenstanders die op het invoerafbeelding zijn gedaan, de beslissing van het leermodel om zijn voorspelling volledig te wijzigen.Deze perturbaties worden gegenereerd in verschillende vormen die kleine wijzigingen omvatten aan de inputpixels en het gebruik van ruimtelijke transformaties, onder andere.Het primaire doel van deze aanvallen is om de voorspelling van de DL -modellen opzettelijk voor de gek te houden en onopgemerkt te blijven voor de menselijke perceptie.Szeedy et al.[[45]waren de eerste die een ongewone zwakte ontdekte waar kleine verstoringen bijna onzichtbaar zijn voor de menselijke visie op de inputpixels, een CNN voor de gek kunnen houden.Deze aanvallen rapporteerden ook een hoog vertrouwen in de verkeerde voorspelling van het model, en erger nog, meerdere netwerken werden getroffen met dezelfde verstoorde afbeelding.Later ontdekten ze dat de robuustheid van CNN tegen AA kon worden verbeterd met behulp van deze afbeeldingen in de trainingsfase.Recente studies hebben echter het gebrek aan robuustheid in goed opgeleide DCNN's benadrukt[[46,,47].Goodfellow et al.[[26]Een methode ontworpen met de naam Fast Gradient Sign -methode (FGSM), die efficiënte computerstoringen voor een gegeven afbeelding mogelijk maakt.Een andere dreiging bestaat uit een extreme en eenvoudige aanval voorgesteld door Su et al.[[48], die bestaat uit het wijzigen van één pixel in de afbeelding, kan een CNN voor de gek houden.Een nadeel is echter dat het alleen werkt voor pictogramafbeeldingen.Ze hebben met succes drie verschillende netwerkmodellen aangevallen onder deze strategie met veel vertrouwen.Moosavi-dezfooli et al.[[49]ontdekte enkelvoudige verstoringen die elk beeld verkeerd kunnen classificeren;Ze noemden het universele verstoringen.Op deze manier, Brown et al.[[50]stelde een methode voor om universele, robuuste, gerichte tegenstanderspatches te maken.Deze patches zijn zo compact dat ze kunnen worden afgedrukt en gebruikt in real-world scènes om een ​​CNN voor de gek te houden.

Ondanks aanzienlijke inspanningen om defensiemethoden te maken tegen AAS, hebben de onderzoekswerken zich gericht op het wijzigen van het trainingsproces of het wijzigen van de invoerafbeelding tijdens het testen[[26,,51,,52], ook bij het veranderen van de structuur van de netwerken[[53,,54,,55]of via externe modellen om ongeziene voorbeelden te classificeren[[56,,57].Zhang et al.[[58]Besproken de beperking van de tegenstanders, omdat de aanvallen steeds uitdagender zijn geworden met een hoge efficiëntie van de schade.

AMC is een complex probleem om op te lossen.De oplossing omvat een gecompliceerde analyse van functies en vereist nauwkeurige en robuuste beslissingen, meestal wanneer curatoren werken met zeer waardevolle kunstwerken.De prestaties van handgemaakte methoden voor ontwikkelde functies zijn beperkt om te concurreren met DCNN door hun onvermogen om complexe functies te extraheren uit kunstwerken om een ​​betere beeldrepresentatie te bouwen.DCNN heeft het beter gepresteerd dan handgemaakte ontwikkelde functies en heeft de leiding voor de AMC opgezet.Desalniettemin is BP begonnen met het aantonen van zijn competentie tegen DCNN -prestaties op dit gebied.AA's op kunstmedia vormen echter een ernstige dreiging die niet is bestudeerd om de betrouwbaarheid van de classificator te meten. Vermoedelijk is niet aangetoond dat het AA-effect de voorspellingen van verschillende classificatie-architecturen, zoals CV-methoden, beïnvloedmethodologie[[28].Hoewel DCNN defensiemechanismen heeft ontwikkeld om het AA -effect te verminderen, is het moeilijk om te vechten tegen alle nieuwe en complexere AA.Dus, zelfs als DL-architecturen grootschalige sets afbeeldingen hebben geclassificeerd met meerdere klassen met uitstekende resultaten, maken de beveiligingsproblemen van dit paradigma de oplossingen onbetrouwbaar.De brosheid is omdat, met kleine verstoringen die op het beeld worden geproduceerd, DL opzettelijk voor de gek kan worden gehouden.Er zijn bijvoorbeeld kritieke gebieden in musea en galerijen, zoals kunstenaaridentificatie en vervalsing detectie, waarbij het vertrouwen van de voorspelling niet afhankelijk moet zijn van een systeem dat kan worden gemanipuleerd door een onmerkbare verstoring.Dit catastrofale scenario kan ertoe leiden dat vervalsingen op de markt circuleren of verkeerd worden toegeschreven aan een specifieke kunstenaar.Dit artikel presenteert een methode die kan worden gebruikt als een eerste verdedigingsmechanisme door algemene vragen te stellen zoals of het gedigitaliseerde kunstwerk tot een bepaalde klasse behoort voordat ze verdere vragen stelt.

3Methodologie

3.3Hersenprogrammering

Voordat we het algoritme van BP uitleggen, maken we een korte inleiding tot huisartsenalgoritmen.Huisarts is een evolutionaire berekeningstechniek geïnspireerd door biologische evolutieprincipes[[71].Het wordt beschouwd als een afgeleide van genetische algoritmen die de populaties van individuen evolueren in de vorm van een boom- of computerprogramma (formules of wiskundige uitdrukkingen).Elk individueel computerprogramma wordt gegenereerd, afhankelijk van de terminal en functiesets die door de gebruiker zijn vastgesteld.Ze worden geëvalueerd in termen van hoe goed het presteert in een bepaald probleem.Vervolgens worden individuen met behulp van het Darwiniaanse principe van reproductie en overleving van de sterkste en de genetische operators van crossover en mutatie geëvolueerd om een ​​betere fit -oplossing voor het probleem te vinden.

BP is een evolutionair paradigma voor het oplossen van CV -problemen die zijn gerapporteerd in[[14,,16,,19].Deze methodologie extraheert kenmerken uit afbeeldingen door een hiërarchische structuur geïnspireerd op het functioneren van de hersenen.BP stelt een GP-achtige methode voor, met behulp van een multi-tree representatie voor individuen.Het belangrijkste doel is om een ​​reeks evolutionaire visuele operators te verkrijgen ($Eva$), ook wel visuele operators genoemd ($Vos$), die zijn ingebed in een hiërarchische structuur die de kunstmatige visuele cortex wordt genoemd.De AVC is voornamelijk gebaseerd op twee modellen: een psychologisch model genaamd functie -integratietheorie[[72]en een neurofysiologisch model genaamd het corticale model met twee route[[73].Aldus probeert de AVC het natuurlijke proces dat zich langs de visuele cortex voordoet volgens het neurologische ventrale dorsale model van de hersenen.Dit model met twee streams stelt dat het proces van het verwerven van visuele informatie in de hersenen twee hoofdpaden volgt.

De dorsale stroom staat bekend als de "waar" of "hoe" stroom.Dit pad is waar de richtlijnen van acties en het herkennen van de locatie van objecten in de ruimte betrokken is en waar visuele aandacht optreedt.De eerste theorie stelt dat visuele aandacht bij mensen wordt uitgevoerd in twee fasen.De eerste wordt de pre -freaterende fase genoemd, waar visuele informatie parallel wordt verwerkt over verschillende functiedimensies die de scène vormen: vorm, kleur, oriëntatie, ruimtelijke frequentie, helderheid en bewegingsrichting.De tweede fase, focale aandacht genoemd, integreert de geëxtraheerde functies uit de vorige fase om een ​​regio van de scène te benadrukken.BP is gebaseerd op de meest populaire theorie van functie -integratie voor de dorsale stream van[[72], en de principes van het eerste rekenmodel voor visuele aandacht, waarbij het beeld in verschillende dimensies wordt ontleed om een ​​set concurrentiekaarten te verkrijgen, die vervolgens worden geïntegreerd in een enkele kaart genaamd de saliciëntiekaart[[74].

De ventrale stroom staat bekend als de "wat" -stroom.Deze route wordt meestal geassocieerd met objectherkenning en vormrepresentatietaken.Voorgestelde ventrale streammodellen zoals neocognitron -systeem[[75], convolutionele neurale netwerken[[67]en HMAX -model[[76](Het maximale principe wordt gebruikt in BP), begin met het ontbinden van de afbeelding in een set afwisselende "S" en "C" -lagen.De "S" of eenvoudige lagen worden gedefinieerd door een reeks lokale filters die zijn toegepast om functies van hogere orde te vinden, en de "C" complexe lagen vergroten de functies-invariantie door eenheden van dezelfde soort te combineren.BP vervangt echter de gegevensgestuurde modellen door een functie-gedreven paradigma.In het functieproces wordt een reeks visuele operatoren gefuseerd door synthese om de eigenschappen van het beeld te beschrijven.Door middel van een reeks experimenten zullen we aantonen dat de ontdekte oplossingen niet rechtstreeks op de gegevens zijn, maar specifieke kenmerken;Daarom maken de oplossingen betrouwbaar met betrekking tot AAS.

Daarom kan BP in twee stappen worden samengevat: ten eerste het evolutieproces waarvan het primaire doel is om functies te ontdekken om complexe modellen te optimaliseren door de bewerkingen erin aan te passen.Ten tweede gebruikt de AVC, een hiërarchische structuur geïnspireerd door de menselijke visuele cortex, het concept van functiesamenstelling om functies uit afbeeldingen te extraheren.Het model kan worden aangepast, afhankelijk van de taak, of het nu probeert de focus van de aandacht voor saliëntieproblemen of de volledige AVC voor categorisatie/classificatieproblemen op te lossen.BP verschilt van de gegevensgestuurde modellen met behulp van een functiegestuurde aanpak om de relevante informatie te extraheren en te combineren die een specifieke visuele taak oplost.Daarom vereist het algemene functie-gedreven proces de invoer in een geschikte weergave;Daarom definiëren we een beeld$I$als de grafiek van een functie.

Definitie 1. Afbeelding als grafiek van een functie.Laten$F$wees een functie$f: u \ subset \ mathbb {r}^{2} \ rightarrow \ mathbb {r}$.De grafiek of afbeelding$I$van$F$is de subset van$\ Mathbb {r}^{3}$die uit de punten bestaan$(x, y, f (x, y))$, waarin het geordende paar$(X, y)$is een punt in$U$En$F (x, y)$is op dat moment de waarde.Symbolisch, de afbeelding$I = \ {(x, y, f (x, y)) \ in \ mathbb {r}^{3} | (x, y) \ in u \}$.

Deze definitie is gebaseerd op het feit dat de afbeeldingen het gevolg zijn van de indruk van variaties in lichtintensiteit langs het tweedimensionale vlak.Daarom zijn functies geoptimaliseerd om de functionaliteit van gespecialiseerde gebieden van de hersenen te imiteren via een reeks operators.

3.3.1Gegevensmodellering met BP

BP stelt voor om het probleem van beeldclassificatie op te lossen vanuit het standpunt van gegevensmodellering via GP.Om het leerproces van BP te begrijpen, beginnen we daarom het minimalisatieprobleem te definiëren, waarvoor een oplossing moet worden gevonden$\ Mathbf {P} _ {min} \ in S$zoals dat:

$$\ Forall \ Mathbf {P} _ {min} \ in S: f (\ Mathbf {p} _ {min}) \ leq f (\ mathbf {p}) \; \; \; \;.$$

(6)

Daarom willen we, in tegenstelling tot conventionele benaderingen voor het vinden van de best passende parameters, de gegevens passen door functies te ontdekken die een classificatietaak in BP uitvoeren.De strategie neemt verschillende stappen omdat de directe mapping tussen het domein en het codomain onbekend is of niet goed gedefinieerd.Op deze manier vereist de oplossing voor het beeldclassificatieprobleem via BP om de volgende vergelijking te definiëren:

$$y = min (f (\ mathbf {x}, \ mathbf {f}, \ mathbf {t}, \ mathbf {a})) \;$$

(7)

waar$(Y, \ mathbf {x}))$zijn respectievelijk het label en de afbeelding, gegeven door de dataset;$\ Mathbf {f}$vertegenwoordigt de set functies,$\ mathbf {t}$definieert de terminalet, en$\ Mathbf {a}$zijn de parameters die het evolutieproces beheersen.Daarom hebben we twee dingen nodig om het probleem op te lossen: 1) een methode voor functie -extractie en 2) een geschikt criterium$\ Mathbf {q}$voor de minimalisatie.

Daarom is BP het algoritme dat verantwoordelijk is voor afstemming$(\ Mathbf {f}, \ Mathbf {t}, \ Mathbf {a})$Op zoek naar optimale functie -extractie uit de invoerbeelden met behulp van de visuele operators ingebed in de kunstmatige visuele cortex (AVC).Het criterium voor het minimalisatie$\ Mathbf {q}$In termen van een classificatietaak helpt het de beste classificator te ontdekken.In dit specifieke geval gebruiken we een SVM om een ​​mapping te leren$f (\ Mathbf {x}))$Dat associeert descriptoren$\ Mathbf {x_ {i}}$naar labels$y_ {i}$.Hier definiëren we het BP -algoritme in termen van een binaire classificatietaak, waarvan het belangrijkste doel is om een ​​beslissingsgrens te vinden die het beste de klasse -elementen scheidt.

3.3.2Evolueren van een kunstmatige visuele cortex (AVC)

Elk individu bestaat uit syntactische bomen die de$Vos$Dat construeert de AVC -structuur om functies uit kleurafbeeldingen te extraheren.Deze procedure krijgt een descriptorvector die codeert voor opvallende kenmerken van het beeld.Vervolgens passen we een SVM toe om de classificatienauwkeurigheid te berekenen voor een gegeven trainingsbeelddatabase om de individuele fitness te verkrijgen.Daarom gebruikt BP een evolutionaire lus gepresenteerd in algoritme1Om de hele populatie te ontwikkelen die wordt weergegeven door een reeks AVC's, waarin de hele workflow wordt geïllustreerd in figuur1.

Invoer :Trainingsafbeeldingen, algoritmeparameters (zie tabel5))

Uitvoer:De bijgewerkte bevolking AVC's

1Genereer een willekeurige initiële populatie$P_ {0}$;

2$i = 0$;

3terwijlHet beëindigingscriterium is niet voldaanDoen

4Evalueer elke individuele fitness (AVC) in$Pi}$;

5Selectie met behulp van lexicografische parsimoniedruk;

6Nakomelingen genereren door crossover en mutatie;

7$i = i+1$;

8

opbrengstDe bijgewerkte bevolking$P_ {final}$

3.3.3Structuurweergave en genetische operaties

In BP is een individu een computerprogramma dat wordt vertegenwoordigd door syntactische bomen ingebed in een hiërarchische structuur.Individuen binnen de populatie bevatten een variabel aantal syntactische bomen, variërend van 4 tot 12, één voor elke evolutionaire visuele operator ($Va_ {o}$,,$Vo_ {c}$,,$Vo_ {s}$,,$Vo_ {i}$) met betrekking tot oriëntatie, kleur, vorm en intensiteit;en ten minste één boom om de resulterende visuele kaarten samen te voegen en uiteindelijk de mentale kaarten (mm) te genereren.Alle functies binnen elk$Vo$worden gedefinieerd volgens deskundige kennis om kenmerken te benadrukken die verband houden met de respectieve functiedimensie en bijgewerkt via genetische bewerkingen.

• 1.

  Visuele kaarten

Elke invoerafbeelding wordt getransformeerd om de set te bouwen$I_ {color}$= =$\ {I_ {r}$,,$I_ {g}$,,$I_ {b}$,,$I_ {c}$,,$Ik ben}$,,$I_ {y}$,,$I_ {k}$,,$I_ {h}$,,$Is}$,,$I_ {v} \}$, waarbij elk element overeenkomt met de kleurcomponenten van de RGB (rood, groen, blauw), CMYK (cyaan, magenta, geel en zwart) en HSV (tint, verzadiging en waarde) kleurruimtes.Elementen op$I_ {color}$zijn de ingangen tot vier$Vos$gedefinieerd door elk individu.Elk$Vo$is een kaartfunctie die op het invoerafbeelding wordt toegepast om specifieke kenmerken te extraheren, samen met informatiestromen van kleur, oriëntatie, vorm en intensiteit;Elk van deze eigenschappen wordt een dimensie genoemd.De output naar$Vo$is een afbeelding genaamd visuele kaart ($VM$) voor elke dimensie.Het is belangrijk op te merken dat elke oplossing in de populatie als een compleet systeem moet worden begrepen en niet alleen als een lijst met drie gebaseerde programma's.Individuen vertegenwoordigen een mogelijke configuratie voor functie -extractie die invoerbeelden beschrijft en is geoptimaliseerd door het evolutieproces.Vervolgens verklaren we het proces van$Vos$om functies op elke dimensie te extraheren om een ​​resultaat te verkrijgen$VM$.

De eerste boom van het individu bootst de oriëntatie na.Daarom ontwikkelen we deze visuele operator ($Va_ {o}$) Via een set speciaal geselecteerde elementen om randen, hoeken en andere oriëntatiegerelateerde functies te markeren met behulp van de set terminals en functies in tabel1.De invoer voor de functies kan een van de terminals zijn, evenals de samenstelling onder hen;$G _ {\ sigma}$zijn Gaussiaanse afvlakkingsfilters met$\ sigma = 1,2$;En$D_ {u}$vertegenwoordigt de beeldderivaten in de richting$u \ in {x, y, xx, yyxy}$.Deze operators emuleren de functionaliteit van het V1 -gebied gepresenteerd in de primaire visuele cortex.

Dimensie	Functie	Beschrijving	Terminals	Beschrijving
$Va_ {o}$	$A+B$,,$A-B$,,$A \ maal b$,,$A/B$,,$K+A$,,$K-A$,,$k \ maal a$,,$A/k$,,$| A |$,,$| A+B |$,,$| A-B |$,,$Log (a)$,,$(A)^{2}$,,$\ sqrt {a}$,,$Ronde (a)$,,$\ lfloor a \ rfloor$,,$\ lceil a \ rceil$,,$inf (a, b)$,,$sup (a, b)$,,$G _ {\ sigma = 1} (a)$,,$G _ {\ sigma = 2} (a)$,,$D_ {x} (a)$,,$D_ {y} (a)$,,$de A)$	Rekenkundige functies tussen afbeeldingen of constanten$k$, absolute waarden, trendentale functies, vierkante, vierkante wortel, afrondingsfuncties, infimum, supremum, convolutie met een Gaussiaans filter, derivaten en drempel toegepast op afbeeldingen$A$en/of$B$	$I_ {r}$,,$I_ {g}$,,$I_ {b}$,,$I_ {c}$,,$Ik ben}$,,$I_ {y}$,,$I_ {k}$,,$I_ {h}$,,$Is}$,,$I_ {v}$,,$D_ {x} (i_ {x})$,,$D_ {xx} (i_ {x})$,,$D_ {y} (i_ {x})$,,$D '_ {y} (_ {x})$,,$D_ {xy} (i_ {x})$	Elementen van$I_ {color}$en zijn derivaten

De tweede operator codeert voor de kleurdimensie die de kleurgevoelige cellen in de visuele cortex emuleert.De visuele operator van kleur ($Vo_ {c}$) reproduceert het kleurperceptieproces om prominente regio's met kleureigenschappen in de afbeelding te vinden.Merk op dat sommige functies van$Vo_ {c}$zijn hetzelfde als die in$Va_ {o}$Plus de functie$aanvulling()$Dat biedt een negatief beeld dat een intensiteit of RGB -waarde aanvult (zie tabel2).In het uitgangsbeeld worden dus donkere gebieden lichter en worden lichte gebieden donker.Terminals van de tegenstander voeren een vaste bewerking uit tussen de kleurenbanden die een nieuw beeld bouwt met de maximale waarden daartussen.Bijvoorbeeld,$Op_{\ r,g}$Accentueert het verschil tussen de rode en groene banden.

Dimensie	Functie	Beschrijving	Terminals	Beschrijving
$Vo_ {c}$	$A+B$,,$A-B$,,$A \ maal b$,,$A/B$,,$K+A$,,$K-A$,,$k \ maal a$,,$A/k$,,$Log (a)$,,$exp (a)$,,$(A)^{2}$,,$\ sqrt {a}$,,$(A)^{c}$,,$Ronde (a)$,,$\ lfloor a \ rfloor$,,$\ lceil a \ rceil$,,$de A)$	Rekenkundige functies tussen afbeeldingen of constanten$k$, Transcendentale functies, vierkante, vierkante wortel, beeldcomplement, afrondingsfuncties en drempelwaarde toegepast op afbeeldingen$A$en/of$B$	$I_ {r}$,,$I_ {g}$,,$I_ {b}$,,$I_ {c}$,,$Ik ben}$,,$I_ {y}$,,$I_ {k}$,,$I_ {h}$,,$Is}$,,$I_ {v}$,,$Op_{r-g}(I)$,,$On_ {b-y} (i)$	Elementen van$I_ {color}$en kleur tegenstanders: roodgroen en blauwgeel

De derde boom is de visuele operator van vorm.De methode die visuele informatie uit de vorm van het object haalt om te gebruiken$Vo_ {s}$van tafel3, die gebruik maken van de morfologische informatie van de artefacten in de afbeelding.BP stelt voor om samengestelde operatoren te creëren door de samenstelling van basismorfologische operatoren zoals dilatatie, erosie, open, sluiten met schijf-, vierkante en diamantstructurele elementen.Inderdaad, meer complexe operators kunnen van deze operators worden gemaakt.Het doel van het extraheren van vorminformatie is om morfologische informatie te benadrukken die kan worden gebruikt voor objectherkenning.

See Also

Hoe de status van een LSTM -neuraal netwerk opnieuw in te stellen naar zijn eerste stat ...

Dimensie	Functie	Beschrijving	Terminals	Beschrijving
$Vo_ {s}$	$A+B$,,$A-B$,,$A \ maal b$,,$A/B$,,$K+A$,,$K-A$,,$k \ maal a$,,$A/k$,,$Ronde (a)$,,$\ lfloor a \ rfloor$,,$\ lceil a \ rceil$,,$de A)$,,$A \ OPLUS SE_ {D}$,,$A \ OPLUS SE_ {S}$,,$A \ OPLUS SE_ {DM}$,,$A \ ominus se_ {d}$,,$A \ ominus se_ {s}$,,$A \ ominus se_ {dm}$,,$A \ CircledCirc SE_ {S}$,,$En \ odot se_ {s}$,,$Nl (a)$,,$Groente (a)$,,$A \ Circledast SE_ {D}$,,$A \ Circledast SE_ {S}$,,$A \ Circledast SE_ {dm}$,,$Dat een)$,,$B_ {hat} (a)$	Rekenkundige functies tussen afbeeldingen of constanten$k$, afrondingsfuncties, drempel- en morfologische operators: dilatatie, erosie, open, sluiten met schijf, vierkant en diamanten structureel element;skelet, hit of miss, bottom-hat, top-hat	$I_ {r}$,,$I_ {g}$,,$I_ {b}$,,$I_ {c}$,,$Ik ben}$,,$I_ {y}$,,$I_ {k}$,,$I_ {h}$,,$Is}$,,$I_ {v}$	Elementen van$I_ {color}$

Ten slotte komt de intensiteitsmaat overeen met de hoeveelheid licht waargenomen door een lichtgevoelig apparaat.Bij mensen wordt de intensiteit gemeten door gespecialiseerde ganglioncellen in het netvlies.Vervolgens wordt de volgende formule toegepast om de visuele kaart van intensiteit te berekenen.

$$Vm_ {int} = \ frac {i_ {r}+i_ {g}+i_ {b}} {3} \; \; \;.$$

(8)

• 1.

  Opvallende kaarten

De volgende procedure is het centrum-surround proces;het combineert efficiënt de informatie van de$VM's$en is handig voor het detecteren van schaalinvariantie in elk van de dimensies.Dit proces wordt uitgevoerd door een Gaussiaanse afvlakking toe te passen boven het overeenkomstige$Vm_ {d}$Op negen schalen$P^{\ sigma} _ {d} = \ {p^{\ sigma = 0} _ {d}, p^{\ sigma = 1} _ {d}, ..., p^{\ sigma = 7} _ {d}, p^{\ sigma = 8} _ {d} \}$;Deze verwerking vermindert de grootte van de visuele kaart met de helft op elk niveau dat een piramide vormt.Vervolgens worden de zes niveaus van de piramide geëxtraheerd en gecombineerd.

$$Q^{j} _ {d} = p_ {d}^{\ sigma = \ lfloor \ frac {j+9} {2} \ rfloor+1} -p_ {d}^{\ sigma = \ lfloor \ frac{j+2} {2} \ rfloor+1} \; \; \;,$$

(9)

waar$j = {1,2, ..., 6}$.Sinds de niveaus$P^{\ sigma} _ {d}$hebben verschillende maten, elk niveau is genormaliseerd en geschaald naar de dimensie van de visuele kaart met behulp van polynoominterpolatie.Deze techniek simuleert het centrale proces van het biologische systeem.Na het extraheren van kenmerken, ontvangt de hersenen stimuli van het Vision Center en vergelijkt het met de omliggende informatie van het receptieve veld.Het doel is om de afbeeldingen te verwerken zodat de resultaten onafhankelijk zijn van schaalveranderingen.Het hele proces zorgt ervoor dat de beeldgebieden reageren op het aangegeven gebied.Dit proces wordt uitgevoerd voor elke karakteristieke dimensie ($Vm_ {d}$);De resultaten worden opvallende kaarten genoemd ($CM$), alleen gericht op het gezochte object door de meest opvallende functies te benadrukken.Dit vroege stadium van het systeem volgt het psychologische model van visuele aandacht, waarbij de locatie van de objecten in de ruimte wordt betrokken als de kunstmatige dorsale stroomroute.

• 1.

  Mentale kaarten

Na het verkrijgen van de meest saliëntiefuncties, is de volgende fase langs de AVC om de mentale kaarten te berekenen ($Mms$) om een ​​descriptorvector te definiëren die wordt gebruikt als input voor een classificator voor categorisatiedoeleinden.Deze procedure is analoog aan de kunstmatige ventrale stroomroute.Vandaar de informatie van$Cms$wordt gesynthetiseerd om de set van te bouwen$Mms$, die ongewenste informatie onderscheidt.Het AVC-model maakt gebruik van een onderdeel om de discriminerende kenmerken van de afbeeldingen te extraheren (zie tabel4);Het gebruikt een functionele aanpak.Dus een set van$k$ $Vos$wordt toegepast op de$Cms$voor de constructie van de$Mms$.Deze$Vos$komen overeen met het resterende deel van het individu dat niet is gebruikt.In tegenstelling tot de operators die worden gebruikt voor de$VM's$, de hele set van de operators is hetzelfde voor alle dimensies.Deze operatoren filteren de visuele informatie en extraheren de informatie die het interesse object karakteriseert.Vervolgens met vergelijking (10), waar$D$is de dimensie, en$k$vertegenwoordigt de kardinaliteit van de set van$Vo_ {mm_ {k}}$, we passen de$Mms$Voor elke dimensie.

$$Mm_ {d} = \ sum_ {i = 1}^{k} vo_ {mm_ {i}} \ links (cm_ {d} \ rechts)$$

(10)

Dimensie	Functie	Beschrijving	Terminals	Beschrijving
$Vo_ {mm}$	$A+B$,,$A-B$,,$A \ maal b$,,$A/B$,,$| A+B |$,,$| A-B |$,,$Log (a)$,,$(A)^{2}$,,$\ sqrt {a}$,,$G _ {\ sigma = 1} (a)$,,$G _ {\ sigma = 2} (a)$,,$D_ {x} (a)$,,$D_ {y} (a)$	Rekenkundige functies tussen afbeeldingen of constanten$k$, absolute waarden, transcendentale functies, vierkante, vierkante wortel, convolutie met een Gaussiaans filter en derivaten	$Cm_ {d}$,,$D_ {x} (cm_ {d})$,,$D_ {xx} (cm_ {d})$,,$D_ {y} (cm_ {d})$,,$D_ {yy} (cm_ {d})$,,$D_ {xy} (cm_ {d})$	Opvallende kaarten en zijn derivaten

• 1.

  Genetische operaties

Individuen worden geselecteerd uit de populatie met behulp van een evenredige fitnessmethode die lexicografische parsimoniedruk wordt genoemd om deel te nemen aan de genetische recombinatie van de multi-tree representatie van de individuen.Deze methode bestaat uit het toewijzen van elke oplossing een selectiekans die evenredig is aan hun fitnesswaarde terwijl de voorkeur wordt gegeven aan kleinere bomen wanneer fitness gelijk is.De beste individuen worden behouden om genetische operators toe te passen om de nieuwe nakomelingen te creëren.

Net als genetische algoritmen voert BP de crossover uit tussen twee geselecteerde ouders op het chromosoomniveau met behulp van een "snij-en-splitsing" crossover.Aldus worden alle gegevens buiten het geselecteerde crossover -punt verwisseld tussen zowel ouders A als B. Het resultaat van het toepassen van een crossover op het genniveau wordt uitgevoerd door willekeurig twee substree crossover -punten tussen beide ouders te selecteren.De geselecteerde genen worden verwisseld met de bijbehorende subtree in de andere ouder.De chromosoomniveau -mutatie leidt tot het selecteren van het willekeurige gen van een gegeven ouder om een ​​dergelijke substructuur te vervangen door een nieuw willekeurig gemuteerd gen.De mutatie op genniveau wordt berekend door een subtree -mutatie toe te passen op een probabilistisch geselecteerd gen;De subtree na dat punt wordt verwijderd en vervangen door een nieuwe subtree.Deze genetische operators staan ​​de variatie van het genetische materiaal toe, terwijl ze de genetische innovatie van individuen door alle niveaus bevorderen en de diversiteit van de bevolking behouden.

3.3.4Fitness functie

De volgende fase in het model is de constructie van de beeldbeschrijvingsvector ($Dv$).Het systeem samenvoegt de vier$Mms$en gebruikt een maximale bewerking om de$N$hoogste waarden;Deze waarden worden gebruikt om de$Dv$.Zodra we de DV's van afbeeldingen in de database hebben gekregen, associeert een classifier het domein dat wordt gegeven door de descriptoren aan het codomain van de labels.In dit werk gebruiken we een SVM die werkt met het discrimineerde hyperplane gedefinieerd door:

$$f \ links (\ bm {x} \ rechts) = \ sum_ {i = 1}^{l} \ alpha_ {i} y_ {i} k \ left (\ bm {x} _ {i}, \ bm {x} \ rechts)+b,$$

(11)

waar de gegeven trainingsgegevens zijn$(\ Mathbf {x} _ {i}, y_ {i})$,,$i = 1, \ ldots, l$,,$y_ {i} \ in \ {-1,1 \}$,,$\ Mathbf {x} _ {i} \ in \ Mathbf {r}^{p}$En$K (\ Mathbf {x} _ {i}, \ Mathbf {x})$is de kernelfunctie.Het teken van de output geeft het klassenlidmaatschap aan van$\ Mathbf {x}$.Het vinden van het beste hyperplane wordt dus uitgevoerd via een optimalisatieproces dat de marge tussen de klasse en niet-klasse lokaliseert als de zoekcriteria.Daarom is het minimalisatieprobleem op het leren van de vergelijking (7) blijft als$\ links (\ links (\ bm {x}, \ bm {y} \ rechts), \ bm {f}, \ bm {t}, \ bm {a}, \ bm {q} \ rechts)$.Aldus geeft de nauwkeurigheid verkregen door de SVM de geschiktheid van het individu aan¹¹1De nauwkeurigheid die in deze sectie wordt aangegeven, heeft het doel om BP te optimaliseren;Desalniettemin de nauwkeurigheid aangegeven in sectie4.2verwijst naar de statistiek om de aanvalsreacties te meten..

3.3.5Initialisatie, huisartsenparameters en oplossingsaanduiding

Zodra we de AVC -structuur van elk individu definiëren, stellen we de parameters in van het evolutieproces van BP (zie tabel5) en stel de afbeeldingsdatabase op.Vervolgens wordt een willekeurige initiële populatie gemaakt met behulp van een gehalte halve techniek, die de helft van de individuen met de kweekmethode en de helft selecteert met de volledige methode.De volledige methode maakt gebalanceerde bomen volgens de maximale initiële diepte, terwijl de kweekmethode onevenwichtige bomen maakt die takken van verschillende lengtes mogelijk maken.Hier hebben we een limiet van maximale diepte vastgesteld om in de loop van de tijd een ongecontroleerde groei van bomen te voorkomen.Boomdiepte wordt dynamisch ingesteld met behulp van twee maximale waarden om de grootte van elke persoon binnen de populatie te beperken.De dynamische maximale diepte is een maximale waarde die mogelijk niet wordt overtroffen, tenzij de conditie van het individu beter is dan de beste oplossing die tot nu toe wordt gevonden.Als het optreedt, wordt de dynamische maximale dieptewaarde bijgewerkt naar de nieuwe sterkste persoon.De echte maximale diepte is een harde limiet die niemand onder geen enkele omstandigheid mag overtreffen.Selectie wordt uitgevoerd met behulp van een toernooi met lexicografische parsimony -druk terwijl het beste individu wordt gehouden.Ten slotte wordt het evolutieproces beëindigd totdat een van deze twee voorwaarden is bereikt: 1) een acceptabele classificatiesnelheid of 2) het totale aantal generaties.Het evolutieproces bereikt dus een optimale populatie die de beste oplossing voor het probleem bevat.

Parameters	Beschrijving
Generaties	30
Aanvankelijke bevolking	30
Crossover op chromosoomniveau	0,4
Crossover op genniveau	0,4
Mutatie op chromosoomniveau	0,1
Mutatie op genniveau	0,1
Boomdiepte	Dynamische diepte -selectie
Dynamische max diepte	7 niveaus
Echte maximale diepte	9 niveaus
Selectie	Toernooi met lexicografische
	Parsimony Druk
Overleving	Elitarisme

3.4Tegenstanders

Strevenaanvallen worden geclassificeerd, afhankelijk van de beschikbare informatie van het model en de gewenste aanval om een ​​specifieke klasse te voorspellen.Vandaar dat we drie verschillende aanvallen kiezen: een witte doos zonder rand (FGSM), een zwarte doos die niet is gericht (één pixelaanval) en een gerichte aanval (tegenstanders), die in de volgende paragrafen zal worden verklaard.

3.4.1Snelle gradiënttekenmethode

De snelle gradiënttekenmethode voorgesteld door[[26], is de meest gebruikte methode voor het berekenen van AE's die een invoerafbeelding hebben gegeven vanwege de eenvoudige implementatie (zie voorbeeldafbeeldingen in figuur2).Het stelt voor om het verlies van de classificator te verhogen door de volgende vergelijking op te lossen:$\ rho = \ epsilon \; \ text {Sign} (\ nabla j (\ theta, \ mathbf {x}, y_ {l})))$, waar$\ Nabla j ()$Berekent de gradiënt van de kostenfunctie rond de huidige waarde van de modelparameters$\ theta$Met het respect voor de afbeelding$\ Mathbf {x}$en het doellabel$y_ {l}$.$\ Text {Sign} ()$geeft de tekenfunctie aan, die ervoor zorgt dat de omvang van het verlies wordt gemaximaliseerd en$\ epsilon$is een kleine scalaire waarde die de norm beperkt$L _ {\ infty}$van de verstoring.

De door FGSM gegenereerde verstoringen maken gebruik van de lineariteit van de DL -modellen in de hogere dimensionale ruimte om het model het beeld verkeerd te laten classificeren.De implicatie van de lineariteit van DL -modellen ontdekt door FSGM is die overdraagbaarheid tussen modellen bestaat.Auteurs in[[77]meldde dat met de ImageNet-gegevensset het top-1 foutenpercentage met behulp van de perturbaties gegenereerd door FGSM ongeveer 63-69% is voor$\ epsilon \ in \ links [2,32 \ rechts]$.

3.4.2Eén pixelaanval

De ene pixelaanval werd gepland in een minimaal scenario waarbij slechts één pixel in de afbeelding wordt gewijzigd om de DL -modellen voor de gek te houden met afbeeldingen van een verminderde grootte van$32 \ maal 32$pixels.Met deze beperkingen, Su et al.Voor de gek van drie verschillende CNN -modellen op 70,97% van de testbeelden met de wijziging van slechts één pixel per afbeelding[[48].Ook werd gemeld dat het gemiddelde vertrouwen van de CNN's op de verkeerde voorspelling op de foto's 97,47%was.

De ene pixel tegenstanders zijn gebaseerd op een black-box-aanval, waarop geen informatie over het netwerk vereist is.Het maakt gebruik van een populatie-gebaseerd optimalisatie-algoritme voor het oplossen van complexe multimodale optimalisatieproblemen met de naam differentiële evolutie[[78]om de aanval te genereren.Het zoekt een oplossing vanuit een vectorruimte$\ MATHBB {R}^{5}$dat bezit (X, Y) coördineert beperkt door de beeldgrootte en de drie banden van de RGB -kleurwaarden.Binnen een populatie wijzigt het willekeurig de elementen van de vijf-dimensionale individuen om nieuwe nakomelingen te creëren zodat ze concurreren in de huidige iteratie om een ​​betere fitheid te verkrijgen.In het geval van twee pixels heeft een persoon een vectorruimte$\ Mathbb {r}^{10}$Dat bevat de coördinaten en kleurenwaarden van beide pixels, enzovoort voor personen met meer pixels.Tijdens de run gebruikte het algoritme de waarschijnlijkheid van het voorspelde label om het fitnesscriterium te berekenen.De laatste overlevende persoon wordt gebruikt om de pixels in de afbeelding te wijzigen.

Samenvattend, laat de vector$\ Mathbf {x} = (x_ {1}, \ dots, x_ {n})$wees eenN-Dimensionaal beeld, wat de invoer is van de doelclassificator$F$die de klasse correct voorspeltTvan de afbeelding.De kans op$\ Mathbf {x}$geassocieerd met de klasTis$f_ {l} (\ mathbf {x})$.Het bouwt een additieve tegenstandersstoringsvector$en (\ mathbf {x}) = (e_ {1}, \ dots, e_ {n})$volgens$\ Mathbf {x}$, de klasdoelen de beperking van maximale wijzigingenD, een klein aantal dat de afmetingen uitdrukt die zijn gewijzigd, terwijl andere dimensies van$E (\ Mathbf {x}))$links als nullen.Voor gerichte aanvallen is het belangrijkste doel om de optimale oplossing te vinden$e (\ mathbf {x}) * *$Dat lost de volgende vergelijking op:

	$\ DisplayStyle \ max_ {e (\ Mathbf {x})*}$	$\ displaystyle f_ {target} (\ mathbf {x}+e (\ mathbf {x}))$		(12)
	S.T.	$\ displaystyle || e (\ mathbf {x}) || _ {0} \ leq d \; \; \;.$

Daarom is het geval van één pixelaanval$D = 1$, maar het kan worden uitgebreid tot meerdere pixels door te stijgen$D$.Opgemerkt moet worden dat één pixelaanval werd uitgevoerd op DL -modellen met ingangen van CIFAR 10 -gegevensset.Het vertegenwoordigt dus een aanzienlijke wijziging van dergelijke kleine beelden;Desalniettemin is het onbeduidend met de databases die in het huidige werk zijn bestudeerd.Daarom gebruiken we een meervoudige pixelaanval$D >> 1$Om te werken met beelden met echte maat.Opgemerkt moet worden dat het vergroten van het aantal pixels in deze aanval het perturbatierisico zal verhogen om merkbaar te zijn (zie voorbeeldafbeeldingen in figuur3).

3.4.3Tegenstander

De tegenstanderspatch was tegen de traditionele strategie voor het creëren van een gerichte AE door een maximale verstoring te vinden$E (\ Mathbf {x}))$dat maximaliseert de$f_ {target} (\ mathbf {x}+e (\ mathbf {x})))$is een methode om een ​​verstoring op het hele beeld te vervangen door een patch (zie figuur4).De robuustheid van deze patches ligt op de grote verscheidenheid aan transformaties waarop ze elk beeld kunnen aanvallen en de voorspelling van de classificeerders op de gewenste klasse kunnen richten.Ook werken ze in echte werkomgevingen waar ze kunnen worden afgedrukt, gefotografeerd of zelfs wanneer de patch te klein is;Ze kunnen maken om de hele scène te negeren om de doelklasse te voorspellen.

Om patch te bouwen$\ hat {p}$, het werd gebruikt een variant van de verwachting over transformatie (EOT) framework, waarop de patch is getraind om de volgende vergelijking te optimaliseren:

$$\ hat {p} = \ operatorName*{arg \, max} _ {\ hat {p}} \ mathbb {e} _ {x \ in x.t \ in t.l \ in l} [\ log f (y, a (a (P, \ Mathbf {x}, l, t))] \; \; \;,$$

(13)

waar$X$is een trainingsset van afbeeldingen,$T$is een verdeling over transformaties van de patch,$L$is een verdeling over locaties in de afbeelding, en$(Y, \ mathbf {x}))$zijn respectievelijk het label en de beeldvector.De verwachting ten opzichte van de trainingsbeelden verbetert de effectiviteit van de patch, ongeacht wat er op de achtergrond staat.Het werd bewezen door[[50]De universaliteit van de patch met verschillende afbeeldingen met verschillende achtergronden.Een variatie van deze methode is om een ​​beperking van de vorm toe te voegen$|| p-p_ {orig} || _ {\ infty} <\ epsilon$naar het doel van de patch om het te camoufleren.De beperking handhaaft de uiteindelijke patch om binnen te zijn$\ epsilon$in de$L _ {\ infty}$Norm van een startpatch$p_ {orig}$.

4Experimenten

We beschouwen onconventionele training, validatie en testgegevenssets, omdat we twee verschillende afbeeldingsdatabases toepassen die door experts voor AMC zijn samengesteld.Trainings- en validatiegegevenssets zijn geconstrueerd uit de Kaggle -database, terwijl testen een standaard database wikiart gebruikt (zie tabel6).Het doel is om een ​​real-world scenario na te bootsen waarbij de voorgestelde modellen worden getest met standaard benchmarks.

Dit werk analyseert de dreiging van het gebruik van drie soorten AA naar het hierboven genoemde model.De White Box Untargeted (FGSM) bepaalt de impact van een gemakkelijke en directe bedreiging voor DCNN door de parameters te kennen.Ook bestuderen we het overdraagbaarheidseffect op andere DCNN -modellen, die zich uitstrekken tot BP en SIFT+FV, die verschillende architecturen zijn.We analyseren het gedrag van dergelijke verstoringen van deze architecturen, die verkeerde voorspellingen kunnen veroorzaken met de toevoeging van subtiele textuur aan de kunstwerken.De Black Box Untargeted (Multiple Pixel Attack) analyseert het gevaar van een aanval die probeert locaties en pixelwaarden te vinden om een ​​verstoring te bouwen die de voorspelling van het model van een illustratie -beeld verandert.De beoogde aanval gebruikt de tegenstanders om de robuustheid van dergelijke gemodificeerde beeldpatches, die kunnen worden geroteerd, op willekeurige locaties kan worden gedraaid en gedrukt om in real-world omstandigheden in het kunstwerk te verschijnen om een ​​misleidende voorspelling van de doelklasse te veroorzaken.Bovendien analyseren we het overdraagbaarheidseffect van dergelijke patches via alle modellen.