Back Propagation Neuraal Netwerk: Uitgelegd met eenvoudig voorbeeld

Voordat we Backpropagation leren, moeten we het eerst begrijpen:

Wat zijn kunstmatige neurale netwerken?

Een neuraal netwerk is een groep verbonden I/O-eenheden waarbij elke verbinding een gewicht heeft dat aan de computerprogramma’s is gekoppeld. Het helpt bij het bouwen van voorspellende modellen uit grote databases. Dit model is gebaseerd op het menselijk zenuwstelsel. Het helpt u bij het begrijpen van beelden, menselijk leren, computer spraak, enz.

Wat is Back-propagation?

Back-propagation is de essentie van neurale netwerktraining. Het is de methode voor het afstemmen van de gewichten van een neuraal net op basis van de foutmarge die in de vorige epoche (iteratie) is verkregen. Door de gewichten goed af te stellen, kunt u de foutenmarge verlagen en het model betrouwbaarder maken door de generaliseerbaarheid te vergroten.

Backpropagatie is een afkorting voor “achterwaartse voortplanting van fouten”. Het is een standaardmethode om kunstmatige neurale netwerken te trainen. Deze methode helpt bij het berekenen van de gradiënt van een verliesfunctie ten opzichte van alle gewichten in het netwerk.

In deze tutorial leert u:

• Wat is een kunstmatig neuraal netwerk?
• Wat is Backpropagatie?
• Hoe Backpropagation werkt
• Waarom hebben we Backpropagation nodig?
• Wat is een Feed Forward Netwerk?
• Soorten Backpropagation-netwerken
• Geschiedenis van Backpropagation
• Kernpunten van Backpropagation
• Best practice Backpropagation
• Nadelen van het gebruik van Backpropagation

Hoe Backpropagation werkt: Eenvoudig algoritme

Bekijk het volgende diagram

1. Inputs X, komen binnen via het vooraf verbonden pad
2. De invoer wordt gemodelleerd met echte gewichten W. De gewichten worden gewoonlijk willekeurig gekozen.
3. Bereken de uitvoer voor elk neuron van de invoerlaag, naar de verborgen lagen, naar de uitvoerlaag.
4. Bereken de fout in de uitgangen

ErrorB= Actual Output – Desired Output

1. Reis terug van de uitvoerlaag naar de verborgen laag om de gewichten zo aan te passen dat de fout afneemt.

Het proces blijven herhalen totdat de gewenste output is bereikt

Waarom Backpropagation?

De belangrijkste voordelen van Backpropagation zijn:

• Backpropagatie is snel, eenvoudig en gemakkelijk te programmeren
• Het heeft geen parameters om af te stemmen, afgezien van de aantallen input
• Het is een flexibele methode, omdat het geen voorkennis over het netwerk vereist
• Het is een standaardmethode die over het algemeen goed werkt
• Het heeft geen speciale vermelding van de kenmerken van de te leren functie nodig.

Wat is een Feed Forward Netwerk?

Een feedforward neuraal netwerk is een kunstmatig neuraal netwerk waarbij de knooppunten nooit een cyclus vormen. Dit soort neurale netwerken heeft een inputlaag, verborgen lagen en een outputlaag. Het is het eerste en eenvoudigste type kunstmatig neuraal netwerk.

Soorten Backpropagation-netwerken

Twee soorten Backpropagation-netwerken zijn:

• Statische back-propagatie
• Recurrente back-propagatie

Statische back-propagatie:

Het is een soort back-propagatie netwerk dat een mapping produceert van een statische invoer voor een statische uitvoer. Het is nuttig voor het oplossen van statische classificatieproblemen zoals optische karakterherkenning.

Recurrente backpropagatie:

Recurrente backpropagatie wordt doorgevoerd totdat een vaste waarde is bereikt. Daarna wordt de fout berekend en achterwaarts voortgeplant.

Het belangrijkste verschil tussen deze beide methoden is: dat de mapping snel is bij statische back-propagation, terwijl deze niet statisch is bij recurrente back-propagation.

Geschiedenis van backpropagatie

• In 1961 werd het basisconcept van continue backpropagatie in het kader van de controletheorie afgeleid door J. Kelly, Henry Arthur, en E. Bryson.
• In 1969 gaven Bryson en Ho een meerfasige dynamische systeemoptimalisatiemethode.
• In 1974 verklaarde Werbos de mogelijkheid om dit principe toe te passen in een kunstmatig neuraal netwerk.
• In 1982 bracht Hopfield zijn idee van een neuraal netwerk.
• In 1986, door de inspanning van David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, kreeg backpropagation erkenning.
• In 1993 was Wan de eerste persoon die een internationale patroonherkenningswedstrijd won met behulp van de backpropagation methode.

Backpropagation Key Points

• Het vereenvoudigt de netwerkstructuur door elementen gewogen links die het minste effect hebben op het getrainde netwerk
• Je moet een groep invoer- en activeringswaarden bestuderen om de relatie tussen de invoer- en verborgen-eenheidslagen te ontwikkelen.
• Het helpt om de impact te beoordelen die een bepaalde inputvariabele heeft op de output van een netwerk. De kennis die uit deze analyse wordt verkregen, moet in regels worden weergegeven.
• Backpropagation is vooral nuttig voor diepe neurale netwerken die werken aan foutgevoelige projecten, zoals beeld- of spraakherkenning.
• Backpropagation maakt gebruik van de keten- en machtsregels waardoor backpropagation kan functioneren met elk aantal uitgangen.

Best practice Backpropagation

Backpropagation kan worden uitgelegd met behulp van de “Shoe Lace” analogie

Te weinig spanning =

• Te weinig dwang en erg los

Te veel spanning =

• Te veel dwang (overtraining)
• Neemt te veel tijd (relatief traag proces)
• Hogere kans op breken

De ene kant meer aantrekken dan de andere =

• Ongemak (bias)

Nadelen van het gebruik van Backpropagation

• De werkelijke prestaties van backpropagation op een specifiek probleem zijn afhankelijk van de invoergegevens.
• Backpropagatie kan nogal gevoelig zijn voor gegevens met ruis
• U moet de matrixgebaseerde aanpak voor backpropagatie gebruiken in plaats van mini-batch.

Samenvatting

• Een neuraal netwerk is een groep verbonden it I/O-eenheden waarbij elke verbinding een gewicht heeft dat is gekoppeld aan zijn computerprogramma’s.
• Backpropagatie is een afkorting voor “achterwaartse voortplanting van fouten”. Het is een standaardmethode om kunstmatige neurale netwerken te trainen
• Backpropagatie is snel, eenvoudig en gemakkelijk te programmeren
• Een feedforward neuraal netwerk is een kunstmatig neuraal netwerk.
• Twee typen Backpropagation-netwerken zijn 1) Statische Back-propagation 2) Recurrente Back-propagation
• In 1961 werd het basisconcept van continue backpropagation afgeleid in de context van controletheorie door J. Kelly, Henry Arthur, en E. Bryson.
• Backpropagatie vereenvoudigt de netwerkstructuur door gewogen schakels te verwijderen die een minimaal effect op het getrainde netwerk hebben.
• Het is vooral nuttig voor diepe neurale netwerken die werken aan foutgevoelige projecten, zoals beeld- of spraakherkenning.
• Het grootste nadeel van de Backpropagation is dat het gevoelig kan zijn voor gegevens met veel ruis.