Optimering över finita diskreta mått

Abstract

Artificiell intelligens och neurala nätverk är just nu ett mycket omdebatterat ämne. I denna rapport undersöks metoder för optimering av mått, vilka kan användas i implementationen av bayesianska neurala nätverk. Dessa nätverk kan potentiellt förhindra överanpassning till träningsdata, och möjliggör kvantifiering av osäkerheten för utdata. Med hjälp av Python och PyTorch har tre modeller designade för bayesiansk regression implementerats: optimering över diskreta mått, polynomisk modell och linjärkombination av normalfördelade stokastiska variabler. Dessa har distinkta tillvägagångsätt att modellera data. I synnerhet undersöks hur effektivt och exakt de kan anpassas till given data. Linjärkombination av stokastiska variabler beskriver ett mått som en summa av stokastiska variabler multiplicerat med en godtycklig funktion. Genom att anta att stokastiska variablerna är normalfördelade kan stora förenklingar göras vilket gör algoritmen relativt okomplicerad. Vid testning påvisar denna metod god förmåga att modellera data med hög precision, men konvergerar långsammast. Det polynomiska neurala nätverket efterliknar linjärkombinationen vid fallet att funktionerna är termer i ett polynom. Lösningsgången är dock annorlunda då ett neuralt nätverk används och att stokastiska variablernas parametrar inte beräknas explicit. Istället matar nätverket ut en sammansatt funktion för medelvärde respektive standardavvikelse. Denna metod har något sämre precision men snabbare konvergenstid. Optimeringsalgoritmen över finita diskreta mått är tidigare outforskad i samband med neurala nätverk och automatisk differentiering. Här görs inga antagelser om måttets form utan det representeras helt av ett finit antal diskreta atomer. Atomernas massa justeras för att minimera en målfunktion men måttet bibehåller dess totala massa. Med denna metod kan valfri funktion beskrivas och stokastiska variablerna kan antas vara beroende eller oberoende. Testning tyder på att denna metod kräver fler datapunkter att träna på för att erhålla en acceptabel precision men är den snabbaste att konvergera av de tre. Olika målfunktioner undersöks, men det fastställs att log-likelihoodfunktionen är den bästa för stokastiska variabler. Denna används sedan för alla tester. Det kvarstår att undersöka metodernas effektivitet i större nätverk då denna rapport endast behandlar enklare problem med ett få antal parametrar. Slutsatsen är att vidare forskning för optimeringsalgoritmen över finita diskreta mått krävs innan metoden är tillämpbar i stora bayesianska neurala nätverk.