Den årlige SEST-konferansen samler mange kloke hoder som jobber med eller forsker på smarte energisystemer. I år skulle konferansen ha gått av stabelen i Istanbul i Tyrkia, men med så mange andre store begivenheter for tiden ble arrangementet gjort heldigitalt. Under den digitale konferansen fikk Riemer-Sørensen og Gjert Hovland Rosenlund presentere paperet "Deep Reinforcement Learning for Long Term Hydro Power Production Scheduling".
Kanskje vi skal begynne med en rask forklaring på hva reinforcement learning er for noe?
-Reinforcement learning, på godt norsk forsterkende læring, er best kjent fra brettspill som sjakk, go og computerspill som Atari hvor algoritmer som AlphaGo har slått selv de beste menneskelige spillere. Reinforcement learning er en «selvlærende» algoritme hvor man bruker belønninger og eventuelt straff til å trene «en agent» til en optimal oppførsel basert på generalisering over tidligere erfaring. Det er et veldig kult konsept, men det er notorisk vanskelig å få til å fungere, forklarer Riemer-Sørensen.
Signe Riemer-Sørensen og Gjert Hovland Rosenlund. Bilde: SINTEF.
Fra Atari til vannkraft
Formålet med forskningen på dette området er å se nærmere på hvordan kunstig intelligens kan tas i bruk for blant annet for å avgjøre når det lønner seg å produsere kraft.
-SINTEF mener dette var strategisk viktig og derfor har vi gjort en studieeller proof of concept på reinforcement learning som ble publisert i år på konferansen SEST´20, forteller Riemer-Sørensen.
Men hvordan kan en spillalgoritme være nytting i kraftbransjen?
-Det har det fordi vannkraftplanlegging også er underlagt en del «regler» eller eksterne forhold som avgjør når man bør produsere. I tillegg er det en del svingninger på grunn av vær og forbruk. Derfor kreves det en metode som er bra på å håndtere svingninger og generalisere over innsamlet erfaring, forklarer Riemer-Sørensen.
Reaksjoner under konferansen
Forskerne fikk inntrykk av at mange deltakere på konferansen ble nysgjerrige.
-Mange syntes at det var et veldig spennende konsept og vi fikk flere spørsmål rundt muligheten til å bygge inn ulike forhold og begrensninger, for eksempel i forhold til kaskade-systemer hvor de nedre systemer er avhengige av hvor mye vann som lukkes igjennom de øverste demmingene. Vi kan ikke si at algoritmen er klar til å overta fra de nåværende planleggingsalgoritmer, men den har et stort potensial i samspill med de eksisterende algoritmer fordi den er enkel å tilpasse individuelle systemer.
Vi gratulerer Signe Riemer-Sørensen med en velfortjent pris og ønsker henne lykke til videre med prosjektet. Ønsker du å se presentasjonen? Her er den:
