Imitation learning for modelling air combat behaviour — an exploratory study

Kampflypiloter trener på taktikker, teknikker og prosedyrer ved hjelp av simulatorer. Der inngår datagenererte styrker med forhåndsbestemte oppførsler. Å utvikle slike oppførsler er omfattende. Tradisjonelt lages de for hånd, i tett samarbeid med erfarne piloter. Dessverre har de resulterende modellene ofte svakheter, for eksempel ved at de framstår forutsigbare eller er lite tilpasningsdyktige. Slike problemer gjør at simulatorinstruktørene blir nødt til å følge opp og kontrollere aspekter ved de datagenererte styrkene manuelt. Simulatorinstruktørene bør avlastes fra denne jobben, slik at de best mulig kan bidra til at pilotene tilegner seg nødvendige ferdigheter.

Behovet for denne typen støtte har ført til en økning av forskningsaktiviteter knyttet til modellering av luftstridsoppførsel. Nylige framskritt innenfor kunstig intelligens har bidratt med metoder som gjør agenter i stand til å spille komplekse spill som Go og StarCraft II. Slike metoder kan også brukes til å lære avansert kampflyoppførsel, til bruk i simuleringsbasert trening. Likevel må kunstige, intelligente piloter være nyttige. I så måte må de kunne opptre realistisk, og i tråd med militær doktrine. Dette krever at de er i stand til å etterligne ekspertoppførsel.

Denne rapporten oppsummerer arbeid knyttet til imiteringslæring for luftstridsoppførsel ved bruk av Next Generation Threat System (NGTS), som er et simuleringssystem med særlig vekt på luftdomenet. Oppførselsmodellene er uttrykt som oppførselstransisjonsnettverk (BTN). For å optimalisere dem ble en tilpasset utgave av den genetiske algoritmen Neuroevolution of Augmenting Topologies (NEAT) benyttet. Den fikk navnet BTN-NEAT. På lik linje med andre maskinlæringsmetoder krever NEAT at mange oppførsler simuleres og evalueres, for å kunne finne gode løsninger. NGTS er ikke rettet spesifikt mot maskinlæringsformål. Derfor ble det utviklet et eget maskinlæringssystem som kobler sammen simulering, oppførselsmodeller og optimaliseringsmetode.

Maskinlæringssystemet ble benyttet i eksperimenter med utgangspunkt i tre enkle luftkampscenarioer. I disse eksperimentene lærte agenter å handle i tråd med demonstrert oppførsel, ved å bruke imiteringslæring. BTN-NEAT lyktes i å lage BTN-er som etterlikner demonstrasjonene, selv om læringsprosessen krevde mer tid enn antatt. Årsaken er at NGTS ikke kan kjøre raskt, og samtidig gi pålitelige data. Det tok opp mot 44 timer med beregning å lære egnede oppførsler. Det tilsvarer 92 dager med simulert flytid. Eksperimentene avslørte at NGTS har svakheter knyttet til tidsstyring. Det gjør simuleringssystemet lite attraktivt i videre arbeid knyttet til modellering av luftstridsoppførsel med kunstig intelligens. I stedet er det behov for å utvikle en enkel og beregningsmessig hurtig luftstridssimulering til bruk for maskinlæring.