Foredrag: Ytelsesmåling av militære team i simulator-, og felt-øvelser

Foredrag i Oslo Militære Samfund
mandag 13. oktober 2014

Orlogskaptein Frode Voll Mjelde, SKSK

Military team performance in virtual and live exercises
Norsk tittel: «Ytelsesmåling av militære team i simulator-, og felt-øvelser»

Foredraget er basert på avhandlingen jeg gjorde som mastergradstudent ved U.S. Naval Postgraduate School (2011-2013), med tittel «Performance assessment of military teams in simulator and live exercises».

Hensikten med avhandlingen er å oppnå økt innsikt i hvordan simulatorøvelser kan kombineres med feltøvelser for å måle team-ytelse, og hvorledes slik kunnskap kan anvendes for å øke effektiviteten til militære team. Militær trening på lagsnivå gjennomføres vanligvis som feltøvelser for å oppnå tilstrekkelige realistiske forhold – noe som krever økonomiske og tidsmessige ressurser. Feltøvelser er samtidig en krevende arena for ytre observasjon og evaluering av samspillet innad i et team. Det kan således være vanskelig å bedømme i hvilken grad gode eller dårlige vurderinger og utførelser var påvirket av (1) teamets interpersonlige evner (teamwork), (2) teamets militære ferdigheter (taskwork), eller (3) en kombinasjon av disse.

Hypotesene fremsatt i avhandlingen handlet om å finne svar på følgende spørsmål:

Kan ett enkelt observasjonsverktøy benyttes til pålitelig måling av ytelse og prestasjoner hos militære team både i simulator-, og feltøvelser?
Vil teamets målte ytelse i simulatorøvelser kunne predikere ytelsesnivå i en påfølgende feltøvelse?
Vil likhet og gjenspeiling av stressfaktorer i begge øvingsdomener forbedre evnen til å predikere ytelse?

Avhandlingen er støttet av Sjøkrigsskolen (SKSK) som har et mål å styrke kadettenes evne til effektiv utførelse av oppdrag i komplekse militære miljøer. Denne interessen har ledet frem til utvikling av et observasjonsverktøy for å vurdere den totale ytelsen til militære lag i komplekse militære øvelser.

Observasjonsverktøyet benyttet i avhandlingen omfatter 12 parametere for å vurdere teamwork (åtte) og taskwork (fire) egenskaper. Teamwork er prosesser som omfatter interaksjoner gruppemedlemmer må utvikle og utføre for å fungere effektivt som et team: Team orientering, støttende atferd, gjensidig resultatoppfølging (inkluderer gjensidig tillit), lukket-sløyfe kommunikasjon, team ledelse, felles mentale modeller, omstillingsevne og fleksibilitet. Taskwork prosesser refererer til atferd knyttet til den operative virksomheten i et komplekst og stressende miljø: Kreativ handling, hurtighet, grundighet og gjennomføringsevne. De fire taskwork parameterne i denne studien ble spesielt valgt for å evaluere adferd knyttet til robusthet. Parameteren gjennomføringsevne gir samtidig et mål på sluttresultat av oppdraget siden evalueringen også baserer seg på fra utfallet teamets handlinger, både individuelle og kollektive.

Norske offiserer brukte verktøyet til å vurdere og rangere adferden til åtte kadettlag ved to separate 4-timers simulatorøvelser og én 48-timers feltøvelse. Hvert lag ble rangert på en skala fra én til syv for hver av de 12 parameterne. Hvert kadettlag hadde åtte-ni gruppemedlemmer, jevnt fordelt i forhold til alder, kjønn, bakgrunn og bransje, med 1-4 års tidligere tjeneste i det norske Forsvaret.

Simulatorøvelsene besto av realistiske og utfordrende scenarier, representative for militære operasjoner, og som krevde demonstrasjon av teamarbeid og taskwork kompetanse i henhold til SKSK læringsmål. Feltøvelsen ble gjennomført som en deløvelse til Sjøkrigsskolens avsluttende lederskapsøvelse, Telemakos, som er en meget krevende militær feltøvelse.

Alle åtte lagene gjennomførte de samme øvelsene i et gjentatt forsøksdesign. Rangering av ytelse ble analysert for å fastslå; (1) i hvilken grad teamets ytelse i en serie av simulatorøvelser kan forutsi deres ytelse i en feltøvelse, og (2) om læringsmålene for en feltøvelse realistisk og effektivt kan oppnås gjennom scenario-baserte simulator øvelser. Positiv korrelering mellom ytelse i simulatorøvelse og feltøvelse var sterkest når krav til stressmestring og robusthet som finnes i det reelle miljøet var gjenskapt i simulatormiljøet, og svakest der simulatorøvelsen ikke gjenspeilte de samme ytelseskravene.

Studien fant støtte for alle hypoteser og viste at observasjonsverktøyet kan (1) måle teamets prestasjoner i simulatorøvelser, og forutsi hvilke lag som vil prestere godt (eller dårlig) i en påfølgende feltøvelse, og (2) at Scenario-baserte simulatorøvelser kan gjenskape de samme krav til ytelse hos militære team som finnes i feltøvelser når det er en tilstrekkelig likhet mellom stressfaktorer og krav til robust adferd i begge øvingsdomener.

Observasjonsverktøyet viste seg å være et effektivt hjelpemiddel for å forutsi lagenes rangering ved vurdering av teamwork og taskwork adferd i både simulerte og reelle miljøer. Men, inspeksjon av de karakterene observatørene satte avslørte begrensning i utvalg. Flertallet av observatørene utnyttet ikke den tilgjengelige 7-punkts skalaen til sitt fulle omfang, noe som gjør det vanskelig å identifisere hvilke av de 12 parameterne som har størst eller minst betydning for teamets ytelse. Denne begrensningen, samt tilbakemeldinger fra observatørene, har ført til forbedringer på prosedyrene for gjennomføring av videre studier og til endringer i selve verktøyet. Funnene fra studien benyttes nå for et pågående forskningsprogram der SKSK bruker det reviderte verktøyet i en longitudinell studie for å vurdere prestasjoner hos kadettlag i simulatorøvelser og feltøvelser i perioden fra 2014 til 2017.

Konklusjon
Kravene til operasjonell effektivitet og konkurransefortrinn på slagmarken skaper behov for effektiv team trening og verktøy for analyse av prestasjoner. Verktøyet benyttet av SKSK satte militære observatører i stand til å vurdere kadettlagenes ytelse i to simulatorøvelser og i en feltøvelse. Verktøyet viste seg å være enkelt å implementere innenfor en kort tidsramme, og gav en meningsfull predikering av lagenes fremtidige prestasjoner. Godt konstruerte scenario-baserte simulatorøvelser sammen med et effektivt observasjonsverktøy kan således representere en kostnadseffektiv løsning for konstruktiv vurdering av militære teams ytelse.