Reflektioner från minikonferens om examination i högre utbildning

Med denna fråga startade Oscar Gedda upp minikonferensen om examination i högre utbildning som hölls den 11 oktober. Vi var nästan 500 personer från totalt 39 lärosäten som samlades på konferensen som anordnades av Nationellt nätverk för examinationsutveckling i högre utbildning. Från HV deltog vi en grupp från Akademus. Här berättar vi kort om de olika sessionerna och delar reflektioner vi gjorde under deltagandet. Nätverket avser att publicera en rapport från dagen.

Jonathan Wedman – om prov och bedömningsfrågor

Jonathan Wedman var huvudtalare och inledde sitt föredrag med att presentera det formaliserade sambandet mellan provresultat och studentens faktiska kunskapsnivå. Detta samband är alltid förenat med ett inbyggt mätfel, vilket innebär att studentens kunskaper tenderar att antingen underskattas eller överskattas.

En tanke som uppstår hos oss är att vi lärare ibland intresserar oss mer för att analysera den del av mätfelen som tenderar att överskatta studentens kunskaper, till exempel när provet var för lätt eller när bedömningskriterierna inte var tillräckligt stringent formulerade. Men för en rättvis bedömning är det naturligtvis lika viktigt att beakta faktorer som kan leda till en underskattning av studentens kunskaper. Jonatan exemplifierade olika faktorer som kan orsaka mätfel och kategoriserade dem som interna faktorer, såsom känslomässig påverkan, sjukdom eller missförstånd från studentens sida, samt externa faktorer, såsom tid på dagen, omgivande störande ljud eller brister i bedömningen av provet.

Därefter fick vi en utförlig genomgång av metoder för att öka validiteten, det vill säga säkerställa att ett prov mäter ”rätt sak på rätt sätt”. examinationen särskilt viktig då vissa bedömningsformer är mer lämpade än andra för att bedöma en viss slags kunskaper. Något som vi särskilt tar med oss är att Jonatan framhöll muntlig examination som den enda form flexibel nog för att bedöma samtliga kunskapsformer. Annars så anses, inte så förvånade, stängda och korta frågor vara mest lämpade att bedöma kunskap och förståelse, essäer mest lämpade för att bedöma värderingsförmåga och förhållningssätt och praktiska prov mest lämpande att bedöma färdighet och förmåga.

Session om Generativ AI och examinationer

Mattias von Feilitzen guidade oss i det nu ständigt aktuella fältet generativ AI och examination. Några huvudpunkter från hans föreläsning är:

• Generativ AI är nu något som alla lärare måste förhålla sig till – både hur det påverkar examination och hur det kan användas som ett redskap i inlärning och undervisning.
  
  
• Om chatbots används i undervisning måste hänsyn tas till de etiska aspekter som finns. Det finns alltid en bias i träningsdata för AI och där följer kultur, fördomar och annat med. Så länge vi inte har upphandlade AI system kan vi inte heller kräva att studenter använder sig av AI.
  
  
• Allt fler lärosäten kommer fram till att det regelverk som vi har räcker. Det är inte tillåtet att låta en chatbot göra ens uppgift på samma sätt som att det inte är tillåtet att någon person gör det. Men det behövs tillägg! Dessa behöver göras lokalt och kopplats till specifika examinationer.
  
  
• Det fungerar inte att kontrollera AI -genererad text! Inte ens med chatbotten själv – som brukar ha ca 50 % rätt. Urkund eller Ourignal fungerar inte då de granskar mot befintliga källor. Detektorer och klassificerare är bättre men långt ifrån perfekta. Många gånger anger de något som AI-genererat som inte är det.

En reflektion vi gör under föredraget är att det i grunden inte existerar några fullständigt "fusk-säkra" examinationsmetoder, inte ens traditionella salstentor. Dock kan man minska möjligheten för studenter att använda AI på ett obehörigt sätt. Detta kan göras genom att införa en varierad uppsättning examinationsmetoder såsom muntliga examinationer, videoinlämningar, kontextualiserad examination där studenten nära knyter an till tidigare erfarenheter eller kurslitteratur, och gärna även kombinera dessa metoder inom en process.

Session om muntlig examination – presentationer av fyra lärare från KTH

Sessionen om muntlig examination gavs av lärare från KTH med studentgrupper upp mot 100 i antalet och fyra exempel presenterades: individuella hemuppgifter i teoretisk datalogi, individuella projektuppgifter i programmeringsteknik, muntlig examination i rymdteknik samt muntlig tentamen i tillämpad fysik.

Alla fyra lärarna vittnade om den muntliga examinationens förträfflighet gällande tidsekonomi och säkerställande av studentens kunskaper. Den mesta av tiden läggs på skapande av originella och verklighetsanknutna uppgifter men lärarna besparar sig tid i rättningsskedet samt inför kommande kurser då frågor återanvänds tillsammans med rättningsprotokoll. Det ska dock i sammanhanget nämnas att KTH-lärarna har en stab med “assar” (studenter från högre årskurser) som hjälper till i genomförandet av muntliga examinationer, främst när det gäller de större studentgrupperna.

Flera fördelar med muntlig examination nämndes, till exempel:

• Studentens individuella kunskaper kan kontrolleras mot bakgrund av föregående textinlämningar.
• Effektivitet gällande tidsåtgång.
• Undviker administrativa utmaningar och kostnader i jämförelse med salstentamen.
• Hög studentnöjdhet.
• Minskad risk för missförstånd tack vare direkt interaktion.
• Omedelbar återkoppling till student.

men även frågor kopplade till muntlig examination:

• Hur gör man för att bara bedöma studentens kunskaper och inte studentens vältalighet?
• Hur löser man det om studenten vill överklaga bedömningen?
• Tar det inte mycket tid i anspråk?
• Hur säkras likvärdighet i bedömningen?

Det ska nämnas att det inte bara är tidsvinster som lärarna lyfter fram som positivt utan även den personliga kontakten med studenten som de vid en skriftlig tentamen inte hade kunnat få.

Session om bedömning och återkoppling

I denna session fick vi fick exempel på hur lärare arbetar med återkoppling och formativ bedömning. Schematiskt fungerade exemplet som vi fick ta del av så här:

1. Föreläsning
2. Individuell reflektion
3. Gruppmässig reflektion
4. 1-3 upprepas
5. Case med praktiskt problem
6. Tentamen

Från diskussionen tar vi med oss tipset att lära studenterna vad en taxonomi är, vilken taxonomi jag som lärare använder och utifrån det förklara bedömningen av ett arbete eller examination. Taxonomier är sätt att strukturera ett ämne, i detta fall kunskapsnivåer. Det finns olika sätt att strukturera kunskapsnivåer och de vanligaste som används inom högskolevärlden är Biggs SOLO-taxonomi samt Blooms taxonomi för lärandemål.

En stor frustration fanns bland deltagarna på sessionen när det gäller återkoppling, då studenterna ofta vill ha specifik individuell återkoppling men vi som bedömer ofta hamnar i likartade formuleringar eller återkoppling på övergripande nivå.

Vid tangentbordet;

Anna Jakobsson och Karin Svensson och Emma Norberger