Problembaserat lärande – är det ens värt mödan? Av Arvid Attin

Varför ska vi ens ha PBL? Det är en fråga som jag har fått höra flera gånger sedan jag började som civilingenjörsstudent på Informationsteknik programmet, både i min egen grupp men även som handledare. Oftast har det dragits en jämförelse med många andra ingenjörslinjer, både i Linköping men även andra städer, där ingen tycks använda PBL i sitt lärande. Varför ska vi göra det? När jag själv fick frågan i början som handledare visste jag inte riktigt vad jag skulle säga bortsett från att jag själv tyckte det var lärorikt, jag hade ingen riktig kunskap om den vetenskapliga teorin bakom om varför PBL borde användas i lärandet.
Modellen om problembaserat lärande har sitt ursprung från 1950-talet, när det utvecklades inom den medicinska utbildningen. Under åren har man förbättrat modellen vars ursprungliga syfte var att motverka studenters bristfällande kliniska prestationer, där man insåg att tidigare studenter inte var utrustade med klinisk problemlösningsförmåga. (Hung, Jonassen, 2008).
På Linköpings universitet används modellen även här främst inom den medicinska fakulteten. Enligt PBL-guiden, handboken för studenter och lärare vid medicinska fakulteten på Liu, är syftet med det att man ska stimulera och stödja deras “professionella kompetens, samarbetsförmåga, kritiskt förhållningssätt och självständighet.” (Dahlgren, Dahlberg, m.fl, 2016) Detta lägger extra mycket vikt på handledaren, eftersom det är viktigt att man inte håller en föreläsning för sina studenter utan istället stimulerar dessa kompetenser. Detta kan skapa lite olika frågor, till exempel vad som är handledarens funktion om studenterna nu ska vara självständiga? Behöver handledaren vara en expert inom området samtidigt som den ska vara en skicklig facilitator? Detta är några av frågorna som tas upp i Role of the Tutor in Problem Based Learning, som i stället hävdar att man ska ställa rätt frågor och utmana studenters antaganden. Genom sin kunskap, ska handledaren kunna veta om studenterna är på god väg och att deras diskussion behandlar rätt problem. Samtidigt menar de att om man har för mycket kunskap finns det risk att man tar över studenternas diskussion vilket är varför de hävdar att det bästa är en balans mellan expert och facilitator (Walsh, 2005). Detta är något jag själv tänkt på väldigt mycket i min roll som handledare, ifall det är en diskussion hur något fungerar i ett ämne som man har väldigt mycket kunskap inom kan det nästan vara lite ansträngande att inte flika in. Här är det viktigt att tänka på att det kan vara den här diskussionen och jakten på det rätta svaret, som enligt mig kan leda till ett “aha ögonblick” som slutligen leder till att kunskapen fastnar.
Är det handledarens uppgift att se till att det är värt mödan? Enligt mig ja, problembaserade uppgifter förekommer naturligt men inte problembaserat lärande. Inom de flesta yrkena, särskilt de medicinska yrkena förekommer problembaserade uppgifter konstant, och är oftast det hela yrket är uppbyggt kring. Det är inte patienten själv som kommer till läkaren med sin diagnos, utan det är läkarens uppgift att diagnostisera patienten baserat på (oftast) vaga symptom mycket likt problemformuleringen i PBL. Genom att använda problembaserat lärande så förbereder man sig på dessa scenarier, inte endast inom det medicinska yrket utan även många andra. Om det så var fallet att problembaserat lärande föreföll naturligt hade det inte behövts en handledare, men eftersom strukturen och relevant diskussion är viktigt så är det handledarens uppgift att se till att detta följs. I Brunei gjorde man en studie där man skulle bedöma användbarheten av PBL som metod i inlärning av geografi. Studien visade på att ökade prestationer även efter provet, där studenternas allmänna förståelse inom området hade förbättrats med detaljerade analyser och ökad förmåga att applicera kunskapen. Däremot var det vissa studenter som lyfte fram problem med gruppuppgiften. Dålig tidshantering, icke samarbetsvilliga studenter och tillgodogöra den stora kvantiteten av information var vissa av sakerna som hade nämnts vilket enligt studien var på grund av dålig facilitering av läraren. (Caesar, 2016). Precis som tidigare diskuterat så har handledaren en viktig roll i att se till att det görs på rätt sätt så att studenterna får så mycket nytta av det som möjligt.
Hela modellen om effektivt problembaserat lärande bygger kring gruppens förmåga att diskutera, och för att detta ska kunna vara möjligt är det viktigt att alla känner att man kan bidra. Här ligger det ett ansvar hos både gruppmedlemmar samt handledare, att tillsammans skapa ett bra klimat där samtliga är bekväma med att ge sitt bidrag. Även för personer som skulle anses kunna vara extroverta, kan gruppklimatet bidra till att man inte känner sig bekväm med att delge sitt bidrag och i stället kan anses introvert. De flesta kan känna igen sig i en situation där man kommer in en grupp där majoriteten redan har en relation sedan tidigare, och hur mycket svårare det är att ta plats jämfört med en situation där samtliga är nya. Min uppfattning är att man generellt tar en mer passiv roll när man sätts i en okänd miljö, en roll där man har en tendens att lyssna och iaktta mer än att ta för sig. Detta är något som ofta byts ut mot att folk “hittar sina roller”, eller rättare sagt att de antingen blir bekväma eller vänjer sig. Därför är det viktigt att som handledare se till att diskussionen möjliggörs med ett öppet klimat, för att samtliga ska kunna bidra och att man ska kunna se den fulla effekten av problembaserat lärande.
Sammanfattningsvis så är problembaserat lärande ett mycket effektivt verktyg enligt mig. Det ger en erfarenhet inför det kommande arbetslivet där man oftast sätts i liknande situationer utan en given problemformulering. Det kan ge en ökad förståelse inom ämnet, där ens problemlösningsförmåga och analys stimuleras samtidigt som det förhoppningsvis även leder till att kunskapen bevaras längre. Däremot ställer det krav på att det ska göras på rätt sätt för att kunna anses vara givande. Bland annat ska handledarens kunskap vara i balans med dess förmåga att agera facilitator för att se till att det problembaserade lärandet uppnår sin fulla effekt. Då är det utan tvekan värt mödan enligt mig.
Referenser:
M. Dahlgren, J. Dahlberg, M. Ekstedt, A. Falk, E. Sjögren, T. Törnqvist. (2016). PBL-guiden. https://liu.se/dfsmedia/dd35e243dfb7406993c1815aaf88a675/36588-source/options/download/pbl-guiden [Nedladdning]
Walsh, Allyn. (2005). ”The tutor in problem based learning: a novice’s guide .” p. 9-12 [Tillgänglig på Lisam]
Hung, Woei, David H. Jonassen, and Rude Liu. (2008). ”Problem-based learning.” Handbook of research on educational communications and technology. p.485-506. https://www.academia.edu/download/50946792/PBL_Ch38_AECT_Handbook_ed3.pdf [Online]
Caesar, M.I.M., Jawawi, R., Matzin, R., Shahrill, M., Jaidin, J.H. and Mundia, L. (2016). The Benefits of Adopting a Problem-Based Learning Approach on Students’ Learning Developments in Secondary Geography Lessons. International Education Studies, 9(2), p.51-60. https://files.eric.ed.gov/fulltext/EJ1090213.pdf [Online]

Grupprocesser och handledarskap (Anna Hellman)

I höstas påbörjade jag min anställning som universitetsadjunkt på sjuksköterskeprogrammet. Jag har själv läst min grund- och specialistutbildning på Linköpings universitet och är väl förtrogen med PBL ur ett studentperspektiv. Jag har även handlett studenter på VFU enligt PBL men att handleda basgrupper är nytt för mig. Jag har verkligen uppskattat PBL-kursen på didacticum där jag fått chans att börja skrapa lite på ytan i den pedagogiska forskningen och litteraturen. Mina funderingar som väckts under PBL-kursen rör områdena pedagogiska teorier, grupprocesser och handledarskap – Hur kan jag använda mig av kunskapen kring grupprocesser och verktyg för att underlätta lärande i min roll som basgruppshandledare? Hur kan jag sätta ihop de olika delarna till en integrerad helhet som hjälper mig framåt i mitt handledarskap?
Problembaserat lärande har ett socialkonstruktuvistiskt perspektiv som betonar vikten av social interaktion i lärandeprocessen. Det är genom andra som studenten kan spegla sitt eget lärande men också bidra till det gemensamma lärandet för gruppen. Det innebär också ett skifte från lärarcentrerat till studentcentrerat fokus, vilket innebär att fokus ligger på lärande snarare än undervisning (1). Basgruppshandledaren anses ha en viktig roll för grupprocessen samt studenternas lärande vid problembaserat lärande (2,3). Grupprocessen beskrivs ur olika perspektiv varav jag har bekantat med mig Bion och Steiners teorier samt Susan Wheelans teori kring grupprocesser (4,5). Handledaren har också i uppgift att främja gruppdynamik och lärande genom att använda olika verktyg såsom basgruppskontrakt (2,6), ett metakognitivt perspektiv(3) samt stötta och guida studenterna i sitt basgruppsarbete så att de inte hamnar på avvägar (2).
Om vi börjar med att titta på grupprocesser så är det något varje grupp går igenom. Det finns en teori av Susan Wheelan som beskriver hur en grupp genomgår faser bestående av tillhörighet, konflikter, tillit och struktur, arbete och produktivitet. Det tar relativt lång tid, i regel ca sex månader innan gruppen når den sista fasen. Det är viktigt för gruppen att ta sig igenom alla faser för att slutligen nå den produktiva fasen. Den första fasen kännetecknas av tillhörighet och trygghet. Fokus ligger på den personliga tryggheten i gruppen. Medlemmarna kommunicerar artigt och trevande, ledaren utmanas sällan och rolltilldelningarna grundar sig på yttre status och intryck snarare än medlemmarnas kompetenser för uppgiften. Fas två består av opposition och konflikt där konflikter är en oundviklig del av processen och subgrupper uppstår. Fas tre består av tillit och struktur, där medlemmarnas engagemang och samarbetsvilja ökar. Kommunikationen är mer uppgiftsorienterad och ledaren blir mindre styrande. I fas fyra blir gruppen ett högpresterande team. Genom att mycket tid har lagts på att lösa problem som uppkommit på tidigare stadier, kan mer fokus och energi läggas på att genomföra arbetsuppgifter och nå gruppens mål. Det finns en stark sammanhållning samt effektiva strategier för konflikthantering (5).
För mig som handledare underlättar det att ha kunskap om dessa faser i en grupprocess. Det kan bli lättare att urskilja i vilken fas gruppen befinner sig och varför gruppmedlemmarna beter sig på ett visst sätt. Som ny handledare upplever jag själv att det kan vara lätt att lägga ett stort fokus på min egen förmåga som handledare och att ifrågasätta min förmåga om basgruppen inte fungerar som jag tänkt/önskat. Kunskapen att basgruppen exempelvis kan befinna sig i stadium 2 där det uppkommer olika åsikter och konflikter, medför att jag kan skifta mitt fokus från mig som handledare till gruppen och vad den behöver stöttning i för att komma vidare.
Vi kan också gå lite närmare in på hur grupprocessen kan se ut när gruppen arbetar med en uppgift i problembaserat lärande. Eva Chiriac, forskare vid Linköpings universitet, har undersökt hur Steiner och Bions teorier om grupparbete kan kombineras som ett sätt att förstå gruppdynamiken i problembaserat lärande (4).
Grupparbete är inte bara en aktivitet utan många aktiviteter med olika villkor. Baserat på olika typer av problem har Steiner identifierat fem olika former av grupparbete. En additiv uppgift kräver att alla medlemmars bidrag till arbetet vägs jämlikt och sedan läggs ihop. Den adderade summan är gruppens resultat. Den disjungerade uppgiften är beroende av att den mest lyckade/smartaste medlemmen hittar och presenterar lösningen till problemet, gruppens medlemmar behöver inte samarbeta för att lösa uppgiften. Den konjuktiva uppgiften är beroende av den svagaste medlemmen för att alla medlemmar måste klara uppgiften, t.ex vid bergsklättring. Den kompensatoriska uppgiften kräver att gruppen balanserar genomsnittet från gruppmedlemmarnas åsikter. Den kompletterande uppgiften innefattar också hela gruppens utförande. Grupparbetet är då beroende av delegeringen av arbetsuppgifter och att varje medlem tar ansvar för sin del av arbetet. Resultatet är summan av alla medlemmars bidrag till uppgiften (4).
Bions teori beskriver det professionella grupparbetet och anser att gruppen kan agera på två olika nivåer. Den ena nivån kallas arbetsgrupp där gruppen agerar på ett moget och uppgiftsorienterat sätt. Den andra nivån är när gruppen agerar på ett omoget och regressivt sätt vilket namngavs ”basic assumption-group”. Gruppen agerar då som om ett visst tillstånd existerar och gruppen har ett gemensamt intresse att hantera oro. Gruppen kan agera på tre olika sätt i basic-assumptiongruppen: osjälvständighet, fly/fäkta och att ingå i par. Idealsituationen i gruppen kan svänga mellan arbetsgrupp och basic-assumption grupp så länge den senare inte blir dominant. Resultatet visar att en kombination av Steiner och Bions teorier kan vara ett sätt att beskriva, tolka och förklara gruppdynamiken i gruppen (4)
Som handledare kan jag möta dessa olika grupprocesser och gruppdynamiker vid exempelvis problembearbetning i ovalen såsom brainstorming, problemformulering, eller där gruppen reagerar genom att börja klaga på PBL som pedagogik, upplägg i en kurs, eller börja skämta i stället för att våga diskutera en fråga. Studenternas IBU:er kan ses som kompletterande grupprocesser (4).
För att kunna stötta basgruppens arbete och grupprocess behöver handledaren känna sig trygg i sin roll som handledare (2,3). Förmågan att kunna justera och modifiera stegen i lärandeprocessen utifrån handledarrollen är inte bara en komplex förmåga utan också något som behöver praktiseras och förfinas. En effektiv PBL-handledare aktiverar och motiverar sina studenter och stöttar därmed deras kognitiva utveckling (2). Även Silén betonar det metakognitiva perspektivet där handledaren utmanar studenterna att tänka och reflektera kring sina tankar och handlingar i lärandeprocessen. Handledaren baserar då sina egna handlingar på studenternas arbete och grupprocess (3).
För att främja en god grupprocess anses även ramverk eller basgruppskontrakt vara en viktig del. Det behöver finns gemensamma grundregler som innefattar respekt för varandras åsikter, ansvarstagande hos studenterna (2,6) samt hur samarbetet i gruppen ska bedrivas (6). De gemensamma värderingarna är viktiga för att få en bra gruppdynamik samt att det ger basgruppshandledaren verktyg för att främja ett respektfullt agerande inom basgruppen där alla får komma till tals samt att kunna hantera olika åsikter hos gruppmedlemmar (6).
Sammanfattningsvis, genom att använda mig av kunskap kring grupprocesser utifrån Wheelan, Bion och Steiner kan jag identifiera olika faser eller arbetssätt som präglar min basgrupp. Det medför att jag lättare kan använda mig av olika verktyg för att hjälpa gruppen att komma vidare i sin grupprocess, främja gruppdynamiken eller underlätta studenternas lärandeprocess. Jag har endast skrapat på ytan av all kunskap inom det pedagogiska området men jag tror att detta kommer att hjälpa mig vidare på vägen att utvecklas som basgruppshandledare inom PBL.
Referenser
1. Problembaserat lärande – Vision, Värdegrund och Verktyg. Linköpings Universitet. Version 1.3: 2017-01-16.
2. Papinczak T, Tunny T, Young L. Conducting the symphony: a qualitative study of facilitation in problem-based learning tutorials. Med Education. 2009; 43: 377–383.
3. Silén C. The tutor’s approach in base groups (PBL). Higher Education 2006 51: 373–385.
4. Chiriac H.E. A scheme for understanding group processes in problem-based learning. High Educ. 2008; 55:505–518
5. Susan Wheelan. Att skapa effektiva team. Tredje upplagan. Lund: Studentlitteratur, 2017.
6. Azer S. Challenges facing PBL tutors: 12 tips for successful group facilitation. Medical Teacher, 2004, 27, 8, 676-681.

Den ”nya framtiden” för problembaserat lärande Av Eva Arvidsson

Problembaserat lärande (PBL) utvecklades på läkarutbildningen vid McMaster University i Hamilton, Kanada på 1960-talet. Bakgrunden var att man noterat att studenterna var missnöjda med läkarutbildningen. De upplevde det som tråkigt och meningslöst att plugga in en massa
”utantillkunskap” som de inte tyckte vara relevant för kliniskt arbete. Däremot tyckte studenterna att det var roligt och intressant att arbeta med patienter och problemlösning under senare delen av utbildningen (1).

Det finns många studier som visar att PBL är effektivt jämfört med vanlig undervisning. Detta gäller medicin så väl som andra discipliner. En metaanalys från 2016 fastslår t ex att PBL för att lära sig diagnostik ”… appeared to be more effective than traditional teaching method in improving knowledge and skills” (2). En systematisk review ett par år tidigare anger bl a “…benefit from using PBL, for example in critical reasoning, problem solving abilities and creativity” (3).

Läkarutbildningen i Lund (där jag studerade) började införa PBL på 1980-talet och jag besökte som nyutexaminerad universitetet i Maastricht 1988. Avsikten vara att hämta hem kunskap till medicinska fakulteten i Lund. Min grupp tittade framförallt på skills training som också var välutvecklat i Maastricht. Nu är PBL rutin på många utbildningar runt om i världen. Mina barn och yngre kollegor har använt metoden både som studenter och lärare.

Är allt då bra? Har vi äntligen de mål som jag och mina kollegor önskade oss på 80-talet?

Problem med PBL
Moust, som själv arbetar på universitet I Maastricht, på Department of Educational Development and Research, och medförfattare, menar att allt inte fungerar riktigt som det var tänkt. Utvärderingar har visat att studenterna hoppar över steg i processen i basgruppsarbetet. De struntar i brainstorming och de struntar i att inventera gruppens kunskap eftersom de inte tror att de har någon förkunskap. I stället går de direkt till problemformulering. Eftersom de inte formulerar problemen utifrån sin tidigare kunskap blir inlärningen inte lika effektiv (4). De sista faserna, att diskutera och värdera kunskapen, samt att använda den på det ursprungliga problemet, har också reducerats till korta rapporter från gruppmedlemmarna om vad de läst. Ofta läser gruppmedlemmarna samma saker hemma vilket gör återrapporten ganska poänglös och medför att diskussionen, och därmed frågasättande och omvärdering av kunskaper, uteblir. Och eftersom det inte provar sina kunskaper på sitt ”case” får de ingen chans att upptäcka om de har förbättrat sina problemlösningskunskaper.
Allt detta leder till att basgruppsmötena inte alls har det värde för lärande som de borde ha och minskar motivationen ytterligare.

En förklaring till situationen är lärarbrist (4). Detta har medfört att man ökat antalet studenter i handledningsgrupperna, vilket försämrar både gruppens interaktioner och lärprocessen. Deltagarna får mindre tid var och en, och några kanske inte deltar aktivt alls.
Man använder också studenter som handledare. Dessa har inte samma överblick och kunskap i ämnet och kanske har de bara en kort pedagogikkurs bakom sig. Studenthandledare är också mer ”bedömningsfokuserade”, dvs de styr eleverna mer mot det som är relevant för kommande tentamina, och hjälper ibland till med specifika referenser.
För att ovana handledare ska klara sitt uppdrag har man också börjat använda handledarguider som innehåller information om kursinnehåll, inlärningsfrågor och litteratur som bör studeras. Dessa

guider har enligt Moust blivit hårdvaluta för studenterna. Ovana lärare har också en tendens att ge korta föreläsningar i stället för att utmana elevernas tänkande genom utmanande frågor som manar till reflexion (4).

Jag tror att de problemen som Moust listar är universella. Det är dessa och liknande problem som vi pratat om under kursen, både utifrån våra erfarenheter och artiklar som vi läst. Vi har på kursen också pratat om att basgrupperna blivit större och att studenter är handledare för kamrater som läser något år under dem.

Ett förslag till lösning
Moust föreslår några lösningar till de problem som PBL brottas med, och en är att man utvecklar datorstödda PBL-miljöer (DPBL). Detta skulle ge en rikare inlärningsmiljö och underlätta alla momenten i basgruppsarbetet inklusive feedback och reflektion (4).

Är detta en bra idé? Most skrev sin artikel för några år sedan, och sedan dess har e-learning och serious gaming utvecklats enormt (serious game är datorspel som tagits fram just för utbildning och kompetensutveckling till skillnad från spel bara för underhållning). När man i en tysk studie jämförde serious game med PBL, för att träna läkarstudenter kliniskt resonemang i akutsituationer, fann man att studenter som tränat på den ”virtuella olycksavdelningen” hade bättre resultat än de som lärt sig liknande saker via vanlig PBL. En förklaring som författarna anger är att de som använde serious game hann träna på många fler fall än de som använde vanlig PBL trots att de använde lika mycket tid (5).

Tudor och medarbetare har gjort en systematisk review och metaanalys 2019 där man jämför effekterna på inlärning av vanlig PBL med DPBL. Deras slutsats är att DPBL är lika effektivt som traditionell PBL (och mer effektivt än traditionellt lärande) för att förbättra kunskap. För att förbättra färdigheter tycks DPBL vara mer effektivt än traditionellt PBL (och traditionellt lärande) (6). Ett par studier som inte finns med i Tudors review visar att spel kan förbättra inlärning utifrån fall eftersom man då kan spela en karaktär som tillämpar sina kunskaper på fallet (7). Detta skulle kunna motsvara det sista steget i PBL, att tillämpa kunskaperna på ”caset”. Flera studier visar också att DPBL ökar motivationen hos studenterna (8, 9). Allt detta är problem som Moust tog upp (4) och där DPBL alltså skulle kunna vara ett värdefullt bidrag för förbättring.

Den nya framtiden
Vi vet att DPBL fungerar bra för att inhämta kunskap och färdigheter, öka motivationen och att testa sina kunskaper på fall. Jag tror serious games integrerat i PBL har framtiden för sig. DPBL löser inte alla problem men många färdigheter kommer att kunna tränas effektivt med denna inlärningsmetod. Ett exempel som jag tänker på är att kunna hitta rätt information när man behöver den, och effektivt kunna sålla. Antalet tidskrifter ökar exponentiellt (10) och medicinsk kunskap dubbleras var femte månad (11). Kritiskt tänkande kan man lära sig via effektivt via PBL (3) och man också träna via app (12). Grundmotiven för PBL, att studenter ska lära sig att lära sig själva, att de ska få en djupare kunskap, att det ska ompröva sina kunskaper och att lärande ska vara roligt, (1) är med andra ord i högsta grad relevanta fortfarande.

På vägen mot vidareutveckling av PBL mot DPBL får man hålla bland annat nedanstående i minnet:
• Vad menar vi med PBL? Är det basgruppsarbete eller menar vi något mer? Man behöver veta för att kunna utvärdera (13)
• Vad menar vi med DPBL? Är det datorstöd bara för att presentera ett case eller är hela basgruppsarbetet digitalt? Hur mycket interaktivitet ingår? (6)
• Hur lång effekt av en intervention är intressant? De flesta studier mäter bara en gång kort efter interventionen (6). I den review som nämndes i början av detta arbete skriver man

“Though PBL seems to have a good effect on several competencies after graduation no significant effects were observed in lifelong learning attitudes”(3).
När jag tänker tillbaka och söker på datorn på BPL och skills training i Maastricht kommer jag till ”the tool wheel” och strax också till ”gamification”. Kanske ser jag först nu, drygt 30 år senare, framtiden? PBL har kommit för att stanna – och vidareutvecklas. (Och sen kan jag undra hur den ännu nyare framtiden, om 30 år till, ser ut?)

Referenser
1. Barrows HS. Problem-Based Learning in Medicine and Beyond: A Brief Overview. New directions for teaching and learning. 1996;68:3-12.
2. Wang J, Xu Y, Liu X, Xiong W, Xie J, Zhao J. Assessing the effectiveness of problem- based learning in physical diagnostics education in China: a meta-analysis. Sci Rep. 2016;6:36279.
3. Townsend G. Problem-based learning interventions in a traditional curriculum are an effective learning tool. Evid Based Dent. 2011;12(4):115-6.
4. Moust JHC, van Berkel HJM, G. SH. Sign of erosion: Reflections on three decades of problem-based learning at Maastricht University. Higher Education Research & Development. 2005;50:665-83.
5. Middeke A, Anders S, Schuelper M, Raupach T, Schuelper N. Training of clinical reasoning with a Serious Game versus small-group problem-based learning: A prospective study. PLoS One. 2018;13(9):e0203851.
6. Tudor Car L, Kyaw BM, Dunleavy G, Smart NA, Semwal M, Rotgans JI, et al. Digital Problem-Based Learning in Health Professions: Systematic Review and Meta-Analysis by the Digital Health Education Collaboration. J Med Internet Res. 2019;21(2):e12945.
7. Addy TM, Dube D, Croft C, Paynter OC, M.L. H, Honsberger MJ, et al. Integrating a Serious Game Into Case-Based Learning. Simulation & Gaming. 2018;49(4):378-400.
8. Chang C, Chung C, Chang JA. Influence of problem-based learning games on effective computer programming learning in higher education. Education Tech Research Dev. 2020;68:2615- 34.
9. Tambunan L, Rusdi R, Miarsyah M. Efectiveness of Problem Based Learning Models by Using E-Learning and Learning Motivation Toward Students Learning Outcomes on Subject Circullation Systems. Indonesian Journal of Science and Education. 2018;2(1).
10. Smith R. The trouble with medical journals. J R Soc Med. 2006;99(3):115-9.
11. Corish B. Medical knowledge doubles every few months; how can clinicians keep up? : Elsevier; 2018 [Available from: https://www.elsevier.com/connect/medical-knowledge-doubles- every-few-months-how-can-clinicians-keep-up.
12. Ismail NS, Harun J, Zakaria M, Salleh S. The effect of Mobile problem-based learning application DicScience PBL on students’ critical thinking,. Thinking Skills and Creativity. 2018;28:177- 95.
13. Servant-Miklos V. Problem-Oriented Project Work and Problem-Based Learning: ”Mind the Gap!”. Interdisciplinary Journal of Problem-based Learning. 2020;14(1).