Den korta kommentaren som blev en novell v.2

I november 2018 fördes en debatt kring en opublicerad studie som lyftes i media och påstods visa att t.ex. digitaliseringen är illa för inlärningen. Nu har denna studie blivit godkänd för publicering och ingår även i en doktorsavhandling: "Equality in cognitive learning outcomes: the roles of educational practices”¹.

Eftersom jag deltog i debatten 2018 har jag väntat på att få läsa den ursprungliga studien, och jag vill här ge en kommentar på den del av avhandlingen som handlar om digitaliseringen.

Vad är syftet?

Målet som berör digitaliseringen är att utreda följande (s. 56):

1) whether the frequency of using digital technologies at school is associated with cognitive learning outcomes in the Finnish PISA 2015 data (i.e. reading literacy, mathematical literacy, scientific literacy, and collaborative problem-solving).

2) whether this association is modified by risky background factors, availability of digital technologies at school, or student’s competence in using digital technologies. That is, whether the use of digital technologies could influence the equality in cognitive learning outcomes between students (a) with different family backgrounds, (b) with different competencies in using digital technologies, or (c) with different availability of digital technologies.

I media har skribenten relaterat avhandlingens resultat till dagens läroplan och skolkontext. Detta är problematiskt av flera skäl, och nedan vill jag lyfta några orsaker till varför man inte kan –och inte heller bör – generalisera resultaten som berör digitaliseringen till att också gälla idag.

Representativa data?

En del av problematiken kommer fram redan i abstraktet:

The participants (N=5660, 5037, and 4634 in Studies I‒III) came from the Finnish PISA 2012 and 2015 datasets that constitute a representative sample of the Finnish 15-year-old students.

De elevdata och den kontext som rapporteras var representativa för 15-åringar år 2012 och 2015. De slutsatser som dras på basis av dessa data gäller det som fanns och skedde före 2015. De som var 15 år under de åren hade börjat skolan före exempelvis den första iPaden släpptes. Eftersom rekommendationer dock ges på basis av avhandlingens resultat i år (2020), borde diskussionen relateras till samhällsutvecklingen, den teknologiska utvecklingen, dagens läroplan och situationen i skolan idag.

Dessvärre finns ingen sådan diskussion i avhandlingen. I en avhandling som redan debatterats så aktivt bland allmänheten hade jag förväntat mig att doktoranden, handledarna (eller åtminstone sakgranskarna) hade sett behovet av att relatera resultaten till denna debatt – om inte annat för att minska risken för att motsvarande icke-underbyggda mediastorm blåses upp på nytt. Detta saknas dock helt. Att utgå ifrån att det som skedde 2012 och 2015 är representativt för det som sker i dag är problematiskt.

IKT då, digital kompetens nu

De variabler som använts för att studera “digitalisering” ger insyn i hur vi kan tolka de resultat som presenteras. Tre mått har studerats (fritt översatt från avhandlingen):

1) IKT-användning: Hur ofta använder du digitala enheter enligt följande i skolan?

• I skolan (här saknas troligen verbet)
• Använda epost i skolan
• Söka på internet för skolarbete
• Ladda ner, ladda upp eller gå igenom material på skolans webbsidor
• Posta arbeten på skolans webbsida
• Spela simuleringar i skolan
• Öva och drilla i t.ex. språk eller matematik
• Använda skolans dator för grupparbeten eller för att kommunicera med andra elever

Dessa frågor antas ge insyn i användningen av digitala läromedel/undervisningsmetoder. Alla med insyn i dagens skolvardag och läroplan vet att begreppet digital kompetens och användningen av digitala enheter i skolan i dag är mycket annat än det som listas här.  

2) Tillgång till IKT: Vilka av följande digitala enheter finns i din skola? 

• Bordsdator
• Bärbar dator
• Pekplatta
• Nätuppkopplade skoldatorer
• Nätuppkoppling via trådlösa nätverk
• Lagringsutrymme för skolrelaterade data
• USB-sticka
• Eboksläsare
• Dataprojektor
• Interaktiv tavla

En del av dessa är relevanta ännu i dag, men många är det inte. Dessutom kan man ställa sig frågande till på vilka sätt t.ex. tillgången till USB-sticka i skolan ansetts påverka en 15-årings läs- och skrivfärdigheter ens år 2012 och 2015.

3) IKT-kompetens: Hur IKT-kompetent upplever du att du är på skalan 1-5?

• Jag är bekväm med att använda digitala enheter som jag är mindre bekant med. 
• Om mina vänner eller släktingar vill köpa nya digitala enheter eller applikationer kan jag ge dem råd. 
• Jag är bekväm med att använda digitala enheter hemma. 
• Då jag stöter på problem med digitala enheter tror jag att jag kan lösa dem. 
• Om mina vänner och släktingar har problem med digitala enheter, kan jag hjälpa dem.

Ett högt sammanlagt värde tolkades här som hög IKT-kompetens och vice versa. Igen är frågan om dessa fem påståenden fångar vad vi anser att det innebär att vara digitalt kompetent idag. 

Med hjälp av statistiska analyser där man kombinerat PISA-data och frågorna ovan dras följande slutsats i avhandlingen:

Frequent use of […] digital learning materials at school were associated with students’ weaker learning outcomes in several knowledge domains. […] Moreover, frequent use of […] digital learning materials had more negative impact on students’ learning outcomes in students with (vs. without) risky background. 

Om man sätter de data som använts som grund för analysen i relation till definitionen av digital kompetens i dagens läroplan och den mångsidiga användning av digitala verktyg, applikationer och tjänster som man kan se i skolan i dag, är det tydligt att man inte kan dra slutsatsen att resultaten per automatik skulle gälla även idag.

Avhandlingens källor – urval och relevans

En stor del av litteraturstudien som presenteras i avhandlingen och den diskussion som förs kring resultaten bygger på artiklar som kan anses föråldrade². Diagrammet nedan visar hur källorna fördelar sig över tidsperioden 2001-2019.

Exempelvis är flera av artiklarna som berör 1:1 från 2006 och 2007. Hur många skolor hade 1:1 då och vilka typer av arbetssätt möjliggjorde det? Nyare artiklar finns – en snabb sökning på Google Scholar listar ett stort antal artiklar om “one to one” som publicerats under de två senaste åren.

Egna påståenden motiveras likaså med hänvisning till lika gamla studier, t.ex.

The promotion of digital learning materials has been based on the assumption that the youngest generations who were born at the era of digital media would have fundamentally different learning processes, when compared to previous generations (e.g. Barnes et al., 2007; Prensky, 2010; Sheard & Ahmed, 2007; Skiba & Barton, 2006). (s. 33)

It has been emphasized that there are a variety of practical challenges when implementing digital technologies to classroom environments (Balanskat et al., 2006). (s. 35)

Moreover, there is evidence that most students use their laptops for basic tasks (e.g. writing essays, doing homework, or browsing the Internet), instead of very sophisticated programs (Bebell & O'Dwyer, 2010; Penuel, 2006). (s. 36)

Idéen om “digitala nativer” som förs fram i det första av dessa tre citat har debatterats och dementerats flera gånger, och ses idag som en myt. Inte heller är orsaken till att vi har digital kompetens i läroplanen idag att barn och unga skulle ha fundamentalt annorlunda lärandeprocesser. Att i första hand hänvisa till gamla källor i en avhandling där man behandlar gamla data men vill ge rekommendationer för nutid är problematiskt.

Ett annat problem är att en stor del av artiklarna som diskuteras i litteraturstudien (Tabell 1, s. 38 och framåt) är gjorda på tredje stadiet (totalt 44 artiklar, varav 27 är gjorda i en universitetskontext, fem på andra stadiet och 12 i åk 1-9). Varför inte begränsa litteraturgenomgången till årskurs 1-9, eftersom det är den målgrupp PISA riktar sig till? Enligt mig borde både sakgranskare och opponent ha reagerat på källornas relevans och urvalsmetoden.

Avsaknad av definitioner

Tvärvetenskaplig forskning är viktig och det är nyttigt för en forskningsdomän att få data och resultat tolkade av forskare från andra discipliner. Men för att detta ska vara möjligt bör den som ska ta sig an en annan domän vara bekant med t.ex. terminologin, alternativt klart definiera de begrepp som används. En problematisk aspekt i arbetet är den begreppsförvirring som råder. Begrepp såsom digitalisation, digital technologies, learning technologies, digital learning materials, ICT competence, ICT in education, och andra liknande termer används friskt och det är oklart vad som avses samt om dessa ska ses som synonymer.

Under disputationen användes även formuleringar som “när läraren använder digitalisering som undervisningsmetod”, vilket betyder absolut ingenting (ungefär som att säga att läraren använder elektricitet som metod). Även i litteraturstudien finns formuleringar som antyder att skribenten ser “digitalisering” som en enda metod, då hon bl.a. riktar kritik mot tidigare studier:

Further, several studies have compared the effect of different instruction strategies on learning outcomes in digital learning environments (e.g. Erhel & Jamet, 2013), instead of investigating the effect of digital learning environments per se. The lack of appropriate control groups seriously reduces the possibilities to draw conclusions about the effectiveness of ICT use on learning outcomes. (s. 35)

Drawing any firm conclusions from the previous literature is challenging due to the substantial methodological heterogeneity between single studies.Since there are a range of varying elements between single studies, the results are not comparable with each other. Further, it is challenging to conclude which of the elements contributed most to the learning outcomes. (s.34)

Senare konstateras dock att PISA-resultaten inte kan användas för att ge insyn i huruvida t.ex. användningen av digitala material på olika sätt kunde ha olika effekt på lärandet, men det omnämns i en enda mening.

Furthermore, the PISA datasets did not provide possibilities to conduct exact investigations whether different durations or different applications of digital learning materials could have different effects on learning outcomes. (s. 106)

Med tanke på att opponenten är professor i informatik (ungefär datavetenskap) blev jag mycket överraskad av att han inte problematiserade användningen av begreppet digitalisering under disputationen³.

Vad är nytt i avhandlingen?

En av slutsatserna i avhandlingen är att användningen av digitala verktyg/läromedel inte bör vara ett självändamål utan ett medel för att nå andra mål:

“Not a goal in itself but a means toward higher-level goals. Our findings and previous evidence suggest that there are risks related to frequent use of digital technologies at school: digital learning materials may not necessarily promote learning outcomes and may also increase inequality in learning outcomes between students coming from different backgrounds. Hence, the use of digital learning materials should not be regarded as a goal itself but a means toward other goals such as learning some content knowledge.” (s.114) 

Detta är knappast något nytt. Det är inte heller något som gäller enbart digitala läromedel/arbetssätt utan generellt. En given metod eller ett givet läromedel behöver inte nödvändigtvis främja lärande, oberoende av om det är analogt eller digitalt.

Frågan om likvärdighet är en viktig aspekt, och vi pratar idag mycket om möjligheterna att med hjälp av digitala verktyg och applikationer exempelvis individualisera undervisningen och erbjuda extra stöd till elever med särskilda behov. Likaså poängteras ofta skolans kompensatoriska uppdrag i att ge elever som t.ex. inte har en dator hemma möjlighet att bli datorvana och utveckla sin digitala kompetens⁴. Denna typ av diskussion förs inte alls i avhandlingen.

Bland slutsatserna presenteras även en lista rekommendationer att beakta då man använder digitala läromedel med unga elever. Här finns flera bra designaspekter för den som utvecklar digitala verktyg eller läromedel, men här finns också rekommendationer till läraren som föreslår att arbetet med digitala läromedel bör ske i tysta och lugna miljöer och utan exempelvis sociala interaktioner med klasskompisar (“the physical environment should include low noise levels and as few as possible competing stimuli (e.g. social interactions with peers”)). Denna rekommendation går helt emot definitionen på digital kompetens där eleverna förväntas lära sig samarbeta och kommunicera med digitala verktyg. Likaså får formuleringen kring uppföljning ("there could be mid-tests and post-tests in order to ensure that the learner has processed all the necessary information.”) mig att undra om skribenten anser att formativ bedömning enbart är relevant då man arbetar med digitala verktyg?

Sammantaget konstaterar jag att analysen av data från 2012 och 2015 är gjord utgående från den kontext som rådde då, och dessa data berättar något om användningen av digitala verktyg (allt från USB-minnen och dataprojektorer till nätuppkopplade datorer) i skolan under de åren – inte idag. Motsvarande resultat har dock publicerats i OECD:s rapport från 2015: “Students, Computers and Learning: Making the Connection”⁵ och jag kan inte låta bli att undra vad kontributionen i denna doktorsavhandling egentligen är gällande skolans digitalisering.

¹ Saarinen, A. (2020) https://helda.helsinki.fi/handle/10138/320436

² Jag har plockat ut alla artiklar som berör digitala verktyg, IT eller digitalisering och samlat dem i PDF:en. Om jag har missat någon artikel får du gärna meddela mig.

³ Jag hann inte se hela disputationen. Med tanke på att opponentens forskning (enligt hans publikationslista) inte verkar vara kopplad till Saarinens forskningsfält, undrar jag varför valet föll på honom i stället för någon annan som kanske gett upphov till en mer kritisk diskussion och fler följdfrågor. Som det blev nu förblev många frågor som t.ex. diskuterades på Twitter obesvarade. Disputationen visade också att varken respondenten eller opponenten hade en bild av dagens skola.

⁴ Enligt Statistikcentralens data saknade 57% av hemmen dator år 2008 (https://www.stat.fi/til/sutivi/2011/sutivi_2011_2011-11-02_kat_001_fi.html). År 2015 hade de flesta hem med en nettoinkomst på minst 2100€/månad minst en dator, medan motsvarande andel för dem med lägre inkomst var 66% (https://www.stat.fi/til/sutivi/2015/sutivi_2015_2015-11-26_tau_001_fi.html). År 2020 fanns en dator i 78% av hemmen med en nettoinkomst lägre än 2100 €/månad (https://www.stat.fi/til/sutivi/2020/sutivi_2020_2020-11-10_tau_001_fi.html).

⁵ https://read.oecd-ilibrary.org/education/students-computers-and-learning_9789264239555-en