Ejump_maastricht

Forma&ve evalua&on   of eJump courses  Mart Laanpere  Tallinn University 

Forma&ve evalua&on  •  Why: to collect feedback that could help us to  update and enhance the courses and make them  more suitable to the target group  •  How: online ques&onnaire with LimeSurvey  (limesurvey.org); survey consisted of 6 blocks:  background, online learning environment, learning  resources, assignments, assessment and feedback,  pedagogical design  •  Who: was sent to 129 par&cipants, 56 responded  (43% response rate)  •  When: in March 

Instrument: ques&onnaire  •  Background informa&on: affilia&on, occupa&on,  age, gender, academic field, e‐learning  experience and aUtude, Web 2.0 experience,  mo&vators  •  5 sec&ons: online learning environment, learning  resources, course assignments, assessment and  feedback, pedagogical design and  implementa&on  •  8‐10 statements in each sec&on, 5‐point Likert  scale responses (Strongly agree, agree…) 

Sample  Affilia.ons  2%  5% 

14% 

7%  9% 

63% 

University or other higher educa&on ins&tu&on  Secondary school  Voca&onal school  Academic network organisa&on  Other  Business enterprise 

Occupa&ons  IT‐specialist  5%  educa&onal  technologist  13%  researcher  11% 

administrator  7% 

other  9% 

teacher  55% 

Age and gender  30 

Male  36% 

25  20 

Female  64% 

15  10  5  0  15‐25 

26‐40 

41‐60 

Academic field 

business  humani&es  administra&on,  7%  economics  medicine, 5%  health  sciences  4%  IT, computer  science  31% 

other  5% 

pedagogy,  educa&onal  science  32%  mathema&cs  and natural  sciences  12% 

social sciences  4% 

Online teaching experience  more than10  8% 

5‐10 years  43% 

less than 1 year  6% 

1‐4 years  43% 

Frequency of using VLE  Couple of &mes  during semester  11% 

Monthly  7%  Daily  49% 

Weekly  33% 

20 respondents are teaching online courses on regular basis, 17 occasionally 

Experience with Web 2.0 tools  No, I did not  know about  these tools  before taking  the eJump  course  No, although I  15%  new these tools  can be used for  teaching  27% 

Other  2%  Yes, quite oben  16% 

Yes, occasionally  40% 

Why did they par&cipate?  I am interested in using eLearning 2.0  in my job 

4%  2%  7% 

I wanted to experience myself  eLearning 2.0 in the role of learner 

15%  54%  18% 

I wanted to experience the studying  in interna&onal group  Other  I was just curious  My boss suggested I should take this  course 

Which eJump course they took?  30 

28  25 

25  20 

19 

15  10  5  1  0  New Technologies  New Assessment  eLearning design &  Ac&on Research  in eLearning  Methods of  administra&on  Planning  eLearning 

AUtude towards e‐learning before  taking eJump course(s)  •  •  •  •  •  •  • 

Extremely posi&ve (8)  I was curious, interested (5)  Posi&ve, pragma&c (15)  Trying to keep my mind open (2)  It is part of my everyday work (3)  I did not know anything about it  (3)  Neutral (1) 

Which course they evaluated?  35  30 

29 

25  20  15 

13  9 

10  5 

1 

0  New Technologies  in eLearning 

Ac&on Research  Planning 

New assessment  Methods of  eLearning 

elearning  administra&on 

Online learning environment  I would recommend to keep the environment  unchanged in case you are going to teach this  course again  It suited well to the course contents and goals  In general, I was sa&sfied with the environment  It was suitable for the learning tasks we had to carry  out  The different parts of it were well integrated  It was user‐friendly  It was logically structured  I never got lost in it  It was easy to navigate  It was aesthe&cally pleasant  0% 

Strongly agree 

Agree 

10% 

20% 

Neither disagree nor agree 

30% 

40% 

50% 

Disagree 

60% 

70% 

80% 

90% 

Strongly disagree 

100% 

Learning resources  There was sufficient amount of addi&onal  reading for those who wanted learn deeper  The learning resources were valuable and  relevant to me  I did not discover any mistakes or disputable  issues in our learning resources  All of the resources were relevant to course  goals and assignments  The learning resources were wrijen in clear  style, were easy to read  I expected more original resources from the  authors of this course  The texts were too lengthy  We were provided a sufficient amount of  learning resources  0% 

Strongly agree 

Agree 

10% 

20% 

Neither disagree nor agree 

30% 

40% 

50% 

Disagree 

60% 

70% 

80% 

90% 

Strongly disagree 

100% 

Course assignments   I would have expected more flexibility and  self‐direc&on opportuni&es in defining the  scope of the assignments   I would have expected more collabora&ve  assignments   I would have expected more individual  assignments   Assignments were authen&c, based on real‐ life situa&ons   Assignments were highly relevant to my job  context   All assignments were well matching the goals  and content of this course   I would not skip any of the assignments, all  were useful   Assignments were presented in clear and  comprehensive manner   Our workload was too high, there were too  many assignments  0% 

10% 

20% 

30% 

40% 

50% 

60% 

70% 

80% 

90% 

100% 

Assessment and feedback   I felt the facilitator's presence on this course,  as (s)he was responding quickly when needed   Assessment‐related tasks added too much  workload to me   Assessment and feedback was helpful, I  learned a lot from it   Assessment was matching well the course  goals   I would have expected more peer‐assessment  ac&vi&es   I would have expected more self‐assessment  ac&vi&es   Facilitator's feedback was always &mely   All my contribu&ons were assessed by the  facilitator   I received sufficient feedback from the  facilitator  0% 

Strongly agree 

Agree 

10% 

20% 

Neither disagree nor agree 

30% 

40% 

50% 

Disagree 

60% 

70% 

80% 

90% 

Strongly disagree 

100% 

Pedagogical design and implementa.on   The course was smoothly administered, I was  always aware what I should do next   I learned what is Learning 2.0 from the pedagogical  perspec&ve   This course need to be pedagogically re‐designed if  you really want to "teach the way you preach"   Most of the course par&cipants were truly engaged  in learning   There was sufficient flexibility in course design for  ensuring the autonomy of learners   The pace of the course was well balanced   The course introduced innova&ve pedagogical  approach   The mix of tradi&onal and new teaching methods  was well balanced   Course syllabus and guidelines were clear and  comprehensive  0% 

Strongly agree 

Agree 

10% 

20% 

Neither disagree nor agree 

30% 

40% 

50% 

Disagree 

60% 

70% 

80% 

90% 

Strongly disagree 

100% 

General remarks  •  Normal distribu&on of responses: people  seemed to take eJump courses with different  expecta&ons  •  Several responses praised Moodle as the best  part of online learning environment  •  Learning resources received the best feedback  •  Inter‐course differences: NeTeL course  received slightly more posi&ve responses  •  Helpful (cri&cal) free‐form responses  

Conclusions  •  Strengths:   –  first‐hand experience on eLearning 2.0 (incl. chaos)  –  useful learning resources  –  innova&ve pedagogical design 

•  Weaknesses:   –  environment was confusing: easy to get lost, overlaps  (Moodle & Elgg), scaffolding is needed  –  insufficient social presence, social infrastructure  –  integra&on between courses 

G.Salmon: 5 stages of e‐modera&ng 

Implica&ons to course re‐design  •  Restructure learning environment: geUng rid  of Moodle? Immersive learning  •  Scaffolding efforts are needed  •  (Personal) learning environment as result of  the course, not as an input?  •  Efforts to build and maintain social presence  •  Social infrastructure  •  Rela&ons between courses (overlaps)