Susana Kruger - Software (abem 2000)

Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical Susana Ester Krüger RESUMO Nesta pesquisa foi desenvolvido, testado e proposto um Roteiro para Avaliação de Software para Educação Musical. Este foi formado por três categorias de avaliação: A) Parâmetros Pedagógicos; B) Interações Sociais; e C) Informática & Educação Musical, fundamentadas nas áreas de Educação, Educação Musical, Informática Educacional, entre outras. Nas três fases da pesquisa, foi empregada a metodologia de Pesquisa de Desenvolvimento: Fase I: programadores de software para música/educação musical e educadores musicais analizaram as categorias e sugeriram questões; Fase II: elaboração do Roteiro Preliminar; Fase III: testagem do Roteiro Preliminar por uma amostra reduzida de indivíduos da Fase I. A partir destes resultados, foi proposto um novo Roteiro. Obtevese alto grau de aprovação dos parâmetros propostos, sugerindo-se a adoção do Roteiro por educadores musicais e programadores, em avaliações formativas e somativas de protótipos e produtos. Destaca-se a necessidade de testagem em pesquisas subseqüentes de avaliação de software para educação musical.

Introdução A avaliação de software educacional é considerada contemporânea e relevante no ensino básico, sendo necessário que venha a ter a mesma importância na educação musical brasileira. Isto porque é premente que sejam criados programas fundamentados em pesquisas e práticas correntes na educação musical, contemplando necessidades pedagógico/sociais atuais. Igualmente, a avaliação anterior ao uso dos programas possibilita a otimização das atividades educativo-musicais. No início desta pesquisa, efetuou-se uma análise comparativa de roteiros para avaliação de software do ensino básico e dos roteiros propostos por educadores musicais. Constatou-se que roteiros de ambas as áreas seriam insuficientes a um processo avaliativo abrangente, contextualizado e atualizado: (a) os roteiros do ensino básico são extensos e detalhados; normalmente focalizam a avaliação de atributos computacionais; não possuem critérios específicos à área de música; e, os atributos pedagógicos não são totalmente pertinentes às tendências atuais da educação musical; (b) os roteiros da educação musical são concisos, focalizam atributos técnicos e não contemplam todos os tópicos ou recursos considerados atuais e pertinentes à avaliação de software deste domínio. Destacou-se assim a necessidade de pesquisas mais abrangentes sobre a criação de um roteiro,

fundamentado em parâmetros de avaliação de software do ensino básico, em educação musical, informática educativa e áreas afins. Com o intuito de contribuir com os estudos sobre parâmetros para avaliação de software para educação musical, esta pesquisa teve como objetivo desenvolver, testar e propor um Roteiro para Avaliação de Software para Educação Musical. Os objetivos específicos foram: (a) estabelecer parâmetros amplos para avaliação de software de educação musical; (b) coletar e analisar as questões de avaliação que educadores musicais e programadores de software para música/educação musical consideram adequados ao processo de avaliação de software para educação musical, a partir dos parâmetros estabelecidos; (c) elaborar um Roteiro Preliminar para avaliação de software para educação musical; (d) testar o Roteiro Preliminar por meio de análises críticas e da atribuição de graus de pertinência e importância a cada questão; e (e) sugerir um Roteiro para testagem em pesquisas subseqüentes. 1. Parâmetros para Avaliação de Software para Educação Musical Nesta pesquisa, são definidos como software para educação musical aqueles especificamente projetados e desenvolvidos para uso em processos de ensino/aprendizagem musical. A avaliação de software educacional caracteriza-se como:

formativa:

de

software

em

desenvolvimento

(protótipo),

focaliza

modificações; e somativa: de software finalizado (produto); avalia a qualidade e variedade de experiências educacionais que o mesmo pode fomentar; visa decisões sobre aquisição ou adoção (SQUIRES & McDOUGALL, 1994; HANNAFIN & PECK, 1988). Nestas avaliações, são usados Roteiros, definidos como um conjunto de parâmetros (categorias e questões de avaliação) para avaliação dos software educativos. Podem ser elaborados para professores, alunos e entidades de pesquisa ou comerciais. Um formato comum, também adotado na criação deste Roteiro, é o método baseado em categorias (BARKER & KING, 1993, p.309): o agrupamento de questões em categorias que representam os parâmetros amplos de avaliação. Pode ser sugerida a criação de sub-categorias e questões de avaliação. Para este Roteiro, foram criadas as categorias: A) Educação/Educação Musical, B) Interações Sociais possíveis durante o uso do Software, e C) Informática &

Educação Musical. A primeira avalia as demandas da educação musical quanto aos software educacionais, e compreende as sub-categorias: a.1. Teorias de Aprendizagem (behaviorismo e construtivismo); a.2. Concepções de Educação Musical (tradicional e progressista); a.3. Parâmetros de Atividades Musicais (Modelo (T)EC(L)A – Swanwick, 1979); a.4. Objetivos Pedagógicos (conteúdos e processos pedagógicos; objetivos extrínsecos e intrínsecos); a.5. Avaliação do Aprendizado (diagnóstica, formativa e somativa); e a.6. Adequação Sócio-cultural e Musical (aspectos sócio-culturais e musicais em geral). A segunda subdivide-se em: b.1. Entre Professor e Aluno (papéis do professor) e b.2. Entre Alunos (formas de relacionamento entre os alunos). A terceira avalia a interface, usabilidade e interatividade do software com relação à educação musical. Estas categorias foram pesquisadas em diferentes áreas (Tabela 1). 2. Desenvolvimento do Roteiro Preliminar Optou-se pela Pesquisa de Desenvolvimento, que visa aperfeiçoar processos de projetos de software educacional, de desenvolvimento, e de avaliação destes software, podendo ser conduzida em fases distintas (RICHEY & NELSON, 1996, p.1213;1218). Neste campo, foi encontrada a pesquisa de BARKER & KING (1993), a qual apresentou características pertinentes à esta pesquisa, como os procedimentos de validação de uma versão preliminar de roteiro. 2.1. Metodologia das Fases I e II Na Fase I, os indivíduos sugeriram questões e realizaram uma análise crítica das categorias e sub-categorias. RICHEY & NELSON (1996) apontam a Survey (Estudo de Levantamento) como um método freqüentemente empregado na Pesquisa de Desenvolvimento (p.1229). Assim, foi empregada a Survey de Corte Transversal - uma única coleta de dados dos indivíduos da amostra (CASEY, 1992, p.116). Foi utilizado um Questionário Aberto solicitando a elaboração de, no mínimo, três questões para cada sub-categoria, e a análise das categorias. O questionário foi aplicado via e-mail (RICHEY & NELSON, 1996). Na Fase II foi criado o Roteiro Preliminar.

2.1.1. Amostra Foram buscados dados de programadores e professores que trabalhassem com software para música/educação musical. Como no Brasil existe um número reduzido destes indivíduos, a escolha foi realizada por amostragem não probabilística, que permite a delimitação da população pesquisada. Foi adotada a amostragem por objetivo, na procura de indivíduos com características pertinentes à pesquisa (CASEY, 1992, p.117). 2.1.2. Procedimentos Fase I: criação das categorias e sub-categorias; contatos com dez indivíduos via e-mail, solicitando a participação na pesquisa; envio de e-mail a oito indivíduos, contendo o Questionário Aberto e um arquivo com as categorias e sub-categorias; correspondência pessoal com os indivíduos. Fase II: análise comparativa qualitativa das questões para verificação de recorrência temática; formação do Roteiro Preliminar com questões sugeridas pelos indivíduos (selecionadas e adaptadas), e questões criadas a partir da fundamentação teórica. 2.2. Resultados Foram obtidas 185 sugestões de questões e 55 textos de análise. As subcategorias foram reavaliadas, visando sua inclusão, exclusão ou reformulação teórica e de layout para o Roteiro Preliminar. Foram criadas 73 questões. O Roteiro enfatizou questionamentos relacionados à educação musical; em segundo lugar, as questões da informática aplicada à música/educação musical; e em terceiro lugar, os questionamentos sobre as interações sociais. Como outros roteiros, as questões apresentaram diferentes formatos de respostas: alternativas “cafeteira” (opções de resposta) (MUCCHIELLI, 1975, p.37); respostas sim/não; e escala de graduação unipolar de cinco graus (OSTROM & GANNON, 1996, p.304-5). Após cada uma foi incluída a pergunta “Comentários Sobre o Software”, para descrição de aspectos emergentes. Não foi sugerida a quantificação dos resultados.

3. Testagem do Roteiro Preliminar O Roteiro Preliminar foi testado quanto à pertinência e importância dos seus parâmetros e redação das questões. A metodologia também foi caracterizada como uma Survey. 3.1. Metodologia da Fase III Foram utilizados, simultaneamente, dois instrumentos de coleta de dados: questionário fechado (avaliação quantitativa); e entrevista semi-estruturada (Técnicas de Entrevista Cognitiva; avaliação qualitativa). O Questionário Fechado foi formado por duas questões com opções de respostas, em forma de “ficha de avaliação”, para atribuição de graus de pertinência e importância às questões do Roteiro Preliminar (Figura 2). Estas opções foram compostas por escalas de graduação unipolares de três graus (OSTROM & GANNON, 1996), sendo três o mais elevado. Na entrevista semi-estruturada foram empregadas todas as Técnicas de Entrevista Cognitiva: “pensar em voz alta”, questões de sondagem, paráfrases e avaliação da segurança (DeMAIO & ROTHGEB (1996, p.179). As entrevistas foram transcritas, categorizadas e analisadas. Os dados quantitativos obtidos por meio do questionário fechado também foram comparados entre si e categorizados. 3.1.1. Amostras Foram utilizados dois grupos de amostras, demandando em duas técnicas de amostragem: amostragem por estágios (uso de uma porcentagem da amostra inicial em fases posteriores) (COHEN & MANION, 1987; MUCCHIELLI, 1979) e amostragem por objetivo (CASEY, 1992, p.117). Amostra 1: dos oito indivíduos que participaram da Fase II, foram selecionados seis (amostragem por estágios). Amostra 2: dois software para educação musical (amostragem por objetivo): STR (Sistema de Treinamento Rítmico) e SETMUS (Sistema Especialista de Teoria Musical) (Laboratório de Computação & Música da UFRGS). Os mesmos não foram avaliados, servindo como simulação ou background para a testagem do Roteiro Preliminar. 3.1.2. Procedimentos Fase III: esclarecimento do objetivo da entrevista; explicação dos procedimentos gerais; leitura da página de abertura do questionário fechado, visando a compreensão do uso do questionário fechado e sua diferenciação do Roteiro

Preliminar; aplicação do questionário fechado durante a entrevista cognitiva. Todas entrevistas foram gravadas em fita cassete e transcritas. Os dados obtidos foram analisados qualitativa e quantitativamente. 3.2. Resultados A análise das entrevistas e da atribuição dos graus de pertinência e importância demonstra que os parâmetros do Roteiro Preliminar foram tidos como pertinentes e importantes à avaliação de software para educação musical, apresentando alto grau de aprovação (Gráfico 3). Foi comprovada a necessidade de elaboração de uma nova proposta de Roteiro, pois foram sugeridas modificações como: diminuição do número de questões, agrupamento de sub-categorias (a.1. e a.2.); e fundamentação teórica adicional. Desta forma, foram inseridas uma teoria de aprendizagem (cognitivismo), duas concepções de educação musical (social ou multicultural e psicológica-social), e um texto para verificação do feedback proporcionado pelo software. Foram mantidas as descrições das sub-categorias, e inseridas uma nova folha de rosto para explicação de uso do Roteiro e referências bibliográficas. A Tabela 4 apresenta as modificações estruturais deste Roteiro (ressaltam-se as mudanças de nomenclatura, e agrupamento e exclusão de sub-categorias). As questões foram analisadas, reescritas e reordenadas a fim de absorver as modificações. As formas de resposta foram mantidas com poucas alterações. A questão “Comentários Sobre o Software” foi disposta após a última questão de cada sub-categoria. Como no Roteiro Preliminar, a nova proposta não sugere quantificação dos resultados, embora tenha sido acrescentado um quadro para uma “Conclusão Geral Sobre o Software” (qualitativa). A proposta final de Roteiro é mais concisa, pois as 73 questões do Roteiro Preliminar foram reduzidas para 50. Foi obtido também um maior equilíbrio quanto ao número de questões entre as sub-categorias. 4. Conclusão A pesquisa revelou que os parâmetros do Roteiro foram tidos como contemporâneos e amplamente utilizados na educação, educação musical e informática educacional. Ao mesmo tempo, muitos ainda carecem de estudos e podem ser considerados inovadores, sendo fontes de pesquisa para futuras

investigações. O Roteiro pode ser utilizado na avaliação de software protótipo e produto, em avaliações formativas e somativas. Tal possibilidade é relevante para a educação musical, por serem poucas as pesquisas nesta área. Pode ser utilizado por educadores musicais para conhecer as possibilidades e limites do software e verificar sua adequação aos alunos e contexto em geral; e, como uma lista de sugestões para programadores. Todos os parâmetros foram propostos como referência para avaliação de possibilidades e limites do software, não sendo critérios de valor. O Roteiro é uma proposta flexível de avaliação, sugerindo-se o acréscimo ou exclusão de questões que não se aplicariam ao software avaliado ou às suas necessidades educacionais. As questões também podem fomentar a investigação mais aprofundada de determinado atributo do software. Constata-se que o presente Roteiro é um dos poucos que são fundamentados em necessidades e interesses dos profissionais da própria área, sendo criado em conjunto com e direcionado à estes profissionais. Em educação musical, tal fator é ainda mais relevante por não ter sido encontrado um instrumento para avaliação de software com parâmetros ao mesmo tempo abrangentes (fundamentação teórica diversificada e interdisciplinar) e específicos (direcionados à área). Sugere-se que Roteiro seja testado em situações reais de uso e avaliação de software, por uma amostra maior de educadores musicais e programadores de software para educação musical, utilizando vários programas e em diferentes contextos pedagógicos e sócio-culturais. Em termos gerais, cada parâmetro e questão pode ser um ponto de partida para futuras investigações, uma vez que a área ainda carece de muitos estudos.

Referências Bibliográficas BARKER, Philip; KING, Terry. Evaluating interactive multimedia courseware – a methodology. Computers & Education, Vol. 21, N. 4, pp. 307-319, 1993. BEHAR, Patricia Alejandra. Avaliação de softwares educacionais no processo de ensino aprendizagem computadorizado: estudo de caso. Porto Alegre, 1993. Dissertação. Curso de Pós-Graduação em Ciência da Computação, UFRGS. CASEY, Donald E. Descriptive research: techniques and procedures. In: COLWELL, Richard (ed.). Handbook of Research on Music Teaching. New York, Schirmer Books, pp.115-123, 1992. COHEN, Louis & MANION, Lawrence. Research methodos in education. 2ª. ed., London, Croom Helm, 1985. DeMAIO, Theresa J.; ROTHBEG, Jennifer M. Cognitive interviewing techniques: in the lab and in the field. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research. San Francisco, Jossey-Bass Publishers, pp.177-196. 1996. HANNAFIN, Michael J.; PECK, Kyle L. The design, development, and evaluation of instructional software. New York, Macmillan, 1988. MUCCHIELLI, Roger. O questionário na pesquisa psicossocial. Trad. RIVERA, Luiz Lorenzo e MAGALDI, Silvia; rev. SILVA, Mônica S. M. São Paulo, Martins Fontes, 1979. OSTROM, Thomas M.; GANNON, Katherine M. Exemplar generation: assessing how respondents give meaning to rating scales. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research. San Francisco, Jossey-Bass Publishers, pp.293-318, 1996. RICHEY, Rita C.; NELSON, Wayne A. Developmental research. In: JONASSEN, David H. (ed.). Handbook of Research for Educational Communications and Technology. New York, Macmilan, pp.1213-1246, 1996. SQUIRES, David; McDOUGALL, Anne. Choosing and using educational software: a teachers’ guide. London, Falmer Press, 1994. SWANWICK, Keith. A basis for music education. London, Routledge, 1979.

Roteiro Preliminar - Classificações no Grau 3 (máximo) 100

78

80

79

80

60

73

70 63

61

70

63

58

Anexo:

75

58

61

%

66

59

P ertinência 3

59

56

Gráficos e Figuras

Importância 3

50

40

Tabelas,

(numerados seqüencialmente)

20

Tabela 1: Fundamentação Teórica 0

a.1

a.2

a.3

a.4

CATEGORIAS DO ROTEIRO

a.6 b.1 b.2 c Parâmetros Pedagógicos Categorias e Sub-categorias

ÁREAS PESQUISADAS

Teorias de Aprendizagem

a.5

Concepções de Educação Musical

Parâmetros da Experiênc ia Musical

Objetivos Pedagógicos

Interações Sociais

Avaliação do Aprendizado

Adequação Sóciocultural e Musical

Entre Professor e Alunos

Informática & Educação Musical

Entre Alunos

Educação Informática Educacional Educação Musical Informática (HCI) Computação & Música

Figura 2: Questionário Fechado para Avaliação do Roteiro Preliminar

Grau Pertinência 1 ( )

2 ( )

de Grau Importância 3 ( )

1 ( )

2 ( )

de 3 ( )

2) Há algum tipo de limitação no design do software que dificulte seu uso de acordo com a teoria de aprendizagem do professor? 1 2 3 4 5 ( ) ( ) ( ) ( ) ( ) Comentários sobre o software: ____________________

Gráfico 3: Roteiro Preliminar - Classificações no Grau 3 Roteiro Preliminar - Classificações no Grau 3 (máximo) 100

78

80

79

80

60

73

70 61

70

%

63

66 75

58

61

63

58

59

56

P ertinência 3

59

Importância 3

50

40

20

0

a.1

a.2

a.3

a.4

a.5

a.6

Categorias e Sub-categorias

b.1

b.2

c

0

Tabela 4: Estrutura do Roteiro: Modificações Durante a Pesquisa Fase I: Categorias e Sub-categorias

Fase II: Roteiro Preliminar

Nova Proposta de Roteiro

Categoria A – Educação / Educação Musical

Categoria A – Educação / Educação Musical

Categoria A – Parâmetros Pedagógicos

a.1) Teorias de Aprendizagem a.2) Concepções de Educação Musical a.3) Atividades Musicais – Modelo (T)EC(L)A a.4) Adequação Social e Cultural a.5) Significados da Música a.6) Objetivos Curriculares

a.1) Teorias de Aprendizagem a.2) Concepções de Educação Musical a.3) Parâmetros da Experiência Musical – Modelo (T)EC(L)A a.4) Objetivos Pedagógicos a.5) Formas de Avaliação do Aprendizado a.6) Adequação Sócio-cultural e Musical ao contexto educacional pretendido

a.1) Teorias de Aprendizagem & Concepções de Educação Musical a.2) Parâmetros da Experiência Musical a.3) Objetivos Pedagógicos a.4) Avaliação do Aprendizado a.6) Adequação Sócio-cultural e Musical

Categoria B – Interações Sociais

Categoria B – Interações Sociais

a.6.1) Relação dos objetivos ao conteúdo e processo do software a.6.2) Forma de apresentação dos objetivos curriculares a.6.3) Amplitude dos conteúdos curriculares

a.7) Formas de Avaliação do Aprendizado Categoria B – Interações Sociais Possíveis Durante o Uso do Software b.1) Entre Professor e Alunos b.2) Entre Alunos Categoria C – Informática & Educação Musical

b.1) Entre Professor e Alunos b.2) Entre Alunos

Categoria C – Informática & Educação Musical

0

Categoria C – Informática & Educação Musical