Texto-metodologias-parte1

O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologias de  operacionalização (Parte I)    O texto desta Sessão pretende constituir‐se como uma espécie de guia para a auto‐avaliação  da biblioteca escolar no âmbito do novo Modelo de Auto‐Avaliação das Bibliotecas Escolares,  lançado pelo Gabinete RBE em 2008.   A sessão tem um carácter eminentemente prático, fazendo especial apelo ao conhecimento e  experiência dos professores‐bibliotecários já envolvidos ou a envolver na aplicação do modelo.    São objectivos da sessão:    • Compreender  como  é  que  a  auto‐avaliação  pode  ser  concretizada  para  demonstrar  a  contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola.    • Ganhar  familiaridade  com  o  processo  de  auto‐avaliação  adoptado  pelo  Modelo  de  Auto‐ avaliação RBE e capacitar para a sua aplicação.    • Conhecer as técnicas e instrumentos propostos, o modo como se organizam e podem ser  usados    A  principal  fonte  de  informação  a  utilizar  será  o  próprio  modelo,  relativamente  ao  qual  se  solicita uma leitura e análise aprofundada.    There  are  many  tools  and  methods  to  use  to  evaluate  school  library  media  centers.  It’s  important  to  identify  the  issue  you  want  to  address,  identify  the  data  you  need  to  collect,  match  the  correct  evaluative  method  to  gather  that  data,  analyze  it,  and  report  it  to  the  appropriate  people.  By  following  these  steps,  you’ll  realize  many  benefits  and  potential  improvements to your program.  Everhart, Nancy. Evaluation of School Library Media Centers: demonstrating quality, Library  Media Connection, March, 2003 

  O Quê?  É cada vez mais importante que as bibliotecas escolares demonstrem o seu contributo para a  aprendizagem e o sucesso educativo das crianças e jovens que servem.  Referindo‐nos à avaliação das bibliotecas em geral, a abordagem mais tradicional tem sido a  de  avaliar  as  bibliotecas  em  termos  de  inputs  (instalações,  equipamentos,  financiamentos,  staff,  colecções,  etc.),  processos  (actividades  e  serviços)  e  outputs  (visitas  à  biblioteca,  empréstimos,  consultas  do  catálogo,  pesquisas  bibliográficas;  respostas  do  serviço  de  referência, materiais produzidos, etc. …), desenvolvendo formas de avaliação da qualidade dos  serviços  e  da  sua  performance  de  carácter  eminentemente  quantitativo  e  as  mais  das  vezes  traduzidas em termos de custos e eficiência.     

Medir  os  outcomes  (Impactos)  significa,  no  entanto,  ir  mais  além,  no  sentido  de  conhecer  o  benefício  para  os  utilizadores  da  sua  interacção  com  a  biblioteca.  A  qualidade não deriva nesta acepção, da biblioteca em si  mesma  ou  do  seu  peso  intrínseco,  mas  do  valor  atribuído  pelos  utilizadores  a  esse  benefício,  traduzido  numa  mudança  de  conhecimento,  competências,  atitudes, valores, níveis de sucesso, bem‐estar, inclusão,  etc.  INPUTS → PROCESSOS → OUTPUTS →OUTCOMES  O  modelo  de  auto‐avaliação  das  bibliotecas  escolares  procurou  orientar‐se  sobretudo  segundo  uma  filosofia  de  avaliação  baseada  em  outcomes  e  de  natureza  essencialmente  qualitativa,  reflectindo  a  tendência  geral das políticas educativas e de gestão e avaliação das  escolas,  também  elas  fortemente  orientadas  para  os  resultados.    

Para  a  clarificação  de  conceitos  e  compreensão  das  diferentes  abordagens  que  a  partir  dos  anos  80  foram  forjando  as  diferentes  tipologias  e  focus  da  avaliação  (Gestão  da  Qualidade;  Satisfaction  Surveys;  Normas  ISO2789‐ Estatísticas e ISO11620‐Indicadores  de  Performance,  Evidence  Based  Practice, e outros, pode ler o artigo  de  Luiza  Melo,  Estatísticas  e  Avaliação  da  Qualidade  e  do  Desempenho  em  Bibliotecas  e  Serviços de Informação         Para  obter  conhecimento  sobre  medidas  de  impacto,  pode  consultar o artigo de Roswitha Poll  e  Philip  Payne:  Impact  Measures  for  Libraries  and  Information  Services

Que Relação Com Outros Modelos de Avaliação?  Numa  fase  em  que  muitos  avanços  têm  sido  realizados  relativamente  à  avaliação  das  escolas,  ganha  todo  o  sentido  integrar  nesse  trabalho  a  avaliação  das  bibliotecas,  elegendo  a  sua  auto‐avaliação  como  parte  essencial  da  avaliação  interna  da  escola  e  base  para  a  avaliação  externa  realizada  pela  Inspecção  Geral  de  Educação,  fazendo  uso  desta  avaliação  externa  como  forma de validação do processo de auto‐avaliação.  É, deste modo, conveniente tentar entrosar a avaliação  da  biblioteca  o  mais  possível  com  o  modelo  de  auto‐ avaliação  utilizado  pela  escola  e  com  a  avaliação  externa  da  escola,  desenvolvida  segundo  uma  lógica  própria,  muito  próxima  às  escolas,  à  educação  e  à  investigação em educação.   Relevando  o  mesmo  tipo  de  preocupação,  também  na  construção  do  modelo  de  auto‐avaliação  da  BE  se  utilizou  uma  linguagem  e  ideário  específicos  da  educação  e  das  escolas,  procurando reflectir as actuais  tendências na ênfase em torno do sucesso educativo e  da melhoria de resultados.     

Não existe um modelo institucional  para  a  auto‐avaliação  das  escolas.  Boa parte dos estabelecimentos de  ensino  recorreu  ao  Modelo  de  Excelência  da  EFQM  (European  Foundation  for  Quality  Management) e à Ferramenta CAF (Common  Assessement  Framework),  construída  para  ajudar  os  diferentes  sectores  das  administrações  públicas  da  UE na  gestão da qualidade e melhoria de  desempenho.  A  sua  estrutura  organiza‐se  em  nove  Critérios:  cinco  Critérios  de  Meios  e  quatro  Critérios de Resultados. 

O modelo de auto‐avaliação das bibliotecas escolares  deve  estar,  deste  modo,  perfeitamente  contextualizado  e  ancorado  na  escola  e  no  diálogo  que a biblioteca tem de estabelecer com ela e com a  comunidade,  afastando‐se  de  uma  concepção  mais  fechada ou excessivamente centrada na avaliação de  desempenho  e  da  satisfação  dos  utilizadores,  embora também faça necessariamente uso de alguns  dos seus indicadores. 

O  Modelo  de  Avaliação  Externa  das  Escolas  utiliza  um  Quadro  de  Referência baseado  em  cinco  Domínios.  A  Biblioteca  Escolar  é  explicitamente  referida  no  ponto  3.3.  “Gestão  dos  Recursos  Materiais  e  financeiros”  do  Domínio  3.  “Organização  e  Gestão  Escolar”,  embora  a  sua  avaliação  perpasse  outros  Domínios,  dado  o  actual  entendimento da BE não apenas como  um  espaço  fornecedor  de  recursos  mas, sobretudo, como um centro cada  vez  mais  activo  e  interveniente  ao  nível da aprendizagem e da formação  dos alunos. Para estabelecer a ligação  entre  a  auto‐avaliação  da  escola  e  a  avaliação  externa,  a  IGE  desenvolveu  uma  estrutura  descritiva  comum  de  apresentação com  seis  campos  de  análise. 

Esta  relação  da  avaliação  da  biblioteca  com  a  avaliação  da  escola  ganha  ainda  mais  pertinência  se  tivermos  em  conta  o  carácter  transversal  e  a  grande  interacção  que  a  biblioteca  deve  estabelecer  com  todos  os  órgãos  da  escola.  Por  exemplo,  se  a  biblioteca partilhar um conjunto de objectivos anuais,  integrantes  do  Plano  Anual  da  Escola,  em  relação  directa  com  as  prioridades  estabelecidas  pelo  conjunto  da  escola,  a  avaliação  a  realizar  no  final  do  ano  deve  necessariamente  integrar  a  biblioteca  enquanto  parte  da  política  e  estratégia  global  conduzida  pela  escola  ao  longo  do  ano  e  tomar  em  conta os seus resultados no processo de planeamento  do  ano  seguinte.  Isto  é  certamente  válido  quando  se  avalia  o  papel  da  biblioteca  nas  actividades  de  ensino  e  aprendizagem,  mas  também  se  aplica  a  outros  domínios  como  por  exemplo, o da literacia da informação, da leitura, ou outros.  Esta  perspectiva  pode,  por  outro  lado,  ajudar  ainda  a  economizar  esforço  e  tempo,  designadamente  através  da  aplicação  de  questões  comuns  e  do  tratamento  conjunto  de  dados relativos a determinados projectos ou actividades.   Porquê?  O  propósito  da  auto‐avaliação  é  apoiar  o  desenvolvimento  das  bibliotecas  escolares  e  demonstrar  a  sua  contribuição  e  impacto  no  ensino  e  aprendizagem,  de  modo  a  que  ela  responda cada vez mais às necessidades da escola no atingir da sua missão e objectivos.   A  avaliação  deve  ser  encarada  como  uma  componente  natural  da  actividade  de  gestão  da  biblioteca, usando os seus resultados para a melhoria contínua, de acordo com um processo  cíclico de planeamento, execução e avaliação:  PLANEAMENTO (ESTRATÉGICO/OPERACIONAL)  ↑                                                    ↓   AVALIAÇÃO  ←  EXECUÇÃO E MONITORIZAÇÃO            

 

 

Que constrangimentos?  A avaliação de impactos das BE no sucesso educativo é  particularmente complexa, por não ser possível isolar,  numa miríade de variáveis possíveis, a contribuição da  biblioteca,  separarando‐a  de  outras  influências,  pelo  menos de uma forma directa.  Esta  dificuldade  aconselha  a  que  não  se  avaliem  os  resultados da acção da biblioteca de uma forma global,  mas aplicada a determinadas actividades, serviços ou  programas,  e  a  que  se  faça  um  estudo  tanto  quanto  possível longitudinal, de modo a que seja dado tempo  para  que  determinados  resultados  se  possam  tornar  claros. 

A  CILIPS/SLIC  (Escócia) disponibiliza  no  seu  site  alguns  exemplos  de  actividades  específicas  de  recolha  de  evidências  e  avaliação.  Pode consultar  um  desses  exemplos (Start  a  reading  group)  ou  então  experimentar  realizar  o  exercício  proposto  (Introduction  to  the  Internet  and  Effective  search  Strategies). 

Exemplos:  •

Avaliar se o nível de compreensão leitora melhorou depois de desenvolver um programa  particular de intervenção da biblioteca na área da formação de leitores. 

•

Também  é  possível  restringir  a  avaliação  em  termos  de  públicos‐alvo.  Se  a  biblioteca  escolar apoiou as actividades de enriquecimento curricular em escolas do 1º ciclo ou em  determinados  anos  de  escolaridade,  pode  avaliar  este  tópico,  fazendo  incidir  essa  avaliação nessas escolas do Agrupamento ou nos anos de escolaridade em que esse apoio  foi desenvolvido. 

•

Se  a  biblioteca  escolar  esteve  de  algum  modo,  envolvida  em  algum  projecto  de  parceria  com  elementos  ou  instituições  da  comunidade,  a  avaliação  a  realizar  sobre  esse  tópico  incidirá nos anos, turmas, alunos e docentes implicados nesse projecto. 

Em suma, a avaliação da biblioteca não é algo que possa ser concebido em abstracto ou sobre  o  vazio.  Avaliar  a  biblioteca  significa  avaliar  a  sua  acção  em  determinados  aspectos  e  os  resultados  obtidos  com  esse  trabalho,  de  acordo  com  os  objectivos  previamente  definidos,  tendo porventura  em consideração o referencial (Indicadores e Factores críticos de sucesso)  à luz dos quais esses objectivos poderão já ter sido estabelecidos, partindo do princípio que os  orientam uma ideia geral de melhoria e desenvolvimento de boas práticas.   A  questão  mais  crítica  comummente  apontada  parece,  pois,  ser  a  da  recolha  de  evidências  demonstrativas  do  impacto  da  biblioteca,  mas  o  modelo  fornece  uma  estrutura  e  materiais  que ajudam a orientar este trabalho.  Concluindo,  os  principais  desafios  colocados  pelo  Modelo  de  Auto‐Avaliação  residem  na  avaliação dos impactos sobre os utilizadores e derivam da necessidade de, a este respeito:  

   

•

Clarificar adequadamente os objectivos da BE; 

•

Esclarecer os objectivos de aprendizagem dos alunos em relação com a biblioteca; 

  •

Estabelecer os Indicadores adequados para essas aprendizagens; 

•

Recolher  as  evidências  apropriadas,  lidando  com  dados  de  natureza  quantitativa  e  qualitativa; 

•

Assegurar a realização do processo de recolha, tratamento, análise e comunicação dos  dados;  

  Com quem?  O modelo  deve adaptar‐se a  diferentes realidades, permitindo  avaliar bibliotecas de escolas  de diferentes níveis de ensino e bibliotecas servindo quer uma única escola, quer um conjunto  de escolas ou agrupamento.  As bibliotecas em causa podem, por outro lado, servir exclusivamente a população escolar ou  estar  abertas  à  comunidade,  podendo  nesta  situação,  a  sua  avaliação  envolver  outras  entidades e públicos.  As BMs/SABEs, por exemplo, podem  desempenhar  um papel particularmente  importante na  aplicação  do  modelo  nas  escolas  do  1º  Ciclo  e  Pré‐escolar,  derivado  das  responsabilidades  específicas que têm na sua gestão e acompanhamento.  O  modelo  deve  ser  trabalhado  pelo  Coordenador  da  Biblioteca  com  o  apoio  da  respectiva  Equipa e do CE.  O envolvimento e mobilização dos utilizadores (docentes, alunos, …), a quem é pedida uma  participação muito activa, é fundamental e tem a sua maior razão de ser no facto da avaliação  se centrar não apenas na própria biblioteca mas, sobretudo, nos seus utilizadores. Boa parte  das evidências requisitam a sua disponibilidade e empenho na resposta a inquéritos, cedência  de materiais, actividades de observação, etc., por isso a sua colaboração, sobretudo a nível dos  docentes, constitui um aspecto crítico para o sucesso desta avaliação. A avaliação não deve ser  encarada como uma imposição mas como uma mais‐valia para a melhoria da escola, sendo de  evitar quaisquer riscos de subversão do seu espírito (avaliação ‐ formulário).  Finalmente,  também  os  pais/encarregados  de  educação  são  chamados  a  participar  na  avaliação da biblioteca, particularmente em certos aspectos, como por exemplo, os da leitura  e utilização da biblioteca pelos seus filhos/educandos.  A  implicação  de  outras  entidades  na  avaliação  também  pode  ser  útil,  não  apenas  pelo  peso  que  podem  ter  em  diferentes  parcerias,  mas  também  como  um  auxiliar,  desempenhando  o  designado  papel  de  “Critical  Friend”  ou  “Devil’s  Advocat”  na  análise  e  interpretação  dos  resultados e elaboração de conclusões. A BM/SABE, os Grupos de Trabalho Concelhios ou os  Coordenadores Inter‐concelhios da RBE podem porventura desempenhar este papel.        

  Que Etapas?  A  implementação  da  auto‐avaliação  implica  o  cumprimento  de  alguns  passos  que  esquematicamente se apresentam:  •

Motivação e compromisso institucional dos órgãos de gestão pedagógica e executiva da  escola com o processo de auto‐avaliação da BE, formalização de alguns procedimentos no  sentido de uma co‐responsabilização de todos os intervenientes (apresentação aos colegas  do propósito e metodologia da auto‐avaliação; participação da BE em reuniões alargadas  ou  restritas  de  docentes  para  recolha  da  informação;  facilitação  de  documentação;  disponibilização  de  dados;  formas  de  colaboração  com  os  docentes  na  recolha  de  evidências sobre os alunos, etc.), aceitação dos resultados e acordo sobre a subsequente  promoção de um plano de melhoria. 

•

Constituição, sob a responsabilidade do Coordenador da BE, de um grupo responsável ao  nível  da  escola/agrupamento  pela  condução  do  processo  de  auto‐avaliação  da  BE;  definição e partilha de tarefas entre os elementos do grupo. 

•

Elaboração  do  Plano  de  Avaliação:  Problema/Diagnóstico;  Identificação  do  objecto  da  avaliação; Tipo de avaliação de medida a empreender; Métodos e instrumentos a utilizar;  Intervenientes; Calendarização; Planificação da recolha e tratamento de dados; Análise  e  comunicação  da  informação;  Limitações,  Levantamento  de  necessidades  (recursos  humanos, financeiros, materiais,…), etc. 

•

Desenvolvimento do processo de avaliação: recolha e tratamento de informação; análise  dos  dados;  descrição  da  situação;  relação  com  os  standards  de  desempenho  ou  benchmarks; identificação dos pontos fortes e fracos; definição e priorização de acções de  melhoria; redacção e divulgação do relatório final de avaliação. 

  Como se Estrutura o Modelo?  O Modelo é constituído por quatro Domínios, divididos em Subdomínios. 

A. Apoio ao Desenvolvimento Curricular  A.1 Articulação curricular da BE com as estruturas pedagógicas e os docentes  A.2. Desenvolvimento da literacia da informação  B.  Leitura e Literacia  C.  Projectos, Parcerias e Actividades Livres e de Abertura à Comunidade  C.1. Apoio a actividades livres, extra‐curriculares e de enriquecimento curricular  C.2. Projectos e parcerias     

D.  Gestão da Biblioteca Escolar  D.1.  Articulação da BE com a Escola/ Agrupamento. Acesso e serviços  prestados pela BE  D.2. Condições humanas e materiais para a prestação dos serviços  D.3. Gestão da colecção  Dentro  de  cada  Subdomínio  identificam‐se  conjuntos  de  Indicadores  ou  critérios,  os  quais  apontam  para  os  aspectos  nucleares  de  intervenção  da  BE  inerentes  a  esse  Subdomínio  (v.  Modelo).  Os Indicadores desdobram‐se, por sua vez, em diferentes Factores Críticos, que constituem as  actividades  ou  acções  que  demonstram  sucesso  e  são  valorizadas  na  avaliação  de  cada  Indicador (v. Modelo)  O  modelo  é  propositadamente  ambicioso  na  definição  destes  factores,  de  modo  a  ser  estimulante  e  impedir  que  as  escolas  apenas  reflictam  nele  as  actividades/acções  que  comummente  já  realizam,  incentivando  ao  desenvolvimento  de  boas  práticas  e  tendo,  nesta  medida, uma forte componente formativa.  As  Evidências  mostram  que  essas  actividades/acções  foram  efectivamente  desenvolvidas  e  sustentam a formulação de juízos de valor sobre os seus resultados.  Para  cada  Indicador  ou  conjunto  de  Indicadores  foram  identificadas  vários  exemplos  de  Evidências  (v.  Modelo),  através  das  quais  será  possível  fazer  corresponder  a  que  nível  de  performance corresponde a prática da biblioteca em relação com aquele/s Indicador/es.   Na  última  coluna  das  tabelas  (v.  Modelo)  apresentam‐se  para  cada  Indicador,  exemplos  de  Acções  para  a  melhoria,  ou  seja,  propostas  de  iniciativas  variadas  a  realizar  no  caso  de  ser  necessário melhorar o desempenho da BE em relação com aquele Indicador.  Fazem  ainda  parte  do  Modelo,  um  conjunto  de  Perfis  de  Desempenho  (v.  Modelo)  estabelecidos para os diferentes Subdomínios. Os Perfis ou cenários indicam quatro níveis de  performance,  sendo  seu  objectivo  ajudar  a  escola  a  identificar  qual  o  nível  que  melhor  corresponde à situação da biblioteca em cada Subdomínio e perceber, de acordo com o nível  atingido, o que está em jogo para poder melhorar para o nível seguinte. 

Considera‐se  que  a  BE  se  situa  num  determinado  nível  de  desempenho  se  cumprir,  pelo menos, 4 em 5, 5 em 6 ou 6 em 7 descritores, consoante o número de descritores  que caracterizam os perfis.    Nível  4  (Excelente)     

Descrição  A BE é bastante forte neste domínio. O trabalho  desenvolvido é de grande qualidade e com um impacto 

bastante positivo.  3  (Bom) 

A BE desenvolve um trabalho de qualidade neste domínio  mas ainda é possível melhorar alguns aspectos. 

2  (Satisfatório)  

A BE começou a desenvolver trabalho neste domínio, sendo  necessário melhorar o desempenho para que o seu impacto  seja mais efectivo. 

1  (Fraco) 

A BE desenvolve pouco ou nenhum trabalho neste domínio,  o seu impacto é bastante reduzido, sendo necessário intervir  com urgência. 

 

   

O resultado da auto‐avaliação de cada Domínio é registado num Quadro ‐ síntese (v. Modelo)  referente ao domínio seleccionado.    O  Quadro  regista  os  tipos  de  Evidências  recolhidas  em  cada  Subdomínio,  o  Nível  de  Desempenho  atingido  e  uma  coluna  onde  devem  ser  assinaladas  as  Acções  consideradas  necessárias  para  a  melhoria,  a  qual  constitui  um  dos  objectivos  fundamentais  da  auto‐ avaliação.  O  Anexo  ao  Documento  base  contém  ainda  uma  bateria  de  Instrumentos  de  Recolha  de  Evidências (Questionários a professores, a alunos e aos encarregados de educação, Checklists,  Grelhas  de  observação  de  competências  e  Grelhas  de  análise  de  trabalhos  escolares),  referenciados  a  partir  das  tabelas  com  um  código  (QP1/2/3…;  QA1/2/3/4…;  QEE1;  CK1/2;  O1/2;  T1)  –  v.  Anexo.  A  disponibilização  destes  instrumentos  às  escolas  pode  criar  alguma  uniformidade  em  termos  da  informação  que  vai  ser  recolhida  nas  escolas,  facilitando  a  possibilidade  de  benchmarking  externo  entre  escolas,  sem  prejuízo  das  necessárias  adaptações à realidade e necessidades das escolas.    Como?  O  modelo  faz  uso  de  um  conjunto  de  métodos  quantitativos  e  qualitativos,  e  de  técnicas  de  recolha de informação variada, envolvendo:  •

A recolha documental de registos de planeamento e das actividades da BE 

•

A  observação  de  actividades  de  aprendizagem  demonstrativas  da  aquisição  ou  desenvolvimento de conhecimentos, competências e atitudes (Grelhas de Observação) 

•

a auto‐avaliação e inquérito aos utilizadores (ChecKlists; Questionários). 

•

O levantamento de dados estatísticos de utilização da biblioteca. 

   

•

A análise de trabalhos de alunos 

•

O  levantamento  de  dados  relativos  à  gestão  de  recursos  (financeiros,  materiais,  humanos  e de informação) da BE 

A  avaliação  de  cada  indicador  ganha  em  fazer  uso  de instrumentos diversificados, os quais permitem,  ao  serem  cruzados,  obter  uma  informação  mais  consistente e fiável.  Em  termos  de  quantidade,  sugere‐se  uma  aplicação dos instrumentos a 20% do número total  de  professores  e  10%  do  número  de  alunos  em  cada  nível  de  escolaridade,  de  modo  a  obter  amostras representativas .  Simplifique  o  trabalho  de  recolha  de  evidências,  cingindo  ao  mínimo  possível  a  informação  de  que  comprovadamente necessita para a demonstração  de determinado tópico.  Seja sistemático na recolha de evidências.    Questionários  Os questionários são uma das formas mais vulgares  e  expeditas  de  recolher  informação  e  poder  compará‐la.  Uma  das  vantagens  dos  questionários  é  que  a  informação  pode  ser  recolhida,  registada,  tratada e usada num curto espaço de tempo, além  de  permitir  questionar  um  número  elevado  de  pessoas e obter um número elevado de respostas.   Grelhas de Observação de competências  Embora  complexa,  a  observação  constitui  um  poderoso método de recolha de evidências que os  outros  instrumentos  não  permitem  obter,  por  exemplo,  ao  nível  da  avaliação  da  proficiência,  comportamentos  e  atitudes  na  execução  de  uma  determinada tarefa.   A  observação  deve  contemplar  alunos  dos  vários  níveis,  anos  de  escolaridade  mas  é  preciso  ter  em     

Na  Internet  é  possível  encontrar  muitos  guias e Kits de apoio e ferramentas sobre  métodos  e  técnicas  de  recolha  de  evidências. Deste modo, propomos:  1) A  leitura  atenta  das  Páginas  Basic  Guide  to  Program  Evaluation  e  The  Program  Manager’s  Guide  to  Evaluation,,  onde,  entre  outros, se  incluem diferentes tópicos (Plano de  Avaliação da BE, tipos de Avaliação,  Selecção  e  Análise  dos  diferentes  métodos,  Análise  da  informação,  etc.) e se explicam os conceitos e os  “O  Quê?”  “Quem?”  “Como?”  e “ Porquê” da auto‐avaliação.  2) A  consulta  do  site  eVALUEd:  An Evaluation  ToolKit  for  E‐library  Developments e  a  leitura  em  particular,  do  seu  Summary  Booklet (p.  8‐17), sobre  a  utilidade,  vantagens,  desvantagens  e  aplicação  dos  diferentes  métodos  e  ferramentas.  3) Facultativamente,  pode  ainda    experimentar outras tools, como por  exemplo, as fornecidas pelo Projecto  IBEC.  As  escolas  portuguesas  recorrem  a  uma  grande  variedade  de  programas  para  registo,  tratamento  e  análise  dos  seus  dados  de  avaliação,  utilizando,  consoante  os  casos,  Bases  de  dados,  Folhas  de  Cálculo  ou  Programas  de  Estatística,  de  que  o  mais  popular  é  o  SPSS.  A  construção  de  uma  ferramenta  online  para  a  aplicação  do  Modelo  poderá  vir  a  constituir  um  grande  auxiliar desde que permita a exportação  de dados de e para diferentes aplicações

conta  a  idade  e  capacidade  dos  alunos.  As  grelhas  de  observação permitem um registo dividido por níveis de  escolaridade,  necessitando,  contudo,  de  ser  melhor  adaptadas,  de  acordo  com  os  currículos  de  competências  inerentes  a  cada  nível  ou  contexto  disciplinar.  No  caso  da  observação  em  contexto  de  aula  devem,  por  exemplo,  ser  observadas  turmas  em  trabalho no âmbito de diferentes disciplinas.  Para ser mais eficaz, a observação deve concentrar‐se  num  número  limitado  de  aspectos.  A  realização  de  várias observações num curto período de tempo pode  fornecer uma visão mais profunda dos aspectos que se  pretendem  observar.  Observações  mais  espaçadas  ao  longo  do  ano  mas  regulares  (por  exemplo  uma  por  mês), podem fornecer um quadro mais representativo.  Grelhas de análise de trabalhos dos alunos  A análise de trabalhos de alunos de diferentes anos de  escolaridade e de diferentes áreas disciplinares é uma  importante  técnica  de  avaliação  das  aprendizagens  facilitadas  pela  Biblioteca  Escolar,  por  se  poder  constituir  como  uma  forma  directa  de  “authentic  assessment”  do  desempenho  dos  alunos,  em  complemento  de  outros  resultados  (por  exemplo,  obtidos em testes, exames, etc.). A análise ao longo do  tempo  pode  permitir  avaliar  os  progressos  realizados  ao  longo  de  um  determinado  período  ou  de  um  ano  para o outro.  Análise documental  Documentos  que  podem  testemunhar  a  veracidade  das  afirmações  feita.  Por  exemplo,  documentos  de  Política e Gestão da Escola; Planificações; Orçamentos;  Regulamentos;  Documentação  sobre  Projectos;  Actas;  Relatórios,  Planos  Curriculares;  Mapas  de  avaliações,  etc.  Dados Estatísticos  As  estatísticas  podem  incidir  sobre  a  utilização  ou  funcionamento da biblioteca e trabalhar os inputs (por  ex:  nº  de  documentos  adquiridos),  os  processos  (por  ex:  nº  de  sessões  de  formação  de  utilizadores     

A  observação  de  alunos  no  Subdomínio  C1  deve  fazer‐se  de  forma  prolongada  e  com  diferentes  alunos  ou  grupos,  uma  vez  que  se  trata  da  utilização  livre  e  extra‐ curricular da BE, em que não há uma  utilização  estruturada  com  turmas  e  não há uma utilização continuada ou  sistemática pelos mesmos alunos ou  grupos. O período estabelecido pode  variar, desde uma ou mais semanas,  a  um  ou  mais  períodos  lectivos,  consoante as situações e os aspectos  em  que  se  pretende  fazer  incidir  a  avaliação.  Imagine‐se,  por  exemplo,  que  a  biblioteca  passou  a  abrir  à  hora  de  almoço  e  se  pretendem  conhecer os padrões e mais‐valias do  uso  da  biblioteca  nesse  período  do  dia.  Ou,  noutro  exemplo,  que  começou  a  funcionar  um  clube  de  leitura  ou  um  projecto  de  leitura  a  par abrangendo alunos mais novos e  alunos  tutores  mais  velhos,  cujo  processo  e  resultados,  durante  o  período  da  sua  vigência,  se  pretendem  acompanhar.  No  primeiro  caso,  podem, por  exemplo,  escolher‐se  3  semanas  típicas,  uma  no  1º  período,  uma  no 2º  período  e  outra no 3º período, para recolher a  informação necessária à avaliação de  acordo  com  as  evidências  e  instrumentos  seleccionados  como  apropriados  para  avaliar  aquela  utilização.  No  segundo  caso,  o  processo de avaliação deve decorrer  em  simultâneo  e  coincidir  com  a  duração  e  periodicidade  da  actividade do clube ou projecto. 

organizadas com as turmas ao longo do ano) ou os outputs (por ex: nº de visitas realizadas).  Os  sistemas  de  gestão  bibliográfica  e  de  rede  permitem  hoje  a  obtenção  de  uma  série  de  dados  estatísticos  de  utilização  do  sistema  de  informação:  localização  dos  PCs  usados,  programas e bases de dados acedidos, pesquisas realizadas, tipos de sites consultados, tempos  de utilização, requisições e empréstimos, etc…   Outros  Exemplos  de  métodos  e  instrumentos  passíveis  de  serem  utilizados  mas  ainda  não  contemplados pelo Modelo  Entrevista  A  entrevista  (individual  ou  conduzida  em  grupo  –  focus  group)  pode  ser  útil  para  obter  informação em maior profundidade, explicitar o sentido de certas perguntas e respostas dos  questionários, etc. A atenção dada ao entrevistado é diferente, mais pessoal e individualizada.  Pode  ser  aconselhável  no  1º  ciclo  onde  é  mais  fácil  colocar  os  alunos  a  falar  e  responder  oralmente às perguntas. No entanto é mais exigente de tempo e, por isso, só deve ser utilizada  com um número restrito de pessoas, e pode ser inibidora em relação a determinado tipo de  perguntas  que  anonimamente,  num  questionário,  poderiam  ser  respondidas  com  menos  relutância.  O focus group consiste numa pequena amostra representativa de pessoas cujas opiniões sobre  determinado  assunto  ou  questão  se  pretendem  obter.  A  dinâmica  de  grupo  pode  facilitar  a  expressão  de  atitudes,  opiniões  e  ideias.  Com  jovens  e  crianças,  é  conveniente  que  o  grupo  seja constituído por elementos que não se conheçam muito bem.  Informal feedback  É possível, em função de cada situação particular, identificar outros métodos e instrumentos,  para além dos sugeridos pelo modelo. Sendo comum, por exemplo, sobretudo em pequenas  escolas, o contacto regular e informal entre os docentes ou com os pais, pode acontecer que,  querendo  avaliar  determinado  item,  o  coordenador  da  biblioteca  considere  como  fonte  importante a recolha de informação obtida através do diálogo e discussão informal desse item  com alguns docentes ou com um determinado número de pais.    Quando?  A  aplicação  do  modelo  faz‐se  numa  base  anual,  escolhendo  em  cada  ano  um  domínio  onde  concentrar  o  trabalho  da  auto‐avaliação.  Pretende‐se  que  ao  fim  de  quatro  anos  todos  os  domínios  tenham  sido  auto‐avaliados,  correspondendo  este  período  ao  ciclo  de  gestão  e  avaliação global da BE.  Em termos de operacionalização, a avaliação deve ser entendida como uma actividade regular  que faz parte do dia‐a‐dia do funcionamento da biblioteca e da escola, integrando as práticas  e rotinas da BE e da escola e evitando que possa representar uma excessiva carga de trabalho,  embora consuma necessariamente algum tempo adicional.     

    Por onde começar?  O ponto de partida pode derivar de uma primeira avaliação diagnóstica breve, da indicação de  uma  área  de  interesse  já  identificada  em  processos  de  avaliação  anteriores,  da  selecção  de  uma  área  de  interesse  ou  considerada  prioritária  face  às  metas  da  própria  escola  e  que  se  pretende reforçar, do conhecimento geral dos pontos fracos e fortes da biblioteca ou de uma  recomendação externa (da RBE, da Inspecção, do Grupo de Trabalho Concelhio/SABE, etc).  Embora  não  seja  impossível  avaliar  num  determinado  ano  um  dado  Subdomínio,  deixando  para  mais  tarde  o/s  restante/s  Subdomínios  da  mesma  área,  e  também  não  seja  negada  a  hipótese  de,  nesta  medida,  poder  avaliar  num  mesmo  ano  Subdomínios  de  áreas  diferentes,  há  vantagem  em  avaliar  em  conjunto  no  mesmo  ano  todas  as  componentes  de  um  dado  domínio, dada a estreita inter‐relação que existe entre elas e o facto de muitos instrumentos  de recolha de informação lhes serem comuns, dada a estrutura do próprio Modelo.  Os resultados obtidos na avaliação de um determinado Subdomínio também podem indicar a  necessidade de, em seguida, se avançar na avaliação de outro que se julga ter uma importante  relação com o primeiro, mesmo que pertencente a outro domínio.  EXEMPLO:  A  avaliação  da  actividade  de  leitura  lúdica  ou  recreativa  depende,  entre  outros  factores,  da  quantidade e qualidade das obras disponíveis na biblioteca para este efeito, aspecto este que  se  relaciona,  por  sua  vez,  com  a  gestão  e  avaliação  da  colecção.  A  melhoria  dos  índices  da  leitura  por  prazer  pode  desde  modo  passar  por  uma  estratégia  de  avaliação  da  gestão  da  colecção.  Embora  seja  desejável  avaliar  um  domínio  de  cada  vez  e  na  sua  totalidade,  a  sua  avaliação  deve ser encarada de forma flexível, sempre que tal se justifique.    Como estabelecer comparações?  A auto‐avaliação pode potenciar, mediante determinadas condições (grupos de escolas com as  mesmas características; articulação da actividades de avaliação nos mesmos tópicos, aplicação  dos  mesmos  métodos  e  instrumentos;  etc.)  a  partilha  e  estabelecimento  de  actividades  de  benchmarking  externo  em  determinados  aspectos,  contribuindo  para  a  identificação  e  disseminação de boas práticas.  A Base de Dados da RBE, por seu turno, compila actualmente uma série de dados, sobretudo  quantitativos, que descrevem e podem suplementar os dados da avaliação realizada por cada  escola,  fornecendo  uma  imagem  global  das  BEs  e  permitindo  o  benchmarking  externo  numa  série de tópicos, entre escolas com características similares do país ou de uma dada região.     

    Como aplicar o modelo?  Passos a dar na aplicação do modelo:  1) Escolher  entre  os  quatro  domínios  um  que  pretenda  avaliar.  Pode  ser  aquele  que  se  considera mais relevante de acordo com as prioridades da escola e da biblioteca escolar ou  então  um  que  se  relacione  com  uma  área  de  trabalho  a  necessitar  de  maior  desenvolvimento. É indispensável envolver o Órgão de Gestão nesta escolha.  2) Identificar  o  tipo  de  evidências  que  necessita  de  recolher  para  poder  conhecer  e  fundamentar qual a performance da biblioteca no domínio escolhido. A tabela propõe na  coluna “recolha de evidências” diferentes tipos de instrumentos que pode utilizar.  É  importante  que  a  evidência  e  instrumentos  estejam  adaptados  à  biblioteca  e  necessidades da escola.  3) Analisar  as  evidências  recolhidas  através  da  utilização  dos  instrumentos  e  desenvolver  uma análise sobre a performance da biblioteca no domínio escolhido em relação com os  standards estabelecidos  4) Decidir  em  qual  dos  níveis  de  desempenho  se  situa  a  biblioteca  nesse  domínio  ou  subdomínio,  de  acordo  com  os  perfis  de  desempenho  descritos  na  respectiva  tabela  (1,2,3,e,4) ‐ Quadro.  5) Registar no Quadro ‐ Síntese, o tipo de evidências recolhidas, o nível atingido e as formas  como  pensa  que  pode  melhorar  o  nível  de  desempenho.  As  tabelas  fornecem  a  este  propósito uma série de sugestões de acções de melhoria para cada indicador.  6) Registar  os  resultados  da  auto‐avaliação  realizada  no  Relatório  Anual  da  Biblioteca  Escolar,  de  modo  a  que  possa  ser  utilizado  internamente,  na  auto‐avaliação  da  escola  e  como fonte de informação para a avaliação externa.    Para quê?  A auto‐avaliação da BE pode ajudar a melhorar a BE:  •

Identificando pontos fracos, priorizando necessidades, estabelecendo alvos e informando  o plano de actividades seguinte. 

•

identificando  necessidades  de  investimento  a  ter  em  conta  no  plano  orçamental,  justificando o pedido de reforço de verbas ou de apoios suplementares. 

   

•

sugerindo  a  mudança  de  certas  práticas  de  trabalho  e  funcionamento.  Por  exemplo,  a  alteração de horários, a mudança da forma como está estruturado o apoio aos alunos, etc. 

•

aconselhando a adopção de outros modos de utilizar os recursos humanos de uma forma  mais eficiente, mostrando, por exemplo, quando é mais importante a permanência e apoio  de determinados docentes na BE, quais as necessidades de formação destes docentes para  um trabalho mais eficaz, etc. 

A auto‐avaliação pode ajudar a encorajar uma melhor utilização da BE:  •

demonstrando  junto  dos  professores,  o  contributo  da  BE  para  a  aprendizagem  e  os  resultados  escolares,  mostrando‐lhes  as  suas  potencialidades  e  a  forma  como  podem  utilizá‐la melhor nas suas actividades de planeamento das aulas e de ensino. 

A auto‐avaliação da BE pode ajudar a promover a BE:  •

divulgando  a  sua  acção,  fazendo  tomar  consciência  da  importância  da  biblioteca,  contribuindo para a sua afirmação e reconhecimento no âmbito das escolas e do sistema  educativo. 

•

ganhando voz e peso institucional a nível local e nacional. 

•

reportando  anualmente  junto  da  escola  os  resultados  e  situação  da  biblioteca  e  disseminando as suas boas práticas 

•

viabilizando a obtenção de um quadro geral sobre a situação das bibliotecas escolares em  Portugal,  fornecendo dados e informação estratégica de suporte à decisão e orientação de  políticas  e  iniciativas  a  desenvolver  por  parte  dos  organismos  responsáveis  (ME/RBE;  Autarquias, etc.),  criando condições para o benchmarking e ajudando a preparar a visita  da Inspecção e a avaliação externa: 

  Como relatar os resultados da avaliação?  A  comunicação  dos  resultados  da  avaliação  empreendida,  a  análise  colectiva  e  reflexão  da  Escola/Agrupamento  sobre  esses  resultados,  e  a  identificação  das  acções  de  melhoria  dos  pontos fracos identificados é muito importante, de modo a obter o comprometimento e apoio  da escola a essas acções.  O Relatório Final de Avaliação da BE é o instrumento de descrição e análise dos resultados da  auto‐avaliação, de identificação do conjunto de acções a ter em conta no planeamento futuro  e de difusão desses resultados e acções junto dos órgãos de gestão e de decisão pedagógica.   O  Relatório  deve  integrar  o  Relatório  Anual  de  Actividades  da  Escola/Agrupamento,  originar  uma súmula a incorporar no Relatório de Auto‐Avaliação da Escola/Agrupamento, sempre que  esta  tiver  lugar,  e  orientar  o  coordenador  da  BE  na  possível  entrevista  a  realizar  pela  Inspecção‐Geral de Educação no âmbito da avaliação externa.     

Apesar de em cada ano ser apenas auto‐avaliado um Domínio através do recurso ao Modelo  de  Auto‐avaliação  da  RBE,  o  qual  exige  um  investimento  mais  significativo  no  sentido  de  procurar  aferir,  de  forma  sistemática  e  objectiva,  os  resultados  efectivos  do  trabalho  desenvolvido nesse Domínio, deve ter‐se em conta que, sendo o trabalho e acção educativa da  BE  também  incidentes  noutros  Domínios  de  intervenção,  embora  estes  não  sejam  alvo  do  mesmo tipo de avaliação, não deve deixar de se lhes fazer referência no Relatório Anual da BE.    Não  é  por  ter  avaliado  o  Domínio  A,  por  exemplo,  que  a  BE  deixou  de  desenvolver  outras  actividades  no  âmbito  dos  Domínios  B,  C  ou  D.  Embora  não  fazendo  uso  na  apreciação  do  trabalho desenvolvido nestas áreas, do mesmo tipo de evidências e instrumentos de recolha  usados  para  avaliar  o  Domínio  A,  a  BE  possui,  apesar  de  tudo,  informação  a  relatar  sobre  o  trabalho desenvolvido nas restantes áreas de intervenção da BE.   O  Relatório  deve,  portanto,  dar  uma  visão  holística  do  funcionamento  da  biblioteca  escolar,  incluindo a informação mais detalhada e fundamentada sobre a aplicação do modelo de auto‐ avaliação  no  Domínio  seleccionado,  e  a  informação  disponível  sobre  os  restantes  Domínios  que, não tendo sido avaliados por esse processo, não deixaram de ser trabalhados durante o  ano pelas BEs.   O Relatório proposto pela RBE (v. Matriz na Plataforma) encontra‐se, por isso, estruturado em  três Secções:  A Secção A – Destina‐se à apresentação da avaliação do domínio que, no âmbito da aplicação  do Modelo, foi objecto de avaliação.   A  Secção  B  –  Destina‐se  a  apresentar  uma  informação  simplificada  acerca  do  perfil  de  desempenho  da  BE  nos  domínios  que,  não  sendo  objecto  de  avaliação  nesse  ano  lectivo,  testemunham o seu desempenho nas diferentes áreas de funcionamento da BE.  A Secção C – Visa um resumo que forneça uma visão global, recorrendo a um quadro síntese  dos resultados obtidos e das acções a implementar.   A  estrutura  apresentada  contém  um  layout  onde  todos  os  domínios  estão  presentes  nas  secções A e B. Cada BE deve adaptar a estrutura à sua situação:  Na  Secção  A,  preencher  apenas  o  quadro  correspondente  ao  domínio  em  que  aplicou  o  Modelo de Avaliação. Este domínio não será objecto de referência na Secção B.  Na Secção B, preencher apenas os quadros gerais correspondentes aos restantes Domínios em  que  não  aplicou  o  Modelo  e  que,  por  isso,  não  foram  objecto  de  nenhuma  referência  na  Secção A.  A Ficha de Perfil da Escola e da BE, incluída no Modelo de Avaliação da Biblioteca Escolar (v.  Modelo),  ajuda  a  fornecer  informação  sobre  a  situação  de  cada  escola  e  o  contexto  em  que  ocorre a avaliação, devendo acompanhar em anexo o Relatório Anual de Avaliação.