Seminar: Training

Training seminar

Brasília, 25 a 29 Maio 2009

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Objectivos para hoje

Picture 15

1.

Monitorização

2.

Avaliação

3.

Auditoria e Controlo

4.

Medidas de Informação e Controlo

1. Monitorização

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Monitorização & Avaliação Dois conceitos estreitamente relacionados, mas com objectivos e funções distintas

Monitorização

Avaliação

Picture 15

➠

análise, acompanhamento realizações e resultados

e

verificação

de

➠

análise e interpretação da informação obtida através da monitorização, e outras fontes, de forma a encontrar e explicar os efeitos das intervenções.

1. Monitorização

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Monitorização & Avaliação Monitorização Frequência

Picture 15

Avaliação on-going

Periódica, regular

Pontual

Actividade principal

Análise, acompanhamento e verificação da informação regular sobre o estado de execução

Análise e interpretação da informação de forma a compreender a evolução face aos objectivos, explicar os efeitos, interpretar os desvios e apontar trajectórias alternativas

Objectivo

Melhorar a eficácia imediata na afectação de recursos

Melhorar, para além da eficácia, a eficiência, e aferir os impactes a afectação de recursos e os impactes

Fontes de Informação

Sistemas de Informação

Sistemas de informação, inquéritos, estudos e entrevistas

Entidades envolvidas

Autoridades de Gestão e responsáveis pela monitorização estratégica e operacional do QREN

Membros da Rede de avaliação QREN e Avaliadores externos

Adaptado de UNICEF, A UNICEF Guide for Monitoring and Evaluation: Making a Difference?

1. Monitorização

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Monitorização & Avaliação Modelo de informação

➠

QREN

indicadores de realização e de resultado para avaliar a eficiência e desempenho relacionados com a execução dos programas

➠

PROGRAMAS

indicadores de realização física e financeira e de resultados do projecto Picture 15

➠

➠

indicadores de impacte e resultado para avaliar eficiência do QREN

➠

PROJECTOS

1. Monitorização

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Monitorização & Avaliação Modelo de informação Fiabilidade da informação factor crítico de sucesso

Picture 15



Estabilizar conceitos



Harmonizar metodologias de recolha da informação



Escolher os indicadores mais apropriados à medição

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Monitorização & Avaliação

Indicadores conjunturais



Processo de selecção ― concursos abertos ― candidaturas apresentadas ― candidaturas aprovadas ― tempos médios de decisão

 Picture 15

Execução financeira

1. Monitorização

1. Monitorização

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Monitorização Estratégica Partilhada

2007 2008

2009 2010

2011 2012

2013

Relatório referido no 1º ponto da alínea a)

Relatórios Estratégicos dos Relatório referido no 2º Estados Membros ponto da alínea a) Relatórios Estratégicos da Comissão

Até ao Final

Relatório referido no 1º ponto da alínea d) Relatório referido no 2º ponto da alínea d)

Fonte: Guia de Leitura Fundos Estruturais e de Coesão 2007-2013, DGDR

Picture 15

Até ao Final

Até 1 Abril

Até 1 Abril

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação

Questões fundamentais para a avaliação das intervenções públicas Relevância – Avaliação da aderência da estratégia à realidade Pertinência – Avaliação da qualidade da formulação dos objectivos e da mobilização das lições da experiência Coerência – Avaliação da consistência interna e externa da intervenção Eficiência – Avaliação do modo como os recursos foram transformados em realizações e resultados Eficácia – Avaliação da forma como os recursos contribuíram para a concretização dos objectivos Utilidade – Avaliação dos benefícios para os destinatários

Picture 15

Sustentabilidade – Avaliação da extensão e durabilidade das alterações concretizadas

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação

Princípios da Avaliação Principio da Proporcionalidade Os meios financeiros e administrativos utilizados na execução dos fundos em matéria de avaliação devem ser proporcionais ao montante total das despesas afectadas aos PO. Princípio da parceria Traduz-se no estímulo à cooperação dos agentes relevantes ao longo do processo de planeamento e operacionalização das avaliações, bem como de divulgação e análise dos seus resultados.

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação

Princípios da Avaliação Princípio da independência Traduz-se na realização de exercícios de avaliação por entidades, internas ou externas à Administração Pública, mas funcionalmente independentes das Autoridades de Gestão e das entidades com responsabilidades na Monitorização Estratégica ou Operacional do QREN e dos Programas Operacionais. Princípio da transparência Traduz-se na divulgação dos resultados relevantes das avaliações, bem como na sua utilização como recurso para a qualificação do debate público. Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

1989-1993

1994-1999

Picture 15

2. Avaliação QCA I e QCA II

➠

A avaliação de “acções” era entendida como tarefa a executar em concertação estreita entre a Comissão e o Estado-membro. Não foi predefinido o momento nem o objecto de avaliação.

➠

Reforçou a importância da apreciação ex ante e da avaliação ex post. Realizaram-se avaliações por intervenção. A Comissão promoveu a avaliação ex post do QCA II.

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA I e QCA II

Avaliação ex post 1994-1999 Principais conclusões:

 Elevada performance atribuída à capacidade de adaptação dos PO ao contexto e evolução socio-económica, aumentando a eficácia da intervenção dos Fundos Estruturais.

 Cerca de 7.7% da FBCF no período 1994-2000 foi directamente induzida pelo QCA II.

 Foram criados e mantidos até 1999 cerca de 77 mil postos de trabalho directamente induzidos pelos investimentos realizados no QCA II (correspondendo a 29.5% da criação líquida de emprego no período).

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA I e QCA II

Avaliação ex post 1994-1999 Principais recomendações para o período 2000-2006:



Alteração ao Sistema de Informação para a gestão dos Fundos Estruturais, nomeadamente, a criação de um Sistema de Informação único incorporando todos os Fundos.



Reforço das funções de acompanhamento e separação entre as actividades de controlo e as de acompanhamento a projectos.



Compatibilização entre a descentralização da gestão e o desenvolvimento das políticas, com a criação de componentes sectoriais descentralizadas nos PO Regionais.

 Criação de condições para a implementação de um sistema de gestão por objectivos, por forma a melhorar a eficácia dos programas. Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Natureza, fases e características

➠

➠

Picture 15

Assume que a eficácia e o impacto das actividades dos Fundos estruturais dependem da melhoria e do aprofundamento da avaliação. Especifica as responsabilidades dos Estados-Membros e da Comissão, bem como regras que garantam a fiabilidade da avaliação.

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Natureza, fases e características Foram definidos três momentos distintos de avaliação e a respectiva responsabilidade:

 Avaliação ex ante, que serviu de base para a preparação das intervenções, sendo da responsabilidade do Estado-Membro. Na avaliação ex ante foi verificada: ― a pertinência da estratégia e objectivos da intervenção; ― a coerência com as políticas nacionais e comunitárias; ― a pertinência das regras previstas de execução e de acompanhamento; ― os resultados das avaliações relativas aos períodos de programação anteriores Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Natureza, fases e características

 Avaliação intercalar, que permitiu apreciar os primeiros resultados das intervenções, a sua pertinência e a realização dos objectivos e a utilização das dotações, bem como o funcionamento do acompanhamento e da execução. Foi efectuada sob a responsabilidade das autoridades de gestão, em colaboração com a Comissão e incidiu individualmente sobre cada Programa Operacional e de forma global sobre o Quadro Comunitário de Apoio.

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Natureza, fases e características Do ponto de vista metodológico, importa destacar que a avaliação intercalar do QCA III:

 Explorou domínios de avaliação global autónomos das avaliações dos Programas Operacionais;

 Integrou resultados da avaliação de impactes macroeconómicos realizada pelo DPP, cruzando-a com os resultados da avaliação da relevância e pertinência da estratégia e da avaliação de eficácia do QCA III;

 Transportou para a avaliação global do Quadro, os elementos de avaliação mais pertinentes das avaliações dos Programas.

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Natureza, fases e características

 Todas estas avaliações foram realizadas por avaliadores independentes e transmitidas à Comissão até 31 de Dezembro de 2003.

 Do processo de avaliação intercalar de 2003, resultou um pacote de alterações dos Programas Operacionais (reprogramação intercalar de 2004), com implicações a nível de redefinição de estratégias e prioridades, como na redistribuição de dotações, entre Fundos, entre Programas Operacionais e entre prioridades dentro de cada Programa.

 No prolongamento da avaliação intercalar, foi efectuada, em 2005, uma actualização dessas avaliações, a fim de preparar as intervenções posteriores, apontando prioridades para o período de programação seguinte. Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Natureza, fases e características

 Avaliação ex ante, que se destina a dar conta da utilização dos recursos, da eficácia das intervenções e do seu impacto. A avaliação ex post é da responsabilidade da Comissão, em colaboração com o Estado-Membro, sendo realizada por avaliadores independentes. Deverá estar concluída até três anos após o termo do período de programação.

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Especificidade da Avaliação Intercalar

 Relação entre a qualidade do exercício de avaliação e a atribuição da reserva de eficiência;

 Resultados da avaliação intercalar relevantes ao nível de cada programa operacional, suportando a proposta de reprogramação intercalar de 2004;

 A avaliação do QCA não constituiu um mero somatório das avaliações dos programas operacionais.

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Reserva de Eficiência - conceito Surge pela primeira vez no período de programação 2000-2006.

Consiste numa verba correspondente a 4% do total de dotação prevista para cada Estado-Membro e cuja atribuição, por Programa Operacional, será efectuada a meio do período de programação, premiando os Programas mais eficientes.

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Reserva de Eficiência - critério Aplicáveis a todos os Programas Operacionais

Critérios Comuns de Gestão: visam apreciar o cumprimento pelos Programas Operacionais de boas práticas de gestão, e incluem seis critérios, que avaliaram Qualidade do Sistema de Gestão (Execução Financeira e Realização Física), Qualidade do Sistema de Controlo (Sistema de Controlo e Intensidade do Controlo Financeiro e de Gestão), Qualidade dos Critérios de Selecção e Qualidade do Sistema de Avaliação;

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Reserva de Eficiência – critério Critérios Financeiros: que avaliaram o cumprimento dos objectivos inerentes à programação financeira dos Programas Operacionais, através de três critérios: Execução Financeira Global, Execução Financeira em Lisboa e Vale do Tejo e Efeito de Alavanca;

Critérios de Eficácia: que mediram os efeitos dos Fundos através de Indicadores de Realização e de Resultado, negociados por Programa Operacional.

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Reserva de Eficiência – processo de atribuição A atribuição da Reserva de Eficiência processou-se em duas fases:

Fase 1:

Fase 2:

Picture 15

➠

Selecção dos Programas Operacionais que cumprem os critérios de eficiência, de acordo com três patamares;

➠

Determinação do montante da Reserva de Eficiência a atribuir a cada um dos Programas Operacionais seleccionados na fase anterior.

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

QCA III

Reserva de Eficiência – processo de atribuição Os três patamares de selecção dos Programas Operacionais foram definidos considerando os grupos de critérios mencionados: Critérios Comuns de Gestão: PO não eficientes não cumprem 3 (ou menos) dos 6 critérios PO eficientes cumprem, pelo menos, 4 dos 6 critérios PO muito eficientes cumprem, pelo menos, 5 dos 6 critérios;

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Reserva de Eficiência – processo de atribuição Critérios Financeiros: PO não eficientes

➠

PO eficientes

➠

PO muito eficientes

Picture 15

➠

não atingem 75% das metas estabelecidas em cada um dos critérios aplicáveis

atingem entre 75% e 90% dessas metas

não atingem 75% das metas estabelecidas em cada um dos critérios aplicáveis

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Critérios de Eficácia

PO não eficaz

PO eficaz

PO muito eficientes

Picture 15

➠

não atinge as metas estabelecidas em 60% dos indicadores de realização e de resultado considerados

➠

atinge as metas estabelecidas em, pelo menos, 60% dos indicadores de realização e de resultado considerados

➠

PO muito eficientes atinge as metas estabelecidas em, pelo menos, 80% dos indicadores de realização e de resultado considerados

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QCA III

Modelo institucional – organização Grupos Técnicos de Avaliação

Entidades envolvidas

- Comissão de Gestão QCA III (cujo Presidente coordena) Grupo técnico de avaliação do - Observatório do QCA III QCA III - Departamento de Prospectiva e Planeamento - Comissão Europeia - Gestor do PO, que coordena - Representantes dos Fundos (FEDER, FSE, FEOGA-O, IFOP, quando aplicável) Grupos técnicos de avaliação - Observatório do QCA III dos PO - Coordenadores do Eixo 3, no caso dos PO Regionais) - Comissão Europeia - Peritos, quando aplicável

Picture 15

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

QCA III

Síntese QCA I e QCA II:

QCA III:

→ Centrada na análise dos efeitos, → Avaliação centrada na análise física e financeira e por PO

→ Avaliação intercalar não prevista em qualquer disposição regulamentar e sem calendário específico;

→ Inconsequente no período de

programação avaliado, não originando alterações financeiras ou revisão dos modelos de gestão dos PO

Picture 15

resultados e impactes, por PO e QCA;

→ Maior exigência na disponibilidade de dados financeiros e físicos;

→ Calendarização determinada por normativo regulamentar;

→ Importância acrescida da

avaliação intercalar na atribuição da reserva de eficiência e consequente reprogramação intercalar.

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Balanço dos exercícios de avaliação No conjunto do período 2000 – 2006

 133 estudos de avaliação de diferentes tipos → Dos quais, 39 relativos a avaliações de carácter obrigatório  Um investimento significativo – mas apenas 3% da dotação global de assistência técnica do QCA III

→ Picture 15

44% dos recursos financeiros destinados a avaliações de carácter obrigatório

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação QREN

MOMENTOS

OBJECTIVO

Características

Picture 15

Melhorar a qualidade, a eficácia, a eficiência e a coerência da intervenção dos fundos e da estratégia e execução dos PO.

Antes do início do período de programação

Ex ante

Durante o período de programação

On-going

Após o período de programação

Ex-post

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

QREN

RESPONSA BILIDADE

MOMENTOS

Avaliação

Picture 15

Estratégica

Análise da evolução de um PO ou grupo de PO relativamente às prioridades comunitárias e nacionais

Operacional

Apoiar o acompanhamento de um PO

Ambiental e Estratégica

Avaliação dos efeitos das Intervenções no Ambiente

CE

Ex-post

EM

Ex-ante / On-going

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

QREN

AVALIAÇÃO AMBIENTAL ESTRATÉGICA Enquadramento: Directiva 2001/42/CE Objectivo:

 Visão estratégica e perspectiva alargada das questões ambientais  Integração das questões ambientais no processo de decisão  Auxiliar na identificação, selecção e justificação de opções ganhadoras (win-win) face aos objectivos de ambiente e desenvolvimento

 Detectar problemas e oportunidades, sugerir programas de gestão e monitorização estratégica

 Assegurar processos participados e transparentes, que envolvam todos os agentes relevantes

 Produzir contextos de desenvolvimento mais adequados a futuras propostas de desenvolvimento Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação

AVALIAÇÃO ON – GOING: Estratégica Deve incidir:

 Impactos macro-económico dos FE e FC e sua relevância para a consistência das estratégias nacionais e dos PO,

 Temas específicos relevantes para a estratégia de um PO (ex inovação, SI,)

 Prioridades horizontais (igualdade de oportunidades, ambiente)

Contributos da Política de Coesão para a Estratégia de Lisboa Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação Características

AVALIAÇÃO ON – GOING: Operational

Acompanhar regularmente

A implementação de desenvolvimento dos PO Alterações conjunturais

Melhor compreensão e análise dos resultados e progressos em termos de impactos Recomendar, se for caso disso, acções correctivas

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação Características

AVALIAÇÃO ON – GOING: Responsabilidade CE A CE pode por sua iniciativa fazer Avaliações estratégicas:

 A um PO (ou parte dele) sempre que a monitorização revela desvios relativamente aos objectivos iniciais do PO.

 A uma estratégia Nacional (por ex. uma estratégia com impacto na implementação na Estratégia de Lisboa.

Em parceria com EM

Contributos da Política de Coesão para a Estratégia de Lisboa Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação Características

AVALIAÇÃO ON – GOING: Responsabilidade EM

Estado Membro deve fazer avaliações quando:

 Monitorização revela discrepâncias consideráveis relativamente aos objectivos e prioridades previstos para o PO

 Sejam apresentadas propostas de Revisão dos PO (iniciativa do EM com aprovação da CE)

Os resultados devem ser comunicados ao Comité de Acompanhamento do PO e à CE

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação Características

AVALIAÇÃO ON – GOING: Responsabilidade EM

A CE requer Evidência de Avaliação quando a revisão ao PO decorre de:

 Alterações financeiras  Alterações de conteúdo do PO ou Eixo Prioritários  Alterações na implementação dos PO (reestruturação do Eixo, ou novo Eixo)

Para revisões pequenas ou técnicas não é necessário evidência de Avaliação

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação Características

AVALIAÇÃO EX-POST Objectivo:

 Tirar conclusões relativas à politica de coesão económica e social  Identifica factores que contribuem para o êxito ou insucesso da execução dos PO

 Identifica exemplos de Boas Práticas Incide:

 Cada um dos Objectivos Prioritários dos Fundos Estruturais

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação Características

AVALIAÇÃO EX-POST

Responsabilidades:

 CE Concluída até 31 /12/ 2015 Quando:

 Após o período de programação

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação

Plano de Avaliação Objectivo:

   

Lista indicativa dos exercícios de avaliação Natureza das avaliações Calendário previsível Descrição dos mecanismos de coordenação e articulação

 Assegurar uso eficiente das Avaliações  Assegurar que as avaliações são integradas e consideradas como uma ferramenta de gestão durante a implementação do PO Cobre todo o período de programação Picture 15

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Plano de Avaliação Inclui avaliações

 Estratégicas  Operacionais

A realizar ao nível do:

 QREN  PO/Fundo

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Plano de Avaliação - Conteúdo I - Coordenação

       Picture 15

Ligação monitorização – avaliação Critérios para a decisão de avaliar Plano de trabalhos Recursos afectos Qualidade do sistema de controlo Publicação dos relatórios Mecanismos possíveis para revisão do plano

2. Avaliação

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Quadro Institucional

Avaliação – Responsabilidade Ex-Post CE

On going Operacional – AC + AG Estratégicas – Observ QREN Ex Ante Entidades responsáveis pela preparação dos documentos de programação

Picture 15

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Quadro Institucional

Avaliação On going – Responsabilidade

Picture 15

➠

PO

Monitorização Estratégica

➠

Fundos

➠

QREN

Monitorização Financeira e Operacional Gestão, Avaliação, Controlo interno

➠ ➠ ➠

Observatório QREN CRT CODR IFDR,IP IGFSE,IP

AG

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

2. Avaliação Quadro Institucional

Plano de Avaliação – do QREN 2007-2013 I - Composição

 Observatório do QREN - Coordena  Representantes dos Centros de Racionalidade Temática e dos Centros de Observação das Dinâmicas Regionais

 Representantes das Autoridades de Certificação e das Autoridades de Gestão dos Programas Operacionais

Picture 15

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Modelo de Governação no QREN

Comissão Ministerial de Coordenação Comissões Ministeriais de Coordenação dos PO Temáticos Centros de Racionalidade Temática

Programas Operacionais Temáticos

Factores de Competitividade (FEDER)

Valorização do Território (FEDER e Fundo de Coesão)

Quadro Institucional

Comissão Ministerial de Coordenação dos PO Reg.

Picture 51

Comissão Técnica de Coordenação: Observatório – IFDR –IGFSE - IGF

Órgão de Aconselhamento Estratégico

Comissão de Acompanhamento

Centros de Observação das Dinâmicas Regionais

Programas Operacionais Regionais

PO Multi-objectivos

Norte (FEDER)

Centro (FEDER)

Lisboa

Assist. Téc. FEDER

Alentejo (FEDER)

Algarve (FEDER)

RUMOS Madeira (FSE)

PROCONVERGENCIA

INTERVIR+ Madeira (FEDER)

PROEMPREGO Açores (FSE)

Potencial Humano (FSE) Picture 15

Açores (FEDER)

Assist. Téc. FSE

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Quadro Institucional

Marcos indicativos para o PA do QREN e dos PO

Picture 15

Avaliação Global da Execução do QREN no período 2007-2008

1º semestre de 2009

Avaliações Temáticas Globais

Durante 2011

Avaliação a meio percurso do Impacte Macroeconómico do QREN

2º semestre de 2010

Avaliação a meio percurso dos PO

Meados de 2011

Avaliação Global da Execução do QREN no período 2007-2011

1º semestre de 2012

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Quadro Institucional

Reflexos da Avaliação do QCA III no QREN QCA III Insuficiente concentração das opções de financiamento nos domínios-chave correspondentes aos grandes problemas do desenvolvimento do país Insuficiente alinhamento estratégico dos instrumentos operacionais e dos projectos apoiados

Picture 15

QREN 2007-2013



Redução do nº de Intervenções Operaci.



Critérios mais apurados de hierarquização de projectos



Mecanismos de monitorização estratégica on going.



Consolidação de centros de racionalidade.



Articulação entre objectivos estratégicos e modelos de financiamento.

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Quadro Institucional

Reflexos da Avaliação do QCA III no QREN QCA III Dificuldade em fazer emergir o potencial inovador dos agentes

Insuficiente atenção ao reforço da capacidade institucional da Administração Pública Insuficiente enfoque na qualidade dos efeitos e na eficiência e sustentabilidade das operações co-financiadas Picture 15

QREN 2007-2013  Disseminação de boas práticas, sistemas de monitorização, avaliação e benchmarking  Concertação interinstitucional e concretização de abordagens inovadoras (processos de contratualização) Noção de Estado-estratega: ― Planeamento estratégico ― Coordenação intersectorial ― Monitorização e a avaliação Qualidade da despesa: ― Relevância dos investimentos e sustentabilidade económica e financeira ― Resultados a alcançar e efeitos que propiciará

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Intercalar QCA III

Apreciação da Qualidade da Avaliação Apreciação Qualitativa Critérios Excelente 1.Satisfação das necessidades de informação 2.Pertinência do alcance do exercício de avaliação e correcta 3.Carácter Adequado da M etodologia 4.Fiabilidade dos Dados 5.Validade da Análise 6.Credibilidade dos Resultados 7.Imparcialidade das Conclusões 8.Utilidade das Recomendações 9.Clareza do Relatório Picture 15

Bom

Suficiente

Inaceitável

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Intercalar QCA III

Apreciação da Qualidade da Avaliação Critérios

Questões

1.Satisfação das questões Aborda adequadamente as questões formuladas? para Avaliação Corresponde aos termos de referência? 2.Pertinência do alcance do Identificação do objecto de análise? exercício de avaliação e Evidencia a realização de análises cuidadosas da sua fundamentação, correcta identificação do das suas realizações, resultados e impactes, dasarticulações com o campo de avaliação QCA e com os restantes POs, com outros instrumentos de política? 3.Carácter Adequado Metodologia

Picture 15

A metodologia é apropriada e adequada? da A metodologia está de acordo com o previsto no Relatório de Progresso? A metodologia está suficientemente detalhada?

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Intercalar QCA III

Apreciação da Qualidade da Avaliação Critérios

Questões

Os dados oferecem um grau de fiabilidade suficiente para a utilização a que se destinam? 4.Fiabilidade dos Dados Foram utilizados os dados mais adequados? A validade dos dados está assegurada? Os métodos de recolha estão claramente indicados? A informação é analisada em conformidade com procedimentos 5.Validade da Análise estabelecidos? A informação responde correctamente às questões de avaliação? Os resultados obtidos são a sequência lógica de uma análise de dados? A suas interpretações estão baseadas em hipóteses cuidadosamente 6.Credibilidade dos apresentadas e descritas? Resultados As hipóteses e as extrapolações encontram-se claramente justificadas? Os diferentes actores envolvidos no PO foram implicados no processo de interpretação dos factos empíricos?

Picture 15

Picture 22

TRAINING SEMINAR

2. Avaliação

Brasília, 25 a 29 de Maio de 2009

Intercalar QCA III

Apreciação da Qualidade da Avaliação Critérios

7.Imparcialidade Conclusões

8.Utilidade Recomendações

9.Clareza do Relatório

Picture 15

Questões As conclusões são justas e independentes de opiniões pessoais ou das interesses particulares? São apresentadas conclusões relativas a cada um dos domínios de avaliação ? São sugeridas propostas operacionais para a melhoria do desempenho do PO bem como da sua gestão? das As recomendações são suficientemente pormenorizadas para que possam ser postas em prática? O Relatório está escrito de forma clara, permitindo uma fácil compreensão da informação? A sua estrutura é lógica? Os conceitos técnicos estão claramente explicitados? São apresentados quadros e gráficos que permitam uma leitura mais fácil e uma mais clara interpretação da mensagem? Tem um sumário executivo adequado (síntese das conclusões, principais evidências, recomendações)?

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

3.

Picture 15

Auditoria e Controlo

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Autoridade de Auditoria

Picture 15

3. Auditoria e Controlo

➠

Autoridade de Certificação

➠

Autoridade de Gestão

➠

Organismos Intermédios

➠

Beneficiários

➠

S E G U R A N Ç A

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

3. Auditoria e Controlo

Controlo Interno AG responsável pela implementação de um sistema de controlo interno:

Picture 15



Que previna e detecte as situações de irregularidade, permitindo a adopção das medidas correctivas oportunas e adequadas



Que assegure um sistema adequado e fiável de validação da despesa a apresentar à Autoridade de Certificação

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

3. Auditoria e Controlo

Participação de OI na Gestão

    

Picture 15

Melhoria na eficiência e eficácia Superar insuficiências qualitativas ou quantitativas Contrato OI-AG Recursos próprios humanos e materiais Custos conforme com regras das elegibilidades

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

3. Auditoria e Controlo

Beneficiários - Obrigações

Picture 15

 

Realizar projecto nos termos aprovados e contratados

   

Previstas nos contratos de financiamento



Falsas declarações ou viciação de dados, ocorridas na apresentação, na apreciação ou no acompanhamento dos investimentos

Garantir que a despesa declarada para co-financiamento é legal, regular e cumpre todas as regras nacionais e comunitárias aplicáveis (designadamente em matéria ambiental e de contratação pública) Consequências por incumprimento Suspensão, rescisão, devolução Inibição durante um período de 2 anos à apresentação de novas candidaturas

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Documentos de suporte da despesa

 Documentação da candidatura organizada  Disponível para verificação → AG → AC → AA

Picture 15

3. Auditoria e Controlo

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

3. Auditoria e Controlo

Modelo de controlo e auditoria do QREN Princípios Orientadores

Picture 15



Modelo de auditoria e controlo único para todo o QREN



Coordenação e articulação entre as diferentes entidades



Boa gestão financeira na utilização dos fundos



Garantia do respeito pela separação de funções

Picture 22

TRAINING SEMINAR

5. Auditoria e Controlo

Brasília, 25 a 29 de Maio de 2009

Auditoria QREN integra

Autoridade de Auditoria Auditoria das operações

Articulação

Picture Picture 2 15

➠

IGF

➠

Estruturas segregadas IFDR IGFSE

➠

Comissão Técnica de Auditoria

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

5. Auditoria e Controlo

Autoridade de Auditoria

Picture Picture 2 15



Apresentar à CE a estratégia de auditoria, única para todo o QREN



Atestar a conformidade dos sistemas de gestão e controlo



Realizar as auditorias de sistemas



Emitir os relatórios e opinião de auditoria anuais

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

5. Auditoria e Controlo

Estruturas segregadas de auditoria IFDR IGFSE

Picture Picture 2 15



Planos anuais de auditoria a operações, incluindo a elaboração das respectivas amostras



Auditorias de operações

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

5. Auditoria e Controlo

Funções AC

Picture 15



Elaborar e apresentar à CE declarações de despesas certificadas e pedidos de pagamento



Assegurar, para efeitos de certificação, que recebeu informações adequadas da AG



Ter em conta, para efeitos de certificação, os resultados de todas as auditorias efectuadas



Auditar os procedimentos implementados pelas entidades intervenientes no processo de gestão

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Picture 15

4.

Medidas de Informação e publicidade

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

4. Medidas de Informação e publicidade

Medidas de Informação e Publicidade

Picture 15



Estratégia de Comunicação QREN



Plano de comunicação Fundo



Plano de comunicação por cada Programa Operacional



Medidas de informação destinadas a potenciais beneficiários



Medidas de informação destinadas a beneficiários



Medidas de informação e publicidade destinadas ao público

Picture 22

TRAINING SEMINAR

4. Medidas de Informação e

Brasília, 25 a 29 de Maio de 2009

publicidade

Medidas de Informação e Publicidade Responsabilidades dos beneficiários

Informar o público sobre a subvenção atribuída (artº. 8º. do Reg (CE) 1828/2006, de 8 de Dezembro) Para operações que excedem os 500 000 EUR

Picture 15

Painel

- durante a execução

Placa descritiva permanente

- depois de concluída

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

4. Medidas de Informação e publicidade

Sites – grandes veículos de comunicação e informação www.qca.pt

www.qren.pt Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

4. Medidas de Informação e publicidade

Brochuras, desdobrável Informativo, CD de divulgação

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

4. Medidas de Informação e publicidade

Publicações

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

4. Medidas de Informação e publicidade

Materiais de comunicação para o evento:

→ Bloco de notas e capa de conferência

→ caneta → Pen

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

4. Medidas de Informação e publicidade

 Evento de grande impacto mediático, acompanhado de uma campanha promocional (TV, rádios, mupis, imprensa)

Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Campanha publicitária

4. Medidas de Informação e publicidade

 Painel publicitário em autocarros  Anúncios na imprensa  Artigos na imprensa

Picture 15

Picture 22

TRAINING SEMINAR

6. Medidas de Informação e

Brasília, 25 a 29 de Maio de 2009

publicidade

Um grande evento por ano em cada PO

Outras formas de comunicação Picture 15

Picture 22

TRAINING SEMINAR Brasília, 25 a 29 de Maio de 2009

Obrigada pela vossa atenção!

Picture 15