Bog A Dot A

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

El rol de los sistemas de verificación independientes en la evaluación de la calidad de gestión en los gobiernos locales de América Latina Eduardo Bogado Tabacman Hay una creciente utilización de mecanismos voluntarios para certificar o calificar la calidad de gestión utilizando estándares previamente establecidos que reflejan el comportamiento considerado deseable o las mejores prácticas consensuadas. Aunque existen sistemas basados en la simple adhesión a los estándares y la autoevaluación, es creciente la utilización de sistemas descentralizados de verificación a cargo de terceras partes independientes acreditadas, que estarían en mejores condiciones de hacer frente a las asimetrías de información surgidas de la dificultad de observar ciertas prácticas. Estos mecanismos aplicados a la gestión de entidades públicas y privadas, de interés para la sociedad civil, empresas y organismos reguladores, abarcan temáticas tan variadas como calidad de gestión(normas ISO), medioambiente (EMAS), seguridad y salud laboral (OHSAS 18001), control interno (COSO), transparencia (Indice de Transparencia de Entidades Públicas), condiciones laborales (Responsabilidad Social 8000) y los modelos de excelencia, como el Modelo Iberoamericano de Excelencia en la Gestión, y similares a nivel nacional e internacional. Estas tendencias también se están desarrollando en los gobiernos locales de América Latina con diseños innovadores que serán analizados más adelante. 1. Antecedentes En la gestión pública se ha manifestado de manera continua desde inicios del siglo pasado un interés en desarrollar sistemas para elevar, identificar, evaluar y dar a conocer el valor público creado por la acción del Estado. Diversas vertientes han contribuido en este sentido, de las cuales cuatro han tenido particular relevancia: a) las reformas presupuestarias b) la Nueva Gerencia Pública c) la evaluación de programas y d) las mediciones de calidad de la gobernanza. Las reformas presupuestarias Las reformas presupuestarias se han iniciado a comienzos del siglo veinte. El presupuesto por programas, fue el primer enfoque. Sus orígenes se remontan a comienzos de siglo, cuando la Comisión de Estudios e Investigaciones Municipales de Nueva York promovió las ideas de un presupuesto vinculando los aspectos financieros con los servicios y resultados esperados. De ahí en más, enfoques similares se fueron desarrollando y modificando continuamente.

1

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

El presupuesto de desempeño fue propuesto primeramente en 1949 por la Comisión Hoover, del gobierno federal de Estados Unidos. El presupuesto por desempeño debería describir los resultados esperados como consecuencia de una función específica o actividad, como proyectos de construcción, actividades de investigación, o atención de salud y no solamente partidas de gastos, como salarios, alquileres y suministros. En consonancia con las recomendaciones de la Comisión, el Congreso promulgó la Ley de Presupuesto y de Procedimientos de Contabilidad en 1950. El sistema de Presupuesto, Planificación y Programación, fue iniciado en 1965, a partir de experiencias previas en el Ministerio de Defensa, algunas de las cuales se remontaban a 1940, siguiendo prácticas similares a las establecidas en las empresas Dupont y General Motors a inicios de los años 20. El sistema de gestión por objetivos se inició en 1973, y el Presupuesto Base Cero en 1976. Estas reformas, en general, no lograron cumplir con las expectativas generadas, y sucesivamente fueron planteando innovaciones aunque manteniendo los conceptos básicos. Nueva Gerencia Pública En los años 80 una nueva generación de reformas se produjo en diversos países, entre ellos Nueva Zelandia, Gran Bretaña, y Australia, que algunos han denominado Nueva Gerencia Pública. Este modelo pretendía modernizar la gestión del estado, incorporando enfoques que habían resultado exitosos en el sector privado. Algunas de las herramientas de gestión asociadas son los planes estratégicos, los contratos de desempeño, el benchmarking y las cartas de compromiso con los ciudadanos, siendo la medición del desempeño, un componente transversal esencial. El modelo ha promovido mayor autonomía para los gerentes y simultáneamente mayor responsabilidad sobre los resultados. Una de las más recientes iniciativas en el marco de este enfoque es la Ley de Agencias aprobada en España en 2.006 que establece un mayor nivel de autonomía y de flexibilidad en la gestión, reforzando los mecanismos y la cultura de responsabilización por resultados. El balance scorecard es otro modelo de gestión que hizo su irrupción en los años 90, aunque había tenido amplia aplicación en el sector privado y público francés desde los años 50. Utilizado actualmente por el 50% de las empresas de la lista Fortune 1000, el balance scorecard pasó del mundo corporativo a las organizaciones sin fines de lucro y al gobierno. En este marco también se han incorporado al sector público los sistemas de calidad que tuvieron su origen en la empresa privada. Los enfoques de gestión de calidad total, los sistemas de gestión normalizados, como la ISO 9000, y los modelos de excelencia asociados a los premios a la calidad, han impactado la administración pública. Estos enfoques se centran en la gestión de procesos, al contrario de los demás que están enfocados en resultados de la gestión. La ley de Desempeño y Resultados del Gobierno aprobada en Estados Unidos en 1.993, continuó está tradición tanto de las reformas presupuestarias como las de la nueva gerencia pública. De acuerdo con esta ley, las agencias gubernamentales estaban obligadas a elaborar plan estratégico, plan de desempeño anual, e informe de desempeño anual, todos acompañados de indicadores de desempeño.

2

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

Evaluación de programas Finalmente la metodología de evaluación de programas, que comienza a aplicarse de forma intensa para evaluar los grandes programas sociales de los años 60 en los Estados Unidos, ha crecido en importancia a lo largo del tiempo En el año 2000, comenzó a implementarse en los Estados Unidos una nueva herramienta de evaluación de los programas a nivel federal, denominado PART. La evaluación, implementada por una tercera parte, la Oficina de Gestión y Presupuesto (OMB), abarca todos los programas federales en ciclos de cinco años. Sistemas de evaluación de programas se han desarrollado también en países de América Latina, como Chile y Colombia. En España se ha creado la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios en el año 2007. Indicadores de Gobernanza Desde los años 90, una nueva vertiente se sumó a las reformas presupuestarias y a la nueva gerencia pública: las mediciones de la calidad de la gobernanza. Una explosión de interés en la calidad de la gobernanza se ha visto acompañado del desarrollo de gran cantidad de instrumentos de medición. Las reformas presupuestarias y los nuevos modelos de gestión se han concentrado en reformar los sistemas de gestión del gobierno desde adentro, aunque sin perder de vista la perspectiva de la interacción con los ciudadanos, como en las Cartas de compromiso, o en la política de focalización en el cliente. Los indicadores de gobernanza, son en gran medida una mirada externa del mismo fenómeno y apuntan a medir la calidad de la gestión pública en diversos ámbitos. El efecto mediático y político, así como la presión para la generación de cambios institucionales se han manifestado con instrumentos tales como el Índice de Percepción de Corrupción de Transparencia Internacional, los indicadores de Gobernanza del Banco Mundial, el Índice de Integridad Global, y el Latinobarómetro. El Banco Interamericano de Desarrollo ha desarrollado una base de datos de 400 indicadores de gobernanza basados en las informaciones aportadas por alrededor de 50 instrumentos. Estos instrumentos se han enfocado principalmente en evaluar la calidad de la gobernanza en países, y han sido muy demandados por agencias de cooperación internacional, para asignar sus recursos, así como por empresas para la toma de decisiones de inversión. Recientemente, existe una nueva tendencia, en el sentido, de que estos instrumentos de calificación sean desarrollados, no solamente para evaluar países, sino además instituciones o sistemas a nivel interno de cada país, y de esa manera se constituyan en herramientas mucho más operativas y accionables en términos de gestión. Las tendencias que aquí hemos reseñado, las reformas presupuestarias, el nuevo modelo de gestión pública, las evaluaciones de programas y los indicadores de gobernanza traen un fuerte componente de medición. La medición puede referirse a muchos aspectos incluyendo impacto, eficacia, eficiencia, calidad del servicio, procesos y sistemas.

3

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

Los procedimientos de medición que han acompañado a los modelos mencionados son metodológicamente variados. Las encuestas de percepción ciudadana, la percepción de expertos y la evaluación de expertos basada en evidencias son algunas de las técnicas utilizadas. La evaluación puede basarse en criterios abiertos donde juega un rol fundamental el juicio del experto o en sistemas basados en indicadores, constructos e índices con múltiples ítems y escalas. 2. Estructura de gobernanza del sistema de medición Todas las reformas y modelos de gestión planteados en los últimos 50 años han tenido un común denominador: la importancia atribuida a la medición del desempeño. Son varios los modelos que se han experimentado en cuanto a quién y cómo se mide la calidad de la gestión en la administración pública. En cuanto a quien hace la medición, se siguieron básicamente dos modelos: la autoevaluación y medición interna, o evaluación de primera parte, denominación utilizada en el ámbito de la auditoría, y la evaluación externa. La evaluación externa puede ser de segunda parte, que por analogía serían las realizadas, por agencias del gobierno externas a la institución evaluada, pero pertenecientes al ámbito del sector público. Es el caso de Chile, en el que la evaluación del Programa de Mejoramiento de la Gestión (PMG) de cada entidad, está a cargo de otras instituciones públicas designadas para el efecto y redes de expertos según la temática, externos a la institución evaluada. Situación similar se da con el sistema de evaluación PART de los Estados Unidos, que está a cargo de la Oficina de Gestión y Presupuesto (OMB), un organismo dependiente de la Presidencia. En ciertos casos ese rol evaluador externo de segunda parte, lo puede realizar el Congreso, rol desempeñado en los Estados Unidos por la Oficina de Contabilidad Gubernamental (GAO). En el Modelo de Evaluación, Aprendizaje y Mejora (Modelo EVAM) de España, diseñado para instituciones públicas con limitado desarrollo de sus sistemas de calidad, se conforma un equipo evaluador con personas de otras instituciones gubernamentales, pero también con representantes de la organización evaluada. Antes de la aplicación del modelo, el equipo de evaluación recibe formación en el Modelo EVAM, impartido por personal del Ministerio de Administraciones Públicas o por licenciatarios autorizados por este Departamento. Evaluación por tercera parte Finalmente, están los modelos de evaluación de tercera parte, realizado por evaluadores independientes. En el sistema de evaluación de programas en Chile, las evaluaciones son realizadas por empresas consultoras o panel de expertos contratados por concurso. Existe también el rol de la sociedad civil como evaluador externo, en lo que se conoce como control social de la gestión pública, como es el programa Monitoreo Social del Banco Mundial. En relación a las normas ISO existe una institucionalidad público-privada en la cual la organización ISO, donde están representados los gobiernos, tiene a su cargo la elaboración de la norma y a nivel gubernamental nacional existen organismos de acreditación que habilitan a las entidades certificadoras del cumplimiento de la norma, que son empresas privadas.

4

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

Los modelos de excelencia, como el Modelo Iberoamericano de Excelencia en la Gestión, y similares a nivel nacional e internacional, asociados a los premios de la calidad también combinan aspectos públicos y privados en su diseño institucional. Responsabilidad Social 8000, dedicada a la certificación de condiciones laborales, tiene una institucionalidad construida en el ámbito privado, con las funciones de elaboración de la norma, acreditación y certificación adecuadamente separadas. Entre los mecanismos de evaluación de tercera parte estas han sido las características relevantes: a) la medición es realizada por un actor independiente, a diferencia de la adhesión a estándares basada en la autoevaluación. b) la medición es voluntaria, en el sentido de que las instituciones se someten voluntariamente a la certificación o calificación. c) los criterios de medición están previamente estructurados en metodologías que contienen los estándares y los sistemas de calificación o certificación. d) los estándares y la metodología reflejan el comportamiento considerado deseable o las mejores prácticas, consensuadas entre actores relevantes a través de un amplio proceso participativo. e) Los resultados son divulgados de tal forma que los diferentes actores interesados – autoridades, ciudadanía, partidos políticos, gerentes- puedan tener acceso. 3. Experiencias en los gobiernos locales de América Latina En América Latina hay una creciente utilización de mecanismos voluntarios de tercera parte para certificar o calificar la calidad de gestión. Estos mecanismos serían más apropiados para hacer frente a las asimetrías de información surgidas de la dificultad de observar ciertas prácticas gubernamentales. La calificación no voluntaria es realizada externamente, pero los evaluadores tienen acceso limitado a toda la información necesaria para calificar adecuadamente a la institución. Varios instrumentos de calificación de la calidad de la gobernanza utilizan esta modalidad. Los mecanismos voluntarios de tercera, sin embargo, posibiliten que un tercero, con el consentimiento de la institución evaluada, pueda acceder directamente a los documentos y evidencias. Esta modalidad de evaluación también se ha desarrollado a nivel de gobiernos locales de América Latina, en donde se pueden observar varias experiencias innovadoras que se describen a continuación. Midamos Midamos es un sistema de calificación de la calidad de gestión de los gobiernos municipales en el Paraguay centrado principalmente en la calidad de los procesos. El sistema está compuesto de 150 puntos críticos agrupados en 32 indicadores, que a su vez forman parte de 5 ejes que abarcan la gestión financiera, operacional, democrática, de servicios y legislativa.

5

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

La herramienta fue construida de manera participativa con amplia intervención de expertos pertenecientes al ámbito de organizaciones de desarrollo y empresas de consultoría que prestan asistencia técnica a los gobiernos locales, con el apoyo de las agencias de cooperación GTZ y USAID. Este proceso dio lugar a la conformación de un Comité Técnico permanente que tiene la responsabilidad de actualizar la metodología. A fin de otorgar credibilidad al sistema y evitar el conflicto de intereses, se constituyó un organismo de acreditación, responsable de habilitar las organizaciones responsables de calificar a las municipalidades en base a la herramienta, denominadas Agencias Calificadoras Autorizadas (ACAS). Las Municipalidades interesadas se someten voluntariamente a la calificación, generalmente en el marco de acuerdos con agencias de cooperación internacional u otras organizaciones locales interesadas en promover la calificación. Los evaluadores realizan su calificación en base a las evidencias recogidas en la Municipalidad a través de entrevistas y documentos. Los resultados son publicados e ingresados a un sitio web www.midamos.org.py conformando un ranking. Hasta el momento 90 municipalidades han sido calificadas, en su mayoría en dos oportunidades, constituyendo aproximadamente el 40% de las municipalidades del país. Acreditación de servicios municipales El Modelo de Gestión de Calidad de los Servicios Municipales es una aplicación específica del Modelo Chileno de Gestión de Excelencia a la administración municipal. Constituye una guía de apoyo a las municipalidades para alcanzar los niveles de excelencia que requiere el país en materia de servicios municipales de calidad. El Sistema de Acreditación Municipal es el proceso mediante el cual se establece el nivel gestión de una municipalidad. La municipalidad es evaluada de acuerdo al Modelo Gestión de Calidad de los Servicios Municipales, y como resultado se reconoce el nivel calidad de gestión en que se encuentra y se incentiva su mejoramiento hasta niveles excelencia. Este proceso está concebido como sucesivos ciclos de mejora.

de de de de

El Modelo de Gestión de Calidad de los Servicios Municipales es un conjunto de prácticas que fueron definidas como claves para la gestión de una municipalidad de excelencia. Este modelo fue construido por la SUBDERE, la Asociación Chilena de Municipalidades y ChileCalidad, con la participación de actores y expertos de la gestión municipal. Los siete criterios del Modelo de Gestión de Calidad de los Servicios Municipales contienen 25 subcriterios y éstos a su vez 110 elementos de gestión o prácticas específicas de la gestión municipal. La organización responsable de evaluar externamente a las municipalidades y validar su nivel de gestión es la Comisión Nacional de Acreditación Municipal, quien tiene la autoridad para entregar a los municipios los reconocimientos en los distintos niveles del Sistema de Acreditación Municipal. Esta Comisión es un organismo independiente desde el punto de vista técnico, que depende administrativamente de la SUBDERE, entidad del gobierno central responsable de programas a nivel territorial. La Comisión está compuesta por tres niveles organizacionales: El Consejo de Acreditación, la Secretaria Ejecutiva y los evaluadores. 6

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

El Consejo de Acreditación está integrado por representantes del gobierno central, las municipalidades y la sociedad civil. En este sentido, desde el punto de vista del perfil del agente certificador, podría considerarse como una institucionalidad mixta, con componentes públicos y privados. La participación es voluntaria, en el sentido de que las Municipalidades acuerdan voluntariamente incorporarse al programa. El nivel de acreditación otorgado por el Consejo de Acreditación, torna público la calidad de gestión existente en la municipalidad y permite que los diferentes actores interesados – autoridades, ciudadanía, partidos políticos, gerentespuedan contar con una información de desempeño relevante. IWA 4 El IWA 4 es una guía establecida en el marco de la organización ISO para facilitar la aplicación de las normas ISO 9001:2000 a los gobiernos locales. El International Workshop Agreement (IWA) es un mecanismo utilizado por la ISO para posibilitar el desarrollo de documentos oficiales de la ISO por fuera de los comités técnicos que normalmente tienen esta responsabilidad. Su carácter es provisorio, ya que deben ser reconfirmados posteriormente. En este caso, un taller realizado en México en el 2005 con la participación de 83 delegados, en representación de gobiernos locales, universidades, organismos de normalización, y especialistas en sistemas de gestión de calidad de 18 países, aprobó el IWA 4. El IWA 4 no substituye a la norma ISO 9001 sino facilita su aplicación a un sector específico. Estos lineamientos no agregan, cambian o modifican los requisitos de la norma, y no se utiliza para la certificación, sino para la mejor utilización de la norma. Describe ejemplos puntuales que facilitan la interpretación y cuenta con un mapa de procesos en el anexo A que proporciona una guía para organizar la gestión de los gobiernos locales. En su anexo B se encuentra una herramienta integral de auto diagnóstico para los Gobiernos Locales que contiene parámetros de medición de los elementos mínimos que un gobierno local no puede dejar de tener y que enriquece la aplicación de las directrices. En el sistema ISO la certificación es realizada por una tercera parte, una empresa privada de certificación, habilitada por un organismo nacional de acreditación. Las normas son elaboradas por la organización ISO que es una federación de organismos nacionales de estandarización. Las normas, aprobadas oficialmente por ISO, son consensuadas entre actores relevantes públicos y privados a través de un proceso participativo en los comités técnicos de la organización. Las instituciones se someten voluntariamente a la auditoría, que puede concluir en el otorgamiento de la certificación. Índice de Transparencia Municipal Es una herramienta diseñada para identificar las condiciones institucionales y las prácticas que puedan conducir a elevar o disminuir los riesgos de corrupción en la gestión de las municipalidades en Colombia. 7

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

El Índice de Transparencia Municipal, ITM, indaga sobre el cumplimiento de normas y estándares de gestión, la visibilidad que dan a sus actos las autoridades y los procesos de promoción de la participación, con el fin de establecer el nivel de riesgo de corrupción que configuren estas prácticas. La hipótesis fundamental del Índice señala que el riesgo de corrupción disminuye si se cumplen las normas, existen contrapesos sociales y se hace visible la información. La medición es realizada por Transparencia Colombia, por lo que pertenece a la categoría de las realizadas por tercera parte independiente. La medición es voluntaria, en el sentido de que las municipalidades se someten voluntariamente la calificación. En el período 2005-2006 han sido calificadas 252 municipalidades. Los criterios de medición están previamente definidos, con base a factores, indicadores, ponderaciones y técnicas estadísticas para establecer los rangos de transparencia incluyendo el valor ideal o máximo del índice. Los resultados son publicados conformando un ranking de municipalidades. 4. Conclusiones La institucionalidad y particularmente la estructura de gobernanza de los sistemas de medición de desempeño juegan un rol fundamental en los efectos que puedan generar en la gestión pública. La medición a cargo de terceras partes independientes permite dar credibilidad a los resultados. Se evitan las distorsiones propias de la autoevaluación, como la tendencia a evitar las informaciones que reflejan un desempeño deficiente o realzar solamente aquellas que reflejan un desempeño favorable. Las mediciones que se realizan con acuerdo voluntario de las instituciones evaluadas, ganan en transparencia en la medida en que los evaluadores pueden acceder directamente a documentos y entrevistas con funcionarios para recopilar las evidencias que sustenten las mediciones, lográndose además mayor calidad en la información. La separación de ciertas funciones, asignadas a organismos diferentes, contribuye a evitar el conflicto de intereses en el proceso de medición. Las funciones de elaboración de la norma o metodología, la función de acreditación de las entidades calificadoras o certificadoras, y la función de calificación o certificación de las entidades evaluadas son asignadas a instituciones diferentes. Estas últimas también no pueden tener contratos o prestar asistencia técnica a las municipalidades evaluadas para evitar conflicto de intereses y dar credibilidad a la medición. El proceso participativo de elaboración de las normas contribuye a lograr mayor legitimidad y aceptación a los estándares y de la metodología utilizada para la calificación o certificación. No obstante deben llevarse en cuenta las limitaciones de un sistema de medición de desempeño. La información de desempeño siempre tiene un cierto grado de ambigüedad, en la medida en que puede ser objeto de diversas interpretaciones llevando en cuenta el contexto y las relaciones de causalidad, así como hay una cierta ambigüedad en los objetivos gubernamentales. Aunque la institución pública los tenga claramente explicitados, siempre existen diversos objetivos que emergen de la presión de distintos actores que la institución no puede ignorar. No puede evitarse, además, que los diversos actores – políticos, gerentes públicos, sociedad civil- quieran utilizar la información para favorecer sus intereses.

8

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

Sin embargo, la información proporcionada por la medición de desempeño es una manera de mejorar la comunicación política, elevar el nivel de la discusión, posibilitar que los actores se focalicen en los resultados de los programas de gobierno y logren mejores decisiones acerca de que debe hacerse, cuanto gastarse, y como el trabajo puede mejorarse. Bibliografía Alonso, W. and Starr, P. (eds.) (1987) The politics of numbers, New York, Russell Sage Foundation. Arndt, C. (2008) The politics of governance ratings, en International Public Management Journal 11:3 Arndt, C. and Oman. C. (2006). Uses and Abuses of Governance Indicators. Paris: Development Centre, OECD. Askim, J. (2007) How do politicians use performance information? An analysis of the Norwegian local government experience, International Review of Administrative Sciences 73:3 Banco Mundial (2006) Hacia la Institucionalización de los sistemas de Monitoreo y Evaluación en América Latina y el Caribe: Actas de una Conferencia del Banco Mundial/Banco Interamericano de Desarrollo, Banco Mundial: Washington DC. Besançon, M. (2003) Good Governance Rankings: The Art of Measurement.World Peace Foundation Reports, vol. 36, Cambridge: WPF. BID-PRODEV / CLAD (2007) Modelo Abierto de Gestión para Resultados en el Sector Público, Washington DC: BID Diaye, Marc-Arthur; Ghabri, Salah; Greenan, Nathalie; Pekovic Sanja(2007), ISO 9000 Norm as a Club Good: Network Effect Evidence from the French Employer DiMaggio, P. and Powell, W. (1991) The Iron Cage Revisited: Institutional Isomorphism and Collective Rationality in Organisational Fields” en The New Institutionalism in Organisational Analysis. London and Chicago: The University of Chicago Press. Foundations of Program Evaluation: Theories of Practice (1991) Shadish, William R.;Cook, Thomas D. ; Leviton, Laura C., Newbury Park, Sage Publications Frederickson, David G., Frederickson, H. George (2006) Measuring the Performance of the Hollow State Georgetown University Press General Accounting Office (1995) Managing for results. Experiences Abroad: Suggest Insights for Federal Management Reforms. Hagen, John (1967) Program budgeting. CSE Report No.7 Hatry, Harry. 1999. Performance Measurement: Getting Results. Washington, DC: The Urban Institute. Hood, C., Beeston, C. and Dixon, R. 2007. Rating the Rankings: Assessing International Rankings of Public Service. Paper prepared for the IPMN Workshop, Ranking and Rating Public Services. Worcester College, Oxford, 7-9 August 2007. Ingraham, Patricia W.; Laurence E. Lynn, Jr.(2004) The Art of Governance Analyzing Management and Administration Georgetown University Press Lynn, Laurence E., Heinrich, Carolyn J. (2000). Governance and Performance. New Perspectives Kaufmann, D., A. Kraay and M. Mastruzzi. 2006. Governance Matters V: Governance Indicators for 1996-2005.Washington, D.C.: World Bank Institute.

9

XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Salvador de Bahia, Brasil, 27 - 30 oct. 2009

Kaufmann, D., A. Kraay and M. Mastruzzi. 2007. Governance Matters VI: Aggregate and Individual Governance Indicators for 1996-2006. Washington, D.C.: World Bank Institute. Kettl, D. and Kelman, S. (2007) Reflections on 21st century government management, Washington DC, IBM Center for the Business of Government Lynn, Laurence E., Jr., Heinrich, Carolyn J., Hill, Carolyn J. (2001) Improving Governance A New Logic for Empirical Research Moynihan, Donald P. (2008) The Dynamics of Performance Management Constructing Information and Reform Georgetown University Press Nguyen, Hoang-Phuong Performance budgeting: Its rise and fall Maxwell School of Citizenship and Public Affairs, Syracuse University November 2007 Novick, David, ed Program budgeting, program analysis and the Federal budget Cambridge, Harvard University Press 1967 Radin, B. (2006) Challenging the performance movement: accountability, complexity and democratic values, Washington DC, Georgetown University Press Souissi, Mohse. A Comparative Analysis between the Balanced Scorecard and the French Tableau de Bord Fayetteville State University International Business & Economics Research Journal – July 2008 Volume 7, Number 7 Terlaak, Ann Order (2007) without law? The role of certified management standards in shaping socially desired firm Behaviors. Academy of Management Review, Vol. 32, No. 3, 968–985. Toffel, Michael W.(2006) Resolving Information Asymmetries in Markets: The Role of Certified Management Programs. Harvard Business School. Biografía Eduardo Bogado Tabacman, especialista en gobiernos locales. Master en Sociología Política por la Pontificia Universidad Católica de San Pablo, Brasil. Casilla de Correo 1788 Asunción Paraguay Tel: 595-981409381 Email: [email protected]

10