ElPr oces ami ent o S er i e:L i neami ent ospar a l agener aci óndees t adí s t i ca
El procesamiento
Otros documentos de la serie: •
Administración de Proyectos Estadísticos
•
Diseño Conceptual
•
Diseño de Cuestionarios
•
Operativos de Captación
•
La Presentación de Resultados
•
Presentación de Cuadros
•
Presentación de Gráficas
El procesamiento
Presentación El Instituto Nacional de Estadística, Geografía e Informática (INEGI), en el ámbito de sus atribuciones, ha definido e instrumentado estrategias orientadas a consolidar el Sistema Nacional Estadístico y de Información Geográfica (SNEIG), lo que permitirá avanzar en el mejoramiento de la calidad de los datos y la eficiencia del servicio público que da respuesta a la demanda social de información. En ese sentido, la determinación de la normatividad constituye una estrategia esencial para regular la operación del sistema, estandarizar los procesos y homologar los conceptos comunes. En particular, sobre el campo estadístico y para facilitar el cumplimiento de la normatividad se desarrolla la serie Lineamientos para la Generación de Estadística Básica, conformada por documentos sobre el diseño y ejecución de proyectos estadísticos, cada una de las fases del proceso y sobre actividades específicas de esas fases. Este documento, El Procesamiento, es parte de esa serie y su propósito es facilitar las decisiones relacionadas con la captura codificación, validación y explotación de información. A fin de mejorar sus contenidos, se ha previsto la actualización periódica del documento, por lo cual el INEGI agradecerá los comentarios y sugerencias que contribuyan a ese propósito.
El procesamiento
Grupo de trabajo: El personal que colaboró en la integración de este documento pertenece a diferentes áreas generadoras de estadísticas, como a continuación se menciona: Encuesta de Opinión y Encuestas Especiales (DGCNEE). Nayeli del Carmen Lara Carrillo José Encarnación Mar Granda Departamento de Control y Análisis de Congruencia de Información (DGCNEE). María Luisa Meza León Subdirección de Desarrollo de Sistemas de Información Estadística (DGITI). Xavier Balderas Lemus Subdirección de Apoyo al Desarrollo de Sistemas (DGITI). Jaime Esqueda Martínez Coordinación de Proyectos Informáticos (DGE). Mario Aurelio Becerril González Coordinación de Sistemas de Información (DGE) José de Jesús Torres Cervantes Subdirección de Sistemas Operacionales (DGE) Eric Ricardo Zavala García Subdirección de Procesos de Software (DGE) Juan Manuel García Ledesma J. Martín Falcón Muñoz El área coordinadora fue la Dirección de Normatividad (DGAIN, DGE) con la participación de: J. Walter Rangel González Gabriel Alcolea Herrera María de Jesús Guijarro Soto Para comentarios y aclaraciones con: Gabriel Alcolea Herrera
[email protected]
El procesamiento
Índice Introducción
VII
1. Generalidades
1
2. Conceptos básicos
3
3. Condicionantes
5
4. El procesamiento 4.1. Lineamientos para el diseño del procesamiento de Información 4.1.1. Determinación del soporte de operación 4.1.2. Determinación de procedimientos para el almacenamiento y control de instrumentos de captación 4.1.3. Determinación de procedimientos y sistemas Informáticos 4.1.4. Diseño, desarrollo y pruebas de manuales y eventos de capacitación 4.2. Lineamientos para la ejecución de sistemas 4.2.1 Preparación general 4.2.2. Captura y codificación 4.2.3. Validación 4.2.4. Explotación de archivos de microdatos 4.2.5. Cierre de las actividades del procesamiento
7
19 21 21 22 22 23 23
Glosario
25
Bibliografía
29
8 8
10 12
El procesamiento
El procesamiento
Introducción Entre la diversidad de actividades en un proyecto de generación de información estadística, se encuentran las consideradas en las fases de diseño y ejecución del procesamiento de información, orientadas a la captura, codificación, validación, integración y explotación de archivos de microdatos con la calidad y oportunidad requeridas, conforme a los objetivos del proyecto. En su diseño se consideran estrategias que exigen una cuidadosa sistematización y la calendarización de cada una de las actividades, los aspectos logísticos y administrativos del procesamiento de datos, el reclutamiento del personal y su capacitación. En ellas se toman en cuenta las actividades desarrolladas en otras fases del proceso de generación de estadísticas, con las que interactúan estrechamente, como son las de diseño conceptual, de diseño estadístico y las estrategias para el operativo de captación. Sobre estas actividades generales consideradas en las fases del diseño y ejecución del procesamiento, se presenta en este documento una primera propuesta de lineamientos técnicos.
VII
El procesamiento
VIII
El procesamiento
1. Generalidades El procesamiento de la información se define como una serie de actividades para preparar los archivos de datos, asegurándose que sean congruentes y ordenados para su aprovechamiento. Dichas actividades implican la transferencia de los datos a medios computacionales, la eliminación de inconsistencias, su organización en archivos y explotación. Esta fase se relaciona de manera directa con la correspondiente al “diseño de la captación y el procesamiento”, y responde a la necesidad de que las estrategias, los sistemas informáticos y los procedimientos se definan con la anticipación suficiente para no afectar los resultados del proceso en su conjunto.
En los censos, por ejemplo, los sistemas informáticos, según las recomendaciones internacionales deben, estar listos un año antes del operativo.
1
El procesamiento
El procesamiento en su momento de ejecución lo conforman las siguientes macroactividades: Captura y codificación. Consiste en transferir a medios magnéticos los datos captados en campo, para garantizar la integridad de la información, proporcionar los elementos para la verificación de cobertura y posteriormente llevar a cabo la actualización de los catálogos. Validación. Consiste en detectar omisiones, inconsistencias, valores fuera del rango de aceptación, multirrespuestas no válidas y respuestas a preguntas no aplicables; problemas que son objeto de una solución previamente determinada bajo criterios específicos para cada una de las preguntas y opciones de respuesta. Disposición de archivos de microdatos. Consiste en preparar los microdatos de manera que puedan utilizarse para responder a los objetivos esenciales del proyecto, en términos de proporcionar estadísticas y archivos de microdatos sobre la temática del mismo. La ejecución de estas macroactividades implica que previamente se haya realizado la planeación, análisis, diseño e implementación de los sistemas informáticos, así como la definición de la estrategia general de procesamiento, detallando la organización, el control y evaluación de los procedimientos específicos a aplicar en el procesamiento.
2
El procesamiento
2. Conceptos básicos A continuación se presenta la definición de conceptos relevantes para la comprensión de los capítulos siguientes. Microdato. Cada uno de los datos referentes a cada una de las unidades de observación obtenidos en un proyecto de estadística. Archivo de microdatos. Es un arreglo matricial de microdatos en medios computacionales. Instrumento de captación. Formato electrónico o en papel que se utiliza para el requerimiento y el registro de los datos correspondientes a las unidades de observación, previamente definidos en el marco conceptual de un proyecto estadístico1. Error de muestreo. Es la diferencia entre el valor de un estadístico y el valor de su parámetro dentro de las restricciones del diseño de la muestra. Errores ajenos al muestreo. Son inconsistencias que se cometen durante las fases de diseño conceptual, captación y procesamiento. Codificar. Acción de asignar identificadores alfanuméricos a las respuestas de las preguntas abiertas en un orden establecido. Captura. Transferir a medios computacionales la información registrada mediante instrumentos de captación. Criterios de validación. Conjunto de reglas de naturaleza conceptual y estadística que sirven de base para la identificación y solución de las inconsistencias, omisiones, valores fuera de rango y multirrespuestas no aplicables, que se presentan en los datos estadísticos. Microvalidación (Validación a nivel registro). Conjunto de actividades que se realizan para identificar las inconsistencias en la información a nivel registro, las cuales tienen como fundamento la confronta de los criterios de validación con cada uno de los registros del archivo de microdatos. Macrovalidación (Validación de registros agrupados). Conjunto de actividades que se realizan para identificar comportamientos improbables, de estructura o de valor, en estadísticas generadas con base en un archivo de microdatos. Imputación. Asignación de “valores” rectificados o estimados para cubrir ausencias de respuesta o en sustitución de valores de respuesta no válidos o inconsistentes.
1
INEGI. Dirección de normatividad. “Lineamientos para el diseño de instrumentos de captación”.
3
El procesamiento
4
El procesamiento
3. Condicionantes En un proyecto estadístico, el procesamiento responde a necesidades derivadas de las características conceptuales y de cobertura de la captación, de las modalidades tecnológicas utilizadas, así como del tiempo y recursos disponibles. Estas características constituyen condicionantes que deben tomarse en cuenta en la estrategia y programación de procedimientos. Las condicionantes esenciales son: • Presupuesto y programa del proyecto. En todo proyecto de generación de información estadística es fundamental conocer el monto de los recursos disponibles y el tiempo que se tiene para presentar resultados, y con base en ello determinar como se procesa la información. • Instrumento de captación. o Cantidad total de formatos de captación. Esta característica cuantitativa impacta, en aspectos presupuestales, de organización, control y seguimiento de las actividades. o Cantidad y características de preguntas cerradas y abiertas en el instrumento de captación. Conforme a esta condicionante es que pueden diferir las necesidades técnicas de la captura, codificación, validación e integración de archivos de datos. o Catálogos para codificar las preguntas abiertas. Es necesario conocer si los catálogos están actualizados o si los catálogos se conforman con base en los recabados en la captación, ya que esta diferencia implica estrategias distintas en la codificación y en el manejo de los catálogos, así como en la actualización de éstos. o Criterios de validación a ser aplicados. Las características de los criterios, definidos durante la fase de diseño conceptual, repercuten en las necesidades técnicas, metodológicas y en el desarrollo de sistemas informáticos para la validación y en los criterios establecidos en el diseño del procesamiento (relaciones entre registros). • Modalidad de la captación. El procesamiento de la información implica diferencias programáticas, técnicas y presupuestales, según el medio de presentación de los instrumentos de captación, y las modalidades de la captación: El Instrumento de captación se puede ser: o Impreso o Electrónico. En proyectos concretos es factible la aplicar la combinación de estas modalidades, según las necesidades impuestas por las características del entorno de la captación. • Continuidad en la captación. Dependiendo de la frecuencia en la captación de los datos, puede ser necesario adecuar los procedimientos y criterios en cada nueva aplicación del proceso. Esta necesidad difiere si se trata de un proyecto de captación continua, periódica, eventual o por única vez.
5
El procesamiento
6
El procesamiento
4. El procesamiento El procesamiento de información implica dos grandes grupos de actividades: las relacionadas con el diseño de estrategias y procedimientos, los cuales se desarrollan a continuación y las referentes a la aplicación de sistemas y equipamiento que se exponen en el siguiente apartado. En el siguiente diagrama se muestran las etapas que se llevan a cabo en el procesamiento
7
El procesamiento
4.1. LINEAMIENTOS PARA EL DISEÑO DEL PROCESAMIENTO DE INFORMACIÓN El diseño del procesamiento, como se muestra en el diagrama 2, debe de tomar en cuenta los condicionantes del proyecto, establecidos en las fases anteriores, así como también diseñar el archivo de microdatos procesado para que sea compatible su uso en los procedimientos de las siguientes fases.
4.1.1 Determinación del soporte de operación Con base en los condicionantes del proyecto, así como en las fases previas al procesamiento, es necesario definir las estrategias para éste, considerarando los procedimientos y desarrollo de sistemas informáticos, como para su ejecución, además de, preveer los recursos humanos tecnológicos y materiales así como la organización para el trabajo, la programación de actividades y la presupuestación. RECURSOS TECNOLÓGICOS, EQUIPAMIENTO Y RECURSOS MATERIALES Analizar alternativas y definir sobre el tipo de equipo de cómputo, el software, la asistencia técnica profesional que se considere necesaria, así como, las formas de adquisición, de todos ellos. Prever el alquiler, licitación, adquisición de: locales, mobiliario y equipo para oficinas, equipo de cómputo, periféricos e insumos informáticos y el material de papelería que se requiera durante el procesamiento.
8
El procesamiento
PROGRAMACIÓN Consiste en identificar con detalle todas las actividades a realizar, su secuencia e interrelación. Con base en ello, se establece su calendarización, con fechas de inicio y término, incluyendo holguras razonables. Así mismo, hay que considerar los tiempos para la adquisición o programación del software y las fechas cruciales para la presentación de resultados, de manera que no se ponga en riesgo la oportunidad de la información. ESTRUCTURA OPERATIVA Identificar las necesidades de recursos humanos, considerando las funciones y responsabilidades por puesto al igual que su representación en un organigrama, lo anterior debe estar planteado en forma clara y precisa basándose tanto en los objetivos como en las metas del proyecto, los cuales deben estar orientados a garantizar la cobertura, así como la calidad de la información. En la estructura está implícita cierta forma de gestión, supervisión y comunicación con los niveles inmediato inferior y superior. Es conveniente reducir en lo posible el número de niveles de jerarquía a fin de facilitar la comunicación directa entre el personal encargado del procesamiento y los administradores superiores. El personal debe ser el necesario para realizar las actividades del procesamiento, además de la organización, supervisión, seguimiento y control. • Determinación de funciones, puestos y organigrama. Para determinar las funciones hay que identificar todas las actividades que se van a realizar durante el procesamiento, conforme a sus características técnicas y definir las unidades orgánicas necesarias para su cumplimiento. La determinación de esas unidades orgánicas y la subdivisión por tramos de control y naturaleza de las actividades plantea un rango de responsabilidades o puestos, que se ilustran en un organigrama. Cada puesto puede contener una o más plazas e implica determinados requisitos de aptitud, habilidad, preparación y experiencia. En la definición de los puestos, se consideran las tareas o funciones, los deberes y responsabilidades del cargo, así como los requisitos que deben cubrirse para ocuparlo (perfil de puestos). o Organigrama. En el organigrama se establecen: − Unidades de dirección, coordinación y soporte. − Unidades orgánicas sustantivas y especializadas. − Subdivisión de unidades por tramos de control. − Niveles de jerarquía y subordinación. − Asesoría interna y externa (a nivel staff). • Plantilla de personal. De la cuantificación de los puestos de trabajo y plazas requeridas en las distintas unidades de cada nivel de la estructura operativa, se deriva el cálculo de la plantilla total. Para cada puesto se requiere definir el perfil correspondiente considerando: o Las características del puesto − Objetivo.
9
El procesamiento
− Adscripción. − Radicación. − Horario de trabajo. − Sueldo. o Los requisitos del participante − Escolaridad. − Conocimientos generales y técnicos. − Especificación de experiencia laboral. − Actitud. − Habilidades personales y técnicas. − Requisitos especiales. • Cargas de trabajo. Las cargas de trabajo se definen como la cuantificación del trabajo a realizar por un empleado durante una jornada laboral, lo cual es indispensable en el cálculo del personal requerido para cumplir cada una de las metas del programa de trabajo. La estimación de las cargas de trabajo se basa en: o El tiempo promedio requerido para la realización de cada actividad. o El número de turnos laborales. o Numero de personas dedicadas a cada actividad. Definidas las cargas de trabajo y los de tramos de control, es necesario revisar y en su caso ajustar la estructura operativa, según las necesidades de supervisión y control en los diferentes niveles con que cuenta la organización. Es recomendable la revisión de experiencias de eventos anteriores y considerar la complejidad de las actividades y las necesidades de comunicación. PRESUPUESTACIÓN Es un procedimiento técnico para determinar las necesidades de recursos financieros para que las actividades programadas puedan llegar a buen término. El presupuesto se elabora de acuerdo a la plantilla de personal establecida, el quipamiento requerido los materiales y servicios, asi como el tiempo para la presentación de resultados. 4.1.2. Determinación de procedimientos para el almacenamiento y control de instrumentos de captación Las actividades del procesamiento requieren un espacio para el almacenamiento del conjunto de instrumentos de captación impresos con los datos objeto de procesamiento, así como de los documentos necesarios para dicha actividad. En el caso de instrumentos de captación electrónicos se establecen otras actividades entre las que destaca el almacenamiento magnético de los cuestionarios y el acondicionamiento del espacio que estos requieren.
10
El procesamiento
INSTRUMENTOS DE CAPTACIÓN IMPRESOS Para facilitar el movimiento de los materiales y su estricto control, se requiere un espacio adecuado, la estanteria y su organización que permita el movimiento de personal, traslado y resguardo de los instrumentos de captación levantados en el operativo, de captación, que se describe a continuación. •
Sobre la recepción del material. Se deben precisar los procedimientos mediante los cuales serán entregados, los instrumentos de captación levantados a los responsables de su resguardo y control durante el procesamiento, que incluyan una entrega y recepción formal y ordenada, con deslinden de responsabilidades sobre la documentación. Es necesario el diseño de los formatos (específicos para cada proyecto) destinados al registro y control de la información recibida, concebido para su confronta con el formato del envío de operaciones de campo definiéndose lo procedente en casos de inconsistencias. El contenido de los formatos deberá considerar (si es que aplica): o La identificación completa del almacén: − Dirección postal. − Teléfono. − Croquis de la ubicación. o La identificación completa de la unidad de traslado (puede ser caja, bolsa, carpetas, sobres o fólder): − Total de unidades de traslado. − Folio consecutivo(único, preferentemente por entidad, asociándolo con la referencia geográfica). − Referencia geográfica. − Número de paquetes contenidos. − Relación de folios correspondientes a los paquetes contenidos. o La identificación completa de los instrumentos de captación: − Folio consecutivo. − Referencia geográfica. − Número de cuestionarios contenidos. − Relación de folios correspondientes a los instrumentos de captación (para el caso de encuestas, ya que es complicado localizar o identificar cuando se trata de grandes volúmenes de información).
•
Sobre la organización y control de los instrumentos de captación. Esta actividad debe prever el ordenamiento, resguardo y control de los instrumentos de captación y materiales de trabajo, lo cual se debe determinar de manera conjunta entre el personal administrativo y el de procesamiento. Para el control del flujo de instrumentos de captación, es necesario diseñar formatos de registro de movimientos y formatos de ubicación de los instrumentos de captación con al menos la siguiente información:
11
El procesamiento
Formato de Movimiento Usuario Fecha de consulta Actividad Folio de paquete Fecha de devolución
Formato de Ubicación Folio consecutivo Referencia geográfica Número de instrumentos de captación contenidos Relación de folios correspondientes a los instrumentos de captación ( para el caso de encuestas, ya que es complicado para grandes volúmenes de información)
Es necesario contar con un sistema informático que prevea la organización, control del material y verificar lo siguiente: o Avances de las actividades del procesamiento. o Flujo de los materiales, es decir, las entradas y salidas de los instrumentos de captación, o Ubicación física de cajas o paquetes. o La cobertura geográfica según el nivel de desagregación del proyecto. INSTRUMENTOS DE CAPTACIÓN ELECTRÓNICOS En el caso de este tipo de instrumento de captación, se requiere también de un espacio físico y estantes para almacenar los discos compactos, cintas magnéticas, diskettes, microfilms, microfichas, etc., bajo condiciones ambientales controladas. Cuando la información sólo se almacena en las computadoras entonces requiere de un espacio sufiente en el disco duro de la computadora personal o en el de los servidores con sus respectivos respaldos de seguridad. • Se deben resguardar los archivos de datos de todas las unidades de observación, elaborados por los entrevistadores capturistas y verificar que ellas estén incluidas sin duplicados, en la medida de lo posible. • Dependiendo del volumen y la diversidad de archivos individuales será necesario prever su integración en archivos temáticos. • Los archivos deben convertirse al formato del software que será utilizado en las siguientes etapas del procesamiento. • Se debe prever que los diferentes archivos temáticos con los datos de las unidades de observación sean compatibles entre sí, para obtener el archivo de datos capturado. • Debe considerarse la disponibilidad de la información para su consulta, respetando la confidencialidad de la información aunque sea para uso interno. 4.1.3. Determinación de procedimientos y sistemas informáticos CAPTURA Al momento de diseñar los sistemas de captura es conveniente distinguir entre instrumentos de captación impresos y electrónicos; en el primer caso, los datos se deben digitalizar a un medio magnético. En cambio en el caso de instrumentos de captación electrónicos la información se capta directamente en medios computacionales. En ambos casos la finalidad es contar con un archivo de datos útil para efectuar las macroactividades del procesamiento.
12
El procesamiento
Modalidades de Captura en instrumentos de captación impresos La captura de la información, a partir del instrumento de captación impreso, consiste en la digitación o escaneo de los datos y su transferencia a medios computacionales a través de las siguientes alternativas: • Captura a imagen. En la que el principal objetivo es transferir la información de los instrumentos de captación a medio magnético en el menor tiempo posible, limitándose los controles para conseguir que los registros capturados sean la imagen de los instrumentos de captación y sin dejar ninguna decisión a los capturistas. Esta captura a imagen se puede realizar con equipos propios de la oficina encargada del proyecto o contratar la captura con empresas de servicios. En cualquier caso, requiere rigurosos controles de calidad. Uno de ellos es la verificación o recaptura de la información, esta se puede llevar a cabo mediante una muestra de instrumentos de captación o verificar (recapturar) el 100% de éstos. • Captura inteligente. En la que se aprovecha la operación de transcribir la información a medio un magnético para realizar otras tareas adicionales, como son la codificación automática o asistida mediante menús, y una primera validación: verificaciones y controles de rangos, contrastes de la coherencia entre campos, realizada a través de tablas y diccionarios. La captura inteligente requiere una mayor capacitación del capturista, perdiéndose velocidad a cambio de lograr la integración de varias tareas en una. • Captura por escaneo óptico. Los procesos de escaneo óptico combinan equipo y programa de cómputo, para reconocer las formas de los caracteres impresos o escritos y almacenarlos como información que pueda ser leída por la computadora. Modalidades de Captura en instrumentos de Captación Electronicos La captura de la información obtenida mediante instrumentos de captación electrónicos, se lleva a cabo de manera simultánea con la entrevista, es decir, los datos se capturan utilizando una computadora o dispositivo móvil directamente para ser transmitidos e integrados al archivo de datos capturado, realizándose mediante: • Captura asistida por computadora. En general, se le puede llamar captura asistida por computadora al proceso en el cual la información no se concentra en un solo lugar, ya que se puede capturar en varios puntos y posteriormente enviarse a un servidor que puede ser (Lan, Wan, Web o un sitio FTP) en donde se concentra y se prepara para su organización, validación y análisis. Las ventajas de este tipo de captura son: que se hacen pocos gastos en infraestructura porque no se requieren preparar grandes centros de cómputo para su procesamiento. La posibilidad de pérdida de instrumentos de captación es baja y se facilita la reconsulta con la unidad de observación en caso necesario. La desventaja es que el sistema de captura requiere tener un módulo de validación que garantice la calidad de la información capturada. La captura asistida por computadora puede acortar el proceso de las transacciones varios días, mejorar la seguridad y reducir considerablemente pérdida de documentos. Es posible iniciar el flujo de trabajo en sólo unos minutos, además de permitir realizar el proceso de clasificación previa por parte del experto en contenidos. • Captura en línea. Es todo aquel proceso de captura en el cual se tiene un servidor (Local, Wan o Web), en él reside el sistema de captura (back end), y el capturista ve en su computadora la pantalla de captura (front end) en la cual pareciera tener localmente el sistema de captura, pero lo que tiene instalado sólo es un cliente, el cual se encarga de autentificarlo en el servidor, con lo que puede depositar en él la información capturada al momento en que se va digitando.
13
El procesamiento
La ventaja de este método de captura es que la información va quedando integrada conforme se va capturando, la desventaja es que se requiere una infraestructura de comunicaciones para comunicar a cada cliente con el servidor. CODIFICACIÓN En los Instrumentos de captación existen preguntas de respuesta precodificada y de respuesta abierta; para la codificación de últimas se ha desarrollado una serie de procedimientos mediante los cuales se asignan claves numéricas a las descripciones correspondientes; ésta puede ser en forma automática, manual o una combinación, es decir, semiautomática. Modalidades de la Codificación • Codificación manual. Asigna el código establecido en los catálogos mediante una persona encargada de esta actividad (codificador). • Codificación Automática. Intenta asignar los códigos establecidos en los catálogos electrónicos, mediante el programa de codificación. • Codificación semiautomática. Asigna los códigos a través de la codificación manual o automática. Con la codificación semiautomática se pretende lo siguiente: o Evitar (disminuir) al máximo la asignación manual. o Elevar (mejorar) la calidad en la asignación. o Homogeneizar la asignación de claves. o Contar con información para evaluar la calidad de los procesos. o Proporcionar a las áreas de diseño conceptual información para conformar y actualizar catálogos electrónicos. La codificación semiautomática está conformada por las siguientes actividades: o Codificación automática. o Codificación manual. o Captura de claves. o Integración de claves. o Generación de reportes. o Seguridad de la información. DEFINICIÓN DE PROCEDIMIENTOS DE CAPTURA Y CODIFICACIÓN Para prever una ejecución eficiente tanto de la captura como de la codificación es necesario definir lo siguiente: • Los mecanismos de distribución y asignación controlada de los instrumentos de captación e insumos de trabajo a los responsables de la captura y codificación. • Los procedimientos de consulta y solución sobre los problemas técnicos y conceptuales. • Los procedimientos sobre el visto bueno del trabajo terminado por cada capturista. • Los mecanismos de solicitud, recepción e instalación de los catálogos necesarios para la asignación de códigos.
14
El procesamiento
• Los procedimientos para la generación, asignación y captura de claves no codificadas en el proceso automático. • El esquema de integración de archivos de datos auxiliares y su incorporación a los catálogos. • Los mecanismos para el regreso al almacén de los instrumentos de captación, en forma ordenada y controlada. • Los procedimientos de liberación del archivo de datos, capturado y codificado. • El diseño de los manuales de procedimientos para la captura codificación. Desarrollo del Sistema de Captura Los requisitos esenciales del sistema de captura son: • Capacidad para efectuar la digitación, escaneo, transferencia y almacenamiento de los datos de instrumentos de captación. • Capacidad para generar archivos de microdatos manejables (en cuanto al tamaño, variables y registros), portables (formato estándar) y con nemónicos (etiquetas de los campos). • Capacidad para generar auditorías y reportes de fácil análisis. • Compatibilidad del archivo final con las siguientes etapas del procesamiento. • Seguridad informática tanto de acceso como en el resguardo de los datos. El diseño del sistema debe incluir: • Diseño de las pantallas de captura. • Diseño de la estructura del archivo de captura. • Diseño del subsistema de verificación de errores tipográficos, respetando al máximo la información proporcionada por el entrevistado y registrada por el entrevistador. Desarrollo del Sistema de Codificación El sistema debe atender los siguientes requisitos: • Contar con catálogos lo más completos posible. • Lograr un alto índice de calidad en la asignación. • Homogeneizar los criterios de asignación de claves. • Contar con información para evaluar y conocer la calidad de los procesos. • Contar con una herramienta que permita conformar catálogos electrónicos, para reducir paulatinamente la codificación manual y además proporcionar a las áreas de diseño conceptual información para incluir a los catálogos. Para lograr estos resultados es necesario que el sistema lo conformen los siguientes elementos: • Codificación automática. Es el conjunto de actividades que, a través de catálogos electrónicos, pretende asignar códigos a las descripciones, comparando éstas con los catálogos y asignándoles el código asociado. La codificación automática se realiza mediante dos rutinas: o Codificación directa. Se realiza cuando la descripción capturada es igual a la contenida en el catálogo de la variable a codificar, una vez reconocida esta información se asigna en forma directa la clave del catálogo a la descripción.
15
El procesamiento
o Codificación por palabra. Se realiza cuando no fue posible asignar una clave de manera directa debido a que la descripción no era igual a la contenida en el catálogo, para ello, busca que todas las palabras que componen la descripción estén contenidas en las descripciones del catálogo, al encontrarlas, asigna la clave. En caso de no existir correspondencia se aplicarán algunas otras rutinas para interpretar las descripciones y hacerlas compatibles con los catálogos, por ejemplo, búsqueda por palabras de acceso, si aún así no es posible codificarlas, se envían a un archivo para ser codificadas manualmente. • Codificación manual. Es el conjunto de actividades que a través de catálogos, asignar códigos a las descripciones, cotejando las descripciones con los catálogos y asignándole el código asociado. • Captura de claves. Es el grupo de actividades que tienen como finalidad introducir las claves asignadas manualmente a las descripciones reportadas por la codificación manual, evitando el corrimiento (traslape) de las claves y de ser necesario la construcción de nuevos códigos, los cuales deben generarse de acuerdo con los criterios establecidos. Estas claves son incluidas en catálogos auxiliares, los que deben ser revisados por parte de la oficina responsable (diseño conceptual) para decidir si son o no incluidas (las claves y sus descripciones) en los catálogos de codificación automática y así disminuir los procesos manuales. • Integración de claves. Es la unión de los archivos de registros codificados en forma automática con el archivo de registros codificados manualmente, se debe verificar que no falte alguna clave a las descripciones, en caso de faltar alguna se debe reportar, asignar y capturar la clave que le corresponda para poder concluir la integración de claves. • Generación de reportes. Es conveniente que se generen reportes de cifras de control, los cuales se obtienen por variable o grupos de variables; para facilitar su revisión, se sugiere que los reportes contengan la información de las estrategias aplicadas por variable, del codificador que asignó las claves (en caso manual), la región en la que se levantó la información y el total de instrumentos de captación que forma el grupo que se esté procesando. • Seguridad de la información. Se debe garantizar el acceso a los archivos así como a los instrumentos de captación, a través de claves que identifiquen al usuario de la información. La seguridad se debe establecer a través de elementos como la “encriptación” de los datos; aunado a esto se deben generar respaldos de la información mediante archivos por variable de las descripciones que fueron asignadas automáticamente y de archivos por variable de las descripciones asignadas manualmente. VALIDACIÓN La validación orientada a la detección y corrección de inconsistencias en los datos captados y capturados debe preverse en forma sistemática, bajo los criterios previamente establecidos y mediante métodos eficaces en la aplicación de soluciones. Tanto los criterios como los métodos y los sistemas manual y automático de validación, deben asegurar que no se modifiquen significativamente las distribuciones de las variables. Es necesario prever el resguardo del archivo de captura de datos sin validar, a fin de posibilitar su análisis comparativo con el que resulta después de la validación, de manera que puedan corregirse problemas derivados de la misma.
16
El procesamiento
DEFINICIÓN DE PROCEDIMIENTOS DE VALIDACIÓN En general, los procedimientos que bajo distintas modalidades deben preverse, son los siguientes: • Mecanismos de uso controlado de los archivos de datos, así como de asignación de los insumos de trabajo a los responsables de la validación. • Criterios para analizar los reportes sobre el impacto de la microvalidación y la macrovalidación. • Procedimientos de consulta y solución de problemas, tanto técnicos como conceptuales. • Esquemas de integración de archivos de datos auxiliares y validados. • Diseño de los manuales de validación. DESARROLLO DE SISTEMAS DE VALIDACIÓN El desarrollo del sistema debe posibilitar: • La identificación de errores, la cual se realiza confrontado todos los registros a depurar con el conjunto de los criterios de validación, se clasifican como: o Valores imposibles: Hay valores de variables, o combinaciones de valores, que son imposibles en la realidad, por razones biológicas, físicas o legales. Estas situaciones hay que detectarlas y eliminarlas. o Valores extraños: Son situaciones de difícil aparición en la realidad, pero que no se pueden rechazar de entrada, ya que son de interés poder detectarlas, aunque el problema está en definirlas de manera precisa, y de forma que no se vea plagado de presuntas situaciones raras. o Restricciones aritméticas: En datos numéricos existen reglas o condiciones aritméticas a las que los datos deben ajustarse. o Control del flujo de respuestas en el instrumento de captación: La mayor parte de los instrumentos de captación tienen reglas que rigen el flujo de respuestas a través del mismo. Los sistemas CAPI y CATI2 aseguran el flujo correcto de respuestas. En caso de no utilizar uno de estos métodos se deben utilizar criterios de flujo. • Según el tipo de variables a las que se apliquen, se puede distinguir entre criterios de validación cualitativos y criterios de validación cuantitativos. o Los criterios de validación cuantitativos se aplican a variables numéricas y generalmente se expresan como restricciones de rango o como igualdad o desigualdad entre funciones de las variables. o Los criterios de validación cualitativos se aplican a variables categóricas. Los criterios de validación se expresan con la lista de códigos válidos. Los criterios, generalmente de rechazo, se expresan como combinaciones de códigos de dos o más variables que son inaceptables o dudosas. • El tipo de solución, correspondiente a cada tipo de error, está condicionado al momento en el que se encuentre el proyecto; la captura, la codificación y la aplicación de algunos criterios de validación, pueden realizarse bajo distintos esquemas de orden y secuencia, considerando esta situación se presentan las siguientes alternativas:
2
CAPI de sus siglas en ingles Computer Asissted Personal Interview, CATI: Computer Assisted Telephone Interview.
17
El procesamiento
o Revisar el instrumento de captación original, con la perspectiva de que contenga el dato correcto y el rechazo en la verificación se haya debido a un error introducido durante la captura o conversión de datos. o Contactar al informante para obtener la respuesta correcta (o verificar que la respuesta reportada fue capturada correctamente). Esta es la solución ideal, pero suele ser inviable por motivos de costos y de retraso en la presentación de los resultados. o Corregir por parte de un análista capacitado para ello , usando los criterios de validación, para remover las inconsistencias, esta solución puede producir diferencias en la aplicación de criterios para problemas semejantes. o Asignar a los campos detectados con inconsistentes o con falta de respuesta, un nuevo valor permitido y consistente con los demás, utilizando sistemas computacionales de imputación y métodos estadísticos. o Asignar a la categoría de “no especificado” para cada variable. Esta alternativa desaprovecha la redundancia interna de los instrumentos de captación, y se deja en manos de los usuarios la responsabilidad de realizar los ajustes sin considerar la pérdida de confianza del usuario en la institución generadora. •
La generación de reportes sobre errores detectados y avances en la validación de datos individuales, es decir, estadísticas de marca de error, cambios relacionados con la validación y razones para la imputación, los cuales proporcionan información sobre la calidad de los datos.
•
La obtención de archivos de datos auxiliares para análisis y control, son necesarias en el análisis estadístico de la información agregada, evitando en lo posible que existan casos aberrantes en los datos individuales; adicionalmente estos archivos de datos pueden ser utilizados con la finalidad de encontrar fuentes de error y medir las implicaciones de los errores sistemáticos o problemas potenciales en el proceso de captación y procesamiento.
•
La recuperación de archivos en cada paso de la validación, permite un mejor seguimiento y monitoreo de los procesos, informes de auditorías, mediciones de rendimiento y estadísticas de desempeño.
EXPLOTACIÓN DE ARCHIVOS DE MICRODATOS La generación de la información, debe permitir el cumplimiento del requisito de oportunidad. Esto implica el desarrollo y prueba del sistema con suficiente anticipación, de manera que al disponerse de los archivos de datos validados, pueda procederse de inmediato a la generación de resultados de acuerdo al plan mencionado. Procedimientos para la Explotación de Archivos de Microdatos Para la explotación de resultados es necesario prever los siguientes aspectos: • Administración y control de los archivos de microdatos. • Asignación de insumos de trabajo a los responsables de la generación de resultados. • Consulta y solución de problemas técnicos y conceptuales. • Criterios para el análisis y evaluación de resultados previo a su liberación. • Mecanismos para la liberación de los resultados.
18
El procesamiento
Sistemas para la Explotación de Archivos de Microdatos El sistema debe ser capaz de: • Realizar acumulados sobre cruces de variables y su presentación automática en tabulados. • Realizar cálculos que permitan la generación de indicadores tanto simples como compuestos, incluyendo los algoritmos necesarios para su aplicación automatizada. • Realizar verificaciones automáticas de los cálculos. • Generar indicaciones de error. • Generación de archivos portables y exportables.
4.1.4. Diseño, desarrollo y pruebas de manuales y eventos de capacitación Previo y con suficiente anticipación a los eventos de capacitación se realizan las pruebas de claridad, precisión y orden lógico del material, para que sus resultados puedan evaluarse, hacer las modificaciones oportunas y, de ser necesario, realizar pruebas adicionales. MANUALES DE TRABAJO Los manuales son documentos sencillos y didácticos (con ilustraciones y esquemas) que tienen la finalidad de apoyar el desempeño de las actividades. En ellos se especifican los procedimientos, secuencias de actividades, las responsabilidades de su aplicación y las tareas de los diferentes funcionarios que participarán en el procesamiento. Aunado a esto, se deben considerar los procedimientos de supervisión y revisión, así como los insumos de apoyo (formatos, listados, materiales cartográficos, etc.) y las soluciones que deben aplicarse en caso de problemas. Para lograr las características antes mencionadas se debe contar con el apoyo de personal especializado en el tema. Los tipos de manuales a elaborar, entre otros, son: • Para los usuarios de sistemas informáticos (captura, codificación y validación). • Guía de navegación. • Procedimientos de ejecución. Se debe contemplar la existencia de por lo menos un ejemplar de cada manual en su respectiva área de aplicación para ser consultado en caso necesario. PROGRAMA DE CAPACITACIÓN La capacitación es la preparación de acciones cuyo objetivo es proporcionar los conocimientos y desarrollar las habilidades necesarias del personal que participará en las distintas actividades del procesamiento, así como concientizar al personal de la importancia de sus obligaciones y la forma como debe cumplirlas, con el fin de garantizar la correcta aplicación de los procedimientos. • Diseño de los cursos. El diseño de los cursos debe estar encaminado a homogeneizar los conocimientos del personal y considerar todas las actividades que se realizarán en cada uno de los puestos, a fin de constituirse como un medio eficiente y sistemático para iniciarlos en sus actividades.
19
El procesamiento
Es necesario diseñar el curso en dos vertientes: una teórica y otra práctica, así como definir los siguientes elementos: o Objetivo de los cursos. o Perfil del personal a capacitar. o Personal encargado de la capacitación. o Definición de contenidos. o Duración y periodo de la capacitación. o Lugar de la capacitación. o Equipo necesario. o Prácticas de capacitación. o Calendario para los cursos. • Diseño de la evaluación de la capacitación La evaluación debe de considerar: el proceso enseñanza-aprendizaje, el diseño del curso, el desempeño del instructor, la organización y contenidos del evento. Es importante que la evaluación se realice de manera objetiva y permita medir tanto los aciertos como las áreas a mejorar en el diseño y desarrollo de los cursos de capacitación.
20
El procesamiento
4.2. LINEAMIENTOS PARA LA EJECUCIÓN DE SISTEMAS Si bien el diseño del procesamiento es importante, su ejecución también lo es, ya que a través de la serie de actividades que en ésta se realizan, se obtienen los archivos de información definitivos que fueron desarrollados conforme a los requerimientos establecidos para la presentación de resultados. 4.2.1 Preparación general La eficacia del procesamiento depende en gran medida de la preparación general de sus actividades, las cuales se enlistan a continuación: • Instalar y acondicionar los espacios físicos para realizar todas las actividades previstas para la fase del procesamiento. • Control de infraestructura (sistema de ventilación; sistema de iluminación; sistema de seguridad). • Control de los procesos de calidad. • Desarrollar o adquirir todos y cada uno de los sistemas informáticos o el software necesarios para el procesamiento. • Realizar las pruebas necesarias de los sistemas y adecuaciones en el caso pertinente. • Elaborar manuales y documentos de trabajo. • Resguardar y asegurar el conjunto de instrumentos de captación objeto de tratamiento, así como los documentos necesarios en el procesamiento. • Controlar el flujo de información entre las actividades que conforman el procesamiento, así como al interior de cada una de estas actividades. • Control de los flujos del proceso en caso de contingencias. INSTALACIÓN Y GRUPOS DE TRABAJO Una vez que se cuenta con los equipos, accesorios, mobiliario y sistemas informáticos necesarios para la realización del procesamiento, se procede a la asignación e instalación y comprobación de su buen funcionamiento. Así mismo, realizar el conjunto de pruebas que fueron diseñadas para su aceptación y puesta en marcha, lo cual se debe hacer respetando al máximo el calendario programado. Se organizan los grupos de trabajo conforme a lo planeado en el diseño de la estructura operativa, asignándoles el equipo y mobiliario necesarios para la realización de sus actividades. CAPACITACIÓN De acuerdo a la estrategia establecida en el diseño de la capacitación, y ajustándose al calendario programado, se organizan los eventos de capacitación en los diferentes niveles de la estructura que así lo requieran, se integran los grupos con el personal que fue seleccionado según su nivel y funciones a desempeñar, buscando que el grupo sea lo más homogéneo posible, de manera que reciban la información necesaria por parte del instructor asignado, el que previamente fue actualizado en distintas técnicas de instrucción. ALMACENAMIENTO Y CONTROL DE INSTRUMENTOS DE CAPTACIÓN En esta actividad se reciben y verifican los paquetes de instrumentos de captación que provienen de campo, cotejando que el contenido de éstos coincida con los datos de las etiquetas de cada paquete,
21
El procesamiento
asegurando que no hayan sido afectados por los factores climáticos, para posteriormente ser organizados y distribuidos en los espacios asignados para su ubicación, conociendo en todo momento el sitio en que se encuentra cada paquete y asegurando que no se interrumpa el flujo de instrumentos de captación a la sala de captura, de escaneo o de comunicación, para su envío a oficinas concentradoras. Después de que se han realizado todas las macroactividades de la fase de procesamiento, se transportan para su resguardo legal a las bodegas destinadas para ello, verificando que la totalidad de los instrumentos de captación coincidan en número para concluir este conjunto de actividades. 4.2.2. Captura y codificación La ejecución de esta macroactividad conlleva un conjunto de acciones previas a la captura de la información, iniciando con la instalación y pruebas de los equipos y sistemas informáticos, verificando que las versiones de los sistemas que se han instalado sean las adecuadas y comprobando el buen funcionamiento de las comunicaciones para la transmisión de información a oficinas concentradoras. Aunado a estas acciones es necesario solicitar los catálogos para la codificación manual de la información (tanto para los documentos impresos como para los electrónicos). Otro conjunto de acciones que se llevan acabo, en el momento mismo de la captura de los instrumentos de captación, consiste en solicitar al encargado del almacén el envío de las unidades de traslado que contienen los instrumentos de captación a ser capturados, la asignación del equipo de cómputo a las capturistas en caso de instrumentos de captación en papel, o en el caso de captura óptica la distribución de escáner, así como las cargas de trabajo tanto para la captura como para la verificación o recaptura, en el caso de instrumentos de captación impresos, o la verificación de las preguntas abiertas en el caso de instrumentos de captación ópticos. La captura vía Web debe verificar la autentificación del servidor de aplicaciones y la del cliente en uso, así como instrumentar la seguridad informática garantizando al usuario que la información brindada es prácticamente indescifrable conservando así su carácter de confidencial. La captura en el sitio con instrumentos electrónicos móviles, debe asegurar el respaldo en forma y tiempo auditado por sus respectivos reportes. El hecho de ingresar los datos al sistema de captura implica que se provea con información al sistema de codificación, el cual genera un conjunto de reportes sobre el número de asignaciones efectuadas por la codificación automática y otros con las codificaciones que no se pudieron realizar. Quedando dos actividades por cumplir, la primera de ellas es la liberación del archivo de datos y la segunda realizar un respaldo de toda la información capturada. 4.2.3. Validación Las actividades previas a la validación constituyen un conjunto de pasos que se inician con la solicitud de los criterios de validación, la instalación del sistema, la verificación de la versión a utilizar, las pruebas de funcionamiento y volumen. Aunado a éstos, se debe contar con información de proyectos anteriores con respecto al comportamiento de las variables que serán validadas. Al ser ingresada la información al sistema de validación da comienzo una serie de comparaciones entre los valores capturados, según los criterios de validación, generando reportes (sobre consistencia e integración geográfica, multirrespuestas, códigos fuera de rango, la precisión y el número de asignaciones realizadas), los cuales después de revisarlos brindan información sobre la calidad de los datos. Posteriormente, verificar el archivo de datos y aplicar métodos de imputación, además de resguardar y enviar el archivo de microdatos validado a los procesos siguientes.
22
El procesamiento
SOBRE ACTUALIZACIÓN CARTOGRÁFICA En los proyectos de generación de estadística de gran tamaño, con cobertura geográfica amplia o desglose geográfico importante, se debe: • Verificar la referencia geográfica de los instrumentos de captación, cambiándoles la referencia geográfica si se detecta alguna corrección pertinente. • Modificar el marco geográfico por situaciones específicas en los cuales puede ampliarse la desagregación de unidades geográficas como puede citarse a los AGEB o cambiar la referencia por situaciones específicas como el caso de desastres naturales. 4.2.4. Explotación de archivos de microdatos Disponiéndose del archivo de microdatos validado, se realizan los ajustes necesarios para que el archivo de microdatos corresponda a la estructura del marco conceptual, permitiendo así la generación de resultados. Para llevar a cabo esta macroactividad se debe: • Verifica la consistencia estructural de los archivos de microdatos (el número de registros, variables y las denominaciones asignadas según el sistema de códigos utilizado). • Verificar la existencia de las variables operativas para enlazar los archivos de microdatos. • Integrar los archivos para generar y analizar resultados preliminares. • Generar los resultados definitivos con sus respectivos archivos de microdatos. • Liberar la información con sus correspondientes respaldos y enviando los archivos de microdatos a los procesos siguientes. Cabe mencionar que se debe contemplar la consulta y solución de problemas técnicos-conceptuales en los requerimientos especiales de usuarios. 4.2.5. Cierre de las actividades del procesamiento Dentro de las actividades del procesamiento se encuentran las correspondientes al cierre de dicha fase • Enviar los archivos de microdatos y los formatos de captación para su resguardo legal . • Enviar los archivos de microdatos a los procesos siguientes. • Elaborar memoria del procesamiento. • Respaldo de los sistemas informáticos, información en medios computacionales para su archivo (debe estar contemplada la actualización del medio de almacenamiento). • Desinstalación de sistemas informáticos. • Entrega de materiales y equipo utilizados en el procesamiento. SOBRE INTEGRACIÓN DOCUMENTAL Es la conformación de un documento general, a partir de los elaborados en cada una de las etapas de esta fase, cuyo principal objetivo es proporcionar información detallada referente a la planeación, diseño y ejecución del procesamiento de información en el proyecto de generación de información estadística. La documentación de estas actividades proporciona información cualitativa y cuantitativa para el análisis
23
El procesamiento
de los problemas, por lo que se deben definir mediciones para cada una, lo que a su vez facilita la implementación de las medidas correctivas. Esta documentación brinda información significativa para evaluar la calidad del procesamiento y proporciona la base de conocimiento para eventos futuros. Los apartados capitulares que al menos debe de contener este documento son: • Introducción o Contexto del proyecto. o Temporalidad. o Alcance. o Cobertura geográfica. o Diseño estadístico. • Diseño del procesamiento o Diseño de estrategias. o Diseño de procedimientos y desarrollo de sistemas informáticos. o Diseño y determinación del programa de capacitación y de pruebas de los sistemas. • Ejecución del procesamiento o Preparación general. o Captura y codificación. o Validación. o Integración y explotación de archivos de microdatos. • Evaluación o Captura y codificación. o Validación. o Integración y explotación de archivos microdatos. • Anexos o Criterios de validación. o Métodos de imputación. o Software. o Hardware.
24
El procesamiento
Glosario Campos. Son los vectores columna, es decir, información de una variable en un archivo electrónico de datos. p: 6 Captura. Transferir a medios computacionales la información registrada mediante instrumentos de captación. INEGI. DGE. DGAIN. DN. Glosario sobre la generación de estadística básica. Marzo de 2006 (Inédito). Celda. Intersección de una columna con un renglón p: 6. Codificar. Acción de asignar identificadores numéricos a conceptos en un orden establecido. INEGI. DGE. DGAIN. DN. Glosario sobre la generación de estadística básica. Marzo de 2006 (Inédito). Dato estadístico. Valor cuantitativo específico respecto a una variable, con referencia de tiempo y de espacio. INEGI. DGE. DGAIN. DN. Glosario sobre la generación de estadística básica. Marzo de 2006 (Inédito). Errores de tipo aleatorio. Son inconsistencias esporádicas que se producen a lo largo del proceso de generación. Su repercusión sobre los resultados es poca; ya que, al estar uniformemente distribuidos su efecto se compensa y el comportamiento de las variables no se ve afectado. Portal estadístico de habla hispana. Consultado en: http://www.estadistico.com/ Errores sistemáticos. Son inconsistencias constantes que se producen durante el proyecto y consisten en asignar códigos erróneos de manera regular, por ejemplo la redacción incorrecta de una pregunta, la mala interpretación de instrucciones para el llenado del instrumento de captación o en la captura de la información, etc. Los errores sistemáticos, afectan a valores determinados de alguna de las variables, por lo que pueden distorsionar el comportamiento de las variables afectadas. Portal estadístico de habla . Consultado en: http://www.estadistico.com/ Estadístico. Los datos o medidas que se obtienen sobre una muestra y por lo tanto una estimación de los parámetros. Portal estadístico de habla hispana. Consultado en: http://www.estadistico.com/ Estrategia. Conjunto integral y ordenado de procedimientos para alcanzar un objetivo, bajo determinadas restricciones y con un adecuado aprovechamiento de recursos. INEGI. DDE (1997) Definiciones generales (Inédito). Fases del proceso de generación de información estadística Series de actividades agrupadas con base en sus características similares, las cuales interactúan bajo distintos esquemas de orden y secuencia INEGI. DGE. DGAIN. DN. Glosario sobre la generación de estadística básica. Marzo de 2006 (Inédito). 1. Planeación. Serie de actividades para definir los objetivos del proyecto y la estrategia general, incluyendo el método de generación de datos estadísticos y un programa básico de trabajo con la estimación de tiempos, así como una propuesta de organización para atender
25
El procesamiento
las distintas funciones, además de las estimaciones presupuestales para la ejecución del proyecto 2. Diseño conceptual. Serie de actividades mediante la cual se identifican las necesidades de información, con base en las cuales se determinan: el marco conceptual, los instrumentos para la captación de los datos; los criterios de validación para la revisión y depuración de inconsistencias, así como los esquemas para la presentación de resultados o integración de estadísticas. 3. Diseño de la muestra. Serie de actividades para determinar: el método de muestreo por aplicar, bajo las consideraciones de cobertura y desglose temático y geográficos establecidos en el diseño conceptual, así como los insumos disponibles en cuanto al marco de muestreo de referencia y recursos financieros; el tamaño de muestra y procedimiento de selección, con base en el análisis y elección de las mejores alternativas para el proyecto. 4. Diseño de la captación y el procesamiento. Serie de actividades para determinar, desarrollar y probar las estrategias, procedimientos, esquemas técnicos y sistemas informáticos para las actividades tanto de la captación de datos como de su procesamiento. 5. Captación de los datos.. Serie de actividades para obtener los datos de cada elemento de la población de estudio o una muestra de ella, siguiendo las estrategias con los programas y procedimientos de trabajo previamente establecidos 6. Procesamiento. Serie de actividades para preparar los archivos de datos, asegurándose que sean congruentes y ordenados para su aprovechamiento 7. Presentación de resultados. Serie de actividades para la elaboración de productos, definidos en el diseño conceptual y conforme a un Programa de Divulgación Inconsistencia. Falta de coherencia entre los elementos de un conjunto. Real Academia Española.
Diccionario de la lengua española; XXII edición. Consultado en: www.rae.es (28/01/2004). Instrumento de captación. Formato que se utiliza para el registro de los datos, en un proyecto estadístico. INEGI. DGE. DGAIN. DN. Glosario sobre la generación de estadística básica. Marzo de 2006 (Inédito). Personal Digital Assistance (PDA). Equipo informático que se caracteriza por su fácil transportación, es del tamaño de la palma de la mano, funciona con batería o corriente eléctrica, tiene las funciones de una computadora personal pero con capacidad limitada para el almacenamiento de datos. INEGI Dirección de normatividad (2004) Lineamientos para el diseño y ejecución de operativos para la captación en encuestas por muestreo (versión preliminar). Septiembre 2004. Procesamiento de la información. Conjunto de actividades planeadas, organizadas y orientadas a la generación de resultados a partir de los datos captados en campo en un proyecto de generación de información estadística. p: 9 Parámetro. Característica de la población. Medidas o datos que se obtienen sobre la población. Portal estadístico de habla hispana. Consultado en: http://www.estadistico.com Registro. Son los vectores renglón, es decir, información de una unidad de observación objeto de estudio en un archivo electrónico de datos. p: 6
26
El procesamiento
Sistema de códigos. Es la identificación de cada uno de los conceptos del marco conceptual, la cual se lleva a cabo mediante una clave única, que es utilizada en el archivo de datos, a fin de facilitar su explotación; sin que se tenga que involucrar la forma particular con la que se ordenaron y denominaron dichos conceptos en el instrumento de captación. En virtud de que los conceptos son de distinta naturaleza (categorías, variables y clasificaciones) y entre ellos se establecen relaciones específicas, el sistema de codificación debe responder a dichas peculiaridades. INEGI. DGE. DGAIN. DN Del marco conceptual a la generación de resultados (Documento interno Octubre de 2004) Validación. Conjunto de actividades para identificar los datos que cumplen o no con los requisitos de congruencia e integridad (revisión), a fin de aplicar a estos una solución bajo criterios específicos que aseguren la eliminación de inconsistencias sin afectar los datos válidos. INEGI. DGE. DGAIN. DN. Glosario sobre la generación de estadística básica. Marzo de 2006 (Inédito).
27
El procesamiento
28
El procesamiento
Bibliografía Felligi, I.P. Holt D., 1976. A systematic Approach to automatic edit imputation, journal of the American statistical association. March 1976. Granquist, Leopold, 1997. The new view on editing. Grossh Margaret E., Muñoz Juan, 1998. Manual de diseño sobre condiciones de vida (LSMS) documento de trabajo no. 1265. INEGI, 2006. Desarrollo y documentación de software, Guía. INEGI, 1999. Estrategias generales del XII Censo General de Población y Vivienda 2000. INEGI, 2005.Sistema de codificación automático y manual de la encuesta nacional de ocupación y empleo (enoe). INEGI, 2002. Memoria XII Censo General de Población y Vivienda 2000. Villan, Idelfonso, Bravo, Maria Soledad. Procedimiento de depuración de datos estadísticos. Eustat, 1990. Seminario internacional de estadística en EUSKADI. MANUALES DE LA ONU: Diccionario de datos de definiciones oficiales. Principios y recomendaciones para los censos de población y habitación. Serie M, No. 67/rev.1. Recomendaciones internacionales para las estadísticas industriales. Serie M No. 48. DOCUMENTOS EN LÍNEA: Glossary Of Statistical Terms (OECD) EUROSTAT-OECD. Consultado en: http://cs3-hq.oecd.org/scripts/stats/glossary/index.htm Procedures and Checklists for Oecd Statistical Activities Eurostat-Oecd. Consultado en: http://www.oecd.org/dataoecd/26/40/21687687.pdf Characteristics of an Effective Statistical System (Ivan, P. Fellegi) STATCAN. C. Consultado en: http://unstats.un.org/unsd/goodprac/bpform.asp?DocId=190&KeyId=25 Gestión de la Calidad de los Datos en un Organismo Estadístico (Gordon Brackstone, 2003).STATCAN. Consultado en: www.eclac.cl/deype/ceacepal/documentos/lcl1891e.pdf
29
El procesamiento
La Calidad Estadística a Través de las Normas ISO DANE, Colombia. Consultado en: http://www.dane.gov.co/publicaciones/Estadisticas_al_dia_No4.pdf Metodología para Formulación de Planes Estadísticos DANE, Colombia. Consultado en: http://www.dane.gov.co/snie/archivos_zip/metod_planes.zip Nuevas Tecnologías para Difundir Datos Estadísticos INE- España. Consultado en: http://www.fuentesestadisticas.com/numero2/paginas/feu_nuevas.html How to Measure the Effect of Data Editing Leiv Solheim, Statistics Norway. Consultado en: http://www.unece.org/stats/documents/2000/10/sde/2.e.pdf The Planning of Data Editing Federal Statistical Office, Germany Elmar Wein. Consultado en: http://www.unece.org/stats/documents/2000/10/sde/3.e.pdf Editing and Imputation in Eurostat Eurostat Harald Sonnberger and Nick Maine. Consultado en: http://www.unece.org/stats/documents/2000/10/sde/21.e.pdf
30