|
UN MATRIMONIO CONVENIENTE: archivo del portal de recursos para estudiantes |
Escuela de Educación
Universidad de Colorado-Boulder
RESUMEN
Este artículo proporciona una valoración, desde la perspectiva de la investigación cualitativa, sobre los Standards de 1993 para la evaluación de programas.
En este sentido tres son los aspectos de los Standards que más aportan a los investigadores cualitativos: a) la preocupación por los aspectos humanos de la evaluación; b) los temas de la validez y el significado; y c)una definición más amplia de las técnicas legitimadas de recogida y análisis de datos.
Han sido necesarias varias décadas para que la comunidad evaluativa reconozca la utilidad del enlace entre los diseños cualitativos y cuantitativos. Los Program Evaluation Standards actualizan los procedimientos de evaluación, a la vez que legitima una integración sensata de la amplia variedad de procedimientos disponibles para los evaluadores de programas.
ABSTRACT
This article provide a qualitative researcher's perspective on the 1993 Program Evaluation Standards. These new Standards are of critical importance for evaluators because they establish agreed- upons for proper behavior within the evaluation community.
Three aspects of the Standards are most salient to qualitative researchers: the concern for the human aspects of evaluation; issues of validity and meaning; and a broadned definition of legitimate data collection and analysis techniques.
It has taken several decades for the utility of match-making between qualitative and quantitative research designs to be recognized by the evaluation community. The 1993 Program Evaluation Standards update evaluation procedures and legitimate a sensible integration of the wide range of research procedures available to program evaluators.
Mi tarea en este artículo es proporcionar una perspectiva como investigadora cualitativa sobre los Standardsde 1993 para la evaluación de programas. Estos nuevos Standards son de una importancia fundamental para los evaluadores ya que establecen las bases de acuerdo para una actuación adecuada en el seno de la comunidad evaluativa. Además, el documento es gratificante para investigadores y evaluadores cualitativos, como lo es para mí misma, porque incorpora un reconocimiento oficial de lo que, en mi opinión, ha ocurrido en la educación y las ciencias sociales a lo largo de estos £ltimos cincuenta años: un alejamiento desde la exclusiva dependencia de las normas positivistas por las que medir la calidad de la investigación. Desarrolladas, como lo fueron, desde modelos de laboratorio imposibles de realizar en la complicada realidad del trabajo de campo, estos criterios fueron una constante fuente de fustración y de baja autoestima para los evaluadores de campo. Reconociendo la subjetividad de los evaluadores y participantes, los Standards muestran efectivamente la noción de que puede darse algo así como una evaluación "objetiva", mientras que al mismo tiempo proporciona pautas para completar y adecuar la documentación de todas las perspectivas dentro de un proyecto dado. Los nuevosStandards han sido de un inmenso alivio para una de mis alumnas de postgrado que había utilizado una versión anterior. Después de haberle dado una copia de los mismos ella dijo: "es maravilloso que ésto se haya hecho. Finalmente nos trae a los noventa y quizás... es realmente una visión holística. Nos permite hablar con todos los patrocinadores, utilizar todo tipo de estrategias de recogida de datos y considerar todas las posibilidades".
Quizás mis sentimientos se pueden expresar más claramente en el contexto de mi bautismo de fuego como evaluadora de programas. Esto ocurrió durante un trabajo de tres años (1968-1971) con un equipo de evaluación asignado al Woodlawn Experimental Schools Project (WESP), uno de los primeros experimentos de descentralización de centros (Lecompte, 1969). El objeto de evaluación era un centro de enseñanza primaria en la zona sur de Chicago, cuyos alumnos tenían un récord poco envidiable de fracasos. Los participantes en el WESP fueron el Comité de Educación de Chicago, la Universidad de Chicago, cuyo campus rodeaba Woodlawn donde el colegio experimental estaba localizado, y la Organización Woodlawn, una institución de la comunidad fundada por Saul Alinsky y dedicada a enfrentarse con las intenciones de la Universidad de Chicago de apropiarse de buena parte del suelo de Woodlawn. WESP comenzó en 1968 y fue fundado por el Título III de ESEA (Elementary and Secondary Education Act). Como tal, el proyecto debía proporcionar a la agencia financiadora informes con los resultados de la evaluación. Los diseños de evaluación requeridos para tales proyectos eran cuasi- experimentales; las apreciaciones de la eficacia de los proyectos se basaron en la comparación pre y post-test de los datos de los alumnos, normalmente midiendo aspectos tales como la atención y el rendimiento relacionado con el programa (ver LeCompte, 1972). Sin embargo, el director de nuestro equipo de evaluación, el Dr. Robert Rippey, tenía una perspectiva algo más amplia de cómo evaluar los cambios sociales. El encargo hecho a WESP era favorecer todo lo que fuera posible la participación de la comunidad; se había partido de la hipótesis de que restaurando el control del colegio desde los estamentos más bajos, contando con los profesores de mayor nivel, y los administradores y con un comité más cercano a los intereses y necesidades de la comunidad, se incrementaría el rendimiento del alumnado. Rippey estaba, no obstante, preocupado por la escasa conexión entre las metas de WESP y los resultados de los alumnos tal y como se medían en los tests estandarizados. Con la ausencia de acciones pedagógicas, ¨cómo se puede esperar un impacto en el aprendizaje del alumno?. Es más, la propia naturaleza del centro, de la comunidad, del equipo directivo del mismo, y de las relaciones con la universidad, hacían problemático cualquier éxito a la hora de alcanzar los objetivos, y sin tener en cuenta lo directamente que podían estar conectados con el rendimiento del alumnado.
Conociendo que WESP y el proyecto Ocean-Hill-Brownsville de New York, con él relacionado, eran inicios radicales en cuanto a reforma escolar, Rippey estableció un diseño de evaluación cuyo objetivo primordial fue documentar qué ocurría durante el desarrrollo del proyecto [1]. Datos como éstos pemitirían al equipo de evaluación juzgar no sólo los resultados finales del proyecto, sino también el por qué ocurrieron tal y como se sucedieron. El equipo de investigación era tan poco ortodoxo como el diseño de la investigación; Rippey nombró como asistentes de la investigación a tres estudiantes graduados, uno en antropología, otro en sociología de la educación, curriculum e instrucción, y otro en ciencias políticas que había crecido en el vecindario de WESP. Los estudiantes éramos los "documentalistas"; ahora probablemente nos denominaríamos etnógrafos. Nuestra tarea era movernos dentro y fuera del centro, asistir a reuniones relacionadas con él y con el personal de la comunidad, y "escribir una historia" de todos los acontecimientos que observamos. La evaluación de WESP prefijó un interés en la así llamada evaluación educativa cualitativa; lo más cercano que estaba a la evaluación educativa tradicional era el uso de protocolos observacionales o listas de control para evaluar a los profesores y la ya mencionada recogida de datos sobre el rendimiento de los estudiantes obtenidos en el pre y post-test. Para la mayoría, los métodos de investigación estaban sacados de las técnicas de trabajo de campo de la sociología y la antropología (ver, por ejemplo, McCall y Simmons, 1969). Estos "métodos cualitativos" eran, de hecho, las únicas orientaciones disponibles al alcance de todos.
¿QUÉ ES LA INVESTIGACION CUALITATIVA?
La investigación cualitativa se define de forma poco precisa como una categoría de diseños de investigación que extraen descripciones a partir de observaciones que adoptan la forma de entrevistas, narraciones, notas de campo, grabaciones, transcripciones de audio y vídeo cassettes, registros escritos de todo tipo, fotografías o películas y artefactos. Sólo desde mediados de los 80 se han considerado respetables en los círculos educativos. La mayor parte de los estudios cualitativos están preocupados por el contexto de los acontecimientos, y centran su indagación en aquellos contextos en los que los seres humanos se implican e interesan, evalúan y experimentan directamente (Dewey, 1934; 1938). Esto es lo que significa calidad: lo real, más que lo abstracto; lo global y concreto, más que lo disgregado y cuantificado. Es más, la investigación cualitativa investiga contextos que son naturales, o tomados tal y como se encuentran, más que reconstruidos o modificados por el investigador (Sherman y Webb, 1988). Esta es la clase de diseño de investigación que Rippey quería realizar.
Robert Rippey centró su evaluación en la quintaesencia de la preguntas cualitativas: ¨Qué está pasando en este escenario?, y ¨qué significa para los participantes? (Erickson, 1986). Estas preguntas han sido utilizadas en investigaciones denominadas de distintas formas: interpretativas (Erickson, 1986), naturalistas (Lincoln y Guba, 1985), fenomenológicas (Wilson, 1997), y descriptivas (Wolcott, 1980). Estos descriptores enfatizan la importancia de los constructos de los participantes, o los significados que los sujetos de la investigación asignan a sus acciones, el contexto del estudio, la relación entre el investigador y los que están siendo estudiados, los métodos para la recogida de datos, los tipos de evidencias aducidas en apoyo de las afirmaciones realizadas, y los métodos y la importancia del análisis utilizado. Son, tal y como ya he argumentado en otros momentos (LeCompte, 1990; LeCompte y Preissle, 1993), más exactos y precisos que el término cualitativo, que simplemente sugiere que los investigadores cualitativos no cuantifican, miden, o cuentan algo, que realmente no es el caso.
MODELOS TRADICIONALES EN LAINVESTIGACIÓN EVALUATIVA
Robert Rippey tuvo que inventarse su propio diseño de evaluación porque la bibliografía existente en evaluación educativa estaba dominada por acercamientos analíticos sistemáticos empleados habitualmente en la economía y la industria (Rivlin, 1971). Estas perspectivas enfatizaban la medición de variables fácilmente escalables y cuantificables que generaban datos muy fiables; se ajustaban al dominio prevalente en la investigación educativa ejercido por el positivismo y los modelos experimentales. Mientras que apuntaban temas de causalidad que eran de interés para los planificadores de los programas, los datos que proporcionaban eran insatisfactorios porque no podían explicar por qué los programas tenían el impacto -o la falta del mismo- que indicaban los resultados. Además, la validez de muchos de los datos era cuestionada por los prácticos, quienes encontraban que las preguntas respondidas y las interpretaciones dadas eran incongruentes con sus propias experiencias y creencias (Guttentag, 1977; Helfgot, 1974; House, 1979; LeCompte, 1972). También el paradigma experimental era inadecuado para mostrar las complejidades del cambio institucional e instruccional. A principios de los setenta estaba claro que ni la experiencia de los alumnos y profesores, ni los factores relacionados con el centro que afectan a los resultados de los alumnos, podían consignarse adecuadamente con los procedimientos metodológicos empiricistas (Goetz y LeCompte, 1984:28). Por el contrario, eran necesarios estudios en profundidad a pequeña escala utilizando observaciones participantes y no participantes durante un largo período de tiempo. Unicamente este tipo de estudios podrían ayudar a los investigadores a entender los procesos de cambio, los obstáculos que lo impiden y los factores que lo hacen exitoso.
Los investigadores educativos denominan a esto "método de estudio de caso" (Stake, 1978), mientras que investigadores más orientados a las ciencias sociales se centran en observaciones participantes y le asignan el nombre de "evaluación etnográfica" a tales procedimientos. Las agencias financiadoras comienzan rápidamente a exigir que el "componente etnográfico" se incluyera en cualquier diseño de evaluación. El uso del término etnográfico, en lugar de un término más general y apropiado como "cualitativo" o "proceso", puede haberse potenciado por el hecho de que los componentes etnográficos eran llevados a término por antropólogos y sociólogos, porque, tal y como Robert Rippey había aprendido, eran los únicos individuos formados en observación participante e investigaciones de campo de larga duración. Además, en tanto que las primeras evaluaciones de este tipo fueron de hecho diseñadas por antropólogos, tendieron a reseñar los estudios realizados en antropología cultural. Entre las primeras llamadas evaluaciones etnográficas nos encontramos con los estudios del National Institute of Education sobre las escuelas de integración racial, realizados bajo la supervisión de un antropólogo, Murray Wax (1979), y apoyado por un equipo de jóvenes antropólogos.
A pesar de su fuerza, la investigación etnográfica no estuvo exenta de dificultades. Los estudios a menudo duraban mucho, incluían demasiados datos y generaban pocos resultados satisfactorios para los que debían tomar decisiones. Como remedio, muchos metodólogos se decantaron por la combinación de estrategias cuantitativas y cualitativas (Jaeger, 1988; Goetz y LeCompte, 1991; Reichardt y Cook, 1979), las primeras para satisfacer a los que toman decisiones deseosos de una apreciación del impacto y las últimas para los planificadores y prácticos que realmente querían comprender cuáles eran las consecuencias de su trabajo. A mediados de los ochenta, algunos investigadores evaluativos comienzan a proclamar una nueva forma de evaluación de proceso, formativa, naturalista (Lincoln y Guba, 1985), etnográfica (Fetterman y Pitman, 1986) o cualitativa (LeCompte y Goetz, 1982). Sin embargo no ha sido fácil que los fundamentos y orientaciones de estos modelos se legitimaran y se consideraran estándares en la evaluación de programas, veinticinco años después del pionero diseño de evaluación de Robert Rippey.
ORIENTACIONES PARA LA EVALUACION CUALITATIVA
Algunas características de la investigación cualitativa son de especial importancia para los evaluadores cualitativos. Ya he mencionado anteriormente lo relativo a la validez y utilidad de resultados para una audiencia variada y la focalización en el proceso o los eventos formativos, así como la recogida de datos sobre el producto o los resultados sumativos. La postura positivista de los evaluadores también se ha alterado. Como participantes de la evaluación, más que como sujetos de la misma, aquellos que son objeto de estudio adquieren una nueva identidad que supone un papel más activo a la hora de negociar los objetivos de la evaluación. Del mismo modo también cambia el papel del investigador, que pasa de un diseño detallado, con una postura objetiva vis-a-vis y una ejecución del estudio, hacia una posición más centrada en las subjetividades del proyecto. Esto no significa que el evaluador se vuelva un participante activo en los trabajos del proyecto objeto de evaluación, significa que él o ella no pueden seguir manteniéndose en una "presencia ausente". Al igual que los etnógrafos, los evaluadores cualitativos son responsables de su comportamiento y su postura ética dentro de las difíciles y estrechas interrelaciones que caracterizan la vida de las instituciones que evalúan (véase el código ético de la Sociedad para Antropología Aplicada, por ejemplo; también Deyhle, Hess y LeCompte, 1992). Al igual que los médicos deben considerar la admonición de "no hacer daño". Como investigadores en la acción o colaboradores, a menudo se encuentran con tensiones entre las constricciones de la apreciación y la medición más sólida y los asuntos a tratar por los electores competentes en sus lugares de evaluación. Especialmente si adoptan una postura de defensa de los etnógrafos post-modernos (Anderson, 1989; Gitlin y Smyth, 1989), estas tensiones resultarán aspectos destacados y substantivos de su trabajo que complican tanto los aspectos éticos como el desarrollo de las tareas de evaluación.
¿COMO DEBERIA DISEÑARSE UNA EVALUACIÓN CUALITATIVA?
Una concepción equívoca muy común acerca de la investigación cualitativa en general, y de la etnográfica en particular, es que carece de una teoría y de una estructura. El etnógrafo simplemente "merodea" (LeCompte y Preissle, 1993: 113), registrando todo lo que pasa. La recogida de datos no está guiada a priori por unos interrogantes de investigación, un marco conceptual, o teoría, y el análisis se ciñe a contar historias o a la explicitación de buenas afirmaciones hechas por los informantes para al final ofrecer una presentación que no sea cuantitativa. De hecho, la ejecución actual de una etnografía eficaz puede que no varíe mucho de este estereotipo.
Los plazos de tiempo que las agencias requieren de los evaluadores, las preguntas específicas de interés para los electores, y las múltiples audiencias que necesitan acceder a los resultados de la evaluación, especialmente cuando se utilizan los métodos cualitativos y etnográficos, todos intervienen para que el evaluador piense cuidadosamente de antemano qué tipo de preguntas constituirán el centro de la evaluación, qué fuentes de datos responderán las cuestiones, dónde y de quién pueden obtenerse esos datos, cómo se manipularán, dividirán y se presentarán. Sin esta planificación por adelantado se perderá mucho tiempo explorando metas que no llevan a ninguna parte y que son tangenciales a la evaluación, o recogiendo datos que no responden a las preguntas planteadas por los clientes. Como cualquier investigador, el evaluador debe primero decidir cuáles serán las preguntas fundamentales que deben tener una respuesta. Los evaluadores, no obstante, deben negociar las preguntas de la investigación con los patrocinadores. Después pueden tomarse algunas libertades a la hora de planificar un conjunto de técnicas de recogida de datos que sea lo más variado, rico y eficiente posible. Una ventaja del uso de métodos cualitativos es que casi todo puede definirse como un dato potencialmente útil. Un problema es que resulta atractivo recoger cualquier conjunto de datos, pero los evaluadores deben -como enfatiza elocuentemente losStandards- conservar con cautela sus recursos de tiempo, personal y dinero. Esto requiere una nota de advertencia: no siempre es fácil recoger los datos más importantes de una forma rápida y eficaz; no obstante, los datos que son recogidos fácilmente pueden no ser lo suficientemente ricos como para contestar a preguntas significativas.
Desarrollando un Plan
Una estrategia útil para asegurar unos diseños de evaluación que puedan ser operativos y eficaces es construir una matriz de recogida de datos. Esta matriz resulta también de utilidad para los clientes; les permite entender el alcance final del proyecto e incluso sugerir alternativas o fuentes adicionales de datos. La figura 1 muestra una matriz que se utilizó para la evaluación de un programa de relación entre la familia y el centro, tras la jornada escolar, en alumnos indios americanos de enseñanza primaria.
Figura 1
Una matriz de planificación para los procedimientos de recogida de datos
|
¿Qué necesito conocer? |
¿Qué datos responderán a esta cuestión? |
¿De qué fuentes deben obtenerse los datos? |
¿Quién es el responsable de contactar con las fuentes y recoger los datos? |
|
¿Se está realizando el programa tal y como se concibió? |
* Documento de propuesta del proyecto |
* Coordinación de recursos |
* La coordinación de recursos establece el guión de la entrevista para sí misma; el personal; el director del proyecto aporta el material curricular y establece los intervalos de tiempos de observación |
|
¿Qué cambios, si hay alguno, se han realizado sobre el proyecto original? |
* Entrevistas con el personal del proyecto y la Coordinación de los recursos |
|
* Recogidos a lo largo de las entrevistas del personal |
|
¿Está aportando la zona educativa el nivel de apoyo que prometieron? |
* Comparación de la propuesta común con el actual presupuesto del proyecto y las contribuciones desinteresadas |
* Director del proyecto |
* Con la coordinación de los recursos contacta B. Fowler, secretaria de la oficina de la zona, para establecer el guión de la entrevista con el personal de la oficina del distrito |
|
¿Qué logros y obstáculos ha encontrado el personal en la realización del programa? |
* Entrevistas con el personal del proyecto |
* Orientadores familiares |
* El director del proyecto establece las entrevistas con los orientadores familiares |
|
¿Con qué ánimo y espíritu de colaboración afronta el personal la puesta en marcha del programa? |
* Entrevistas con el personal del proyecto |
* Orientadores familiares |
* Recogida a lo largo de las entrevistas con el personal |
|
¿Es bien recibido el programa por el personal de los centros? |
* Entrevistas con los directores de los centros |
|
* La Coordinación de los recursos establece las horas de las entrevistas para los directores de los centros y los orientadores escolares |
|
¿El personal del proyecto está guardando los registros especificados de los alumnos tal y como se especificó? |
* Registros anecdóticos |
* Orientadores familiares |
* El evaluador controla los ficheros guardados por los orientadores familiares en los centros |
|
¿Se están realizando con regularidad las visitas a las familias? |
* Anotaciones sobre las visitas a las familias |
* Orientadores familiares |
* El evaluador acompaña al orientador familiar en una muestra de visitas a las familias |
|
¿Qué influencia está teniendo el programa sobre los alumnos? |
* Datos sobre el desarrollo de los alumnos |
* Registros anecdóticos (desarrollados sólo para los chicos objeto del programa) |
* El director del proyecto recoge y analiza continuamente estos formularios para todos los alumnos y se los pasa al evaluador |
|
|
* Datos sobre el rendimiento de los alumnos |
* Puntuaciones en el Test Gates-McGrinitie |
* El director del proyecto obtendrá de los jefes de estudio las puntuaciones de los tests administrados en la zona, y los tests administrados a nivel de cada centro de los secretarios de los mismos, seleccionará los alumnos concretos y calculará las puntuaciones individuales y de grupo. También obtendrá puntuaciones de grupo de otros alumnos para utilizarlas como comparación. Estas puntuaciones se suministrarán al evaluador. |
|
|
* Datos sobre las actitudes de los profesores de aula y los directores |
Entrevistas con los profesores de aula; directores |
* El evaluador establecerá y realizará las entrevistas seleccionadas; el director del proyecto distribuirá recordatorios para cumplimentar los cuestionarios no respondidos |
La matriz está organizada alrededor de preguntas de evaluación; junto a cada pregunta hay columnas explicando qué datos serán necesarios para contestarlas, de qué fuentes se pueden obtener los datos, quién puede establecer los procedimientos para la recogida de datos, y quién es el responsable de recogerlos. La matriz puede asimismo incluir tanto las tentativas en cuanto a la temporalización de la recogida de datos, como las estrategias de análisis, incluyendo la codificación recursiva y contínua, el desarrollo de diagramas y la construcción de dominios, tipologías y taxonomías.
Desarrollar un plan como éste y corroborarlo con los clientes, puede ayudar al evaluador a determinar qué datos van a ser "agradables de recoger" a partir de las fuentes originalmente identificadas y cuáles pueden no ser accesibles. Por tanto la matriz puede servir tanto como de contrato con los patrocinadores como de plan de ejecución para los propios evaluadores.
Una puntualización en torno a la contratación del equipo
Robert Rippey también se aseguró de que el personal de la evaluación que había contratado se sintiese cómodo con los procedimientos cualitativos escogidos, por lo que seleccionó individuos cuya formación disciplinaria fuese compatible con los modelos de interacción cara a cara con frecuencia demandados por la observación participante. Aunque no fuera una norma no contar como evaluadores potencialmente cualitativos a aquellas personas cuya formación estuviera limitada a diseños experimentales, los evaluadores debían eliminar a los individuos que pensaran que la observación de campo o los datos de una entrevista son inferiores a las puntuaciones de los tests, o que se sienten incómodos hablando e interaccionando socialmente con extraños, incluso preguntándoles cualquier cuestión profesional o personal algo más embarazosa que el diseño de evaluación pudiera tener en cuenta.
Analizando los datos y contando la historia
Una vez que se han recogido los datos, deben ser organizados y colocados de forma que los patrocinadores puedan entenderlos y usarlos. El análisis comienza con el proceso de "poner en orden" (Romagnano, 1991) por lo que los datos recogidos son, en primer lugar, categorizados, limpiados, agrupados y después comprobados con la matriz de datos. Esto permite saber al evaluador si le falta algo o aún le resta algo por recoger, y le permite entender aquellas alteraciones en el esquema original de ejecución que las exigencias del trabajo de campo hayan provocado.
A continuación el evaluador intenta darle sentido a los datos. Este proceso a menudo se ve facilitado mediante el intento de "contar la historia" de lo que se ha encontrado. Los resultados de la evaluación no son historias, tan sólo son los resultados de un trabajo duro que tiene en su base una investigación. Sin embargo, la advertencia de Harry Wolcott a sentarse simplemente, aún cuando estás escribiendo mal y no tienes ánimos para hacerlo, y escribir la historia sin ninguna referencia a las notas (Wolcott, 1990), es una buena manera de crear el marco de trabajo inicial sobre el cual unir el análisis, independientemente del propósito al que sirvan los resultados, evaluación o investigación básica. La historia -o marco de trabajo inicial- se une entonces una vez más con la matriz de datos ya revisada para determinar dónde encaja definitivamente cada conjunto de datos. El marco de trabajo requiere alteraciones y, algunas veces, revisiones mayores, así como procesos de análisis más finos, y hasta el punto que los datos contradigan las primeras impresiones del investigador. Las cuestiones inicialmente indicadas en la matriz pueden ser irrelevantes, mientras que otras no contempladas llegan a resultar de especial importancia. No obstante, el esquema de trabajo inicial es una forma de comenzar con lo que algunas veces se presenta como una pila de información aparentemente sin ninguna relación. Es también una buena manera de identificar los tipos de productos que el evaluador deberá producir al terminar la evaluación. Estos productos, por supuesto, serán predicados sobre la base de las necesidades de las distintas audiencias o patrocinadores que querrán acceder a los resultados.
¿QUÉ DICEN LOS ESTÁNDARES DE LA EVALUACIÓN DE PROGRAMAS A LOS INVESTIGADORES CUALITATIVOS?
Entiendo que hay tres aspectos de losStandards que son los que más importancia tienen para los investigadores cualitativos: la preocupación por los aspectos humanos de la evaluación; las cuestiones de validez y significado; y una definición más amplia de las técnicas de recogida y análisis de datos que se consideran legítimas.
La parte humana de la evaluación de programas
Uno de los aspectos más beneficiosos de Program Evaluation Standards de 1993 es que los temas y diseños meramente técnicos no son considerados nunca más como supremos. Por el contrario, los temas humanos de la interacción, los intereses encubiertos, los éticos -aquellos aspectos implicados en la complicada existencia del mundo real en la línea de fuego- son de especial significado en la evaluación de la evaluación. Utilizo la metáfora "línea de fuego" a conciencia después de haber sido advertida por un directivo de AERA (American Educational Research Association) que tales metáforas eran inapropiadas y demasiado numerosas en la investigación educativa. Mi interpretación es que tal crítica puede únicamente haber sido hecha por alguien cuya investigación esté primordialmente localizada en una biblioteca. Mi propia experiencia ha sido completamente diferente; fuimos literalmente tiroteados mientras trabajamos en el vecindario de WESP, y me he sentido a punto de ser tiroteada, siempre metafóricamente, en otras muchas tareas de evaluación.
Los mandatos positivistas de la mayoría de la evaluación e investigación educativas ignoraban en el pasado este conflicto y dejaban al investigador ser al menos sobrecogido, si no manipulado y manejado, por miembros amenazadores y apasionados de grupos con intereses ocultos. Los Program Evaluation Standards son un buen antídoto frente a tal ingenuidad. Mientras quizá se sobreenfatice la necesidad de que el evaluador ayude a que todas las partes lleguen a un consenso -algo que no considero como una parte de las tareas del evaluador- losStandards hacen más claro aún lo profundamente que puede meterse en problemas el evaluador por no hacer caso al poder, los asuntos a tratar y las opiniones expresadas sobre los mismos (LeCompte 1994, en prensa).
Otro aspecto beneficioso de losStandards es su reconocimiento explícito de la naturaleza humana de la empresa evaluativa. En el estándar U1, "Identificación de los patrocinadores" (p. 49) y el estándar P "Prioridad" (p. 120), los evaluadores deben identificar y establecer relaciones contractuales con todos los patrocinadores interesados. En otra parte del documento, los patrocinadores son caracterizados como un grupo, más que como el grupo más directamente implicado en el proyecto: participantes del programa, evaluadores, y la entidad o agencia que financia la evaluación. Los patrocinadores incluyen "la gama completa de los participantes-objetivo", (P1, p. 122) todos aquéllos implicados y todos aquéllos afectados por los resultados de la evaluación (P, p. 120) y todas las personas afectadas por el programa o la evaluación, y todos aquéllos que tienen legalmente el derecho a tener información derivada de la investigación (P6, p. 157). Esto significa que los evaluadores no pueden definir a los patrocinadores simplemente en términos de aquellas personas cuya inclusión es conveniente o efectiva en términos de costo-eficacia. LosStandards urgen incluso a los evaluadores a hacer "esfuerzos especiales ... para promover la inclusión apropiada de grupos o individuos menos poderosos como patrocinadores, tales como grupos minoritarios raciales, culturales o lingísticos" (p. 49). Tales consideraciones reflejan el consejo dado tradicionalmente a los etnógrafos: no considerar irrelevante o no importante a ningún informante y no interesante a ninguna participación.
Los temas de la revelación también están implicados a la hora de identificar a los patrocinadores. LosStandards dirigen todas las revelaciones de los resultados a los parocinadores identificados; como si en el caso de los etnógrafos, los evaluadores no pueden asumir por más tiempo que los participantes no leerán sus informes o estarán furiosos si el evaluador intenta esconder información de ciertos grupos o individuos, dándoles una información parcial o filtrada. LosStandards buscan institucionalizar las prácticas relacionadas con la identificación y protección de los patrocinadores (p. 128-131), haciéndoles firmar un contrato de acuerdo con las normas vigentes sobre la protección e intervención con las personas objeto de investigación.
Temas de Validación en la Evaluación de Programas
Un aspecto beneficioso de losStandards es la descentralización que hace del evaluador con respecto al establecimiento de preguntas significativas de evaluación. Los evaluadores no pueden ya permanecer cómodamente en la certeza de que han preguntado todo lo que es importante investigar en los programas que evalúan. Esto significa que los evaluadores deben estar seguros de que tienen en cuenta las interpretaciones y los significados de los participantes. El Standard U4, "Identificación de valores" dice que cada proyecto incluye a una variedad de participantes que harán -y deben ser capaces de hacerlos- juicios de valor e interpretaciones sobre el informe del evaluador. Los Program Evaluation Standards se centran en la cuestión de los múltiples significados presentes en los resultados, o cómo las personas interpretan los datos obtenidos en el informe final. Los evaluadores deben buscar estas interpretaciones múltiples, incluso cuando difieran de las del evaluador o de la agencia contratante, porque muchas de ellas pueden ser válidas. Como en el caso de una buena práctica etnográfica, esto significa tratar con multitud de significados o interpretaciones discrepantes o desaprobatorias, o casos o fuentes de evidencia alternativos (LeCompte y Preissle, 1993), e implica una investigación sistemática y diligente de cuanto más, mejor. Sólo haciendo ésto, se intensifica la fuerza de la validez del informe final.
LosStandards también enfatizan la necesidad de que los evaluadores lleven a cabo descripciones exhaustivas características de los programas, de las operaciones, de los procesos de ejecución y de los problemas de los participantes que participan en ese momento en el programa (p. 182) y la conveniencia de solicitar ayuda de los participantes con objeto de asegurarse de que esas descripciones son adecuadas (p. 183). Los etnográfos, no obstante, es posible que todavía hagan una crítica al tratamiento de la validez interna que se hace en los Standards. Aparte de lo relativo al resultado final, los Standards tienden a tratar el tema de la validez interna como si careciese de dificultad. Se presta una atención muy considerable al modo en que deben desarrollarse los procedimientos de recogida de datos (p. 206) y a si los que aportan la información dicen la verdad, resultan fiables o recortan la información. Esta cuestión relacionada con la "validez del procedimiento" asume que si las reglas para llevar a cabo el estudio se aplican correctamente, también lo serán los datos recogidos. Sin embargo, los investigadores cualitativos creen que asegurar la validez interna y la de constructo es un asunto bastante complejo. La validez de constructo en medición dice si el método usado o la pregunta hecha correctamente tienen que ver con la información buscada. En el nivel más simplista, los investigadores cualitativos interpretan que esto significa "¨tiene la construcción de las preguntas -y las propias preguntas- sentido para el informante?". Una crítica muy común es que los instrumentos utilizados por los investigadores poseen un lenguaje inaccesible para los informantes. Hacer un buen trabajo de investigación y análisis cualitativo, no obstante, significa que el investigador debe buscar activamente los significados y las interpretaciones que los participantes dan a sus acciones en un proyecto y usarlas para organizar mejor su esquema de análisis (Erickson, 1986).
Mas allá de esto, los temas de la validez implican si las distintas asunciones, esquemas de trabajo, preguntas y temas explorados por el evaluador o investigador tienen o no sentido y guardan relación con la importancia que le conceden los patrocinadores o los participantes en la investigación. Esta fue una de las preocupaciones de Rippey: ha habido muchas evaluaciones en el pasado que han preguntado por cosas que los profesores y miembros de la comunidad creían irrelevantes. Demasiados programas han fallado por partir de criterios que no eran importantes para los prácticos. La evaluación de WESP, con el enorme peso que tuvo la observación participante y la extracción de redes complejas de significados, fue un intento de resolver estos problemas. El énfasis en la mera validez del proceso contenido en los Program Evaluation Standards, incluso cuando se usan las comprobaciones con los participantes, son insuficientes para remediarlos.
Un comentario post-moderno podría añadir que una búsqueda de los significados múltiples supone una excesiva preocupación sobre el valor de la verdad o la validez de la respuesta de los informadores, sobre todo si se tiene en cuenta que el sentido que cada informante da a las cosas constituye para él o ella la verdadera realidad. Ninguna historia o conjunto de significados es más o menos válido que otro. Esto no reconforta a los evaluadores -o a cualquier investigador- que se encuentra con el problema de cómo contar una buena historia o presentar un conjunto de resultados y recomendaciones. Los evaluadores pueden, no obstante, tratar las múltiples realidades presentes como aspectos competentes, y luego evaluar los costes relativos y los beneficios para la agencia financiadora adoptando la perspectiva de uno por encima de otro.
Una definición amplia de la recogida y análisis de datos
Los nuevos Program Evaluation Standards suponen un avance fundamental para legitimar el conjunto ecléctico de herramientas metodológicas utilizado por los investigadores cualitativos. Los funcionarios de la Oficina de Educación que observaron la evaluación de WESP se quedaron perplejos por el peso dado a la observación participante y al análisis de documentos. Sin embargo, los nuevosStandards aceptan estas técnicas así como una amplia gama de otros procedimientos considerados en alguna ocasión como sospechosos, sesgados o distorsionados, incluyendo "entrevistas estructuradas y no estructuradas, observaciones participantes y no participantes, audiciones, documentos y registros y medidas no obstrusivas de diversos tipos" (Standards, p.240). Los Standards otorgan explícitamente a los datos cualitativos casi la misma confianza que a los datos cuantitativos, y alertan a los evaluadores contra el "error común" de descartar datos tales como aquéllos que son recogidos a través de entrevistas personales, testimonios y análisis de documentos, que suelen ser considerados como datos distorsionados (p. 202). Estas recomendaciones son verdaderamente tranquilizadoras para aquellos investigadores cualitativos deseosos de realizar una evaluación, ya que son ellos mismos quienes crean el verdadero sesgo y enfoque de su trabajo.
Todas estas técnicas son las que Robert Rippey utilizó para desarrollar lo que ahora los nuevosStandards denominan un "análisis de contexto" (A2, p. 189) y describe como fundamental a la hora de realizar "evaluaciones reales que responden a las condiciones en las que el programa se encuentra... y a la (interpretación de) la evaluación" (Ibid.). El contexto es, por supuesto, el fondo de la cuestión de las interacciones humanas; como cualquier interacción humana, los programas educativos están "embebidos en y afectados por el/los contexto/s de una forma difícil de desenmarañar" (op.cit.). Los modelos positivistas de evaluación de programas definen los factores contextuales como ruidos necesarios de controlar; sin embargo, la necesidad de la descripción y el análisis exacto de esos factores y efectos contextuales es, creo, también exactamente lo que generó la insatisfacción de los sesenta o setenta con el entonces contemporáneo criterio de una buena evaluación. De forma similar, losStandards previenen a los evaluadores para que no caigan en el análisis cualitativo falto de rigor y meramente intuitivo. Se reconoce en ellos que el análisis de datos cualitativos es tan sistemático y trabajoso como los métodos que utilizan los investigadores cuantitativos. También reconoce la naturaleza especial de los datos cualitativos y del análisis, sugiriendo que los evaluadores cometen un "error común" cuando limitan el análisis de los datos cualitativos a la cuantificación (Standards, p. 243) o atienden primordialmente a lo "único" o inusual en lugar de a lo común o a las "características generales" de la vida humana (Ibid). Los antropólogos y sociólogos han considerado desde hace tiempo que las "características generales" de la vida son aquellos patrones normativos frecuentemente no reconocidos que gobiernan la existencia diaria; son éstos, más que los eventos inusuales, únicos o no normativos, los que constituyen los procesos de los programas que causan los efectos que el evaluador desea estudiar.
ENLACE RAZONABLE
Robert Rippey se atrevió a finales de los sesenta a lo que los evaluadores defendieron en los setenta y ochenta: crear un matrimonio entre los diseños de investigación cualitativos y cuantitativos y ponerlos al servicio de una evaluación de programas más útil y eficaz. Mientras, han sido necesarias varias décadas para que la comunidad evaluativa reconozca la utilidad de tal enlace, los Progam Evaluation Standards de 1993 traen procedimientos de evaluación (en términos de mi alumno graduado) "para los noventa y más allá", y legitima una integración lógica, razonable y sensata de la amplia variedad de procedimientos de investigación disponibles para los evaluadores de programas.
NOTAS
[*] NOTA DE LA DIRECCION
Durante la reunión anual de la Asociación Americana de Investigación Educativa (AERA) realizada en la ciudad de Nueva Orleans, se celebró un simposium en el que participaron diversos expertos en evaluación de programas. El objetivo del mismo era presentar diferentes perspectivas sobre la nueva revisión que se ha llevado a cabo de los estándares para la evaluación de programas. En tal contexto, este trabajo presenta la aportación realizada por Margaret LeCompte al citado simposium. Los interesados pueden consultar la nueva versión de los estándares en:
Joint Commitee on Standards for Educational Evaluation (1994). The program evaluation standards: how to assess evaluations of educational programs. Beverly Hills, CA: Sage.
[1] El proyecto también recogió la típica línea base y los datos del postest de los alumnos, pero no fueron éstos el objeto inicial de la evaluación. De hecho, a los ayudantes de la investigación se les insistió para que aseguraran a los profesores y los administradores del centro que los resultados del proyecto NO serían inmediatos. En efecto, les dijimos que las mejoras de los alumnos no podrían ser evidentes hasta el tercer año del proyecto, o aún después de haber finalizado. Esto último fue lo que en realidad sucedió.
BIBLIOGRAFIA
Anderson, G.L. (1989). Critical ethnography in education: Its origins, current status and new directions. Review of Educational Research, 59(3), 249-270.
Deyhle, D., Hess, G.A., y LeCompte, M.D. (1992). Approaching ethical issues for qualitative researchers in education. En M.D. LeCompte, W. Millroy y J. Preissle. (Eds.) The handbook of qualitative research in education. San Diego, CA: Academic Press, pp. 815-861.
Dewey, J. (1934). Art as experience. New York: Minton, Balch. Dewey, J. (1938). Logic: The theory of inquiry. New York: Holt. Erickson, F. (1986). Qualitative methods in research on teaching. En M.C. Wittrock, (Ed.), The handbook of research in teaching (3¦ edición). New York: MacMillan, pp. 119-161.
Gitlin, A. y Smyth J. (1989). Teacher evaluation: Educative alternatives. Philadelphia, PA: The Falmer Press.
Goetz, J. P. y LeCompte, M.D. (1991). Qualitative research in social studies education. En J.P. Shaver (Ed.), Handbook of research on social studies teaching and learning, a project of the National Council for the Social Studies. New York: MacMillan Publishing Co., pp. 56-67.
Goetz J.P. y LeCompte, M.D. (1984). Ethnography and qualitative design in educational research. New York: Academic Press. Guttentag, M. (1971). Evaluation and society. Personality and Social Psychology Bulletin, 3, 31-40.
Helfgot, J. (1974). Professional reform organizations and the symbolic representation of the poor. American Sociological Review, 38, 475-491.
House, E. (1979). The objectivity fairness and justice of federal evaluation policy as reflected in the Follow-Through evaluation. Educational Evaluation and Policy Analysis, 1(1), 28-42. Jaeger, R.M. (Ed.) (1988). Complementary methods for research in education. Washington, D.C.: American Educational Research Association.
Joint Committee on Standards for Educational Evaluation (1993). The program evaluation standards: How to assess evaluations of educational programs. United States.
LeCompte, M.D. (1972). The uneasy alliance of community action and research. School Review, 79, 125-132.
LeCompte, M.D. (1990). Review of Designing qualitative research, por C. Marshall y G. Rossman, Qualitative Studies in Education, 3 (3), 295-298.
LeCompte, M.D. (en prensa). Some notes on power, agenda and voice: A researcher's personal evolution toward critical collaborative research. En P. MeLaren y J.M. Giarelli, (Eds.). Critical theory and educational research. Albany, NY: State University of New York Press.
LeCompte, M.D. y Goetz, J. P. (1982). Ethnographic data collection and analysis in evaluatlon research. Educational Evaluation and Policy Analysis, Fall, 387-400.
LeCompte, M.D. y Preissle, J. (1993). Ethnography and qualitative design in educational research. San Diego: Academic Press. Lincoln, Y.S. y Guba, E. G. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.
Reichardt, C.S. y Cook,T.D.(1979). (Eds.) Qualitative and quantitative methods in evaluation research. Beverly Hills, CA: Sage.
Rivlin, A.M. (1971). Systematic thinking for social action. Washington, D.C.: The Brookings Institute.
Romagnano, L. (1991). Managing the dilemmas of change: A case study of two ninth grade general mathematics teachers. Tesis doctoral inédita, School of Education, University of Colorado-Boulder.
Sherman, R.R. y Webb, R.B. (1988). Qualitative research in education: A focus. En Sherman, R.R. y Webb, R.B. (Eds.) Qualitative Research in Education: Focus and Methods. New York: The Falmer Press, pp. 2-22.
Stake, R.E. (1978). The case study method in social inquiry. Educational Researcher 7, 5-8.
Wax, M.L. (1979). Desegregated schools: An intimate portrait based on five ethnographic studies. Informe inédito para el National Institute of Education. Social Science Institute, Washington University, St. Louis.
Wilson, S. (1977).The use of ethnographic techniques in educational research. Review of Educational Research, 47, 245-265.
Wolcott, H.M. (1980). How to look like an anthropologist without really being one. Practicing Anthropology, 3(1), 6-17, 56-59. Wolcott, H. M. (1990). Writing up qualitative research. Newbury Park, CA: Sage.
(Texto traducido del inglés por Ana Corrales Pérez)
LeCompte, M.D. (1995). Un matrimonio conveniente: diseño de investigación cualitativa y estándares para la evaluación de programas. RELIEVE, vol. 1, n. 1.
Consultado en http://www.uv.es/RELIEVE/v1/RELIEVEv1n1.htm