APROXIMACIÓN METACOGNITIVA A LA EVALUACIÓN EN LA ENSEÑANZA

RESUMEN

El objetivo de este artículo es realizar una aproximación a la evaluación de la enseñanza en función de las estrategias metacognitivas. Desde este enfoque se estudia cómo se auto-monitorizan y remodelan los propios procedimientos cognitivos, atendiendo la evaluación no sólo al producto sino a todo un proceso auto-gestionado de forma ejecutiva. Esta faceta metacognitiva de la evaluación podría incrementar su validez ecológica porque parece favorecer tanto una retroalimentación constante del método de enseñanza de acuerdo con el contexto personal como la consideración de objetivos no previstos inicialmente.

ABSTRACT

The aim of this study is to analyze the teaching evaluation from the metacognitive strategy. In this way, it can allow self-monitoring the process, changing it. The evaluation is not like an product, if it is in this way, the teaching should be evaluation depends of the process. The metacognitive aproach of the evaluation increases the ecological validity, because it can value and to have a feed-back constantly with the teaching method according to the personal context, even not expected at first.

INTRODUCCIÓN

En este artículo se enfoca la evaluación de la enseñanza desde una perspectiva de estrategias metacognitivas que considera elementos de contexto, de entrada de información, de proceso y de producto. La evaluación entendida de esta forma pretende remodelar permanentemente el aprendizaje de forma ejecutiva con el concurso de las mismas personas que están aprendiendo. La identificación tradicional de la evaluación con los exámenes sumativos centrados en el producto final ha hecho que, a veces, se pierda la perspectiva de la evaluación como una parte integrante del mismo proceso educativo; de esta forma se comprueba si hay aprendizaje a partir del producto sin comprobar la auto-elaboración de estrategias metacognitivas y sin tener en cuenta que la evaluación independiente del proceso no existe por si misma sino que depende de dicho proceso. El enfoque metacognitivo de la evaluación incrementa significativamente la validez ecológica porque puede valorar y retroalimentar continuamente el método de enseñanza aplicado en función del contexto educativo, teniendo en cuenta el esquema axiológico de los alumnos y permitiendo el auto-registro del nivel de logros incluso en objetivos no previstos inicialmente. La legislación educativa de la Consejería de Educación de la Junta de Andalucía (C.E.J.A., 1997) refrenda esta concepción procesual de la evaluación especificándose que:

“Los profesores y profesoras evaluarán los procesos de enseñanza y su propia práctica docente en relación con el desarrollo del currículo. Asimismo, evaluarán el proyecto curricular y la programación docente, en virtud de su desarrollo real y de su adecuación a las necesidades educativas del centro y a las características específicas del alumnado”. (Tit. VIII; Art. 33. O. 14/9/94)

La preocupación por la mejora de los diseños de evaluación ha promovido la creación de diversos modelos de evaluación procesual. En el modelo C.I.P.P. (Context, Imput, Process, Product) (Stufflebeam, 1987; Scheerens 1992) se definen las decisiones a tomar en relación con el proceso de la enseñanza:

-         Planificación: .....................................especificación de metas y objetivos.

-         Estructuración: ...................................especificación de los medios

-         Aplicación: .........................................proceso real de desarrollo del programa.

-         Reciclaje: ............................................coincidencia entre resultados y propósitos.

Si se observa el catálogo disponible de instrumentos de evaluación puede comprobarse que estos se dedican a la evaluación del proceso de aprendizaje. En cambio la evaluación del proceso de enseñanza está necesitada en el plano de la fundamentación teórica y de los recursos técnicos de una atención especial que diversos autores consideran menor de lo que sería deseable (Pérez Juste y García Ramos, 1989; Fernández Díaz y González Galán, 1997). Dado que aún no existe un corpus suficiente de estudios, programas y tests metacognitivos en nuestro contexto puede parecer apresurado abordar ya su evaluación, por lo que en este artículo la metacognición se ensaya como una lente para aproximarnos a la enseñanza desde la perspectiva de la mediación en los aprendizajes auto-observados. Así en este estudio, de forma introductoria y sin ánimo de agotar el tema, se analizan desde una perspectiva estratégica los elementos que conforman el proceso de enseñanza: los proyectos curriculares de centro, las programaciones, los materiales curriculares, la actividad educativa observable y la organización escolar. La evaluación de la eficacia del profesorado y de la dinámica de las instituciones entraña dificultades derivadas del posible encuentro con estructuras cristalizadas de tipo burocrático, compuestas por derechos adquiridos e intereses creados, y en su desarrollo conlleva cierto riesgo para el investigador, siendo por ello esta tarea fascinante por su carácter pionero y de aportación social.

¿Cómo lograr que los alumnos se auto-motiven si, en último término, la conciencia es inviolable?, esa es la cuestión, el “ser o no ser” de la acción educadora. En las fases de entrada y de proceso esta auto-motivación se procura desarrollar mediacionalmente con la Orientación Metacognitiva ejercida por el educador (Baker y Herman, 1985; Borkowski, 1985; Trillo, 1988; Burón, 1988; Cross y Paris, 1988; Repetto y Barrero, 1990; Repetto, 1993; Bielaczyc, Piroli y Brown, 1994; Zabalza, 1995; Repetto, Barrero y Gil, 1997, Barrero y Martín, 1998). Dado que, desde esta perspectiva, enseñar es mediar simpáticamente (sim-patía: sentir en; Repetto, 1979) en el acceso a estímulos que procuren el auto-diseño de respuestas a conflictos cognitivos (Alonso, 1989), es necesario desarrollar instrumentos de evaluación con potencia suficiente para establecer en qué medida la enseñanza media en la capacidad del alumno para automotivarse mediante su propio autocontrol. Esta mediación, a la que la LOGSE otorga la virtud de procurar aprendizajes significativos en los alumnos, no se puede desarrollar si no se dispone de programas específicos para dotar a los alumnos de estrategias metacognitivas. Los modelos puros de Investigación-acción (Kemmis, 1988, Carr y Kemmis, 1990) llegan a cuestionar el contraste empírico-experimental y el diseño de programas estándar metacognitivos que precisan medir (acountability) el producto al responder a un modelo multi-paradigmático. Esta confrontación teórico-práctica contradice el análisis filológico que empareja ambos términos pues método (teoría) en griego significa camino (práctica).

1. LA EVALUACION DE LOS PROYECTOS CURRICULARES DE LOS CENTROS

Los proyectos curriculares de los centros (Ministerio de Educación y Ciencia, 1989) precisan de una evaluación previa a su implementación que establezca las necesidades de toda la comunidad educativa. También el medio social debe ser tenido en cuenta desde una perspectiva ecológica ya que el centro debe integrarse culturalmente en la comunidad donde se inserta. El plan de evaluación del P.C.C. debe incluir en su diseño (Montero, 1995):

-         Análisis de los aspectos prioritarios declarados en las finalidades educativas del centro.

-         Selección de los aspectos que deben evaluarse en cada elemento del P.C.C.

-         Formulación de los criterios de evaluación

-         Elaboración de técnicas de evaluación

-         Funciones de los órganos implicados en la evaluación

-         Propuestas para la administración educativa.

La evaluación de los proyectos curriculares implica en primer lugar la estimación de necesidades de los agentes que configuran la comunidad educativa. Es necesario averiguar qué expectativas tienen los alumnos, las familias, los profesores y las propias instituciones. Estas demandas pueden responder, en parte pero de forma significativa a un currículum oculto (Torres, 1991) y el modelador del proyecto debe disponer de procedimientos adecuados para conseguir esta información. La necesidad de estas estrategias configura un perfil de educador que aúna tanto el conocimiento de la teoría del curriculum como la habilidad de la práctica profesional a pie de obra.

1.1. Evaluación de necesidades de los agentes educativos

Cuando evaluamos necesidades estamos estableciendo un compromiso con las personas que dependen de nuestra actuación ya que nos proponemos superar la discrepancia entre lo que se observa y lo que se desea (Tejedor, 1990; Witkin et al.,1996). Esto tiene repercusiones deontológicas ya que a veces en la aplicación práctica se exploran las necesidades para que parezca que se hace “todo lo posible” por los alumnos (Mora, 1986) pero después el programa es activado sin mecanismos de retroalimentación. Este dominio constituye parte del conjunto de las habilidades diagnósticas mediante las que se establece la línea basal del alumno para fundamentar en ella el proceso de enseñanza.

Necesidades de los alumnos y de su contexto familiar

Cuando se quieren evaluar las necesidades de los alumnos hay que conseguir que las expliciten de la forma más clara posible mediante aplicación de cuestionarios individuales o en pequeños equipos con posteriores puestas en común y resumen de conclusiones generales. En esta exploración hay que llegar a conocer no solo lo que dicen o sienten sino también lo que de verdad necesitan. Si el proceso de enseñanza se basa en necesidades de los alumnos se salvaguarda la motivación ya que las personas muestran interés por aquello que cubre sus necesidades. De esta forma los alumnos deben ser animados a que expresen qué capacidades desean desarrollar preferentemente, qué objetivos quieren alcanzar y a que valores quieren aspirar. Como la enseñanza desarrollada por el centro educativo está condicionada por el ambiente familiar (Estébanez, 1995) la evaluación de las necesidades de las familias es una tarea importante. Esto debe llevarse a cabo mediante un protocolo en el que consten datos tanto de familias concretas como resultados globales de encuestas aplicadas colectivamente. Igualmente la animación de escuelas de padres puede ser una vía adecuada para recibir información sobre cuales son las expectativas más relevantes en relación con el centro educativo.

Necesidades de los profesores

Las necesidades de los profesores deben ser evaluadas en el diseño de evaluación general del P.C.C. (Proyecto Curricular de Centro), pues son los agentes educativos que tienen un contacto más prolongado con los alumnos en el desarrollo de las actividades del centro, existiendo unas necesidades genéricas que pueden servir de esquema inicial para indagar las expectativas del profesorado (Nieto, 1982). Del estudio que este autor presenta podemos deducir que los profesores aspiran por lo general a disfrutar en sus aulas de un clima de trabajo relajado y un clima cordial y comprensivo y quieren estar integrados en el grupo de colegas y ser aceptados por la mayoría. En relación con los padres necesitan su aprecio y apoyo en relación con la educación de los niños. En relación con el centro necesitan aportar iniciativas valiosas, tanto en el claustro como en los departamentos y equipos docentes y necesitan ser tenidos en cuenta a la hora de desarrollar actividades extraescolares. En cuanto a la comunidad en la que se inserta el centro escolar los profesores suelen necesitar estar integrados en dicha comunidad que en el caso de situaciones socio-culturales deficitarias suele exigir una actitud de casi aculturación. Los profesores necesitan que sus alumnos se sientan motivados ante las tareas que les proponen y precisan sentirse expertos en el uso de todo tipo de materiales curriculares. Los profesores necesitan sentirse líderes expertos en la monitorización individual o en equipo de los alumnos (Clift, 1990). Los profesores precisan sentirse satisfechos de su capacidad expositiva, de su capacidad evaluadora y de sus posibilidades para auxiliar a los alumnos en actividades de recuperación. El profesorado precisa sentirse sujeto de promoción personal desde el punto de vista intelectual. Esta aspiración constituye, hoy por hoy, una carencia de nuestro sistema, ya que parece instalada la idea de que precisamente en la práctica directa de la enseñanza es donde hay menos posibilidad de promoción personal. Se piensa, quizá más en la enseñanza primaria y secundaria, que se van a tener más oportunidades de promoción profesional si se ocupan cargos administrativos (administración educativa), técnicos (equipos psicopedagógicos, inspección) o socio-políticos (sindicatos, partidos, concejalías) de carácter no docente.

Necesidades institucionales

Como la sociedad es la que mantiene los servicios educativos por ética social es justo considerar qué pide en el plano educativo (acountability). Estas necesidades institucionales muy relacionadas con criterios de eficacia se suelen satisfacer con la respuesta a unos protocolos de supervisión en los que se argumenta el nivel de logro de los objetivos logrados (Scriven, 1967). La concreción de los P.C.C. en los Planes y Memorias Anuales de Centro responde a esta filosofía ya que estos documentos son aprobados por el consejo escolar en el que hay representantes de la comunidad (padres de alumnos y ayuntamientos). Dado el bajo nivel de descentralización que se observa en nuestro país en relación con el contexto anglosajón (García, 1984), es de esperar en el futuro un fuerte incremento de estas exigencias sociales en cuanto a participación y control comprensible desde una perspectiva democrática.

1.2. Evaluación del medio ecológico de la enseñanza

El proceso de enseñanza se desarrolla en un medio social determinado y gran parte de las dificultades de comunicación que se dan entre instituciones educativas y la sociedad pueden deberse a que algunas de éstas no acaban de abrirse a dicha sociedad actuando como estructuras de poder burocrático autosuficientes e incomunicadas. La imagen poco ortodoxa pero rigurosamente cierta del orientador, del presidente de la asociación de padres o del inspector saltando la valla del colegio o del instituto porque no hay por donde entrar (en los últimos meses nadie se ha preocupado de arreglar el portero electrónico) es una curiosidad jocosa pero que ilustra fidedignamente la circunstancia de que no se ha realizado la evaluación del medio considerándolo un sistema integrado ecológicamente por un equilibrio de relaciones humanas.

Interacción cultural del centro con la comunidad

Con los diseños interculturales (Marcelo, 1992; Bartolomé Pina y Cabrera Rodriguez, 2000; De Miguel Díaz, 2000) el centro se integra en su comunidad y los programas se comprometen con el cambio social. Esto es especialmente necesario en contextos en que la densidad cultural de las comunidades es muy alta. Pensemos por ejemplo en el área de influencia del Rocío en las provincias de Sevilla y Huelva en torno al Coto de Doñana que constituye no solo una reserva natural sino también antropológica (Moreno, I. 1972; Barrero, 1999, Barrero y Escudero, 2001) y en la que el conjunto de valores y mores se diferencia significativamente de la cultura global favoreciendo una forma de vida y una estructura social distinta. En el ejercicio de la Orientación se puede comprobar que en la medida en que se consideran estas variables el éxito del proceso de enseñanza es mayor pues con modelos metacognitivos de contenidos autóctonos la repercusión emocional (Winograd y Paris, 1988; Garner, 1994) tan necesaria en los procesos cognitivo-ejecutivos es elevada. Dada su importancia se están incrementando significativamente los estudios de proceso de enseñanza para la evaluación del clima social del aula, siendo la creación de instrumentos de evaluación que estiman hasta qué punto el centro está catalizando la comunicación entre el ámbito social y la enseñanza un objetivo para quienes están interesados en ampliar el ámbito de la medida de los procesos de aprendizaje a los procesos de enseñanza.

Agentes educativos y contexto

Aunque es una antigua aspiración de la praxis educativa el transformar el contexto social, en la pugna agentes educativos – contexto parece ser éste último quien marca la pauta. Existen vectores político-sociales de suficiente fuerza como para que la institución académica no tenga que soportar esta pesada responsabilidad. Es decir, no es preciso que nos propongamos cambiar la sociedad desde la institución académica sino que basta con que los agentes educativos comprendan la estructura cultural del contexto, cosa muy necesaria en nuestra estructura funcionarial, y lo respeten. Por ejemplo, en Sevilla o en Pamplona demostraría poca sensibilidad cultural un profesorado que concentrase los exámenes después de la Feria de Abril o de los Sanfermines; evidentemente la normativa académica lo permitirá pero su inadecuación ecológica pasará factura en cuanto a resultados del proceso de enseñanza. Este enfoque ecológico puede definirse (Medina y Sevillano, 1990) desde una perspectiva curricular:

“Plantear la educación con visión curricular supone que todo buen diseño, desarrollo y evaluación de un currículum, ya se trate de la labor de un profesor, de un grupo de profesores –mejor-, de un centro, o de un grupo de profesores e investigadores, actúa dentro de un marco mucho más amplio marcado por exigencias sociales, políticas y culturales, si bien es verdad, que en última instancia es el profesor el que tiene que implantarlo en su aula y solucionar los muchos problemas que se le van a presentar”. (pag. 725)

1.3. Evaluación de un elemento básico en la calidad de los sistemas: la viabilidad.

Quienes diseñan la evaluación de procesos de enseñanza se mueven entre el horizonte de Utopía y la limitación realista de objetivos. La investigación en evaluación educativa, sin renunciar a la inestabilidad de la aventura intelectual y al riesgo de conseguir nuevos descubrimientos, ha de establecer la factibilidad del modelo evaluativo (Pérez Juste, 2000). Esto no quiere decir que se diseñen proyectos ilusorios que desemboquen en el fracaso pero con una adecuada fundamentación científico-técnica es posible emprender empresas arriesgadas y hasta imposibles, como es el caso de la estimulación cognitiva (Bolt, Beranek y Newman, 1984; Feuerstein, 1988), considerada de forma incluso esotérica hasta que la proliferación de estudios empírico-experimentales ha establecido la ductilidad (Borkowski, 1985) del concepto de inteligencia.

En el caso de la praxis orientadora, el que ésta se mueva en un ambiente de tremendo descontento (Álvarez Rojo, 1994) puede ser una consecuencia, entre otras, de un perfil poco definido del orientador en cuanto que ejecutivo de la educación que debería justificarse mediante metas ganadas. En este sentido los estudios de viabilidad nunca deberían constituir un recorte de las expectativas sobre la eficiencia, ya que siguiendo a Pérez Juste podemos decir que con propuestas muy elaboradas y de aplicación excesivamente costosa en recursos la viabilidad se reduce de forma exagerada, mientras que si se lleva a cabo una evaluación suficiente, en la que se dejan fuera los elementos superfluos es posible preservar los estándares del Joint Committee (1994) dentro de una evaluación realista, prudente, diplomática y austera, concretada en manifestaciones de procedimientos prácticos, viabilidad política y coste-efectividad.

Para establecer esta factibilidad ponderada y posible en función de las circunstancias del contexto es necesario hacer una evaluación previa incorporando los elementos técnicos necesarios en forma programática, para argumentar cómo va a ser posible alcanzar las metas. Si el profesorado está desanimado habrá que motivarlo, si no se considera capaz de desarrollar determinada metodología habrá que instruirlo, si los materiales curriculares no son aptos habrá que adaptarlos o reinventarlos y si las relaciones entre los grupos son conflictivas habrá que diseñar dinámicas que corrijan dichas situaciones (Huse y Bowditch, 1996).

Cuando se evalúa el Proyecto Curricular de centro hay que tener en cuenta que sea viable culturalmente ya que si desarrollamos valores que entren en conflicto con el esquema socio-cultural de los alumnos, esto les creará un estrés que disminuirá la calidad del proceso de enseñanza. El investigador ha de tener aquí una fina sensibilidad para decidir cuándo este nivel de estrés cultural es excesivo. Por el contrario cuando se tiene en cuenta esta circunstancia el éxito puede llegar a ser llamativo y no es raro que en instancias externas al propio proceso los achaques a la buena suerte emerjan para explicar lo inexplicable.

Deben darse indicaciones en relación con decisiones que influyan en la estructura del centro. Por ejemplo, los consejos que el orientador da al profesor de apoyo a la integración, deben matizarse en el sentido de que el orientador soporta mucha menor presión por lo que es frecuente que lo que no es un problema para el orientador, asesor o inspector sí lo sea para alguien que pertenece a la institución. Como en la perspectiva deontológica del periodista que limita las declaraciones del entrevistado para preservar su integridad no está de más advertir a los implicados que no se dejen llevar a ciegas por lo aconsejado por el orientador, ya que éste se marcha y es el educador el que permanece en un medio que puede llegar a ser muy árido. Así activamos sistemas de defensa en alguien que es importante en la gestión del proceso. Si esta prevención no se tiene en cuenta el conflicto generado puede producir tensiones que no se pueden resolver.

Si no empleamos la suficiente habilidad social es probable que la viabilidad se resienta. Las instituciones son muy sensibles a esta circunstancia por lo que en una zona de ideología determinada algunos programas pueden ser considerados inviables, por ejemplo un programa de educación sexual no se podrá desarrollar en una zona de excesivo puritanismo. Aunque la práctica y la teoría, como en el caso de la tortuga de Zenón que citamos al final de este artículo, pueden contradecirse. Así he podido contemplar perplejo como un grupo de religiosas se afanaban en su centro con diseños críticos en la más pura esencia neo-marxista de la escuela de Frankfurt (Habermas, 1990) sin ser conscientes de a qué praxis podía conducir la teoría que estaban desarrollando ni en qué tipo de profunda contradicción epistemológica estaban cayendo. Es prudente evaluar qué grado de flexibilidad ideológica tienen las instituciones con objeto de que nuestro estudio previo de viabilidad evite elementos de conflicto, instruyendo a las personas desde una perspectiva deontológica acerca de la congruencia de la actividad educativa desarrollada y de su propia ideología ya que la actividad pedagógica incorpora paradigmas muy complejos que a veces no son comprendidos por los agentes educativos.

1.4. Sistema evaluativo I+D en los proyectos curriculares de los centros

El proyecto curricular de centro como diseño de intervención en un contexto determinado precisa de un esquema evaluativo que integre teoría y práctica (Ciencia I + D Técnica). Este diseño debe incorporar especificaciones acerca de cómo los alumnos y las familias pueden informarse sobre progresos y dificultades, también deben explicitarse los medios evaluativos de forma concreta: pruebas, tests pedagógicos, cuestionarios, trabajos prácticos, tiempos a emplear, agentes evaluadores e informes finales de evaluación. Esta concepción del proyecto curricular de centro como un diseño de investigación y desarrollo hace que se establezca una dialéctica enriquecedora permanente entre epistemología y técnica. El modelo debe servir de contraste para la enseñanza en tiempo y espacio reales ofreciendo una medida final de control de calidad en la que habrán participado de forma interna el staff directivo y los equipos docentes y de forma externa la inspección y los equipos de orientación educativa. Todos estos sectores deben colaborar con objeto de lograr el mayor nivel de calidad posible sin considerar elementos de supervisión desvinculada de lo que sería el programa general de intervención pues son elementos cualificados. Desde esta perspectiva orientados y supervisados son todos al ir empeñados en la misma empresa y al aplicárseles la misma auditoria de calidad total.

Modelo de retroalimentación para los procesos de enseñanza

Este modelo debe incorporar una serie de elementos que lo haga eficaz (Montero, 1995), siendo los más relevantes:

- Aprovechamiento de los recursos del centro.

- Gestión organizativa de las aulas en cuantoa agrupamientos y responsabilidades.

- Tipo de relaciones personales cruzadas en todas la comunidad educativa.

- Coordinación entre equipo directivo, tutores, profesores de apoyo y equipos externos.

- Participación de las familias.

- Calidad de los instrumentos de medida y nivel de logro de los objetivos marcados.

- Adecuación del proceso de enseñanza a las características de los alumnos.

- Calidad de los materiales curriculares empleados.

- Criterios de promoción de curso.

- Diseño adecuado de las Adaptaciones Curriculares de centro, ciclo, aula e individuales.

Citando a Pérez Juste (1995) podemos decir que la evaluación de programas educativos implica una verdadera retroalimentación del proceso de enseñanza ya que es:

“un proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa –valiosa, válida y fiable- orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora, tanto del programa como del personal implicado” (p. 73)

Si a partir de la evaluación se pretende animar el proyecto curricular de centro ésta debe ser democrática e implicar personalmente al profesorado (Beltrán y San Martín, 1992). También debe estar estructurada de forma que las personas implicadas se sientan protagonistas de lo que no es más que un diseño de calidad del proceso y del producto educativo. Para ello se deben acotar los temas que se van a evaluar y el tiempo que se va a emplear, facilitando la oportunidades de participación al profesorado y registrando de forma técnica mediante informes oficiales las directrices asumidas. En el caso concreto de la evaluación de las Diversificaciones Curriculares (Muñoz, E. y Maruny, 1993), es importante tener en cuenta algunos criterios de evaluación extensibles a las Adaptaciones Curriculares Individuales en Educación Primaria:

- Estrategias de integración social y auto-aprecio para el alumno con D.C. o A.C.I.

- Estrategias didácticas para lograr una promoción académica real.

- Evitación institucional del cumplimiento profético de expectativas negativas.

- Aptitud pedagógica de los profesores.

Controles finales de calidad o del producto

Estos pueden ser internos, ya referidos a los equipos docentes o staff directivo o externos (inspección y equipos de orientación). El control final de calidad o evaluación sumativa ha sufrido la crítica de una evaluación procesual mal entendida. Desde una perspectiva vivencial más que pensar la evaluación ésta se siente al hilo de la propia actuación y se complementa con los instrumentos formales que se estimen necesarios, pero la comunidad que sufraga los centros educativos tiene el derecho de evaluar sumativamente sus resultados y los centros tienen la obligación moral de responder de forma positiva a esta inspección de logros (Scriven, 1991; Stake, 1991; Apódaca, 1999). La progresiva municipalización de los servicios educativos incrementará la incidencia de este tipo de evaluación externa que no persigue más que comprobar el rendimiento social de un recurso mantenido con fondos públicos.

Una vez analizada la evaluación de los proyectos curriculares de los centros es preciso profundizar en los métodos de evaluación de las programaciones, ya que éstas articulan de forma concreta la práctica de la enseñanza y permiten ajustar los procesos antes de su implementación.

2. EVALUACIÓN DE LAS PROGRAMACIONES

2.1. Constructivismo en la práctica

Siguiendo a Jornet, Suárez y Pérez Carbonell (2000), podemos decir que desde una aproximación integradora el enfoque constructivista de la evaluación de programas complementa el tradicional enfoque positivista de forma que no sólo interesa saber si un agente es causa y efecto sino también qué intencionalidad hay en la actuación de dicho agente, completándose la explicación causal y la predicción del positivismo con la comprensión de la intencionalidad constructiva de las acciones de los sujetos. Al evaluar las programaciones debe constatarse su nivel real de constructivismo, ya que los objetivos de “aprender a aprender” y “aprender a enseñar”, deben ser elementos integrados en modelos individuales y colectivos de eficacia docente. En este sentido son muy exigentes los requerimientos de aptitud pedagógica en algunos países (García Garrido, 1984) como Francia:

“El camino para.convertirse en professeur agrégé es aún más arduo e intrincado. Con cierta frecuencia, las Ecoles Normales Supérieures son las instituciones elegidas por los alumnos a ese fin. Con el título de bachillerato y tras dos años de classes préparatoires, los candidatos se presentan al examen de ingreso en alguna de las pocas y prestigiosas Escuelas Normales Superiores existentes en el país. Si lo superan -lo cual es trabajoso- permanecen allí durante tres o cuatro años adquiriendo una formación de alto nivel en ciencias o en letras, al término de los cuales suelen por lo común presentarse al difícil concurso para obtener la Agrégation de l´enseignement secondaire, que les garantiza plena estabilidad y libre acceso a la enseñanza de los liceos.” (p. 244)

La LOGSE (CEJA, 1996) en sus articulos 20.4 y 27.5 referidos a enseñanza secundaria plantea la necesidad de que los alumnos aprendan por sí mismos. No ocurre lo mismo en educación infantil y primaria a pesar de que los modelos cognitivos existentes lo permitirían desde una perspectiva técnica, lo parece reflejar en el legislador cierta desconfianza en el propio sistema para lograr los objetivos. Desde los inicios de la fundamentación teórica de la Reforma Educativa se ha considerado de recibo hacer constar en las programaciones que se va a procurar que los alumnos aprendan a aprender, es decir, que las habilidades de aprendizaje estén precedidas por habilidades de pensamiento (Arredondo y Block, 1990). Pero en la práctica se puede observar que a pesar de la disponibilidad de programas cognitivos en nuestro contexto (Mora, 1991) aun se lleva a cabo el empleo frontal de textos comerciales que no generan estrategias.

2.2. Modelos de evaluación de la eficacia docente

Los modelos evaluativos han evolucionado desde el enfoque individual (Csikszentmihalyl y Mccormack, 1988) hasta el análisis de equipos docentes que favorece procesos de enseñanza más fiables. Un profesor muy eficiente en un mal equipo podrá observar que sus logros son abortados por el conjunto de un sistema que no funciona bien. En cambio si se incorpora a un equipo con dinámica positiva éste podrá ayudar a corregir sus fallos porque en los equipos directivos, en los equipos de ciclo, en los departamentos y en los equipos externos es donde se activa el proceso educativo.

Modelos individuales

Gran numero de maestros de educación primaria reconocían antes de la Reforma LOGSE no estar preparados para llevarla a cabo (Escudero, 1985). Aunque en la realidad de nuestro contexto parece ser que el nivel de aptitud pedagógica ha mejorado significativamente hay consenso en aceptar que el problema se ha trasladado al tramo secundario de la educación obligatoria. El profesor debe ser el primer interesado en auto-evaluar su elaboración de la programación, su ajuste a la línea basal de aprendizaje de los alumnos y su habilidad diagnóstica y de pronóstico realista y esperanzado acerca de los alumnos que le han sido confiados, siendo un método de evaluación derivado del enfoque centrado en el cliente el juicio de los propios alumnos (Marsch, 1987; Scriven, 1995). En estas investigaciones los alumnos reclaman preferentemente interés personalizado por parte del profesor y altos niveles de calidad en el planteamiento y presentación de los conocimientos, también, aunque en menor medida, participación en el debate colectivo de los temas y justicia en las calificaciones. Los alumnos definen como perfil docente idóneo el de aquel profesor que empatiza con sus alumnos mediante una relación personalizada sin olvidar el dominio de su materia y la comunicación comprensible de ésta estimulando la participación discente y observando criterios de precisión y justicia en la formulación calificatoria del resultado de sus evaluaciones.

Dentro de un modelo más amplio del rendimiento académico con un enfoque institucional, pero empleando la perspectiva del alumnado universitario (Álvarez Rojo et al., 1999; Álvarez Rojo, García Jiménez, y Gil Flores, 1999) se ha establecido que los factores de más peso en el rendimiento son, desde el punto de vista de los alumnos, la motivación para la carrera, las estrategias cognitivas (procedimientos y técnicas) de trabajo y la integración de dichas estrategias en el desarrollo de las asignaturas. Esta metodología es especialmente idónea en el caso de la auto-inspección voluntaria. Al crecer el estatus científico-pedagógico del profesor éste se beneficia de una mayor autonomía profesional; como es el caso de Estados Unidos donde en la década pasada un 70% de los docentes de la educación general, tanto primaria como secundaria, ya poseían el equivalente a nuestra licenciatura en Ciencias de la Educación (García Garrido, 1984). En este caso se observa que la función inspectora como tradicionalmente se entendía está siendo complementada con la supervisión de programas.

Al especificar las tipologías psicológicas propias del docente inadaptado (Avancini, 1980), se ha establecido que éste suele ser irónico, despreciativo, autoritario, impulsivo y pesimista, pero actualmente los paradigmas de investigación se han centrado desde un enfoque positivo en la selección previa, en la supervisión, en la formación inicial y en el reciclaje permanente (OCDE-CERI, 1985). El perfil docente (Marcelo, 1988; Angelo y Cross, 1993; McIver y Wolf, 1998; Wolf y McIver, 1998) se define como el de un verdadero mediador que cataliza la motivación, el auto-aprendizaje y el trabajo en equipo que ayuda al alumno en el uso de materiales nuevos que domina su materia y sabe exponerla y comunicarla manteniendo su entusiasmo por su labor y por su actualización. En cuanto a sus relaciones personales con los alumnos este profesor paradigmático actúa como consejero y orientador, da a conocer sus objetivos y actúa en función de ello, hace gala de buen humor sin que por ello pierda su autoridad, es justo en sus evaluaciones y se cultiva culturalmente.

Doolittle (1994) ha diseñado un procedimiento de evaluación para que los profesores estructuren y presenten sus habilidades de enseñanza denominado teacher portfolio. El instrumento es un conjunto de documentos creados para favorecer la reflexión sobre el propio trabajo y sobre las interacciones interpersonales con los demás colegas. Algunos de estos documentos son:

-         Carpeta de formación básica (background) o conocimientos previos del profesor

-         Descripción de las aulas o clases en las que interviene

-         Exámenes o certificaciones de competencias que lo acreditan

-         Reflexiones sobre la propia actuación y metas personales de enseñanza

-         Itinerario documental de asistencia a cursos y seminarios de formación

-         Proyectos propios de enseñanza

-         Fotografías y grabaciones en vídeo, audio o WEB-CAM de sus actuaciones

El teacher portfolio se define como una herramienta educativa útil tanto para la auto-mejora del nivel profesional de los profesores como para su selección y promoción profesional. Dado que la gestión de teacher portfolio es personal y con objeto de estandarizar su evaluación desde un punto de vista objetivo el instrumento debe constar de un conjunto de ítems referidos a responsabilidades educativas ejercidas, evaluaciones externas relativas al nivel de aptitud pedagógica, actividades certificadas de reciclaje y evaluaciones anónimas de la enseñanza llevadas a cabo por alumnos. Doolittle recomienda comenzar la elaboración de teacher portfolio de forma lenta y realista, procurando el conocimiento pormenorizado, la aceptación positiva de los administradores de los que dependen los profesores y la auto-implicación del profesorado que ha de ser el verdadero protagonista.

Evaluación de los equipos internos y externos

Aunque el modelo individual de eficacia docente o aptitud pedagógica se mantiene actualmente, éste se completa con un modelo holístico de evaluación de los equipos que intervienen en el proceso de enseñanza, sean éstos elementos externos como los inspectores, asesores y orientadores o internos como los equipos directivos, de ciclo o seminarios-grupos de trabajo. Los métodos de evaluación de los equipos externos de inspectores y orientadores se encuentran en fase de desarrollo. Con respecto a los orientadores se suele incluir en las memorias de los centros de nuestro contexto un apartado referido a la evaluación de la intervención de los equipos de orientación educativa en cada centro. En este sentido son de gran interés las aportaciones del grupo de investigación MIDO de la Universidad de Sevilla (Álvarez Rojo, 1992), pionero en el tratamiento del tema. La aportación programática de la inspección no se suele mencionar en los informes de los centros y no hay ninguna norma que lo sugiera, con lo que estos profesionales pueden tener dificultades para incardinar su función supervisora de forma didáctica en el proyecto curricular del centro en el que actúan. La evaluación de los equipos internos de ciclo y seminarios (Rodríguez Díez, 1992) puede hacerse respondiendo a estas auto-preguntas:

-         ¿Hemos elaborado un plan de trabajo específico para los componentes del equipo que

incorpore un programa común?.

-         ¿Los agrupamientos y horarios del alumnado se organizan según criterios pedagógicos?

-         ¿Se va a analizar por el equipo la calidad de su currículo?

-         ¿Tenemos un diseño de I+D (investigación y desarrollo) en la creación de materiales?

-     ¿Hay un diseño recuperativo de los alumnos basado en retroalimentación?

-     ¿Tiene el equipo un coordinador de documentación?

-         ¿Gestiona el equipo un modelo de coordinación familiar y con el resto de la comunidad educativa?

Este protocolo previo puede dar alguna luz sobre la necesidad de disponer de pruebas diagnósticas del proceso de enseñanza, tras la supremacia de tests estandarizados centrados en el alumno que son necesarios en su justa medida pero no suficientes. Por ejemplo: en un banco ¿a quién hay que instruir y evaluar?, ¿a los apoderados, oficinistas, economistas y directores o a los clientes?. En el sistema educativo, por tradición, ha sido precisamente el cliente quien ha sido rigurosamente medido, evaluado y, en suma, estresado, y quizá de ahí provengan, en parte, las dificultades de los profesionales de la educación para ser considerados profesionales de ayuda por encima de connotaciones burocráticas.

2.3. La evaluación de las programaciones

El modelo de Kaufman, denominado originariamente Enfoque sistémico para la Planificación de Sistemas Educativos (1990) se caracteriza por el trato individualizado del educando como eje del aprendizaje y puede ser apropiado para el diseño y la evaluación de las programaciones. Este enfoque siguiendo un modelo de planificación, identifica las necesidades existentes estableciendo alternativas y seleccionando las soluciones que predecimos más factibles. El modelo consta de 6 etapas:

1ª. Identificación del Problema a partir de las Necesidades Documentadas.

El problema redactado en términos mensurables debe suponer un conflicto entre la realidad y el futuro deseable pues está diferencia indica la presencia de una necesidad. En el ámbito educacional, la participación del alumno, de la comunidad y de los educadores, en el proceso de evaluación de necesidades es un requisito a cumplir. A continuación, se obtendrán datos significativos a partir de un análisis de coincidencias y diferencias referidas a valores, metas y objetivos.

Según Kaufman nos encontramos con tres tipo de evaluación de necesidades: el modelo inductivo, el deductivo y el modelo clásico. El modelo inductivo estudia en primer lugar a los miembros de la comunidad, y es a partir de los datos aquí recabados desde donde se elabora el programa. El modelo deductivo parte del producto deseable, es decir, de las metas educacionales nace el diseño del programa educativo a seguir para alcanzarlas. El modelo clásico es el más empleado. Consiste en plantear una serie de metas y elaborar a partir de ellas un programa a aplicar que posteriormente será evaluado. Esta evaluación de necesidades es un proceso permanente y de continua revisión, de manera que la información siempre se mantenga actualizada y atienda a los conflictos reales del colectivo a quien se dirige.

2ª. Determinación de los requisitos y alternativas para la solución.

Una vez definidas las necesidades éstas se han de priorizar, dada la general escasez de presupuestos y recursos, y definir los problemas del sistema bajo los siguientes parámetros: objetivos, destinatarios, metodología y evaluación. El Análisis de Sistemas es el instrumento a través del cual vamos a planificar detalladamente todas las fases de la intervención y consta de cuatro elementos: análisis de misiones, análisis de tareas y análisis de métodos y medios.

El análisis de misiones consiste en delimitar las metas generales y los requisitos de realización y consecución de éstas. Los objetivos de misiones son estrategias de acción a ejecutar que definen productos medibles. Los requisitos de ejecución especifican los resultados de la misión y delimitan los parámetros dentro de las que ha de ejecutarse la misión. Los perfiles de misiones son planes gráficos acerca de los procedimientos, roles o instrumentos y medios necesarios para pasar de lo real a lo deseable de manera completa y satisfactoria. El análisis de funciones es un elemento que depende de los resultados del primero a partir de los cuales delimita las funciones a realizar, a fin de resolver el problema (misión). Se trata de establecer una jerarquía escalonada de funciones (paralelas o en serie) de distintos niveles. Desde el primer nivel hasta el del análisis de tarea habrá de identificarse y enuncia los requisitos de ejecución derivados del perfil de misión para cada función.

El análisis de tareas es el más bajo nivel de análisis e indica la operación a ejecutar para la realización de una función de orden superior. Este elemento nos proporciona una visión completa a cerca de lo que hacer en función de las condiciones reales para la implantación del plan. El análisis de tareas consta de dos fases, la lista de tareas o especificación de las tareas básicas involucradas en la realización de las funciones generales y la descripción de las tareas o determinación de las características, requisitos y contexto de las tareas, colocándolos en secuencia de orden cronológico.

Una vez delineadas las tareas y sus especificaciones, aplicamos el análisis de viabilidad mediante el análisis de métodos y medios. Se trata de estudiar todas las alternativas estratégicas posibles para cubrir los requisitos de ejecución. En el se incluyen las ventajas e inconvenientes de cada propuesta. Otra de sus funciones consiste en tener presentes todas las alternativas como posibles soluciones de los problemas que se nos presenten. Este puede hacerse en cualquier momento del proceso, pero lo más recomendable es iniciarlo en cuanto se identifique y enuncie el objetivo de la misión y los requisitos afines a la ejecución.

3ª Selección de estrategias de solución entre las alternativas.

Los métodos utilizados para ello son: análisis de costos y beneficios, análisis de sistemas, Simulación, Sistemas de planificación, programación y presupuestos...

4ª Implantación de la estrategia de solución.

Es aquí donde más directamente interviene la figura del educador/a. Esta fase deberá controlarse y administrarla para la consecución de los objetivos previstos. Un instrumento de control de gran importancia en esta etapa es el PERT (técnica de Revisión y Evaluación de Programas) y el método de trayectoria crítica.

5ª Determinación de la eficacia de la realización o control de la ejecución del proceso.

La eficiencia de la ejecución se define por el grado en que han satisfecho las necesidades. De este modo en esta fase se aplicaran criterios estandarizados para evaluar en que medida se han alcanzado las metas previstas. Ejemplo de ello son los test.

6ª Retroalimentación del sistema

Esta fase no debe entenderse, a pesar de su situación, como la última, ya que ha de ser un proceso presente a lo largo de toda la planificación, de manera continua y permanente. Gracias a las revisiones periódicas se puede controlar la satisfacción de las necesidades.

Las programaciones de un centro parten de una visión global pasando posteriormente por ciclos y niveles y desembocando en las programaciones de aula. En la programación general del centro constan los objetivos a conseguir por éste y las concreciones posteriores adaptan a los colectivos implicados los objetivos generales marcados. Las programaciones de centro, como se señalaba anteriormente en el modelo de Kaufman, deben tener en cuenta el contexto de los alumnos, evaluándose qué conocimientos previos tienen y en qué situación personal y social están. Estos elementos nos van a permitir conocer sus motivaciones iniciales ya que son distintas las de un colegio de élite, las de un instituto de clase media y las de un centro con minorías marginales y cual es el grado de desarrollo de sus aptitudes. Posteriormente se lleva a cabo una evaluación de proceso, analizando al hilo de su aplicación los objetivos, contenidos, actividades y recursos. Por último haremos una evaluación sumativa de logros para evaluar al alumno y nuestro proceso de enseñanza. Esta evaluación final también puede ser ejercida con un criterio de eficacia por los agentes sociales que mantienen el centro (administración educativa, ayuntamientos, sociedades de padres, etc.). Los ciclos educativos comparten una serie de características que hacen aconsejable una programación coordinada de sus actividades. La programación de centro es la clave de las demás, si en la programación de centro se incluyen las características del alumnado y se adecuan los objetivos sólo harán falta algunas modificaciones en los estadios inferiores de ciclo, nivel y aula. Igualmente si las programaciones ciclo están adecuadamente formuladas, las de nivel y aula sólo precisarán de algunos ajustes. Al igual que en el área sanitaria no hay Medicina sino enfermos en el área pedagógica no hay Educación sino alumnos, es decir, el profesor debe tomar la programación del centro que corresponde a su nivel-aula y situarse como mediador entre ésta y sus alumnos, modificándola y adaptándola en todo lo que sea necesario (Haugen, 1989).

3. EVALUACIÓN DE LOS MATERIALES CURRICULARES

La valoración de la calidad y de la necesidad de los materiales que Kaufman (1990) denomina viabilidad y disponibilidad de recursos, sean éstos para la enseñanza o el aprendizaje es una actividad que necesita ser llevada a cabo mediante un proceso adecuado. En relación con el material específico para la enseñanza y dado que la balanza siempre se ha inclinado en dirección al aprendizaje podemos observar que ha habido más protagonismo de los libros y materiales del alumno que de los manuales e instrumentos del profesor. En relación con la naturaleza de los materiales de enseñanza existen diversos puntos de vista acerca del grado de libertad que se debe conceder al profesorado.

3.1. Grado de libertad concedido al profesor

La medida en que los materiales pueden considerarse prescriptivos constituye un tema de interés ya que el profesor como último destinatario con poder decisorio sobre los materiales antes de que estos lleguen a los alumnos debe tener un determinado grado de libertad en su administración. La creación de departamentos específicos para la evaluación y creación de materiales es una iniciativa que puede desarrollarse en los centros. De hecho nos movemos entre la aceptación de lo tradicionalmente empleado en el plano editorial , siendo un indicador la nostalgia hacia las enciclopedias escolares antiguas que ha provocado numerosas reimpresiones y culto de coleccionista, y las propuestas que consideran que al profesorado no se le debe dar material muy estructurado para que no se bloquee la interpretación dialéctica del currículum (Santos Guerra, 1990). El material empleado favorece en gran parte del éxito de la enseñanza por lo que los profesores experimentados suelen recomendar a los alumnos una exquisita gestión de sus materiales con objeto de asegurar buenas calificaciones. También es importante disponer de materiales docentes diferenciados de los discentes y de otros mixtos. En un programa de estimulación metacognitiva, puede haber manual del profesor, cuadernillo del alumno y un video o un programa de ordenador que sea común para favorecer la interacción entre ambos. En los programas metacognitivos estándar al estar centrados más en la enseñanza que en el aprendizaje cada vez suele darse más importancia a los materiales docentes (Barrero, Ipland y Reyes, 2001) ya que son los que catalizan la tarea del alumno, en cambio los materiales de los alumnos tienen cierta apariencia de libro vacío.

3.2. Grado de libertad concedido al alumno

Aunque para algunos el antiguo catón esté lleno de añoranzas lo cierto es que quienes estudiaron con esos materiales sentían limitada su creatividad y llegaban a padecer un nivel de aburrimiento elevado. El alumno necesita un algo grado de libertad para reinventar los materiales que se le procuran. Al igual que cualquier niño estropea un juguete lleno de cables y pilas en el caso de los materiales curriculares si estos no pueden ser recreados corremos el riesgo de que sean ignorados. Por ello los materiales deben suscitar un elevado nivel de exigencia cognitiva con evidentes repercusiones emocionales y motivacionales (Ausubel, 1971).

Los materiales metacognitivos están diseñados para optimizar los resultados del conflicto cognitivo que el programa provoca en el alumno y los centros pueden tener un centro de recursos con estas características que supere la mera concepción de la tradicional biblioteca. Estos recursos de carácter multimedia deberían documentar el modelado del Proyecto Curricular del Centro y fundamentarlo. En relación con el alumno los materiales deben estimular los procesos de resolución de problemas, el papel activo-creativo del alumno y su generalización a nuevas situaciones. En los programas cognitivos y metacognitivos de última generación y formato multimedia interactivo los materiales suelen estar diseñados de forma que es muy difícil el uso mecánico por parte del alumno y la aplicación frontal por parte del profesor. La resistencia al empleo mecánico y a la aplicación frontal es uno de los criterios de evaluación más eficientes. Si aplicamos dicho criterio a los libros de texto posteriores a la última Reforma LOGSE podemos observar con preocupación que muchos siguen funcionando como soportes de repetición y recuerdo y no como estimuladores cognitivos.

3.3. La evaluación de tests de estrategias metacognitivas.

Las investigaciones de diseño de tests que establecen la calidad de los materiales y los códigos de responsabilidad profesional en la medida educacional (Schmeiser et al., 1995) son necesarios porque estimulan la mejora de los programas estándar que son indispensables en la estimulación cognitiva. En este mismo sentido se expresa Cesar Coll (1992):

“¿Cómo podría llevarse a cabo y asimilarse significativamente, por ejemplo, una actuación estratégica, si no se propusieran contextos activos de elaboración, de descubrimiento y de resolución de problemas?” (pag. 122)

Desde esta perspectiva metacognitiva y para orientar el desarrollo de procedimientos estratégicos de auto-control ejecutivo es preciso disponer de un contexto activo donde el alumno manejando materiales reales construidos a tal efecto se reestructure cognitivamente.

La prueba TSD-20 como instrumento de evaluación metacognitiva

Se da una elevada escasez de instrumentos de evaluación de programas metacognitivos aunque existen algunos de estrategias de aprendizaje como ACRA (Román, 1999) y OMECOL (Repetto, 1995). TSD-20 (Reyes y Barrero, 2000) es también un test metacognitivo referido criterialmente a un programa y constituye un instrumento pre-postest del programa metacognitivo estándar “Imagen y Fantasía” (Barrero, Ipland y Reyes, 2000). Determina los procesos metacognitivos que tienen los alumnos sordos en integración y sus compañeros normoyentes de 3º y 4º de Educación Primaria tanto antes como después de aplicar programas de estimulación de la metacomprensión lectora. TSD-20 no evalúa directamente los procesos cognitivos sino la autoobservación que los alumnos hacen de éstos, tiene una estructura de 80 items establecida criterialmente sobre las especificaciones generadas a partir de las cuatro macrovariables de texto, tarea, estrategias y lector y de setenta y seis estrategias particulares derivadas de ésta, siendo las más relevantes:

-   Comprensión de ideas principales.

-   Interiorización del concepto de argumento.

-   Control de la comprensión de frases.

-   Auto-objetivo comprensivo de la lectura.

-   Interiorización del concepto de título como organizador previo.

-   Concepción de sumario.

-   Concepto de paráfrasis.

-   Concepto de relectura

-   Idea de conocimiento previo-general.

-   Las frases finales como organizadores posteriores de resumen.

-   Acceso rápido a la información esencial.

-   Auto-indicadores emocionales de la comprensión

-   Acceso léxico metacognitivo

-   Eliminación de información irrelevante.

Fundamentación teórica de la prueba TSD-20

El origen de TSD-20 (Ipland, Reyes y Barrero 1998) es la investigación de los procesos metacognitivos en la lectura de los niños sordos integrados, diferenciándose éstos de los puramente cognitivos debido a los componentes emocionales y volitivos de la conciencia lectora que hacen a la metacomprensión unívocamente humana (Brown, 1981). Estos procesos además de ser algorítmicos en el sentido de la metáfora del ordenador son entidades fenomenológicas de creatividad consciente generadas a partir del libre albedrío y ligadas a elementos éticos y estéticos. La investigación ha encontrado pruebas del papel que juegan en la capacidad cognitiva del sujeto aspectos personales tales como como el sentimiento de auto-eficacia y la capacidad de auto-observación (Nicholls, 1984; Philips, 1984; Bandura, 1986). Se ha establecido que ambas variables tienden a potenciarse mutuamente, de forma que a medida que la auto-conciencia crece, también aumenta el nivel de auto-confianza (Bouffard-Bouchard, Parent y Larivèe, 1990).

La lectura, debido a estas implicaciones metacognitivas de auto-conciencia, se convierte ante todo en un fenómeno de reflexión íntima y creativa. Por encima de la actividad decodificante que aparenta ser (Wixson y Peters, 1984; Spiro, 1987). La facilitación de estas actividades basadas en un auto-concepto positivo hacen del alumno un observador de sus propias reacciones en relación con los mensajes que intenta comprender favoreciéndose la detección de inconsistencias en los materiales y de incongruencias en los mismos procesos cognoscitivos (Garner, 1981). Los dispositivos metacognitivos diferencian a los lectores buenos de los inmaduros o deficientes (Marfo y Ryan, 1990) dependiendo la integración de significados del conocimiento de estrategias y de su empleo adecuado. La metacomprensión lectora depende también en gran medida de factores cooperativos habiéndose confirmado que la observación consciente de la comprensión está muy relacionada con el contexto de apoyo del grupo (Beal, Garrod y Bonitatus, 1990).

El cuestionario TSD-20 se ha elaborado con 80 elementos mediante los que se exploran los contenidos cognitivos de los alumnos en relación con la lectura: conciencia de la comprensión de lo esencial (Collins y Smit, 1980), concepto de parafraseado de una narración (Doctorow, Wittrock y Marks, 1978), mecanismos conscientes de relectura (Patterson, Cosgrove y O´Brien, 1980; Pitts, 1983; Herman, 1985; Dowhower, 1989).), auto-regulación de la velocidad en función de la dificultad (August, Flavell y Clift, 1985), el significado como objetivo interiorizado (Baker y Brown, 1984), los títulos como organizadores previos (El-shout-Mohr, Daalen-Kapteijns y Sprangers, 1988), lectura rápida de las ideas principales en frases y palabras-clave (Patterson, Cosgrove y O´Brien, 1980; Muth, 1988), conciencia de los altos niveles de proceso en relación con el conocimiento previo (Alverman, 1989), claves de resumen en frases finales (Palicsar y Brown, 1984), conciencia de la unificación estética del significado y la motivación (Sadoski, Goetz y Kangiser, 1988; Winograd y Paris, 1988), diseño personal de las implicaciones léxicas del contexto (Perfetti, 1985; Dixon, Lefevre y Twilley, 1988) y sistemas de desecho de información redundante e inconsistente (Brown, Campione y Day, 1981).

La fundamentación teórica de su contenido y su diseño, han posibilitado que esta prueba constituya un instrumento util y de validez y fiabilidad significativas para la investigación y la docencia, estando en proyecto la adaptación a Educación Secundaria Obligatoria. La validación del cuestionario se ha llevado a cabo, mediante el cálculo de la correlación con la Prueba “OMECOL” de Contenidos en Estrategias Metacognitivas de Comprensión Lectora (Repetto, 1994), siendo ésta un instrumento de evaluación metacognitiva referido específicamente a contenidos en estrategias. La confiabilidad se ha calculado mediante el sistema de medidas repetidas test-retest.

4. EVALUACION DE LA ENSEÑANZA DE LAS ACTIVIDADES

La evaluación de la enseñanza de las actividades debe considerar la calidad de los medios utilizados desde una perspectiva multimedia. Desde un punto de vista formal es importante el aspecto general de los materiales curriculares, la calidad de las ilustraciones y el formato (tipos de letra y presentación tipográfica). Desde el punto de vista de los contenidos, éstos deben responder a unas gramáticas semánticas comprensibles por los alumnos, a unos valores recomendables y a una congruencia lógica de la estructura. En cuanto a las configuraciones discursivas hay que establecer un delicado equilibrio entre las restricciones de los códigos lingüísticos y la apertura al lenguaje común, respetando implicaciones culturales, éticas y estéticas. Un criterio relevante en la evaluación de las actividades es su fundamentación teórica ya que en Educación teoría y práctica están integradas y pierden su identidad al ser dicotomizadas.

4.1. Calidad de los soportes desde una perspectiva multimedia. Aspectos formales y semánticos.

El material curricular ha de ser motivador y atractivo en su presentación: cubierta, tamaño, colorido e ilustraciones, tipo de letra e interlineado. A veces el alarde tipográfico no garantiza la calidad semántica, pero los aspectos formales deben ser la antesala de contenidos valiosos porque son medios y no fines. Si El Quijote o El Rey Lear son independientes del formato de impresión la duda que se plantea es: ¿será que se lee cada vez menos y basta con formatear bellamente el texto?. En textos escolares esto supone que en su aparente calidad incorporan contenidos muy áridos para gran número de alumnos (Dreher y Singer, 1984). Los aspectos formales también tienen implicaciones semánticas pues al evaluar los soportes desde un perspectiva multimedia (Brody, 1981, 1982; Vega, Baliña y Bernal, 1990) el continente puede afectar al significado modificando la percepción que el alumno tiene. Así no se interpreta igual ni estética ni cognitivamente una película en la pantalla gigante de una sala de proyección que en un vídeo.

En el análisis semántico de los materiales curriculares se evalúa si la jerarquía de ideas está adecuadamente estructurada y actualizada de acuerdo con los últimos descubrimientos científicos, si los valores son mínimamente universales y congruentes y si se respeta la propia clarificación (Howe y Howe, 1980) y elección de valores del alumno. También se establece el grado de adecuación de éstos al desarrollo psicológico, cognitivo y emocional de los alumnos destinatarios ya que en áreas de contenido como Ciencias Sociales (Asensio y Pozo, 1987; Gil y Piñeiro, 1987)) se suele pedir a los alumnos conceptualizaciones, como la rotación-traslación y el relieve que evolutivamente son incapaces de realizar. Los alumnos deben ser instruidos en las gramáticas de historias de las informaciones que reciben, incluyendo la interpretación diferencial según sea el componente icónico (Denis, 1988; Sadoski, Goetz y Kangiser, 1988) ya que así aprenden a gestionar con criterios de relevancia sus esquemas de conocimiento.

4.2. Evaluación de aspectos relativos a la configuración discursiva del lenguaje empleado.

En la evaluación de las actividades de enseñanza el lenguaje es un elemento de características sutiles. Frente al tradicional concepto de deprivación los psico-lingüistas han troquelado el de configuración discursiva. Es decir, los alumnos no tienen un nivel de lenguaje más o menos elaborado según su clase o cultura de origen, sino una configuración discursiva distinta (Lawton, 1968; Trigo, 1990) que si no es respetada por el profesor puede perjudicar sus procesos de enseñanza.

El profesor ha de tener la habilidad necesaria para establecer determinados niveles restrictivos a dichas configuraciones a la vez que las respeta. Por un lado los alumnos tienen derecho a su subcultura pero a la vez tienen que integrarse en una cultura global y abrirse a una semántica más amplia. Estos matices del lenguaje empleado en las actividades de enseñanza tienen implicaciones que afectan al equilibrio personal y la creatividad de los alumnos. Al ser portador de valores culturales el lenguaje del alumno ha de ser respetado debiéndose evitar los juicios de valor ya que afectarían a la misma personalidad del niño y a su promoción social. En el proceso de enseñanza hay que establecer entre el enseñante y el alumno una dialéctica humanística, así podremos ayudar al alumno para que construya su universo ético y para que lo exprese estéticamente.

4.3. Fundamentación teórica de la actividad desarrollada

El proceso de enseñanza es una praxis como construir puentes o llevar a cabo operaciones quirúrgicas por lo que por inmersión en la actividad práctica se puede perder de vista que es necesaria una teoría de referencia. Al igual que el ingeniero precisa de una teoría de resistencia de materiales en el proceso de enseñanza debe haber una base epistemológica.

Esta relación se da entre el plano formal denominado genéricamente Investigación (Científica) y el plano material llamado Desarrollo (Técnico). Saber a qué teoría responde una praxis determinada tiene repercusiones existenciales, ya que si la teoría no la construimos nosotros, otros nos la impondrán sin que quizá lo percibamos.

Al desarrollar cualquier actividad de enseñanza deberemos evaluar si se adecua a los principios básicos que la soportan y si los principios enunciados tienen su correlato en la práctica, por ejemplo, si en el proyecto curricular del centro consta que se va a procurar el desarrollo de estrategias metacognitivas en el cálculo éstas deberán ser directamente observables en la actividad de los alumnos..

5. EVALUACIÓN DEL CENTRO COMO ESTRUCTURA ORGANIZATIVA

El modelo de supervisión de centros es más avanzado que el de profesorado individual ya que lo incluye, pero además considera la estructura del centro y el conjunto de órganos que hacen posible su funcionamiento. Las perspectivas de la evaluación educativa apuntan hacia los centros escolares o conjunto de éstos si son confesionales u organizaciones privadas con más de un centro. Partiendo de los distintos modelos de investigación evaluativa Pérez Juste y García Ramos (1989) aportan las siguientes sugerencias metodológicas:

-         Integrarla en el proceso de enseñanza y no solo en el de aprendizaje

-         Emplearla para comprender procesos de programas en desarrollo

-         Primar el enfoque multivariante en la medida

-         Evaluar el programa en sí y no en comparación con otros programas

-         Crear bancos de items diferenciados por grupos de alumnos

-         Evaluar los subproductos no considerados inicialmente como objetivos

-         Relativizar la importancia de cada uno de los objetivos propuestos

-         Asumir la consideración cualitativa de los resultados según sea el usuario

-         Combinar informes frecuentes cortos y finales de recapitulación

-         Desarrollar diseños empírico-experimentales de evaluación

La evaluación debe atender al claustro de profesores tanto en su consideración individual como colectiva. Los agentes externos, como es el caso de profesores itinerantes, inspectores de zona, asesores del centro de profesores y orientadores también deben ser evaluados. Igualmente el equipo directivo y su estaff, el equipo técnico de coordinación pedagógica y los psicopedagogos y trabajadores sociales del equipo de orientación interno si lo hubiere. Es preciso evaluar asimismo los departamentos, los equipos de ciclo-nivel, los seminarios y el consejo escolar. Debe evaluarse el clima de los diversos contextos educativos en tres niveles: en la comunidad educativa en general, en el centro y en las aulas. Para la evaluación de estos elementos existe un número limitado de instrumentos técnicos, pues la producción se ha centrado hasta ahora en el aprendizaje, mientras que los diseños de enseñanza y su necesaria evaluación se han considerado menos. En las bases de datos y en los catálogos de materiales técnicos aparecen algunos, relacionados con frecuencia con el tema del clima del aula y la eficacia docente, por lo que pensamos que la Evaluación Pedagógica debería implicarse más en la ampliación del catálogo de instrumentos de medida de las variables de enseñanza.

El proceso de evaluación del centro en todas estas dimensiones tiene dos versiones, la interna o procesual y la externa de la administración educativa que representa a la comunidad. Aunque es de derecho que el poder socio-político inspeccione externamente el rendimiento de los centros y tome decisiones, el hecho educativo por su carácter para-familiar y profundamente humano ha de tener un enfoque especial a cargo de unos supervisores, orientadores y asesores que sepan establecer esa dialéctica de supervisión dentro de un plan de promoción y apoyo que medie en la solución de los problemas. Con frecuencia se ha confundido el centro educativo con una industria pero en éste se relacionan personas que repercuten espiritualmente unas sobre otras y sobre esa relación no podemos aplicar sistemas de supervisión exclusivamente cuantitativa porque aquí el producto no es tal sino la promoción humana de toda la comunidad educativa, alumnos, familias y profesores.

Para la evaluación del grupo claustral Rodríguez (1992) ha diseñado escalas de valoración para el claustro, consejo escolar, equipos directivos, departamentos, equipos de nivel y clima del centro, por lo que lo tomaremos como referencia en nuestro análisis. El volumen de material estandarizado es menor por lo que deben formularse nuevas hipótesis de trabajo que promuevan la investigación. En la evaluación del claustro de profesores pueden tenerse en cuenta las areas de actividad de planificación y programación, organización y coordinación, animación y evaluación. En cuanto a planificación y programación deben analizarse el Proyecto Curricular del Centro, establecerse criterios pedagógicos de adscripción del profesorado y diseñar sistemas de información internos y externos. En organización y coordinación deben evaluarse los sistemas de agrupamiento del alumnado y el plan tutorial. En cuanto a diseños de investigación estos deben estar orientados a la innovación curricular dentro de una perspectiva de promoción del profesorado y en cuanto a factores internos debe evaluarse la implicación personal de los profesores y su permeabilidad a la orientación de asesores externos. La discusión mediante subcomisiones de los componentes del P.C.C., de los criterios de evaluación y recuperación y el análisis de la productividad medida desde línea base o valor añadido en escuelas eficaces (Fernández y González, 1997) son elementos muy relevantes en esta evaluación.

Los inspectores, asesores y orientadores debido a su necesaria implicación en programas de promoción son también en cierta medida objeto de evaluación interna. Si el inspector, el asesor o el orientador se limitan a la actuación externa y no se implican en programas de promoción, deberían ser evaluados en consecuencia y diseñarse mecanismos correctores. Los políticos locales de educación, tienen, en cierto modo, una función parecida, son elementos externos pero no ajenos y dado que la institución académica no puede ser neutra y se inserta en una comunidad educativa estos pueden y deben ser objeto de dicha evaluación. Este tipo de evaluación no suele llevarse a cabo, o si se hace es de manera artesanal y con escasos materiales técnicos pero dada la repercusión en la implementación de programas de promoción e innovación podrían diseñarse nuevos procedimientos.

De los aspectos de la evaluación del equipo directivo uno de los más relevantes en cuanto a planificación es la capacidad de promover una coordinación interna en el centro que permita una gestión democrática al sentirse los miembros informados y participantes en las decisiones a tomar. En la coordinación interna debe evaluarse la capacidad del equipo directivo para coordinar la estructura tutorial en el centro, ya que ésta sustenta las relaciones personales establecidas entre el profesorado, los alumnos y sus familias. En promoción y coordinación externas es relevante evaluar si el equipo directivo está facilitando la promoción personal del profesorado ya que ello favorece la calidad pedagógica. En gestión es relevante la organización de los recursos didácticos, incluidos los de carácter multimedia pues problemas en su mantenimiento pueden dificultar el desarrollo de programas. En la evaluación de los recursos de control y retroalimentación del centro es destacable la habilidad social del equipo directivo para evitar situaciones conflictivas y activar la auto-resolución de problemas en la comunidad educativa. El equipo técnico de coordinación pedagógica (ETCP) y el equipo interno de orientación formado por psicopedagogos y trabajadores sociales comparten como consultores la responsabilidad del equipo directivo por lo que estos parámetros les son aplicables.

Los equipos de profesores pueden ser formales como son los equipos docentes de ciclo y nivel o bien centrados en la comunicación de experiencias e investigaciones como es el caso de los seminarios y grupos de trabajo. Dada la función eminentemente didáctica que tienen los departamentos las áreas de actividad sus funciones giran en torno al diseño didáctico y gestión de los procesos de enseñanza. En cuanto a diseño se debe evaluar si se han especificado los objetivos curriculares con una metodología globalizadora, en cuanto a gestión y coordinación es importante comprobar si se ha promovido la organización departamental del profesorado para la gestión de materiales y para la evaluación del alumnado. Como retroalimentación debe existir un mecanismo de análisis de resultados del proceso de enseñanza por alumnos, por grupos de alumnos y por materias. En la evaluación de estos equipos tiene especial importancia su capacidad para proponer seminarios específicos orientados a resolver problemas del centro también es relevante la promoción de la organización del profesorado investigando aspectos de diseño curricular que estén causando problemas de rendimiento en el centro. Por último señalaremos la necesidad de evaluar la capacidad del departamento para evaluar los resultados del proceso de enseñanza desde una perspectiva didáctica de áreas de conocimiento.

La evaluación de los seminarios y grupos de trabajo de centros no universitarios, es una actividad que se está desarrollando desde hace una década en nuestro ámbito educativo a través de los Centros de Profesores. Su diseño aunque de carácter algo informal y con una fundamentación teórica relativa ha generado instrumentos valiosos pues todos los CEP tienen un protocolo de evaluación de grupos de trabajo. En lo concerniente a la creación de materiales técnicos son principalmente los asesores de los CEP quienes con motivo de su colaboración en investigaciones de departamentos universitarios o en la elaboración de tesis doctorales están dando forma científica a estos diseños de evaluación.

El consejo escolar es el máximo órgano de representación social en el que confluyen los intereses del centro y los de la comunidad que lo rodea. De entre los múltiples indicadores que se pueden tener en cuenta en su evaluación son relevantes en cuanto al diseño su sensibilidad para recoger las expectativas que la comunidad deposita en los centros y en cuanto a promoción su futuro depende de que los centros funcionen como ejes culturales. No es una utopía (Rodríguez, 1994) que un centro educativo se constituya, por ejemplo, en editor de libros de Ciencias Sociales que revierten tanto en el propio currículum del centro como en la comunidad que lo rodea. En este caso puede observarse cómo un centro educativo llega a ser el estímulo más significativo de su comunidad promoviendo exposiciones, eventos musicales y actividades de extensión cultural. Para la evaluación del clima de centro se han construido algunos instrumentos estandarizados en el caso concreto del clima del aula. En cambio se echan de menos instrumentos válidos y fiables de base sociológica dedicados a la evaluación del clima general del centro educativo. La Escala de Clima Social (Moos, Moos y Trickett, 1984) ofrece una medida estandarizada por factores del nivel y tipo de clima de convivencia en el aula y en la familia tras la aplicación de un protocolo. En la literatura científica también se documentan criterios de evaluación para el clima de aula en la enseñanza de las habilidades instrumentales de la lectura con un enfoque metacognitivo (Winograd y Smith, 1989).

6. SÍNTESIS DE LA SITUACIÓN ACTUAL Y FUTURO DE LA EVALUACIÓN DEL PROCESO DE ENSEÑANZA

El alumno es quién opone menos resistencia a la medida por lo que es sometido a veces a una administración de tests verdaderamente compulsiva (Popham, 1999). En cambio los instrumentos de evaluación del proceso de enseñanza tienden a enfrentarse al statu-quo ya que desde ese enfoque son los educadores quienes deben asumir la responsabilidad de la función mediacional, llegándose a una enseñanza en la que las clases son difíciles para el profesor y los exámenes fáciles para el alumno. Cuando los procesos de enseñanza se diseñan desde esta óptica metacognitiva al evaluarlos se constata que la carga ha sido soportada principalmente por el profesional y no por la persona orientada. En esta línea de reformas que tienden a mejorar la organización del centro y que engrosan un corpus teórico tradicionalmente magro se mueven los actuales estudios de eficacia académica conformando un modelo en torno a la evaluación de escuelas eficaces (Fernández y Galán, 1997). El concepto base es el aislamiento del valor añadido mediante procedimientos estadísticos, controlándose de esta forma las variables contextuales que pueden enmascarar el verdadero rendimiento de un centro. Estos programas se proponen intencionalmente romper las predicciones estadísticas construidas mediante regresión y constatar estas mejoras de forma empírica. El modelo conceptual se organiza en un esquema de contexto – imput – proceso - producto (Scheerens, 1992) dentro de una metodología de enseñanza estructurada, mediación sobre el rendimiento, oportunidad para aprender, altas expectativas, auto-monitorización del progreso y liderazgo educativo. Como conclusión podemos decir que para que el educador soporte el peso de su metodología tiene que estar formado como epistemólogo y como prácticante de un oficio y ambas cosas se tienen que dar a la vez para que funcione la química dialéctica entre la teoría y la práctica evitándose, como diría Paul Valery, que la primera constituya una sombra de tortuga para la segunda:

Zenón! Cruel Zénon! Zénon d´Élée!

M´as-tu percé de cette fléche ailée

Qui vibre, vole, et qui ne vole pas!

Le son m´enfante et la flèche me tue!

Ah! Le soleil... Quelle ombre de tortue

Pour l´âme, Achille immovile à grands pas!

Esta visión esperanzada se basa en que la consideración social de la Educación como una profesión técnica de ayuda se incremente (Moratinos, 1989; ACEP, 1992), siendo un reto con el que todos los docentes e investigadores de los procesos formativos comenzamos el tercer milenio.

BIBLIOGRAFÍA

Alczyk, J.J. y Hall, V.C. (1989): Is the failure to monitor comprehension an instance of cognitive impulsiviti. Journal of Educational Psychology, 81, (3), 294-98.

Alonso, J. (1989): Viabilidad del entrenamiento metacognitivo para facilitar la comprensión lectora y los procesos de razonamiento en sujetos de 11 a 15 años". Boletín de Investigaciones, 88/89. Madrid: CIDE.

Alvarez Rojo, V. (1992): La Orientación institucional en Andalucía. Aportaciones para su evaluación. Universidad de Sevilla: Grupo de Investigación MIDO.

Alvarez Rojo, V. (1994): Orientación Educativa y Acción Orientadora. Madrid: EOS.

Alvarez Rojo, V.; García Jiménez, E. Y Gil Flores, J. (1999). Características de la docencia mejor evaluada por los alumnos en las diferentes áreas de enseñanza universitaria. Revista Española de Pedagogía, sep-dic; LVII (214),. 445-464.

Alvarez, V.; García, E.; Gil, J.; Romero, S.; Rodriguez, J. (1999): El rendimiento académico en la Universidad desde la perspectiva del alumnado. Revista de Orientación y Psicopedagogía, 10, 17, 23-42.

Alverman, D.E. et al.(1989): Comprehension of counter intuitive science text: Effects of prior knowledge and text structure. Journal of Educational Research, 82, (4), 197-202. [CIDE-R-993C].

Anderson, C.S. (1982): The search for school climate.A review of the research. Review of Educational Research,52, (3)

Angelo, Th.A. y Cross, K.P. (1993). A Handbook for College Teachers. San Francisco: Jossey-Bass Inc.

Apódaca, P.M. (1999). Evaluación de los resultados y del impacto. Revista de Investigación Educativa, Vol. 17, nº2, págs, 363-377.

Arredondo, D.E. y Block, J.H. (1990): Recognizing the connections between thinking skills and mastery learning. Educational Leadership, 47, (5), 4-10. [CIDE-R-805].

Asensio, M. y Pozo, J.I. (1987): El aprendizaje del tiempo histórico. Actas II Jornadas de Psicología y Educación. Madrid, Visor-MEC, 429-441.

August, D., Flavell, J.H. y Clift, R. (1985): Una comparación del control de comprensión en lectores más y menos competentes. Infancia y Aprendizaje, 31-32, 129-43.

Ausubel, D.P. (1971): Motivational issues in cognitive development: Comments on Mischel's article. T.Mischel (Ed.), Cognitive Development and Epistemolgy. N.York: Academic Press.

Avancini, G. (1980): El Fracaso Escolar. Barcelona: Herder.

Baker, L. y Brown, A.L. (1984): Cognitive monitoring in reading. J. Flood (Ed.), Understanding Reading Comprehension. N.York: D.E. (IRA).

Baker, L. y Herman, J.L.(1985): Educational evaluation.Emergent needs for research. Evaluation Comment,7,(2),1-14

Bandura, A. (1986): Social Foundations of thought and action: A social cognitive theory. Engl. Cliffs, N.J: Prent-Hall.

Barrero, N. (1999) : Plan de Trabajo E.O.E. (Equipo de Orientación Educativa). Deleg. Educación: Sevilla.

Barrero, N. y Escudero, C. (2001). Estudio intercultural de orientación educativa: Aproximación etnológica a la cultura autóctona y el profesorado del Bajo Guadalquivir. Diversidad y Escuela, 355-362, T. Pozo Llorente et al. ed. Granada: Grupo Editorial Universitario.

Barrero, N y Martín, C. (1998): Un modelo de instrucción directa de estrategias metacognitivas de la comprensión lectora: el Programa OMECOL. Actas XV Congreso de la Asociación Internacional de Orientación Educativa y Profesional (AIOEP), vol 2, pag. 19-24.

Barrero, N. , Ipland, J. y Reyes, M. (2001): Programa “Imagen y Fantasía”. Sevilla: Quercus.

Bartolomé Pina, M. y Cabrera Rodríguez, F. (2000). Nuevas tendencias en la evaluación de programas de Educación Multicultural. Revista de Investigación Educativa, Vol. 18, nº 2, 463-480.

Beal, C.R., Garrod, A.C. y Bonitatus, G.J. (1990): Fostering children's revision skills through training in comprehension monitoring. Journal of Educational Psychology, 82, (2), 275-80.

Beltrán, F. y San Martín, A. (1992): Autoevaluación escolar. Cuadernos de Pedagogía, 204,66-71.

Bielaczyc, K., Piroli, P.L. y Brown, A.L. (1994): Collaborative explanations and metacognition: Identifying successful learning activities in the acquisition of cognitive skills, en Proceedings of the Sixteenth Annual Conference of the Cognitive Science Society. Ram, A. y Eiselt, K (ed.). Lawrence Erlbaum Associates, Inc; Hillsdale, NJ, US; XV.

Bolt, M., Beranek, R. y Newman, M. (1984): Project Intelligence. Harvard: Univ.Press.

Borkowski, J.G. (1985): Signs of intelligence: Strategy generalization and metacognition, en S.R. Jussen (Ed.), The Growth of Reflection in Children. N. York: Academic Press.

Bouffard-Bouchard, T., Parent, S. y Larivee, S. (1990): Capacité cognitive, sentiment d'auto - efficacité et autorégulation. European Journal of Psychology of Education, 5, (3), 355-64.

Brody, P.J. (1981): Research on pictures in instructional texts. The need for a broadened perspective. ECTJ,29,(2),93-100.

Brody, P.J. (1982): Affecting instructional textbooks through pictures. En D.H. Jonassen (Eds.), The Technology of Text. Principles for Structuring, Designing and Displaying Text. Englewood Cliffs, N.Jersey: Ed. Tech.

Brown, A.L., Champione, J.C. y Day, J. (1981): Learning to learn: On training students to learn from texts. Educational Researcher, 23, 215-31.

Buron, F.J. (1988): La auto-observación como mecanismo de auto-conocimiento y de adaptación: un nuevo modelo. Bilbao: Univ. Deusto. (Tesis doctoral microfichada nº 87).

C.E.J.A. (1994): Normas básicas de evaluación en bachillerato. Sevilla: CEJA

C.E.J.A. (1996): LODE, LOGSE, LOPEGCE. Legislación básica sobre educación. Sevilla: Delegación Provincial.

Carr, W (1990): Hacia una Ciencia Crítica de la Educación. Barcelona: Laertes.

Carr, W. y Kemmis, S. (1988): Teoría crítica de la enseñanza. Barcelona: Martínez Roca.

Clift, R.T. et al. (1990): Exploring teachers' knowledge of strategic study activity. Journal Experimental Education, 58, (4), 253-64. [CIDE-R-179-C].

Coll, C. et al. (1992): Enseñanza y aprendizaje de conceptos, procedimientos y actitudes. Madrid: Santillana.

Collins, A. y Smit, E.E. (1980): Teaching the process of reading comprehension. (Tech. Rep. Nº 182). Urbana:Univ. Illinois, Center for the Study of Reading (ERIC document reproduction service (Nº ED193616-CS005696).

Cross, D.R. y Paris, S.G. (1988): Developmental and instructional analyses of children's metacognition and reading comprehension. Journal of Educational Psychology, 80, (2), 131-42. [CIDE-R-391-C].

Csikszentmihalyl, M. y Mccormack, J. (1986): The influence of teachers. Phi, Delta, Kappa, 67, 415-19.

De Miguel Díaz, M. (2000). La evaluación de programas sociales: fundamentos y enfoques técnicos. Revista de Investigación Educativa, Vol. 18, nº 2, 289-317.

Denis, M. (1988): Imagery and prose procesing. En M. Denis,J. Engelkamp y J.T.E. Richardson (Eds.), Cognitive and Neuro-psychological Approaches to Mental Imagery. Boston:Nato A.

Dixon, P., Lefevre, J.A. y Twilley, L.C. (1988): Word knowledge and working memory as predictors of reading skill. Journal of Educational Psychology, 80, (4), 465-72.

Doctorow, M., Wittrock, M.C. y Marks, C. (1978): Generative processes in reading comprehension. Journal of Educational Psychology, 70, (2), 109-118.

Dominguez, G. (1993): Perspectiva metodológica para investigar nuestra acción. Madrid: Complutense.

Doolittle, P. (1994). Teacher Portfolio Assessment. Practical Assessment, Research & Evaluation, 4 (1). [http://ericae.net/pare/getvn.asp?v=4&n=1]

Dowhower, S.L. (1989): Repeated reading: Research into practice. The Reading Teacher, 42,502-7.

Downing, J. y Thackray, D.V. (1974): Madurez para la lectura . Ed. Kapelusz S.A. Buenos Aires, 8.

Doyle, W. (1983): Academic work. Review of Educational Research, 53, (2), 159-99.

Dreher, M.J. y Singer, H. (1988): Friendly texts and text-friendly teachers. Theory in to practice, 28, (2), 98-104.

Dubois, G. (1972): Orientation spatiale et temporalle, ESF, París,82

Elshout, M., Daalen, K. y Sprangers, M. (1988): The Topic-Coment technique to study expository text. The Journal of Experimental Education, 2, 83-91, [CIDE-R-179-C].

Escudero, J.M. (1985): La renovación pedagógica, algunos modelos teóricos y el papel del profesor. Madrid: Esc. Esp.

Estebanez, J.C. (1995) Familia y éxito escolar, en Familia, Comunicación y Educación, pag. 115-127 (V.Llorent B. Ed.). Sevilla: Kronos.

Fernández Díaz, Mª. J. Y González Galán, A. (1997): Desarrollo y situación actual de los estudios de eficacia escolar. Revista Electrónica de Investigación y Evaluación Educativa, 3, 13, 1-17. (http: www.cica.es/aliens/ddyoeus).

Feuerstein, R. (1988): El Programa de Enriquecimiento Instrumental. La experiencia de aprendizaje mediado y el funcionamiento cognitivo. Revista de Investigación e Innovación Educativa, 4, 7-26. [CIDE-R-500-C].

Flavell, J.H. (1978): Metacognitive development. En J.M. Scandura y C.J. Brainer (Eds.), Structural Process Models of Complex Human Behavior. Sijthoff y Noordoff: Netherland.

Garcia-Garrido, J.L. (1984): Sistemas Educativos de Hoy. Madrid: Dykinson.

Garner, R. (1981): Monitoring of passage inconsistency among poor comprehenders: A preliminary test of the piecemeal Processing explanation. Journal of Educational Research, 74, 159-162.

Garner, R. (1994): Metacognition and executive control. En Teoretical models and processes of reading. Ruddell, R.B. ed. U. Maryland, MD, US.

Gil, P. y Piñero, M.R. (1987): El desarrollo de los conceptos de Geografía Física en la adolescencia. Actas II Jornadas de Psicología y Educación . Madrid: Visor-MEC.

Habermas, J. (1990): Pensamiento post-metafísico. Madrid: Taurus.

Haugen, R. (1989): Motivation and cognition emcompased in a unitary model. Scandinavian Journal of Educational Research, 33, (1), 15-35. [CIDE-R-715].

Herman, P.A. (1985): The effect of repeated readings on reading rate, speech pauses, and word recognition accuracy. Reading Research Quarterly, 20, 553-64.

Howe, L.W. y Howe, M.M. (1980). Perspectivas de la clarificación de valores. Madrid: Santillana.

Huse, E.F. y Bowditch, J.L.(1996): Organizations:A Sistem Approach to Managing. Massachusetts: Addison-Wesley

Ipland, J., Barrero, N. y Reyes, M.Mª (1998): Diseño metacognitivo de comprensión lectora para deficientes auditivos “Imagen y Fantasía”. Huelva: Universidad (Grupo Investigación Suroeste).

Jornet, J.M., Suárez, J.M. y Pérez Carbonell, A. (2000). La validez en la evaluación de programas. Revista de Investigación Educativa, Vol. 18, nº 2, 341-356.

Joint Committee On Standards For Educational Evaluation (1994). The Program Evaluation Standards. Thousand Oaks. CA.: Sage.

Kaufman, R.A. (1990) Planificación de sistemas educativos. México: Trillas.

Kemmis, S. (1988): El currículum, más allá de la teoría de la reproducción. Madrid: Morata.

Marcelo, C. (1988): Avances en el estudio del pensamiento de los profesores. Sevilla: Universidad.

Marcelo, C. (1992): Desarrollo de la formación intercultural en los programas de formación inicial del profesorado. Actas X Congreso Nacional de Pedagogía. Salamanca: Diputación.

Marfo, K. y Ryan, R.F.P. (1990): A comparison of average and poor readers in their recall performance, strategy use, and metamemory. Alberta Journal of Ed. Research, 36, (3), 241-55.

Marsch, H.W. (1987): Cuestionary of Evaluation Eficiency Teacher. Sydney: University Press (Dep. Educ.).

Mciver, M.C. y Wolf, Sh.A. (1998). Powerful Tools for Writing Instructions. Colorado: CRESST (National Center for Research on Evaluation, Standards, and Student Testing).

Medina, A y Sevillano, M.L. (1990): El currículum: fundamentación, diseño, desarrollo y evaluación. Tomo I (Didáctica-Adaptación). Madrid: UNED

Ministerio de Educacion y Ciencia (1989): Diseño curricular base de la E.S.O. Madrid: MEC.

Montero, A. (1995): Proyecto Curricular de Centro. Fundamentos, Elaboraciones y Modelos, en Investigaciones Relacionadas con la LOGSE, pag. 15-128. Sevilla: CEJA (Premios Joaquín Guichot).

Moos, R.H., Moos, B.S. y Trickett, E.J. (1984). Escala de clima social. Madrid: TEA (Escalas familiar y escolar para adolescentes y adultos con adaptación de Fernández Ballesteros).

Mora, J. (1986): Enriquecimiento instrumental: comentarios a una dicha prometida. Siglo Cero, 26, 40-44.

Mora, J. (1991): Actas I Congreso Nacional de Programas de Estimulación Cognitiva. Sevilla: Universidad

Moratinos, J. (1989): Estatuto profesional del pedagogo. Alicante: A.C.E.P.

Moreno, I. (1972): Propiedad, clases sociales y hermandades en la Baja Andalucía. Madrid: Siglo XXI.

Muñoz, E. y Maruny, L. (1993). Respuestas escolares. Cuadernos de Pedagogía, 188, 24-27.

Muth, K. et al. (1988): Thinking out loud while studying text. Reharsing Key ideas. Journal of Educational Psychology, 80, 3, 315-325.

Nieto, J.M. (1982): Valoración de la eficacia docente. Problemas y técnicas. Madrid: Escuela Española.

OCDE-CERI (1985): La Formación de Profesores en Ejercicio. Madrid: Narcea.

Ochaita, E. (1987): Conocimiento del espacio y enseñanza de la Geografía. Actas II Jornadas Internacionales de Psicología y Educación. Madrid: Visor-MEC.

Patterson, C.J., Cosgrove, J.M. y O'brien, R.G. (1980): Non verbal indicants of comprehension and noncomprehension in children. Developmental Psychology, 16, 38-48.

Pérez Juste, R. (1995). Evaluación de Programas Educativos, en A. Medina Rivilla y L.M. Villar Angulo (Edits). Evaluación de Programas Educativos, Centros y Profesores. Madrid: Universitas, 73-106.

Pérez Juste, R. y García, J.M. (1989). Diagnóstico, evaluación y toma de decisiones. Madrid: Rialp.

Pérez Juste, R. (2000). La evaluación de programas educativos: conceptos básicos, planteamientos generales y problemática. Revista de Investigación Educativa, Vol. 18, nº 2, 261-287.

Perfetti, C.A. (1985): Reading ability. N.York: Oxford University.

Phillips, D.(1984):The illusion of incompetence among academically competent children. Child Development,55, 00-16

Pitts, M.M. (1983): Comprehension monitoring. Definition and Practice. Journal of Reading, 26, 516-23.

Popham, W.J. (1999). Why Standardized Tests Don´t Measure Educational Quality? Educational Leadership, Vol. 56, nº 6, March [www.ascd.org/readingroom/edlead/9903/extpopham.html]

Repetto, E. (1979): La simpatía en Max Scheler y su dimensión educativa. Madrid: CSIC.

Repetto, E. (1988): Programa OMECOL. Madrid: UNED. (Edición policopiada para investigación).

Repetto, E. (1994): Prueba “OMECOL” (Estrategias Metacognitivas de Comprensión Lectora). UNED: Madrid.

Repetto, E. et al. (1993): Resultados experimentales del Programa OMECOL en muestras nacionales. Ponencia Congreso Anual AIDIPE. Madrid: UNED (Dep. MIDE)

Repetto, E.y Barrero, G. (1990) : El entrenamiento metacognitivo, la modificabilidad cognitiva y su transferencia a la comprensión lectora, a la resolución de problemas y al aprendizaje. Revista de Investigación Educativa, 8, 563-87.

Repetto, E.; Barrero, N. y Gil, J.A. (1997): Entrenamiento metacognitivo y ganancias significativas de los alumnos en algunas variables cognitivas y pedagógicas. Un estudio en la educación primaria y secundaria obligatoria (6º, 7º y 8º de EGB) de Andalucía, Cantabria y Galicia. Revista Española de Pedagogía, año LV, nº 206, enero-abril , 5-32.

Reyes, M.Mª y Barrero, N. (2000). TSD-20. Sevilla: Quercus.

Rodriguez, B. (1992): Pautas para la evaluación de la eficacia de los centros. Madrid: Júcar.

Rodríguez Cárdenas, M. (1994): Historia de la Isla Mayor del río Guadalquivir. Sevilla: Colegio Público “Florentina Bou” (Editor).

Román, J.M. y otros (1999). Test ACRA de Estrategias de Aprendizaje. Madrid: TEA

Sadoski, M., Goetz, E.T. y Kangiser, S. (1988): Imaginations in story response. Relationships between imagery, affect and structural importance. Reading Research Quarterly, 23, (3), 320-36.

Scriven, M. (1995). Student Ratings Offer Useful Input to Teacher Evaluations. Practical Assessment, Research and Evaluation, 4(7). [http://ericae.net/pare/getvn.asp?v=&n=7]

Scriven, M. (1991). Beyond formative and summative evaluation. En M.W. Mclaughlin y C. Phillips (Eds.), Evaluation and Education: At quarter Century (pp.19-64). Chicago: NSSE.

Scriven, M. (1967). The methodology of evaluation. AERA Monograf Series on Curriculum Evaluation, nº1, 39-83.

Scheerens, J. (1992): Effective Schooling Research, Theory and Practice, Londres: Cassell.

Schmeiser, C.B. (1995). Code of Professional Responsabilities in Educational Measurement. N. York: Nacional Council on Measurement in Education.

Stake, R.E. (1991). Retrospective on “The countenance of educational evaluation”. En M.W. Mclaughlin y C. Phillips (Eds.), Evaluation and Education: At quarter Century (pp.67-88). Chicago: NSSE.

Stufflebeam, D y Shinkfield, A. (1987): Evaluación sistemática. Barcelona: Paidos

Tejedor, F.J. (1990). Perspectiva metodológica del diagnóstico y evaluación de necesidades en el ámbito educativo. Revista de Investigación Educativa, nº 16, 15-38.

Torres, J. (1991): El currículo oculto. Madrid: Morata.

Trigo, J.M.(1990): El habla de los niños de Sevilla. Configuraciones discursivas: estudio socio-lingüístico. Sevilla: Alfar.

Trillo, F. (1988): La perspectiva fenomenológica de innovación curricular: evaluación del conocimiento de los procesos cognitivos de los alumnos para mejorar la calidad de la enseñanza. IX Cong. Nac. de Pedagogía.Alicante: S.E.P.

Vega, M., Valiña, M.D. y Bernal, M.M. (1990): Procesamiento estructural de historias: ¿reglas, macrorreglas o modelos mentales?. Revista General de Psicología General y Aplicada, 3, (2), 155-167.

Villar, L.M. (1992): Formación del profesorado en la perspectiva de la educación intercultural en Europa. Actas X congreso Nacional de Pedagogía. Salamanca: Diputación.

Winograd, P. y Paris, S (1988): A cognitive and motivational agenda for reading instruction. Ed. Leader,46,(4), 30-7.

Winograd, P. y Smith, L (1989): Mejorar el clima de la enseñanza de la lectura. Com., Leng. y Educación,2,13-21.

Witkin, B.R., et al. (1996). Planing and conducting needs assessment. A practical guide. Calif.: Sage Public. Inc.

Wixson, K.K. y Peters, Ch. (1984): Reading redefined. A Michigan Reading Association position paper. The Michigan Reading Journal, 17, 4-7.

WOLF, SH.A. y Mciver, M.C. (1998). Writing Whirligigs. Colorado: CRESST (National Center for Research on Evaluation, Standards, and Student Testing)

Zabalza, M.A. (1995). La evaluación en la reforma. En G. Domínguez y L. Amador (Ed.). El proyecto curricular de centro (Un instrumento para la calidad educativa). Sevilla: UNED.

Revista ELectrónica de Investigación y EValuación Educativa // 2000 // Volumen 7 // Número 2_3
ISSN 1134-4032 // D.L. SE-1138-94