Papeles del Psicólogo, 1999. Vol. (74).

Enrique Alonso Morillejo, Enrique Rebolloso Pacheco, Carmen Pozo Muñoz y Baltasar Fernández Ramírez

Universidad de Almería

Las crecientes necesidades sociales demandan un modelo de universidad que integre niveles de calidad, que puedan posteriormente evaluarse, para con ello, racionalizar y justificar las inversiones que en esta institución pudieran hacerse. Esta necesidad obliga a llevar a cabo mecanismos de evaluación como mejor vía para estudiar el impacto que la universidad tiene en la sociedad. Por tanto, a través de instrumentos adecuados de evaluación se permitiría el correcto estudio de la calidad docente, la investigación desarrollada en el momento y los procedimientos de gestión administrativa en cada caso. La figura del psicólogo como evaluador de programas de calidad es incuestionable, siendo un pilar base para la adecuada implantación de los programas de calidad y su posterior evaluación.

El aumento del número de estudiantes (Starapoli, 1987) y el surgimiento de un nuevo modelo de universidad en el que ésta es concebida como un servicio que intenta responder a las demandas y necesidades sociales (Cerych, 1987), junto a la necesidad de justificar y dar cuenta de las elevadas inversiones públicas que se están realizando, son algunos de los factores que han precipitado la institucionalización de la evaluación en las universidades españolas

Este nuevo modelo exige del establecimiento de niveles aceptables de calidad. El deseo de establecer un marco para la renovación y perfeccionamiento de la vida institucional de la universidad, ha motivado que psicólogos especialistas en evaluación estén desarrollando y participando en procesos de evaluación de la calidad docente en la universidad. Se da por supuesto que un sistema de evaluación bien implementado elevaría la calidad del servicio público que en su triple vertiente ofrece la universidad a la sociedad. Concretamente, mejorando la calidad docente y el contexto en el que tiene lugar, favoreciendo y potenciando la investigación competitiva, estimulante y socialmente relevante, y dinamizando y agilizando la gestión administrativa, garantizando así que los servicios ofertados satisfagan las necesidades de la comunidad universitaria (Rebolloso, Rebolloso y Pozo, 1998).

La sensibilidad que desde hace algunas décadas viene sintiéndose hacia las acciones de mejora de la calidad en la universidad obliga, a desarrollar y ejercitar procedimientos finos de evaluación como medio de asegurar la implementación y el desarrollo adecuado de los programas de intervención (planes de estudio, programas de mejora, servicios, etc), maximizando su aplicabilidad y el logro de los objetivos propuestos (Rutman, 1980). De la misma manera, es un hecho innegable que la escasez de recursos económicos (Legge, 1984) convierte la evaluación en una necesidad para facilitar las concesiones de ayuda y justificar las inversiones realizadas.

El concepto de "calidad" y su evaluación surgen originariamente en las organizaciones mercantilistas. La aplicación de los modelos de gestión de la calidad total en las instituciones universitarias es un fenómeno de los años noventa; su aparición se da en este ámbito tras casi medio siglo de implantación en la industria.

En la actualidad, la calidad se ha convertido en un objetivo crucial perseguido por la mayoría de nuestras universidades (tanto a nivel político, institucional e individualmente por los diversos integrantes de las mismas). La consecución de ese objetivo implica una adecuada planificación, evaluación y mejora del funcionamiento del conjunto de la institución, en lo relativo a la docencia, la investigación, y la gestión, administración y dispensa de los servicios ofertados.

Han sido muchos los que han puesto de manifiesto la multidimensionalidad del concepto de calidad y la dificultad a la hora de operativizarlo y definirlo, entre otras cosas por su carácter subjetivo, recogiéndose muy variadas conceptualizaciones al respecto (Galgano, 1993; Rodríguez Espinar, 1997; Westerheijden, 1990). De manera resumida, y sólo con un propósito aclarativo se mencionan algunas acepciones equivalentes, tales como: (a) la consecución de la excelencia, (b) la adecuación a estándares prestablecidos, (c) la consecución de objetivos (eficacia), (d) la relación entre los costes y los beneficios alcanzados (eficiencia del sistema o perspectiva económica de la calidad), (e) la satisfacción del usuario o cliente (alumnos, profesores, padres o sociedad, en general) en cuanto a sus necesidades, intereses y expectativas "razonables" (Berry, 1992), y (f) el prestigio de la institución.

A su vez, para conseguir, mantener y aumentar la calidad o, al menos, que los programas de desarrollo y perfeccionamiento tengan éxito en su implementación, la institución ha de asumir una serie de presupuestos iniciales. Entre ellos destacan los cuatro siguientes: (a) una cultura organizacional de aceptación y compromiso con los programas de calidad, (b) la implicación de todo el personal relacionado con los programas de mejora, (c) un liderazgo efectivo que oriente, comunique, guíe y se implique en la toma de decisiones conducentes a la mejora, y (d) la consideración de la calidad en todos los momentos del proceso, desde el diseño de las acciones de calidad, su fundamentación teórica y la implantación de las mismas, hasta el análisis de sus resultados y del impacto de éstos.

Básicamente, los modelos de evaluación de la calidad asumen que una institución sólo puede funcionar orientada hacia la calidad con un claro y rotundo apoyo a nivel institucional o de dirección (factor liderazgo). Para llevar a cabo una gestión de calidad se requiere una adecuada gestión del personal y de los recursos disponibles, tanto físicos como económicos, y una estrategia de acción clara (planificación estratégica). La mejora se realiza fundamentalmente sobre los procesos, y no tanto sobre los resultados, lo que será manifiesto en el aumento de la satisfacción tanto del personal profesional como de los usuarios o clientes. Un sistema de calidad total es una filosofía de la institución basada en la participación de todos los miembros en la búsqueda de soluciones consensuadas y en la utilización masiva de datos para orientar las decisiones (Peña, 1997; Rebolloso, Pozo y Fernández Ramírez, 1998).

Modelos globales de este tipo han sido aplicados a las instituciones universitarias españolas, siendo el único requisito de viabilidad y eficiencia el que se realicen los oportunos ajustes al contexto social de cada universidad. Concretamente, el modelo europeo de la EFQM es el que más frecuentemente ha sido utilizado en las universidades españolas (Peña, 1997, en la Universidad Carlos III de Madrid; Grad y Hernández, 1997, en la Universidad Autónoma de Madrid; Rebolloso, Pozo y Fernández Ramírez, 1998, en la Universidad de Almería, por citar sólo algunos ejemplos). Las ventajas que presenta su utilización son, entre otras (Peña, 1997): (a) la universalidad de los principios de gestión en los que se basa (lo que permite el intercambio de experiencias entre distintas organizaciones) y, por tanto, su aplicabilidad a cualquier organización; (b) la rentabilidad potencial de sus actividades; (c) la posibilidad de prevenir errores, en vez de subsanarlos, y (d) la finalidad de procurar al usuario la máxima satisfacción respecto al servicio. Sin embargo, es preciso hacer constar que no es habitual encontrar este tipo de aplicaciones en el ámbito de la docencia pues, dado su paralelismo con el entorno empresarial, la mayoría de las adaptaciones del modelo EFQM se han hecho en el área de la administración y gestión de los servicios educativos. Un ejemplo de esta aplicación lo representa el Plan Nacional de Evaluación de la Calidad de las Universidades (Consejo de Universidades, 1998) que institucionaliza a nivel nacional por primera vez en nuestro país la aplicación del modelo de la EFQM a la evaluación de la gestión y servicios universitarios.

Los programas institucionales, nacionales o internacionales, que han adoptado los principios de distintos modelos de calidad promueven y potencian en la actualidad la evaluación de la calidad y los proyectos destinados a su implantación. Dichos programas se asientan en recomendaciones y marcos legislativos, tanto de nuestro país como de instancias europeas, que auspician e impulsan proyectos de evaluación, lo que evidencia una preocupación política por la calidad de las instituciones de enseñanza superior (Rodríguez Espinar, 1991). En este sentido, los responsables políticos de la Unión Europea (Comisión de las CCEE, 1997; 1998), conscientes de la necesidad que las instituciones de educación superior tienen de aproximarse a las demandas que suscita la sociedad (fundamentalmente una rendición de cuentas sobre el empleo de los fondos públicos asignados y un mayor nivel de información sobre el nivel de calidad mostrado), proponen la evaluación como herramienta fundamental para la mejora y garantía de la calidad, ya que permite a los grupos implicados determinar sus puntos fuertes y débiles, en relación con sus objetivos y características institucionales.

Finalmente, subrayar que, si el propósito de las acciones de mejora es elevar los índices de calidad, la mejor manera de hacerlo es a través de la práctica evaluativa. En ningún caso puede ser concebido un programa de calidad si no es a partir de la evaluación. Se hace imprescindible constatar y analizar el nivel de calidad alcanzado por la universidad para, a partir de este nivel, establecer estrategias y decisiones encaminadas a potenciar, o como mínimo mantener, aquellos elementos que han resultado más destacados en cuanto a su grado de excelencia, e intentar subsanar aquellos otros que hayan resultado más deficitarios. En definitiva, no puede hablarse de calidad sin evaluación, a la vez que no podemos hablar de evaluación si no es para la mejora de la calidad existente. La evaluación debe ser considerada, por tanto, como "un instrumento privilegiado de acción" (Zúñiga, 1997, p.191) que no debe detenerse en la simple medida de los resultados (indicadores de rendimiento de la investigación, rendimiento de los alumnos, logros alcanzados por los programas de mejora, etc.), sino que debe alcanzar, por una parte, a todos los procesos implicados (enseñanza, desarrollo de labores de investigación, gestión y administración, toma de decisiones, etc.) y, de otra parte, a todos los actores y agentes del sistema. La manifestación de la evaluación en sus diversas formas (evaluación de contexto, evaluación de necesidades, evaluación de la implantación de programas, análisis de los resultados y del impacto de los mismos, etc.) sugiere irremediablemente el concepto de mejora continua.

En consecuencia, un adecuado sistema o modelo de evaluación asumido por la universidad puede entenderse como un método para elevar la calidad del servicio público que ésta ofrece a la sociedad (Rebolloso, 1994; Kogan, 1989; Kells, 1992; De Miguel, 1993). Pero, para que la evaluación sea eficaz, el diseño, la realización y las conclusiones deben orientarse hacia acciones concretas de mejora. Entendida a la manera de una perspectiva orientada al perfeccionamiento (por ejemplo, Stufflebeam y Shinkfield, 1987), la evaluación formativa (aunque es perfectamente generalizable a la evaluación en general) no busca demostrar sino mejorar, es decir, no podemos entender la evaluación como medio de control, sino como medio para la superación, mejora y, en definitiva, para la consecución de la excelencia.

Hasta no hace mucho tiempo, se ha venido equiparando la evaluación de la calidad en la universidad con la evaluación exclusiva de la docencia y la investigación. El enfoque de la universidad como una organización más pasa por eliminar esa visión reduccionista, para asumir una perspectiva integral que incluya con especial relevancia los procesos organizacionales y de gestión. Evaluar la institución universitaria en su conjunto requiere la consideración de los individuos que la conforman (profesorado, alumnos y personal profesional), las unidades básicas de funcionamiento (departamentos, servicios, centros) y los procesos que en dichas unidades se desarrollan (procesos de enseñanza, de investigación, de gestión y administración, etc.) (Rebolloso, Rebolloso y Pozo, 1998).

La evaluación en la universidad se plantea en la actualidad como un "medio para esclarecer el trabajo colectivo y para crear una comunidad universitaria crítica y autocrítica" (Zúñiga, 1997, p.175). Ello implica contextualizar la evaluación dentro de los fines que la propia institución persigue. Debe servir, a su vez, para analizar los resultados, las actividades llevadas a cabo por la organización y por todos y cada uno de sus miembros, los impactos de dichas actividades en su contexto más inmediato, además de analizar los objetivos y las finalidades que los justifican. Es decir, la evaluación debe considerar la misión global de la universidad (Zúñiga, 1997).

El personal profesional de la universidad, y más específicamente el profesorado, es un "elemento" clave del funcionamiento de la universidad y, al contrario de lo que en buena lógica debería suceder, la docencia en ella ha sido, en general, una función devaluada. Un profesor universitario adquiere prestigio, no precisamente por sus cualidades docentes, sino por los resultados de investigación y por los cargos académicos que desempeña ( Feldman, 1986). De esta forma, y aún cuando la evaluación de la docencia es una actividad instaurada en la mayoría de las universidades españolas, es la dimensión menos valorada en lo referido a la selección, acceso y promoción del profesorado universitario (González, Abalde, González. y Muñoz, 1994).

La dificultad de establecer una definición única del concepto "calidad docente" viene dada porque, además de la multiplicidad de elementos que intervienen en la docencia universitaria, no resulta fácil establecer los criterios que definen su calidad. Todo esto se suma a la falta de consenso en la comunidad universitaria acerca de cuáles son dichos criterios; fácil de entender, por otra parte, si tenemos en cuenta las grandes diferencias contextuales entre unas y otras universidades (De Miguel, Mora y Rodríguez Espinar, 1991). Es fácil suponer, que en el estudio de un campo tan amplio y complejo surgirán inconvenientes de diferente naturaleza que pueden dificultar la tarea evaluativa de la actuación docente. Por mencionar sólo dos, entre otros muchos igualmente importantes, podemos señalar la ausencia de consenso generalizado sobre la mejor manera de evaluar (qué modelo de evaluación utilizar) o el establecimiento de las dimensiones que definen con exactitud el constructo "buen profesor" o "calidad en la educación superior".

Una forma de entender la calidad docente ha sido: (a) a través del concepto de excelencia del profesorado ("provecho educativo"), es decir la comparación entre los resultados obtenidos por los alumnos y el rendimiento que presentaban antes de iniciar el proceso de enseñanza (Halpern, 1987); (b) a través de criterios de eficiencia del sistema, es decir, la relación entre los costos y los medios y recursos con los que la institución cuenta para la docencia; y (c) por el cumplimiento de una serie de criterios o indicadores de funcionamiento, de cumplimiento de objetivos y procesos establecidos en relación con la mejora y la renovación de las enseñanzas (De Miguel, Mora y Rodríguez Espinar, 1991). Pero, mientras no se sepa con certeza cómo se mide la excelencia del profesorado o cómo se operativiza el rendimiento de los alumnos, el problema sigue sin resolverse.

Al contrario de lo que sucede en otros niveles educativos, en el caso de la universidad, la calidad del profesorado no puede igualarse a la calidad docente, pues en aquélla se engloban también aspectos de la productividad de la investigación (Lewis, 1968; House y Yeager, 1978), el impacto de las revistas donde hayan tenido lugar las publicaciones y las características del profesorado (Bowker, 1965), los años de experiencia docente y los premios recibidos, entre otros (Blackburn y Lingenfelter, 1973). Evidentemente, la complejidad del constructo dificulta la clarificación del concepto que nos ocupa. Un intento de aclaración puede propiciarlo el trabajo de investigación evaluativa, que analice, a partir de las teorías subyacentes, las dimensiones generales que conforman dicho constructo, descomponiéndolas posteriormente en variables empíricamente observables y obteniendo indicadores a través de los cuales obtener información del fenómeno que queremos evaluar.

Entre las distintas formas de llevar a cabo la evaluación del profesorado, una de las más investigadas, es la que obtiene datos a partir de las respuestas de los estudiantes (Marsh, 1984; McKeachie et al., 1980). Esta práctica de evaluación es habitual en las universidades norteamericanas (Lowenberg, 1981), donde goza de un amplio apoyo lógico y empírico desde hace más de cincuenta años. En España comienza a desarrollarse sólo a partir de los años ochenta.

Generalmente, son dos los núcleos fundamentales en torno a los cuales se agrupan las dimensiones más frecuentemente citadas por los estudiantes, en relación a la calidad docente. Por una parte, las competencias y destrezas docentes (Marsh, 1984; Abbott y Perkins, 1978) y por otra parte, la actitud del profesor y sus relaciones con los alumnos (Whitely y Doyle, 1976; Linn, Centra y Tuckker, 1975; Marsh, 1984).

La mayor parte de los estudios cuyo interés se centra en el desarrollo y aplicación de cuestionarios dirigidos a los estudiantes, hace referencia a la necesidad o conveniencia de utilizar otras fuentes de información complementarias a las proporcionadas por los alumnos. Esto se debe a que, a pesar de que el estudiante está en una situación privilegiada para proporcionar datos sobre ciertos aspectos relevantes de la actuación del profesor, a los que sólo él tiene acceso directo, puede ocurrir que no esté capacitado para responder sobre un tipo determinado de información, o que no tenga un conocimiento suficientemente desarrollado sobre todos los aspectos que abarca el comportamiento docente del profesor que se esté evaluando.

Posiblemente, el punto más crítico en relación con la evaluación que realizan los estudiantes es el de la validez de las evaluaciones como tales, teniendo en cuenta quién las realiza, así como los prejuicios potenciales insertos en las opiniones que los estudiantes puedan emitir. Para eliminar estos problemas, Marsh (1989) sugiere la necesidad de que los resultados se relacionen con otras variables indicativas de una enseñanza eficaz.

La diversidad de opiniones lleva a pensar que tal vez el criterio justo para la evaluación del personal docente de nuestra universidad venga dado por el centro educativo en sí, con sus peculiaridades geográficas, económicas y sociales, entendiendo en buena lógica que cada universidad debe desarrollar un sistema de evaluación estandarizado a fin de comparar sus resultados de enseñanza e investigación (Hüfner y Rau, 1987).

CONCLUSIONES Y FUTURAS LÍNEAS DE ACTUACIÓN

La evaluación del personal docente de la universidad asume, que no existen principios teóricos, metodológicos o de procedimientos de evaluación únicos, ya que hay diferentes formas de conceptualizar la profesión y la acción docente del profesorado universitario. Por otro lado, gran parte de la varianza explicada del rendimiento de los profesores se debe a factores psicosociales, especialmente características, por una parte, del contexto donde se trabaja (por ejemplo, características departamentales, estilo de dirección, apoyo y clima social, satisfacción de los componentes, y así sucesivamente) y de otra parte, del profesor de que se trate.

Aún así, y asumiendo la inexistencia de un modelo único de evaluación de la calidad docente, sí es requisito indispensable que la evaluación tenga calidad teórica y que los métodos se adecuen a la demanda del cliente (sea éste el profesor, alumnos o sociedad en general), de manera que sea posible la potenciación al máximo de los resultados de la investigación evaluativa.

Este tipo de enfoques, científica y teóricamente guiados, requiere de la existencia de unidades técnicas de evaluación, compuestas principalmente por psicólogos expertos en evaluación de programas e intervención social, como ya ocurre en muchos centros nacionales. En el organigrama de las universidades, la unidad ocuparía una posición de staff de apoyo técnico a los procesos de autoevaluación y mejora, cuya integración de profesionales de la psicología constituye una creciente necesidad. En nuestra concepción, las unidades técnicas de evaluación y calidad son una estructura organizativa que responde a la tradición de gestión racional del trabajo. Sin embargo, hay que buscar un equilibrio entre la dirección técnica y la actualmente extendida filosofía de difusión de responsabilidades de control y mejora a lo largo de toda la organización.

Es obvio, que las unidades responsables de la evaluación no pueden restringir su trabajo a la mera recogida e implantación de los planes y guías de evaluación elaboradas por los organismos locales o nacionales competentes en materia de educación superior. Es mucho el esfuerzo que se emplea para la constitución de un servicio de evaluación, siendo absurdo desaprovechar el potencial de los evaluadores internos, generalmente investigadores, miembros de la comunidad universitaria.

En paralelo con las tareas de promoción e implantación de la cultura de la evaluación para la calidad, las unidades deben emplear recursos crecientes para el desarrollo de múltiples investigaciones encaminadas a comprender mejor los procesos organizativos, el fracaso universitario, las relaciones con la comunidad, la implantación de nuevas tecnologías, o los ambientes de estudio y de trabajo, entre otros muchos aspectos de la vida universitaria que necesitan también ser mejorados (Rebolloso, Pozo y Fernández Ramírez, 1998).

Abbott, R. y Perkins, D. (1978). Development and construct validation of a set student rating of instruction items, Educational and Psychological Measurement, 38, 1069-1075.

Berry, T.N. (1992). Cómo gerenciar la transformación hacia la calidad total, Santa Fe de Bogotá: McGraw-Hill.

Blackburn, R.T. y Lingenfelter, P.E. (1973). Assessing quality in doctoral programs: criteria and correlates of excellence, Center for the Study of Higher Education, E.D. 078728, Ann Arbor, Michigan.

Bowker, A.H. (1965). Journal of the American Statistical Association, vol. 60, 309, 1-15.

Cerych, L. (1987). Reform of Higher Education Systems, Higher Education in Europe, vol. XII, nº 3.

Comisión de las Comunidades Europeas. (1997). Recomendación del Consejo relativa a la cooperación europea en materia de garantía de la calidad en la enseñanza superior, Documento 97/0121 (SYN), Bruselas.

Comisión de las Comunidades Europeas. (1998). Recomendación del Consejo relativa a la cooperación europea en materia de garantía de la calidad en la enseñanza superior, Documento 98/561/CE (SYN), Bruselas.

Consejo de Universidades. (1998). Plan Nacional de Evaluación de la Calidad de las Universidades, Madrid: Secretaría General del Consejo de Universidades.

De Miguel, M., Mora, J.G. y Rodríguez Espinar, S. (1991). La evaluación de las instituciones universitarias, Madrid: Secretaría General del Consejo de Universidades.

De Miguel, M. (1993). La evaluación de las instituciones universitarias, IV Jornadas de Didáctica Universitaria, Granada.

Feldman, K.A. (1986). The perceived instructional effectiveness of college teacher as related to their presonality and attitudinal characteristics: a review and synthesis, Research in Higher Education, 9, 2, 97-115.

Galgano, A. (1993). Calidad total. Clave estratégica para la competitividad de la empresa, Madrid: Díaz de Santos.

González, R., Abalde, E., González, J. y Muñoz, M. (1994). La evaluación de la docencia universitaria por los estudiantes, II Congreso sobre reforma de los planes de estudios y calidad universitaria, Cádiz.

Grad, H.M. y Hernández, J.M. (1997). Prospectiva de la evaluación institucional y de los planes de calidad. En P. Apodaca y C. Lobato (Eds) Calidad en la universidad: Orientación y evaluación (pp. 252-270). Barcelona: Laertes.

Halpern, K.F. (1987). Student outcommes assessment: what institutions stand to gain, New Directions for Higher Education, 59, San Francisco: Jossey-Bass.

House, D.R. y Yeager, J.H. (1978). The distribution of publication success within and amens top economics departments: A disaggregate view of recent evidence, Economic Inquiry, 16, 593-598.

Hüfner, K. y Rau, E. (1987). Excellence in higher education: Measuring perfomance in higher education, problems and perspectives, Higher Education in Europe, 12, 5-13.

Kells, H.R. (1992). Self-regulation in higher education: A multi-national perspective in collaborative systems of quality assurance and control, London: Jessica Kingsley (Higher Education Policy Series 15).

Kogan, M. (1989). Evaluating Higher Education, London: Jessica Kingsley Publishers (Higher Education Policy Series 6).

Legge, K. (1984). Evaluating planned organizational change, London: Academic Press.

Lewis, L. (1968). On subjetive and objetive rankings of sociology departments, American Sociologist, 3, 129-131.

Linn, R.L., Centra, J.A. y Tuckker, L. (1975). Between, within and total group factor analysis of student ratings of instruction, Multivariate Behavioral Researchs, 10, 277-288.

Lowenberg, G. (1981). Interindividual consistences in determining behavior based dimensions of teaching effectiveness, Journal of Applied Psychology, 64, 492-501.

Marsh, H.W. (1984). Validity of student’s evaluations of college teaching: dimensionality, reliability, validity, potencial bases and utility, Journal of Educational Psychology, 76, 707-754.

Marsh, H.W. (1989). Evaluación de la enseñanza por los estudiantes. En T. Husen y T.N. Postlenthwaite (eds) Enciclopedia internacional de la educación, Barcelona: Vicens Vives.

McKeachie, W.J., Lin, Y.G., Daugherty, M., Moffet, M., Neigler, C., Nor, T., Walz, M. y Baldwin, R. (1980). Using student ratings and consultation to improve instruction, British Journal of Educational Psychology, 50, 168-174.

Peña, D. (1997). La mejora de la calidad en la educación: reflexiones y experiencias, Boletín de Estudios Económicos, 52, 161, 207-226.

Rebolloso, E. (1994). La evaluación del personal profesional: Un modelo de evaluación nuevo o una síntesis de modelos previos, Revista de Psicología Social, 9, 231-255.

Rebolloso, E., Pozo, C. y Fernández Ramírez, B. (1998). ¿Por qué la evaluación de la calidad en la Universidad de Almería?, Almería: Servicio de Publicaciones.

Rebolloso, E., Rebolloso, J.R. y Pozo, C. (1998). Evaluación institucional y del personal profesional. En E. Rebolloso (ed) Evaluación de programas. Ámbitos de aplicación (pp. 51-75). Barcelona: Ediciones San Jordi.

Rodríguez Espinar, S. (1991). Calidad universitaria: Un enfoque institucional y multidimensional. En M. De Miguel, J.G. Mora y S. Rodríguez Espinar (comps) La evaluación de las instituciones universitarias (pp. 39-72). Madrid: Secretaría General del Consejo de Universidades.

Rodríguez Espinar, S. (1997). Orientación universitaria y evaluación de la calidad. En P. Apocada y C. Lobato (eds) Calidad en la universidad: Orientación y evaluación (pp. 23-52). Barcelona: Laertes.

Rutman, L. (1980). Planning useful evaluations: evaluability assessment, Beverly Hills, Ca.: Sage

Starapoli, A. (1987). The eigteen-month experience of the National Evaluation Committee in France, Higher Education in Europe, vol. XII, nº 4.

Stufflebeam, D.L. y Shinkfield, A.J. (1985). Systematic evaluation, Dordretch, Boston: KluwerNijhoff (Trad.: Madrid: Paidós, 1987).

Westerheijden, D.F. (1990). University evaluation and its political context. Quality management and decision making in higher education. Ponencia presentada en el coloquio internacional de pedagogía universitaria, Barcelona, Octubre.

Whitely, E. y Doyle, K.D. (1976). Implicit theories in student ratings, American Educational Research Journal, 13, 241-253.

Zúñiga, R. (1997). La evaluación en la acción docente. En P. Apodaca y C. Lobato (eds) Calidad en la universidad: orientación y evaluación (pp. 175-193). Barcelona: Laertes.