Papeles del Psicólogo, 1989. Vol. (41-42).

ROCÍO FERNÁNDEZ BALLESTEROS, JOSÉ MANUEL HERNÁNDEZ, IGNACIO MONTORIO, MARÍA ANGELES GUERRERO, GLORIA LLORENTE y MARIA IZAL

Departamento de Psicología Biológica y de la Salud. Facultad de Psicología. Universidad Autónoma de Madrid

Estudios valorativos, investigación valorativa o evaluación de programas (por utilizar algunos de los términos más frecuentes) están refiriéndose, no cabe duda, a un nuevo ámbito de actuación del psicólogo por el que éste interviene, junto a otros profesionales, al establecer juicios o asignar valor a determinadas acciones implantadas en la realidad social. Por el momento, cuatro son los aspectos que requieren algunas especificaciones. De un lado parece conveniente clarificar qué implica evaluar (juzgar, estimar, tasar, etc.). Por otra parte, resulta necesario realizar algunas consideraciones sobre cuál es el procedimiento básico de evaluación. Así también es imperioso aclarar el tipo de eventos o acciones a los que nos referimos, que, en definitiva, son el objeto de evaluación y, por último, parece lógico hablar sobre las condiciones que han de darse para la intervención del psicólogo en esta tarea evaluativa. Veamos, brevemente, estos extremos.

Etimológicamente «evaluar» o «valorar» implica la asignación de valor a un determinado objeto, así se expresa el «Comité para la Evaluación de Programas Educativos» (Joint Committee, 1981, p. 12) cuando dice que esta actividad es «la investigación sistemática sobre el valor o mérito de algún objeto» (ver también Fernández-Ballesteros, 1983, 1985). Sin embargo, los autores no se ponen de acuerdo sobre con base en qué debe establecerse ese juicio de valor. Haciendo una breve revisión de los más importantes textos en esta materia encontramos dos fundamentales vías para establecer el valor de un objeto, evento o acción:

A pesar de que estas dos serían las vías más claramente definidas a la hora de valorar o evaluar un objeto, existirían otras muchas consideraciones en la asignación de valor. Así también existen definiciones de evaluación que implican al proceso de implantación del objeto en cuestión. En este sentido valorar un objeto sería juzgar cómo se está implantando o hasta qué punto unas determinadas acciones se están llevando a la práctica. Así, Scriven (1967) opone a la evaluación «sumativa» (evaluación de resultados) la evaluación «formativa» (o de proceso). La OMS (1981), por su parte, al establecer los componentes de la evaluación de programas o servicios de salud, incluye el análisis de los progresos como uno de los elementos esenciales en la evaluación. Sin embargo, la evaluación referida al proceso de implantación (formativa o de progresos) es perfectamente compatible con otros enfoques. En este sentido la mayor parte de los autores parecen considerar que esta forma de asignar valor ha de verse complementada por otras vías (a través de objetivos o resultados); así lo expresan Hollister, Kemper y Wooldridge (1982), Guba y Lincon (1981) o Kaufman y Strohmeier (1981), entre otros.

La estimación sobre el valor de algo se ha visto muy influida también por conceptos económicos; así, no cabe duda de que el valor de un objeto, evento o acción puede ser enjuiciado en términos meramente comerciales; es decir, mediante el correspondiente análisis costo-beneficio. En otros términos, hasta qué punto lo desembolsado por ese objeto o acción es inferior a los beneficios que ha reportado. Nuevamente esta consideración en la asignación de valor es perfectamente compatible con otras; es decir, se puede realizar una evaluación basándose en el análisis de 3 objetivos», o de «defectos», o resultados, o incluso de «proceso», incorporando también el correspondiente «análisis costo-beneficio» (Rossi, 1981; Levin, 1983; Yates, 1986).

Por otra parte, también existen autores defensores de que uno de los parámetros potenciales en el establecimiento del valor de «algo» es el de su adecuación, es decir, la medida en la cual ese objeto está respondiendo a unas necesidades concretas. Así, la OMS (1981) al establecer las características de los componentes de la evaluación incorpora el de su pertinencia, definiéndolo como la medida en la que un programa (o servicio) de salud responde a unas determinadas (y, en su caso, jerarquizadas) necesidades de la población.

Hasta aquí una enumeración de las más importantes vías en el enjuiciamiento sobre el valor de un objeto, evento o acción. Se habrá apreciado la pluralidad de concepciones sobre la evaluación que, en definitiva, van a determinar los criterios últimos de actuación.

Evidentemente un juicio sobre algo supone un proceso de toma de decisión que puede ser realizado de muy distintas formas. No cabe duda de que asignar valor es una operación cotidiana: desde la forma más simple (por ejemplo, juicio puntual de una persona no experta, basado en meras impresiones) a la más compleja (por ejemplo, complicados análisis estadísticos, realizados por expertos, basados en datos registrados mediante costosos aparatos) podrían considerarse decenas de vías en la estimación del valor de un objeto. Sin embargo, la mayor parte de autores considera que la asignación de valor a un objeto, evento o acción, debe ser realizada a través de una metodología llamada «científica», contando con estrategias elaboradas por la comunidad científica de las disciplinas sociales. Así, Rossi y Freeman (1985, p. 19) consideran que «la investigación evaluativa supone la aplicación sistemática de los procedimientos de la investigación social a la evaluación de la conceptualización y diseño, implantación y utilidad de programas de intervención; en otras palabras, la investigación evaluativa implica la utilización de la ciencia social para juzgar y poner a prueba la planificación, implantación, efectividad y eficiencia de programas de salud, educación, bienestar y otros programas de servicios humanos». La referencia que estos autores hacen a procedimientos propios de la «ciencia social» no deben hacer creer al lector que estos aluden, exclusivamente, a la llamada «metodología científica» considerada en oposición a procedimientos cualitativos de indagación propios de un enfoque «naturalista». En nuestra opinión la definición de Rossi y Freeman comprende ambos tipos de metodología, puesto que ambos acercamientos -a pesar de contar, según Guba (1987), con asunciones ontológicas, epistemológicas y metodológicas distintas- forman parte de las estrategias de investigación social, siendo en la práctica compatibles.

Vemos, pues, cómo la evaluación, desde la óptica a la que nos referimos, ha de realizarse a través de unos procedimientos reglados. Estos procedimientos se circunscriben a la llamada «metodología científica» y comprenden tanto una tecnología propia de un enfoque positivo-experimental-cuantitativo como naturalista-cualitativo, a la vez que dan cabida tanto a una perspectiva de la «iluminación» como del «descubrimiento» o, más ciertamente, de la «contrastación» (ver Reinhart, 1972; Fernández-Ballesteros, 1987).

No cabe la menor duda de que la ambigüedad hasta aquí provocada por el concepto «objeto, evento o acción» debe ser superada. Seguramente el propio título que encabeza este trabajo lo ha hecho ya, porque lo que el lector ya sabe es que el ámbito al que se circunscribe la evaluación a la que aquí nos referimos es el de los Servicios Sociales. Sin embargo, por mucho que resulte obvia la referencia a este tipo de objeto, sí parece conveniente precisar por nuestra parte qué incluye y a qué nos referimos con esta amplia rúbrica de «Servicios Sociales».

El Consejo de Europa (1980) establece la siguiente definición de servicios sociales: «... todos los organismos que tienen por misión aportar ayuda y asistencia personal directa a individuos, grupos o comunidades al objeto de permitirles integrarse en la sociedad» (p. 10). La Constitución española, sin embargo, otorga al término servicios sociales un significado más restringido, utilizándolo solamente en el artículo 50 para referirse al grupo de población mayor de sesenta y cinco años o de tercera edad (Berdullas et al., 1989). Por su parte, el Seminario Taxonómico (1987) establece que los Servicios Sociales son «servicios públicos para prevenir y atender las consecuencias de determinadas desigualdades sociales de los ciudadanos, o para facilitar la integración social mediante centros, equipos técnicos y unidades administrativas, de gestión pública y privada» (p. 217). También Camarero (1987) señala que «los Servicios Sociales deben ser aquellos instrumentos económicos, técnicos y humanos de que se dota una sociedad para facilitar el desarrollo humano en todas las vertientes de los ciudadanos» (p. 30). Todas estas definiciones hacen referencia al indudable carácter instrumental y orgánico de los Servicios Sociales.

Sin embargo, el uso semántico de esta rúbrica se circunscribe, frecuentemente, a determinados elementos organizativos dispensadores de acciones sociales específicas; así, un servicio social se supone entraña un conjunto de actividades que se realizan en un ámbito delimitado de la asistencia social; por ejemplo, existe un «servicio de podología» en la asistencia al anciano. Lo que se pretende resaltar es que en «Servicios Sociales» se integran dos realidades con distintos grados de complejidad: de un lado, programáticamente con «Servicios Sociales» se hace referencia a un complejo entramado de organismos planificadores, dispensadores y gestores de acciones sociales, y de otro, con «servicio social» se denomina también a acciones específicas dispensadas con un determinado propósito asistencial.

Con el fin de clarificar esta cuestión conviene mencionar las precisiones conceptuales realizadas por Cook, Levinton y Shadish (1985). Distinguen estos autores entre «políticas», «programas», «proyectos» y «elementos», todos ellos potenciales objetos de evaluación. Así, cualquier acción dispensada en la realidad social con el fin de atender a los ciudadanos es, generalmente, planteada desde una determinada política, haciéndose referencia aquí a las directrices ideológicas que son siempre el trasfondo y la guía de esa acción. Por otra parte, Cook, Leviton y Shadish (1985) entienden que mientras los «programas» suponen un conjunto organizado de acciones encaminadas a un propósito común, los «proyectos» implicarían la puesta en marcha de esas acciones en contextos definidos (geográficos o administrativos) y, por último, con «elementos» estaríamos denominando las actividades o tratamientos dispensados. Como vemos, tal conceptualización jerárquica se establece a través de una amplia dimensión de mayor a menor complejidad o molaridad. ¿Dónde situar en este continuo nuestro objeto de reflexión: los servicios sociales? Pues bien, son muchos los autores que hacen referencia a la necesaria conexión de los servicios sociales con la política social. Así, De las Heras (1985) dice que «... los servicios sociales son siempre instrumento al servicio de un fin, de una política social ... » (p. 21), y también la definición emanada del Seminario Taxonómico (1987) establece que «los Servicios Sociales son un instrumento de la política social... orientados valorativamente por el plano ideológico del bienestar social que señala consensualmente qué demandas concretas en cada momento deben tener consideración de "necesidades sociales", precisando así el campo de actuación y el contenido prestacional de los Servicios Sociales» (pp. 218-219). Con estas precisiones queda claro que los Servicios Sociales estarían implicando una realidad dependiente de la política social gestora y promotora de las acciones implicadas en los «programas». Pero, además, un «servicio social» desde otra perspectiva podría ser situado al mismo nivel y con las mismas características de los «elementos» a los que aluden Cook, Leviton y Shadish; es decir, como aquel conjunto de actividades o estrategias asistenciales dispensadas con un propósito determinado.

Ahora cabe preguntarse: ¿qué englobamos con la condición «social» del servicio? Si seguimos con nuestras anteriores definiciones y recordamos la emitida por el Seminario Taxonómico, tal condición vendría dada por el objetivo del servicio al tratar de «prevenir y atender (con él) las consecuencias de determinadas desigualdades sociales en los ciudadanos». Sin embargo, no toda acción destinada a tal fin es considerada como un «servicio social». Así, por ejemplo, el Consejo de Europa excluye «todos los servicios que se ocupan únicamente de asegurar cierto nivel de vida mediante la atribución de prestaciones» (p. 11). En el contexto español existe toda una serie de prestaciones sociales -en su sentido amplio- que no son consideradas «Servicios Sociales» (por ejemplo, la educación y la sanidad son dos amplias áreas que implican servicios públicos asistenciales), a la vez que si bien la Constitución española insta, en su conjunto, a los poderes públicos a que realicen una política del bienestar social para todos los ciudadanos (Berdullas et al., 1989), para ello no se menciona expresamente el término de servicio social. Con todo esto tal vez habría que recurrir a un criterio puramente organizativo para incluir unos servicios en la categoría de «sociales», en la medida en la cual en una determinada sociedad se crean unidades administrativas que regulan estas funciones (por ejemplo, recuérdese cómo en la Comunidad Autónoma de Madrid se pasó de una Consejería de Salud y Bienestar Social a dos Consejerías independientes: una de Salud y otra de Integración Social). Podríamos concluir, pues, diciendo que Servicios Sociales supone una amplia categoría de servicio público dependiente, más que de características propias diferenciadoras, de decisiones administrativas coyunturales dentro de un particular sistema organizativo.

En todo caso, ¿qué incidencia tiene la evaluación de Servicios Sociales en los estudios evaluativos? Siguiendo un análisis de Fernández-Ballesteros (1985, 1987), realizado sobre la producción del Evaluation Studies Review Annual (una de las publicaciones periódicas de mayor prestigio en este ámbito) en la última década, mientras que a la evaluación de programas de salud y educación se dedicaba un 25 y un 21 por 100 de trabajos, respectivamente, la tasa correspondiente a estudios evaluativos en Servicios Sociales era de un 10 por 100. Ello implicaría una menor incidencia de este tipo de objeto de evaluación, comparativamente con otros.

Con todos estos ingredientes tratemos ahora de avanzar un poco más en nuestro análisis, delimitando lo que se entiende por evaluación de Servicios Sociales. Tendríamos que concluir diciendo que es la disciplina encargada de la estimación, el enjuiciamiento o análisis del valor de aquellos programas de acción que desarrollan centros, equipos técnicos o unidades administrativas implantadas para subvenir a determinadas necesidades sociales. Sin embargo, conviene subrayar el que con un nuevo cambio de preposiciones la evaluación en Servicios Sociales abarcaría otros aspectos distintos del puro enjuiciamiento sobre el valor de un servicio, por cuanto los Servicios Sociales se insertan en un largo proceso de planificación en el cual la evaluación tendría lugar en distintos momentos de ese proceso y con distintos objetivos, no sólo valorativos. A ello nos referiremos más adelante.

Evaluar en el mundo social, y más aún evaluar en Servicios Sociales, supone dar cuenta del valor de un objeto que tiene como propósito subvenir a unas necesidades humanas, contribuyendo así al bienestar individual y colectivo. Muchas son las definiciones operacionales que se manejan a la hora de medir el «bienestar social», entre las que figuran indicadores socioeconómicos del más variado tipo. Sin embargo, en los últimos tiempos el bienestar social está siendo definido desde una perspectiva más subjetiva, considerándose más como un derivado afectivo de ciertos aspectos macro y micro economicosociales que como un producto del desarrollo socioeconómico. Como señalaba hace ya tiempo Bunge (1975), la calidad de vida -y, por tanto, el bienestar social- requiere indicadores psicológicos. Pero, además, la mayor parte de los Servicios Sociales tienen objetivos claramente comportamentales. Con todo ello se hace referencia, se mire por donde se mire, a que tanto si se estima el valor de una acción social a través del cumplimiento de una serie de objetivos sociales, como si se pretende hacerlo sobre la base de los efectos o resultados de esas acciones sociales, generalmente se hallan implicados comportamientos humanos.

Por ello consideramos que la evaluación de Servicios Sociales es una tarea pluridisciplinaria. No obstante, cabe afirmar que cuando los objetivos de una determinada acción social son comportamentales, la participación del psicólogo es incuestionable, como experto capacitado, para establecer a través de qué tipo de operaciones y con qué tipo de procedimientos ha de ser valorado un programa o servicio.

Evaluación en planificación social

La evaluación de programas y servicios -ya se ha dicho- supone una nueva disciplina aplicada de las ciencias sociales a través de la cual se pretende dar cuenta del mérito, valor, éxito de determinadas intervenciones o -acciones (programas, servicios, etc.) implantadas en la realidad social. No cabe duda de que esta disciplina surge conectada con una idea fundamental de planificación y programación social habida a lo largo de este siglo, y con especial relevancia a partir de los años sesenta. Y es que una vez traspasada una determinada frontera económica en el desarrollo, distintos países emprendieron la tarea de trasladar algunos conceptos y herramientas del logrado desarrollo económico, junto con la nueva tecnología emanada de la pura investigación humana al ámbito social. En definitiva, una vez superada la ideología liberal del «laissez-faire», inspirado por planteamientos cientifistas propios del positivismo comtiano, bien expresados por Mannheim, lo que se pretende es el desarrollo social producto de un bien meditado y un ordenado plan. En todo caso, sea cual fuere su raíz ideológica y política, lo importante es que, como señala Madge (1976), «... a partir de la segunda guerra mundial ha crecido rápidamente la importancia de la planificación social, tanto como concepto, como complejo institucional [de forma tal que] parece haberse institucionalizado en la mayor parte del mundo moderno y en los programas internacionales, de modo que cualquiera que sea su estatus lógico y filosófico ha logrado ser reconocido de facto» (p. 19l). En definitiva, «la planificación social comporta la elaboración de planes para la acción futura sobre los recursos e institucionales sociales», o como dicta el Seminario Taxonómico, supone la «aplicación en el ámbito de las organizaciones (públicas y privadas) que administran recursos sociales, de metodologías destinadas a dirigir una actuación organizada, orientada a un fin propuesto ordenado racionalmente al desarrollo temporal de actividades, instrumentos y medios que confluyen en la realización de dicho fin» (p. 163). Lo más importante para nuestros propósitos es que resulta comúnmente aceptado que uno de los rasgos esenciales de la planificación social es, precisamente, el que conlleve un sistema de autocorrección «que permita la valoración racional de la acción realizadas (Seminario Taxonómico, 1987, p. 163). Es decir, en definitiva la evaluación de las acciones sociales es la forma de ejercer un control sobre la planificación de forma que progresivamente mejore sus resultados. En definitiva, si bien la evaluación supone una derivación de la planificación, no es comprensible una planificación sin establecer, a su vez, planes de evaluación, ya que es su mecanismo corrector. Podríamos decir, sin género de dudas, que no es posible realizar una buena evaluación sin una adecuada planificación, así como no puede darse una completa planificación sin que se contemple su evaluación.

En todo caso, vamos a reflexionar brevemente sobre el ciclo de la planificación y acción social con el objetivo de ubicar en él la evaluación. En la figura 1 presentamos el diagrama de Fernández-Ballesteros (1987) en el que vamos a basarnos. Como puede verse, siete son las fases fundamentales del ciclo de planificación e intervención social; veámoslas brevemente.

Los autores están de acuerdo en que cualquier intervención social se programa con el fin de atender ciertas necesidades sociales y, por tanto, de eliminar o aliviar los problemas que las generan. La evaluación de necesidades es, por tanto, el primer momento del ciclo de planificación e intervención. De ella parte cualquier planificación y es, por tanto, un prerrequisito de la implantación de programas y servicios; es decir, las necesidades percibidas y expresadas por los distintos implicados, y no sólo por los planificadores y/o técnicos, son el primer sujeto de evaluación a lo largo del ciclo de planificación e implantación social.

Basándose en las necesidades sociales, el planificador ha de plantearse unos determinados objetivos, así como también deberá especificar éstos según unas metas concretas que se pretende alcanzar. Como hemos dicho anteriormente, objetivos y metas serán fundamentales a la hora de establecer el valor de la acción o intervención, programa o servicio ya, que podrán ser un criterio valorativo.

Como es lógico, el planificador social suele plantearse qué acciones o intervenciones han de ser planificadas con el fin de alcanzar los objetivos propuestos y atender a las necesidades existentes. Es decir, previa a cualquier implantación parece lógico llevar a cabo una reflexión sobre cuáles son los mejores «medios» para responder a los «fines» u objetivos-metas propuestos. En definitiva, siempre existe una «teoría» del programa en cuestión por la cual se está suponiendo que unos medios concretos sirven para resolver los problemas existentes y para alcanzar las metas propuestas. En otras palabras, en tal momento el planificador social está realizando una preevaluación del programa o servicio que pretende implantar, ya que están estableciéndose determinadas relaciones funcionales entre unas acciones asistenciales (estructuras, medios técnicos, humanos, etc.) y unos objetivos-metas que se pretende alcanzar, suponiendo que esas acciones tendrán «valor» en el sentido de conseguir ciertos efectos y/o servir para atender unas necesidades. Nuevamente este momento del ciclo es claramente «evaluativo» en el que se enjuician, por simulación y otros procedimientos racionales, las acciones que van a ser implantados.

Por «programa» suele entenderse el amplio conjunto organizado de acciones establecidas para alcanzar unas concretas metas y objetivos y atender a las necesidades existentes. Como se ha señalado anteriormente, los programas responden siempre a unas determinadas políticas sociales, suelen ser elaborados desde unos organismos concretos («servicios» públicos o privados) y, a su vez, están integrados por componentes más elementales que los conforman. Especificar su estructura, el proceso y temporalización necesaria, así como las unidades que habrán de recibirlo, son tareas de indudable importancia en este ciclo de toma de decisiones de la planificación e intervención social.

No habría lugar a una evaluación (en términos de Scriven, ni sumativa, ni formativa) si lo planeado no se implantase (aunque, como es lógico, sí podríamos hablar del «valor» de lo planeado). Es decir, una ve; planificada una acción debe ser llevada a cabo en los términos en que fue prevista. Como se ha dicho anteriormente, existen autores que sostienen que una evaluación adecuada es aquella que se realiza durante el proceso de implantación y ello por cuanto permitiría que el programa o servicio de que se trate fuera mejorando (es decir, «formando») el programa. Sin embargo, cualquiera que sea el enfoque valorativo que se siga, el conocimiento de la extensión (en términos de unidades, tiempo y elementos de lo programado) en la que un determinado plan de acción se ha llevado a cabo es algo fundamental a la hora de proceder al enjuiciamiento sobre su valor.

La evaluación puede situarse en varias de las etapas del ciclo de planificación e intervención social; en el análisis de las necesidades, en si los objetivos y metas son adecuados, si las acciones establecidas responden a los fines perseguidos y han sido especificados suficientemente y en qué medida tales acciones han sido (o están siendo) implantadas. En definitiva, como es lógico, cualquier acción humana puede ser contemplada valorativamente. Sin embargo, propiamente hablando la evaluación de programas y servicios suele confundirse con la realizada una vez que un programa o servicio ha sido implantado. No quiere decir esto que ello tenga que ocurrir una vez finalizado el programa de acción y se vaya a hacer balance de él, sino simplemente, cuando -periódica o puntualmente- se pretenda conocer su funcionamiento, logros o efectos con el fin de mejorarlo o reajustarlo.

Como se ha dicho anteriormente, la evaluación lleva consigo una toma de decisiones. Es decir, supone el paso intermedio para realizar cambios o modificaciones en el ciclo de la programación e intervención social. Weiss (1988) se ha referido extensamente a la falta de incidencia en los Estados Unidos, de los resultados de las evaluaciones en los programas evaluados. Diríase que las decisiones políticas, presentes en toda planificación social, son escasamente influenciables mediante los juicios emitidos por los evaluadores expertos. Si esto fuera así querría decir que la evaluación no cumple con su función de actuar como mecanismo de autocontrol y reajuste del proceso de planificación social. No obstante, conviene señalar que, como la misma Weiss admite, si bien la valoración puede que no sirva para la erradicación de determinadas acciones planificadas, sí puede utilizarse claramente para la mejora de componentes o acciones específicas, por lo que, en definitiva, es un auxilio inequívocamente útil en el reajuste constante (caso de existir) de la planificación social.

Por último, conviene reflexionar, aunque sea brevemente, en la implicación de aspectos tales como la ideología dominante, la política y la ciencia, tanto en el ciclo de planificación e intervención social como en la propia evaluación (ver fig. l). En efecto, decíamos más arriba que la planificación social (y, con ella, la evaluación) surgía de un cierto cientifismo positivista comtiano en el que hace falta «saber, para prever, para poder». En este sentido, Merton (1973/85) (puso de relieve tiempo ha), ni la ciencia, ni mucho menos las decisiones sociales, pueden verse libres de influencias ideológicas y culturales. El evacuador, como el planificador social, está inmerso en una cultura, lo cual conlleva otros muchos aspectos relacionados con el mundo de las ideas y las creencias, y aunque realice un trabajo evaluativo sumamente objetivo lo hará, indudablemente, con los sesgos propios del sistema ideológico al que pertenezca el conjunto. Ello, también, está relacionado -como se ha señalado al inicio de estas páginas- con la metodología utilizada y aún con la propia conceptualización de la disciplina.

En resumen, cabría decir que la evaluación de Servicios Sociales es un nuevo campo de actuación del psicólogo en el que éste ha de actuar, junto a otros profesionales, a lo largo de todo el ciclo de planificación y acción social. Su papel, entre otros, cobra enorme relevancia cuando se trata de evaluar variables comportamentales en el amplio ciclo de la planificación. La formación continúa necesaria para tal tarea ha de ser un empeño tanto individual como institucional si se pretende el ejercicio competente de la profesión.

Alvira, F.: La investigación evaluativa: una perspectiva experimentalista. Revista Española de Investigaciones Sociológicas, 29:129-141, 1985.

Berdullas, M.; Chacón, F.; López Cabans, M., y Sanz, L. M.: La intervención social. Papeles del Colegio, 36-37, 96-98, 1989.

Bunge, M.: What is a quality of life indicators? Social indicators research 2 (6), 65-79, 1975.

Camarero, C.: La crisis del estado del bienestar y su repercusión en la calidad de vida. Papeles del Colegio, 5:21-33, 1987.

Consejo de Europa: Les Services Sociaux. Nouvelles formules de structure et d'organization, Conseil de I'Europe, Strasbourg, 1980.

Cook, T. D.; Leviton, L. C., y Shadish, W. R.: Program Evaluation. En G. Lindzey y E. Aronson (eds.). Handbook of Social Psychology. Vol. 2. New York: Random House (3ª ed.), 1985.

De las Heras: Los Servicios Sociales en España. En Redondo de la Serna (Dir.). Sociología y planificación de los Servicios Sociales. Colegio de Doctores y Licenciados en Ciencias Políticas y Sociología, Madrid, 1985.

Fernández-Ballesteros, R.: Valoración de intervenciones. En R. Fernández-Ballesteros (ed.). Psicodiagnóstico. Madrid: UNED, 1983.

Fernández-Ballesteros, R.: Evaluación psicológica y evaluación valorativa. Evaluación Psicológica/Psychological Assessment, 1:7-31, 1985.

Femández-Ballesteros, R.: Ciencia, ideología y política en evaluación de programas. Revista de Psicología Social, 3:159-181, 1987.

Guba, E. G.: What have we learned about naturalistic evaluation. Evaluation Practice, 8:23-44, 1987.

Guba, E. G., y Lincoln, Y. S.: Effective Evaluation. San Francisco. Jossey-Bass, 1981.

Hollister, R. G.; Kemper, P., y Wooldrige, J.: Conexión entre el análisis de proceso y el análisis de impacto: el caso del trabajo asistido. En T. D. Cook y Ch. S. Reichardt (eds.). Métodos cualitativos y cuantitativos en investigación evaluativa. Madrid, Morata. Edición española de 1986, 1982.

House, E. R.. Evaluating with validity. Beverly Hills, Ca. Sage, 1980.

Joint Comitee on Standards for Educational Evatuation: Standards for Evaluations of Educational Programs, Projects, and Materials. New York, McGraw Hill, 1981.

H. Wollmann (eds,): Evaluation Research and Practices: Comparative and International Perspective. Beverly Hills, Ca. Sage, 1981.

Levine H.M.: Cost-effectiveness analysis in evaluation research. En E.L. Struening y M. B. Brewer (eds.). Handbook of Evaluation Research (2ª ed.). Beverly Hills, Ca. Sage, 1983.

Levine, R.A.: Program Evatuation and Policy Analysis in Western Nations: An Overview. En R.A. Levine, M.A. Salomon, G.M. Hellistern y H. Wollmann (eds.) Evaluation research and Practices: Comparative and International Perspectives. Beverly Hills, Ca. Sage. 1981.

Madge, Ch.: Planificación social. En Enciclopedia Internacional de las Ciencias Sociales. Aguilar, Madrid, 1976.

Merton, R. K.: La Sociología de la Ciencia. Madrid, Alianza Universidad, 1973/1985.

Organización Mundial de la Salud., Evaluación de los Programas de Salud: Normas fundamentales para su aplicación en el proceso de gestión para el desarrollo nacional de la salud. Ginebra, OMS 1981. Reinhart: Methodology development for input Evaluation using advocate and designs team. Tesis doctoral Ohio State University, 1972.

Rippey, R. M.: Introduction. En R. M. Rippey (ed.): Studies in Transactional Evaluation. Berkeley, McCutchan, 1973.

Rossi, P. H.: The professionalization of the evaluation research in the United States. En R. A. Levine, M. A. Solomon, G. M. Hellstern y H. Wollmann (eds.). Evaluation Research and Practices: Comparative and International Perspectives. Beverly Hills, Ca. Sage, 1981.

Rossi, P. H., y Freeman, H. E.: Evaluation: A Systematic Approach (3ª ed.). Beverly Hills, Ca. Sage, 1985.

Rutman, L.: Planning Useful Evaluations: Evaluability Assessment. Beverly Hills, Ca. Sage, 1985.

Scriven, M. S.: The metodology of evaluation. En R. W. Tyler, R. M Gagné y M. S. Scriven (eds.). Perspective of curriculum evaluation (AERA Monograph Series on Curriculum Evaluation, l). Chicago, Rand McNally, 1967.

Scriven, M. S.: Evaluation Ideologies. En G. Madaus, M. S. Scriver, y D. L. Stufflebeam (eds.). Evaluation Models. Boston, Kluwer Nijhoff, 1983.

Scriven, M. S.: New Frontiers of Evaluation. Evaluation Practice, 7:7-44, 1986.

Seminario Taxonómico: Conceptos básicos del bienestar social. Ilustre Colegio Oficial de Doctores y Licenciados en Ciencias Política. Madrid, 1987.

Sjoberg, G.: Politics, ethics and evaluation research. En M. Guttentag y E. L. Struening (eds.). Handbook of Evaluation Research. Beverly Hills, Ca. Sage, 1975.

Suchman, E. A.: Evaluative Research: Principles and Practice in Public Services and Social Actions Programs. New York, Russel Sage Foundation, 1967.

Tyler, R. W.: Basic Principles of Curriculum and Instruction. Chicago, Chicago University Press, 1950.

Weiss, C. H.: Evaluation for Decisions: Is Anybody There? Does Anibody Care? Evaluation Practice, 9:5-20, 1988.

Material adicional / Suplementary material

Figura 1. El lugar de evaluación en un ciclo de toma de decisiones.