TEMA 3 . PLANIFICACIÓN Y REALIZACIÓN DE ESTUDIOS DE EVALUACIÓN DE LA CALIDAD I

 

ÍNDICE DEL TEMA

Etapas para el diseño de un estudio de evaluación

Preparación de la recogida y proceso de datos

Bibliografía

 

ETAPAS PARA EL DISEÑO DE UN ESTUDIO DE EVALUACIÓN

Los problemas de calidad y sus causas pueden ser identificados de muy diversas formas. En algunas ocasiones son evidentes los problemas y los factores causantes. En otras, es posible que las causas no estén claras o cuanto menos existan discrepancias entre los profesionales. La metodología de evaluación que se expone a continuación deberá ser utilizadas en aquellos problemas de calidad donde no se conozcan las causas que están provocando la situación. Las evaluaciones se realizan siguiendo las etapas que se presentan en la siguiente tabla

Guión para los estudios de evaluación de la calidad. Etapas

Dimensiones de la calidad
Unidades de estudio
Relación temporal de la evaluación
Tipo de datos
Medidas correctoras previstas
Definición de la población y de la muestra
Fuentes de datos
Elaboración de criterios
Preparación de la recogida y de proceso de datos

Dimensiones de la calidad

En primer lugar se debe explicitar la dimensión de la calidad que queremos medir. Tal como hemos visto en el tema anterior, existen una gran variedad de dimensiones las cuales vienen determinadas por la definición de la Calidad asistencial que se adopte, nosotros adoptamos la definición de la Dra. Palmer y proponemos un esquema con las siguientes dimensiones: Calidad científico-técnica, accesibilidad, eficiencia y satisfacción.

La mayoría de las evaluaciones que realizan los profesionales incluyen la medición de la calidad científico-técnica. Esto es así porque es la dimensión más cercana a los profesionales, y aquella sobre la que más directa y fácilmente pueden actuar. Sin embargo no debe de olvidarse la importancia de garantizar unos niveles adecuados de accesibilidad y satisfacción. Accesibilidad tanto interna ( en el sentido de la existencia o no de barreras a la continuidad de los cuidados) como externa (si trabajamos en atención primaria, debemos pensar no sólo que atendemos a los pacientes que acuden al centro de salud sino que atendemos a toda una población) y la satisfacción, como resultado a conseguir, y para garantizar la adecuada y necesaria colaboración de los pacientes y población en los programas y tratamientos.

En el diseño del estudio de evaluación debemos de explicitar qué dimensión es la que vamos a medir.

Unidades de estudio

La descripción de la unidad de estudio equivale a la definición de caso a evaluar. Se trata de describir qué profesionales son los implicados en dar la atención que va a ser evaluada , qué pacientes reciben dicha atención, cuáles son sus características (patología) y qué periodo de tiempo de la asistencia recibida vamos a evaluar.  

Características del paciente:

Pueden ser definidos en función de su edad, sexo, diagnosticados de una determinada enfermedad, sometidos a un determinado tratamiento etc. Por ejemplo podría ser pacientes de 0 a 13 años con diagnóstico de asma infantil, que son atendidos en nuestro centro de salud.

Características de los profesionales y nivel asistencial evaluado:

Siguiendo con el ejemplo podrían ser todos los profesionales implicados o sólo un médico o sólo los enfermeros, etc.

Periodo de tiempo evaluado:

Hace referencia  al segmento del proceso asistencial, tiempo de contacto, en el que queremos que los criterios se cumplan. Por ejemplo en el programa de detección precoz del cáncer de mama, la exploración de mama tiene que realizarse en la primera visita a toda paciente que acuda a dicho programa, aquí el periodo de tiempo evaluado será la primera visita realizada en nuestro centro de salud. Podemos también evaluar la atención que ha recibido por el ejemplo un paciente diabético durante el primer año después de su diagnóstico.

En una evaluación con varios criterios, es posible que cada uno de ellos se refiera a periodos de tiempo o segmentos del proceso asistencial diferentes.

Esta etapa es la más difícil de entender y de especificar.

Relación temporal de la evaluación

Si el proceso asistencial que se evalúa ha ocurrido ya, es una evaluación retrospectiva, si esta ocurriendo a la vez que se evalúa, es concurrente.

La mayoría de las evaluaciones son retrospectivas: se evalúa algo que ha ocurrido y por lo tanto si hubo algún problema o defecto de calidad es ya inevitable; la utilidad de estas evaluaciones consiste en aprovechar esta información para diseñar intervenciones que eviten que el problema vuelva a ocurrir.

En las evaluaciones concurrentes como se da antes del que el paciente se haya ido podemos rectificar aquellas partes del proceso que muestran algún tipo de deficiencia por ejemplo, si evaluamos la calidad de la información recibida por el paciente sobre los autocuidados que tiene que poner en práctica antes de que se vayan del centro, podemos incidir sobre los puntos deficientes detectados.

Tipo de datos

Donabedian, clasifica los datos en estructura, proceso y resultados.

Una buena estructura aumenta las posibilidades de un buen proceso y el buen proceso aumenta las posibilidades de unos buenos resultados.

Medidas correctoras previstas

Las medidas correctoras más usuales serán organizativas, formativas para con los profesionales, educativas para los pacientes, etc.

Definición de la población a estudiar

Vendrá definida por los pacientes que son atendidos por los propios profesionales en los centros.  Se trata por tanto de una población institucional ya que lo que queremos evaluar es la calidad de los servicios, cuidados recibidos.

Determinación de la muestra

Si la población objeto de estudio es muy pequeña podemos decidir estudiar toda la población, pero en la mayoría de los casos esto no sucede con lo cual es aconsejable extraer una muestra.

Para que los resultados sean válidos a nuestros propósitos, la muestra debe cumplir tres condiciones:

  1. El método de muestreo debe ser probabilístico, es decir, cada individuo debe tener la misma posibilidad de ser elegido. Los más utilizados son los muestreos aleatorios simples y el muestreo sistemático.

  2. La cumplimentación de la muestra debe ser elevada, idealmente cercana al 100%

  3. El tamaño de la muestra debe de ser el adecuado:

    • Los  estudios de evaluación no tratan de describir la población en cuyo caso se necesitarían muestras representativas de esta población

    • Tampoco se pretenden analizar la asociación que existe entre dos variables para lo que se necesitaría muestras de gran tamaño que aseguren la potencia adecuada al estudio

    • Los estudios del nivel de calidad lo que pretenden es evidenciar la existencia o detección de fallos en la asistencia cuando estos existan para ello es suficiente con una muestra de 50-60 casos

 Fuentes de datos

En el diseño tenemos que hacer explícito la fuente de datos que vamos a utilizar.

La información para enjuiciar la calidad se obtiene de innumerables fuentes de datos. Las más usuales son las historias clínicas,  entrevistas y cuestionarios, satisfacción de los usuarios y profesionales, listas de espera,  etc.  

En evaluaciones retrospectivas, vamos a utilizar muy probablemente la historia clínica, en cualquier caso, hay que procurar comenzar diseñando criterios que puedan ser cuantificados con los datos o registros ya existentes.

 

Elaboración de criterios:

Los criterios representan el filtro por el que se debe pasar las distintas actuaciones de los profesionales para comprobar si se ajusta a un nivel óptimo de calidad.

 Definición:

Un criterio es una herramienta para medir la presencia, ausencia  o diversos niveles de calidad. Es aquella norma que especifica las condiciones deseables o indeseables más relevantes que debe cumplir un determinado aspecto de la atención, para que pueda ser considerada de calidad. El criterio es el instrumento de medida que se debe utilizar para evaluar la calidad.

Avedis Donabediam define criterio como un componente o aspecto de la estructura de un sistema de atención sanitaria, o del proceso o de los resultados de la atención, que tiene relación con la calidad asistencial. Algunos ejemplos son el porcentaje de enfermeros por cama en un hospital, la proporción de niños con dolor de garganta tratados con antibióticos y el nivel de presión arterial en los hipertensos. Un “estándar” es la especificación precisa y cuantitativa del estado del criterio, que representa la calidad en cierto grado. Por ejemplo, un estándar podría especificar que debe haber un mínimo de un enfermero/por cada dos comas de hospital en la unidad de cuidados intensivos, que un porcentaje inferior al 5% de los niños atendidos por el médico de familia se debería de tratar con antibióticos o que un porcentaje no inferior al 70% de jóvenes hipertensos debería tener un presión diastólica de 90 en un plazo inferior a un año después de iniciado el tratamiento.

 

Un criterio por tanto deriva de la reflexión sobre cómo han de ser los requisitos de los distintos servicios para que sean acordes a las necesidades y expectativas de los usuarios que lo van a recibir. En este sentido es a la vez un objetivo de calidad que queremos que se cumpla. Por eso es muy importante que los criterios que utilicemos sean relevantes, realistas y que puedan ser aceptados sin controversias por todos los profesionales implicados. Una correcta elaboración de criterios juntos con una buena priorización del tema a evaluar, es el principal factor determinante del éxito o fracaso de los ciclos de mejora.

Clasificación de criterios:

 Los criterios se pueden clasificar en criterios implícitos y explícitos:

Un criterio implícito es aquel en el que no están especificadas, descritas en concreto, las actuaciones a realizar en cada caso, pero existe un acuerdo común sobre cuál debe ser la práctica adecuada.  Un criterio implícito viene definido como lo que debería hacerse por un  profesional experto, sin que exista consenso expreso sobre la actuación a seguir. Están basados en los conocimientos y experiencias de un profesional sobre el tema en cuestión, estando, por tanto condicionados por la subjetividad. Cuando se emplean estos criterios completamente implícitos, se solicita a un clínico experto que evalúe la calidad de la atención utilizando su propio juicio. No existen otras directrices. El resultado depende del juicio, cuidado e interés de los que juzgan. Para mejorar la fiabilidad, se puede pedir que los juicios para evaluar un determinado caso sean emitidos por más de un juez o evaluador, actuando cada uno de forma independiente.

Este tipo de criterio tienen el inconveniente de ser subjetivos en ciertas ocasiones, ya que a criterio profesional pueden existir distintos puntos de vista.

Los criterios explícitos son aquellos cuyo enunciado se elabora expresamente para una evaluación concreta. Representan lo que debe hacerse específicamente en la evaluación que se está desarrollando.

 

Los criterios explícitos pueden ser, a su vez, empíricos o normativos:

Los criterios empíricos o descriptivos reflejan el modo más común de actuar, se elaboran a partir de las situaciones habituales que se den en la unidad  o servicio objeto de estudio.  Representan lo que se hace. El inconveniente de este tipo de criterio, radica en considerar situaciones habituales como situaciones de calidad aceptable.

Los criterios normativos son formulados por un proceso de discusión y consenso entre los profesionales. Están basados en juicios contrastados por la literatura científica. Se expresan por escrito, para una situación concreta, lo que debe hacerse, cómo y por quién.

En resumen:
Los criterios empíricos se basan en lo que hacen habitualmente los profesionales y los normativos en lo que debe hacerse según evidencia científica.Siempre que sea posible está indicado la construcción de criterios explícitos normativos.

Los criterios deben ser sencillos, basados en conocimientos científicos actualizados, realistas y aceptados por los profesionales que van a ser evaluados. En este sentido y teniendo en cuenta que en la mayoría de las evaluaciones no podemos evaluar el resultado de la atención sino el proceso asistencial, es preciso constatar que dicho proceso sea el mas idóneo para alcanzar los resultados deseados, utilizando las guías de practicas clínicas basadas en la evidencia. Cuando lo anterior no es posible, habitualmente se recurre al consenso entre expertos para conformar protocolos, de los que se confeccionaran los criterios.

Es conveniente que a cada criterio se le asigne un estándar. El estándar señala el grado de cumplimiento exigible a un criterio.  Suele expresarse en tanto por ciento y representa el valor numérico que separa la calidad aceptable de la inaceptable.

¿Cómo se construyen los criterios?

Es importante la participación de los profesionales implicados, en aquellas instituciones donde el volumen de personal implicado es muy grande, se procederá a crear un equipo de trabajo representante del mismo en el cual deben de estar integrados profesionales de reconocido prestigio por todos los profesionales del servicio a evaluar, líderes de grupo capaces de convencer y motivar al resto del personal para colaborar en la tarea de evaluar y sobre todo en la difícil tarea de introducir las medidas de mejora necesaria que se deduzcan de dicha evaluación. 

Algunas recomendaciones son:

Previamente a la construcción de criterios hay que revisar y actualizar la bibliografía existente, consensuar con el grupo de trabajo, ver si son factibles y realizables en nuestro medio y con nuestras características peculiares.

Excepciones y aclaraciones:

Para que los criterios sean interpretados de igual manera por todos los evaluadores, es necesario definir lo más exhaustivamente posible las excepciones y aclaraciones.

Excepciones o alternativas válidas:

Son circunstancias en las cuales no es exigible que se cumpla el criterio. Éstas no deben ser muchas no frecuentes.

Por ejemplo: Consideramos que a una mujer que acaba de tener un niño hay que tomarle la TA cada 15 min en la primera hora tras el alumbramiento, y comprobamos que falta una toma, el criterio estaría detectando una deficiencia en la atención, pero si en la historia queda reflejado que volvió a quirófano para ser reintervenida, esta situación disculpa el cumplimiento de dicho criterio. En este caso deberemos quitar este caso del número total de casos a evaluar.

Si a la hora de evaluar un criterio observamos que tiene muchas excepciones debemos de eliminarlo.

Aclaraciones:

Se entiende por aclaración al criterio la descripción inequívoca de cualquier término que aparezca en el criterio o sus excepciones, que pueda estar sujeto a interpretaciones. Hay que dar una definición lo suficientemente detallada para que la persona que evalúa no tenga que hacer ningún juicio personal sobre si un caso cumple o no el criterio determinado.

Ejemplos: 

"A la recepción en planta de mujer a la que se le ha practicado una cesárea se le debe de tomar las constantes vitales". Si no añadimos ninguna aclaración por ctes vitales podemos entender temperatura, pulso (FC), tensión arterial (TA) frecuencia respiratoria (FR), ¿deben estar todas recogidas para dar por válido el criterio o si solo se cumplen la TA y la FC, ya son válidos?.

"A la recepción de un paciente en planta el personal de enfermería debe de presentarse al paciente". Si no decimos nada más, presentarse qué significa, decir el nombre, nombre y apellidos, o decir nombre apellidos y categoría profesional. ¿Cuándo damos por cumplido el criterio?

La existencia o no de aclaraciones, cuando estas son necesarias repercute directamente en la fiabilidad del criterio.

El formato que se recomienda para la construcción de criterios es el siguiente:

CRITERIO EXCEPCIONES ACLARACIONES
Descripción del referente a utilizar como medición (contenido del criterio) Especificación de las situaciones en las que es aceptable que el criterio no se cumpla Definición detallada de cualquier término del criterio o excepciones que pueda ser interpretado de más de una forma a la hora de evaluar

Validez de los criterios

Un criterio es válido cuando mide lo que queremos que mida, es decir, aquel que mide realmente la calidad del servicio evaluado, de forma que su presencia es equivalente a presencia de calidad, y sus diferentes valores o niveles son sinónimos también de diferentes niveles de calidad.

Fiabilidad:

Se define como el grado de reproducibilidad de los resultados cuando la herramienta es utilizada por observadores diferentes. Es decir, que cada uno de los evaluadores obtenga el mismo resultado que el otro o los otros evaluadores, cuando evalúan el mismo caso, no conociendo previamente los resultados obtenidos por los otros evaluadores.

Ejemplo: imaginemos que estamos realizando una evaluación de la calidad de los cuidados en los pacientes ingresados en la planta de Medicina Interna, uno de los criterios de evaluación podría ser que los pacientes ingresados deben tener realizada la valoración de enfermería en las primeras 24 horas tras el ingreso en planta. Seleccionamos una muestra de pacientes, y buscamos en la historia clínica si se hizo dicha valoración, obteniendo un determinado nivel de cumplimiento para dicho criterio, de forma independiente y sin conocer nuestros resultados otro evaluador estudia el cumplimiento de este criterio en la misma muestra

La realización de un pilotaje anterior a la generalización de las mediciones, es considerado un paso inexcusable para asegurar la fiabilidad. El pilotaje permite identificar, discutir y corregir, si las hubiera, diferencias en la interpretación de los criterios o indicadores.

Para medir la fiabilidad se utilizan diversos índices de acuerdo: Índice de concordancia general, índice Kappa.

Índice de Concordancia General:

Indica la concordancia de los evaluadores al clasificar el criterio. Se define como la proporción de casos en que el juicio de ambos evaluadores coincide. Se calcula dividiendo el número de acuerdos de ambos observadores por el total de casos evaluados. Es equivalente a Po o proporción de acuerdo observado, en la fórmula del cálculo de Kappa.

Para su interpretación aislada hacen falta valores muy altos para que sea considerada como buena. Concordancias  >o =95% van a ser siempre sinónimos de herramientas fiables.

Índice de Kappa:

Indica la concordancia total que existe si excluimos la debida al azar, o el acuerdo real más allá del azar. Su cálculo responde a la fórmula general:

Índice de Kappa

k=Po -Pe/1-Pe

Po: es la concordancia observada

Pe: Concordancia esperada debida exclusivamente al azar

El valor de k va desde 0 a 1, siendo 0 el valor que representa la menor concordancia y 1 el valor de concordancia máximo, que correspondería a la fiabilidad perfecta.

 

Ejemplo:

Supongamos que el criterio cuya fiabilidad queremos conocer ha sido utilizado de manera independiente por dos evaluadores distintos para evaluar la calidad de algún aspecto relacionado con la higiene del paciente. Supongamos que hemos evaluado el criterio en 30 casos. El evaluador 1 concluye que 10 veces el criterio se cumple y 20 no.

Para el evaluador 2, 15 veces se cumple el criterio y 15 no.

De los 10 casos en los que el evaluador 1 dice que se cumple el criterio coincide en 9 casos con el evaluador 2 y no coinciden en 1 caso.
De los 20 casos en los que el evaluador 1 dijo que el criterio no se cumple, en 14 casos coincide con el evaluador 2 y en 6 casos no coincidió ya que el evaluador 2 dijo que si se cumplía. Calcule el índice de Kappa para conocer la fiabilidad de la medición.

Pasos 1: leer y crear una tabla de dos por dos para introducir los datos de forma correcta

 

Evaluador 2

 
Cumple

No cumple

 Total
Evaluador 1 Cumple 9 1 10
No cumple 6 14 20
  Total 15 15 30

Pasos 2: Calcular el índice de concordancia general o Po

Paso 3: Comparar los resultados para conocer si la fiabilidad del criterio es adecuada o no, en este caso la concordancia general es menor de 95% por tanto no es un buen dato y deberemos calcular índice de Kappa que es más sensible, para ello deberemos calcular Pe que es la concordancia debida al azar.

La concordancia esperada por puro azar es la suma del producto de las proporciones de cumplimiento que han dicho los dos evaluadores al producto de las proporciones de incumplimiento

Paso 4: Calcular la concordancia esperada debido al azar, para ello:

  1. Calculamos proporción de cumplimiento del evaluador 1: 10/30=0.33
  2. Calculamos proporción de cumplimiento del evaluador 2: 15/30=0,5
  3. Multiplicamos ambas proporciones: 0.33X0,5=0,16
  4. Calculamos proporción de incumplimiento evaluador 1: 20/30=0,66
  5. Calculamos proporción incumplimientos de evaluador 2: 15/30=0,5
  6. Multiplicamos ambas proporciones de incumplimientos: 0,66X0,5=0,33
  7. Sumamos ambos productos: 0,16+0,33=0,49 Pe es igual a 0,49

Paso 5: Una vez que tenemos los valores de Po y Pe lo sustituimos en la fórmula obteniendo así el índice de Kappa

Paso 6: Por último analizamos los valores obtenidos teniendo en cuenta que valores mayores de 0,4 son aceptables, si el valor obtenido fuese más bajo deberemos volver a analizar el criterio, sus aclaraciones y especificaciones e introducir cambios en el mismo de cara a aumentar la fiabilidad del mismo, si esto no se consigue deberemos diseñar otro criterio

 

Preparación de la recogida y procesos de datos

Es aconsejable realizar una recogida ordenada y sistemática de los datos acerca de la evaluación. Para ello el equipo evaluador diseñará una hoja de registro en el que se asegure la confidencialidad de los datos pero que al mismo tiempo permita volver a consultar la fuente de datos para ese caso en concreto, de igual modo debe contener toda la información que sea útil para el evaluador. Podéis ver un ejemplo de registro de evaluación de la información preoperatoria utilizando este enlace

En el momento que los datos sean analizados se conocerán las causas que originan el problema, ya que presumiblemente los criterios que al ser evaluados no alcancen el nivel exigido serán los causantes de traspasar el umbral del indicador, si la atención que se evalúa esta monitorizada. Sólo restaría por tanto, introducir medidas correctoras y posteriormente revaluar el proceso para comprobar la eficacia de las medidas de mejora aplicadas.

BIBLIOGRAFÍA

  1. Antoñanzas A, Subías PJ. Planificación y realización de un estudio de evaluación. En: Marquet, R. Garantía de calidad en atención primaria de salud. Monografías clínicas en Atención Primaria. Barcelona: Doyma, 1993; 79-95.

2.    Carvajal Balaguera J, García San José S, Martín García-Almenta M , Oliart Delgado de Torres S , Camuñas Segovia J, Cerquella Hernández C M. Evaluación de la vía clínica de la colecistectomía laparoscópica en un servicio de cirugía general. Rev Calidad Asistencial. 2007;22:243-8.

  1. Donabedian A. Responsabilidades institucionales en la garantía de calidad. Centro de documentación sanitaria. Informativo de control de calidad. 1990; 6: 15-26.

4.    González Valverde FM,   Gómez Ramos MJ, Méndez Martínez M, Rodenas Moncada FJ,  Candel Arenas MF, Albarracín Marín-Blázquez A. Evaluación y mejora del cumplimiento de la normativa sobre consentimiento informado para la transfusión de hemoderivados en un servicio de cirugía general. Rev Calidad Asistencial. 2008;23:142-4.

  1. Hugh K. Gestión total de la calidad en la sanidad. Barcelona: S.G. Fundación Avedis Donabedian, 1994; 17-29.
  2. Ignacio E, Córdoba JA, Serrano A, Figueroa E, Moreno J, Arriaga E, Ignacio JM, Gallego C, Mompó E, Rodríguez-Cornejo MJ. La Calidad aplicada al campo de la Enfermería. Cádiz: Colegio Oficial de Diplomados en Enfermería, 1997.
  3. Irwin P, Fordham, J. Evaluating the Quality of care. USA: Churchill Livingstone, 1995; 9-19.
  4. Kahn J. Gestión de calidad de los centros sanitarios. Barcelona: Editorial S.G.  1990.
  5. Lorenzo Martínez S, Mira Solves J, Ignacio García E. Gestión de la Calidad. En: Ayuso Murillo D, Grande Sellera R. et al. La gestión de enfermería y los servicios generales en las organizaciones. Madrid: Díaz de Santos, 2006; 527-553.
  6. Mayoral Cortés JM, Jiménez Puente A, Perol Fernández FJ, Moles González J, Cortes Martínez C, Ruiz Romero V et al. Evaluación de normas de calidad de los procesos asistenciales integrados en atención especializada. Mapa 1.Sevilla: Servicio Andaluz de Salud. Consejería de Salud. Junta de Andalucía; 2004.
  7. Nutting PA, Burkhalter, BR, Carney, JP, Gallagher, KM. Métodos de evaluación de la calidad en atención primaria. Barcelona: SG editores, 1991.
  8. Ozbolt J. Conceptuar y evaluar la asistencia de los profesionales de enfermería. Enfermería científica. 1987; 60: 14-16.
  9. Palmer RH. Evaluación de la asistencia ambulatoria. Principios y práctica. Madrid: Ministerio de Sanidad y Consumo, 1989; 23-43.
  10. Saturno, PJ. Como diseñar una evaluación sobre calidad asistencial en A.P. Unidad docente de medicina preventiva y salud pública. Universidad de Murcia.
  11. Schroeder P. Standards and guidelines for quality improvement. Journal of Nursing Care Quality. An Aspen Publication. Wisconsin, 1993; 8: 1-88.
  12. Tenorio M, Aparicio, S. et al. Control de calidad: Una experiencia práctica. Rol. 1989; 5: 28-42.
  13. Varo J. El control de calidad en la asistencia sanitaria. En: Gestión estratégica de la calidad en los servicios sanitarios. Un modelo de gestión hospitalaria. Madrid: Díaz de Santos, 1993; 281-299.