ESTIMACIÓN PUNTUAL DEL NIVEL DE CUMPLIMIENTO DE UN CRITERIO
ESTIMACIÓN DEL INTERVALO DE CONFIANZA DEL CUMPLIMIENTO DE UN CRITERIO
CÁLCULO DEL INTERVALO DE CONFIANZA
INCORPORACIÓN DE MEDIDAS CORRECTORAS
DISEÑOS DE LA REEVALUACIÓN. COMPONENTES Y DIFERENCIAS CON EL DISEÑO DE LA PRIMERA EVALUACIÓN
ANÁLISIS DE LOS DATOS DE LA REEVALUACIÓN
ESQUEMA GENERAL DE LOS CICLOS DE EVALUACIÓN
ESQUEMA GENERAL RESUMEN DE LAS ACTIVIDADES DE MONITORIZACIÓN Y EVALUACIÓN
INTRODUCCIÓN:
En el tema anterior se describió el proceso de diseño de un estudio de evaluación de la calidad asistencial, describimos todos los componentes y pasos a seguir en la planificación de este tipo de estudios, y finalizamos el capítulo con el diseño de una hoja de recogida de datos. Llegados a este punto los evaluadores deberán acudir a la fuentes de datos que han especificado, para medir en la muestra el cumplimiento o no, de los criterios que han diseñado para este evaluación. Todos estos datos se registrarán en la hoja de recogida de datos que se haya diseñado y posteriormente se analizarán. En el presente capítulo vamos a abordar los aspectos metodológicos necesarios, para realizar el análisis de datos y en función de ellos, diseñar medidas correctoras para alcanzar la mejora de la atención que estamos evaluando.
ESTIMACIÓN PUNTUAL DEL NIVEL DE CUMPLIMIENTO DE UN CRITERIO
La primera inferencia que podemos hacer con los datos de la muestra es la propia estimación del nivel de cumplimiento, resultado de la medición realizada para cada uno de los criterios que utilizados. Por ejemplo, si hemos evaluado la proporción de pacientes que al ingreso se les ha presentado el personal de enfermería, en la planta de maternidad en una muestra aleatoria de 60 casos y hemos encontrado que 45 cumplen dicho criterio, podemos inferir que el criterio se cumple en 0,75 o en el 75% de los casos.
| Estimación puntual del criterio: |
|
p=nº de veces que se cumple el criterio/ total de la muestra- las excepciones p: estimación puntual del criterio |
Tenemos que tener en cuenta, que al medir algo por medio de una muestra el resultado está sujeto a errores propios del muestreo, y que, por tanto, la estimación puntual puede no ser exactamente igual al valor real, que encontraríamos si midiésemos la totalidad de casos, en el ejemplo utilizado, todos los ingresos que se producen en dicha planta. Además con este cálculo no sabemos lo lejos o cerca que estamos del valor real. Para solucionar este problema hemos de calcular un intervalo de valores, dentro de los cuales podamos tener una cierta seguridad que se encuentra el valor real, poblacional, de lo que hemos medido a través de una muestra.
La estimación puntual debe de completarse con la estimación del intervalo de confianza; un intervalo de valores dentro del cual tengamos un cierto nivel de seguridad (confianza) de que se encuentre el valor real.
ESTIMACIÓN
DEL INTERVALO DE CONFIANZA DEL CUMPLIMIENTO DE UN CRITERIO
El intervalo de confianza expresa la precisión o exactitud probable de la medición realizada, en relación con el valor real.
El concepto de intervalo de confianza entraña dos aspectos diferentes que aunque en la práctica han de ir necesariamente juntos, conviene entender y considerar por separado; "el intervalo" y la "confianza". El "intervalo" es la gama de valores dentro del cual estimamos que está el valor real del parámetro evaluado ( en nuestro caso sería la proporción de cumplimiento del criterio), mientras que la "confianza" es la probabilidad de que sea cierto que el intervalo contiene el valor real del parámetro evaluado. Veamos cómo se calcula.
CÁLCULO
DEL INTERVALO DE CONFIANZA
El razonamiento y fórmula general para estimar el intervalo de confianza del parámetro medido con muestras es: estimación puntual +-i, siendo
i= z x Desviación estándar del parámetro estimado
donde "z" es un valor de la distribución normal relacionado con la confianza que queramos tener en la estimación; y la "desviación estándar del parámetro estimado" es lo que se conoce también como "error del muestreo" o "error estándar", que se estima en base a la desviación estándar de los datos de la muestra (una expresión de su dispersión o variabilidad) y del tamaño de la muestra.
Para calcular el intervalo de confianza deberemos de realizar los siguientes pasos:
Determinar el valor de "z":Para ello hay que decidir sobre la "confianza" que queramos tener para la estimación; es decir lo seguros que queramos estar de que el valor real este contenido en el intervalo que vamos a estimar.
En general, se considera una confianza aceptable si ésta, es del 95%. Es decir, si tenemos un 95% de probabilidades de que el intervalo contenga el valor real, y solo un 5% de probabilidades de que el valor real sea un valor externo al intervalo (probabilidad de equivocarnos en nuestra estimación) .
Para una confianza del 95%, z es 1,96
Calcular el error estándar o desviación estándar del parámetro estimado. Se anota como Sp cuando el parámetro estimado es una proporción, como ocurre en la mayoría de los criterios que se utilizan en los estudios de calidad, los cuales hacen referencia a si una determinada acción o característica se da o no se dá en la atención o cuidado que estamos evaluando. Estos criterios son variables cuantitativa dicotómica ya que solo tiene dos posibles valores.
donde "p" es la estimación puntual de la proporción de cumplimiento, y "n" es el tamaño de la muestra utilizada.
Para ver cómo se calcula realicemos el siguiente ejemplo cuyos datos son ficticios:
Supongamos que realizamos una evaluación sobre la calidad de la atención que se dispensa al paciente anciano con fractura de cadera, uno de los criterios a utilizar sería:
Criterios Excepciones Aclaraciones C1: Todo paciente tras fractura de cadera recibirán profilaxis antitrómbotica correcta, precoz e inmediata Profilaxis antitrómbotica correcta: Anticoagulantes desde el postoperatorio (o antes, si hay retraso de la intervención) hasta un mes después del alta o hasta que inicie la deambulación Se considera cumplido cuando consta la prescripción en las órdenes de tratamiento y en el informe de alta
Se tomó una muestra de 60 casos en los que se midió el criterio encontrándose que solo 45 de los 60 estudiados cumplían el criterio
Estimación puntual (p1): 45/60: 0,75 p1:0,75
Es decir que el criterio se cumple solo en el 75% de los casos. Como es una muestra debemos de calcular el intervalo de confianza, vamos a considerar como confianza aceptable el 95%. Debemos de sustituir los valores en la formula anteriormente descrita:
IC: 0,75±1,96√0,75(1-0,75)/60
IC: 0,75±0.107 o lo que es lo mismo IC:(0,643, 0,857), si lo multiplicamos como anteriormente por 100, podemos decir que el intervalo de confianza es del (64,3, 85,7), lo que significa que los niveles de cumplimiento del criterio que hemos utilizado en el ejemplo "Todo paciente tras fractura de cadera recibirán profilaxis antitrómbotica correcta, precoz e inmediata" puede tomar alguno de los valores comprendidos entre esos valores, incluidos el limite inferior y superior del intervalo, con un nivel de confianza del 95%. Esto quiere decir que estamos un 95% seguros de que el valor real sea de verdad uno de los que esta incluido en el intervalo, o lo que es lo mismo, que la probabilidad de que el valor real este fuera del intervalo es solo del 5%. De todos modos en el ejemplo el nivel de cumplimiento o estándar fijado es del 100% tal como se desprende del enunciado del criterio, de modo que claramente deberemos diseñar e implementar medidas de mejora.
El proceso de recogida de datos da como resultado la obtención de los índice (estimaciones puntuales). El índice es el nivel de cumplimiento alcanzado para cada uno de los criterios de la evaluación. Suele expresarse en tanto por ciento y representa el número de casos que cumplen el criterio, en relación con el total de los casos estudiados.
Si previamente se han marcado estándares, es decir el nivel de cumplimiento que deseamos tenga el criterio, en este momento se comparan los índices obtenidos con los estándares fijados, y se comprueba en qué criterios se ha alcanzado un nivel adecuado y en cuáles no. Si no nos hemos marcado estándares el grupo que realiza la evaluación analizará los resultados y decidirá si el nivel de cumplimiento para cada criterio es adecuado, teniendo en cuenta la situación y las condiciones de trabajo.
Si la evaluación la ponemos en marcha ante la sospecha de que algo va mal, bien porque los indicadores han superado el umbral o simplemente por el conocimiento de las personas que trabajan en el servicio evaluado, lo que debe de suceder es que los niveles de cumplimientos del criterio sean bajos; esto querrá decir que el problema de calidad fue bien identificado.
El paso siguiente en el análisis de los datos obtenidos será la discusión de dichos resultados con los profesionales implicados en la atención, servicio evaluado. Debe buscarse el momento más adecuado y crear las condiciones favorables para que la discusión se produzca con el mayor grado de participación.
Es importante remarcar que con la evaluación no se pretende buscar responsables de los problemas, ni culpabilizar a nadie de los errores. Por ello es muy importante, en el momento de devolver los resultados no establecer comparaciones entre los que lo hacen bien y los que lo hacen mal. Entre todos se debe de analizar cuáles son las causas que provocan esta situación de bajo cumplimiento de los criterios, para a partir de ahí elaborar cuáles pueden ser las medidas de mejora a implementar. Por último comentar que lo que se evalúa en general es cómo se realiza la actividad asistencial y los resultados que se obtienen, ahora bien, ¿quiénes realizan la actividad que se evalúa? los profesionales, ¿quiénes deberán incorporar las medidas correctoras en su forma de realizar los cuidados? los profesionales, por tanto la mayoría de las medidas a diseñar deberán de perseguir que los profesionales incorporen nuevas formas de comunicarse, de actuar, etc., por eso es fundamental la información y la implicación de dichos profesionales, ya que sin su participación no será posible la mejora en la mayoría de las ocasiones.
INCORPORACIÓN
DE MEDIDAS CORRECTORAS
Al avanzar en el análisis del problema, en realidad está avanzándose hacia la solución de éste: es la búsqueda de las causas de los problemas lo que nos orientará la posterior implantación de actividades que tienden a corregir las deficiencias de la calidad.
Una evaluación no termina en las conclusiones, es necesario conseguir cambiar aquellos elementos responsables de los problemas de calidad analizados.
Las medidas de mejoras a implantar tendrán que ir en consonancia con los problemas detectados, pero en general podemos decir que serán sobre todo la formación continuada, los cambios organizativos, y también la educación sanitaria de los usuarios.
Después de la implantación de las medidas, es necesario su seguimiento por un responsable que se encargará de observar que las nuevas actividades previstas se vayan desarrollando de manera adecuada. Pasado un tiempo desde la implantación se procederá a la reevaluación, para comprobar la efectividad de las medidas correctoras y ver si conseguimos el nivel de calidad deseado.
La esencia de todo ciclo de mejora de la calidad es la comprobación de que los cambios introducidos en nuestro trabajo, en la atención sanitaria al paciente, han producido mejoras en dicha atención. Con la reevaluación se cierra el ciclo evaluativo, si esta no llega a realizarse, todo el esfuerzo invertido en el diseño de evaluación y en la investigación de las causas resulta prácticamente inútil.
Documentar la mejora y decidir qué hacer a continuación entraña los siguientes pasos:
Diseñar la reevaluación de forma que los datos sean comparables
Analizar los datos correctamente para determinar cuál es el nivel de calidad alcanzado y responder a la pregunta ¿hemos mejorado?
Analizar los datos para responder a la pregunta ¿qué hacemos a continuación para seguir mejorando?
DISEÑOS DE LA REEVALUACIÓN. COMPONENTES Y DIFERENCIAS CON EL DISEÑO DE LA PRIMERA EVALUACIÓN
El diseño de la evaluación para documentar la mejora conseguida no tiene por qué tener ninguna diferencia con el que utilizamos para la primera evaluación. Sus componentes son idénticos y responden a la misma descripción que vimos en el tema 3.
Recomendaciones:
No debemos de hacer cambios en los criterios a utilizar a efectos de poder comparar los resultados.
El tamaño de la muestra para la segunda evaluación no tiene por que ser el mismo, aunque si debe de cumplir los criterios ya descritos, para luego poder inferir los resultados en la población estudiada, que serán las personas que han recibido la asistencia que estamos evaluando.
Una vez que tenemos el diseño de la reevaluación procederemos a la recogida de datos y nos encontraremos en una situación similar en la que nos encontramos en la primera evaluación en cuanto a las estimaciones e inferencias que podemos hacer con la muestra recogida. Los métodos estadísticos en este sentido van a ser los mismos que utilizamos en la primera evaluación. El interés especial de esta reevaluación va a ser la comparación de los resultados obtenidos en las dos evaluaciones después de aplicar las medidas de mejora, y que esos cambios sean debidos a las medidas correctoras y no a errores debidos al muestreo.
Debemos recordar que la mayoría de los criterios para medir el nivel de calidad son cualitativos, categóricos: esto quiere decir que lo que se mide es, si se cumple o no, la cualidad medida, clasificando los casos en dos categorías (las cumplen y las que no), y estimamos la proporción de una de ella. Sin embargo, existen ocasiones en las que el criterio a utilizar es cuantitativo, cuyo parámetro característico es una media. Por ejemplo la media de minutos que los pacientes esperan para ser atendidos en la sala de espera. En estos casos el razonamiento es igual, lo único que varía son las fórmulas que se utilizan tanto para realizar las estimaciones puntuales, como para calcular los intervalos de confianza. En este curso solo abordaremos los criterios que medimos como proporciones de cumplimiento, ya que es el caso más frecuente, además si quisiéramos medir la accesibilidad como hemos comentado en el ejemplo anterior, lo que podemos hacer, es establecer qué tiempo consideramos que es el máximo de espera para que la atención sea de calidad.
Ejemplo: "Los pacientes citados para consultas deben entrar a la misma hora en la que han sido citados, o con una demora no superior a 10 minutos", en este momento lo que medimos es la proporción de cumplimiento del criterio, valorando de este modo la accesibilidad.
Estimación del nivel de calidad
| Intervalo de confianza |
|
IC = p2±√p2(1-p2)/n2 p2: Estimación puntual obtenida en la segunda evaluación n2: Tamaño de la muestra utilizada en la segunda evaluación |
Estimación de la mejora conseguida
La forma más directa e intuitiva de saber si hemos mejorado es simplemente ver la diferencia entre los niveles de cumplimiento de la segunda y la primera evaluación. Esta diferencia es lo que podemos denominar estimación de la mejora absoluta para cada criterio de la evaluación.
Por ejemplo:
| CRITERIOS | 1ª EVALUACIÓN | 2ª EVALUACIÓN | MEJORA ABSOLUTA |
| C1: Todo paciente tras fractura de cadera recibirán profilaxis antitrómbotica correcta, precoz e inmediata | 75 | 95 | 95-75=20 |
| C2: A todo paciente con fractura de cadera se le realizará osteosíntesis en menos de 24h | 90 | 98 | 98-90=8 |
| Mejora Absoluta |
|
MA: p2-p1 p2: a la estimación puntual del criterio en la 2ª evaluación p1: a la estimación puntual del criterio en la 1ª evaluación |
El criterio 1 ha mejorado en 20 puntos, el 2 en 8 puntos.
Los resultados que hemos visto en el apartado anterior no tienen en cuenta el punto de partida, y por tanto las posibilidades o espacio para mejorar, de modo que a simple vista nos puede parecer que el criterio que más ha mejorado es el que más punto de diferencia obtiene, en el ejemplo de arriba sería el Criterio 1 con 20 puntos de mejora.
Pero tenemos que tener en cuanta que no es lo mismo subir del 75% al 95% como ocurre en el criterio 1, que subir del 90% al 98% como ocurre con el criterio 2.
Con el objeto de considerar estos matices y poder comparar el esfuerzo de mejora de los criterios, es conveniente calcular lo que se denomina la Mejora Relativa, que consiste en relativizar la mejora absoluta en relación con el espacio de mejora posible total que existía en la primera evaluación.
|
Mejora relativa |
MR:=p2-p1/ 100-p1 100-p1 es el espacio posible de mejora |
De este modo, en términos relativos vemos que los dos criterios han mejorado por igual.
En general es conveniente calcular tanto la mejora absoluta como la relativa, pero tenemos que tener en cuenta que dichos cálculos están basados en estimaciones puntuales que hemos obtenido de una muestra y que por tanto van a estar sujeto a errores del muestro de modo que para saber si verdaderamente hemos mejorado, hay que calcular la significación estadística de la diferencia encontrada entre las dos evaluaciones.
Significación
estadística de la mejora:
Como hemos dicho anteriormente hay que realizar algunos cálculos estadísticos para poder, concluir si la diferencia encontrada es real o puede ser explicada por los errores del muestreo. Para ello podemos calcular el intervalo de confianza de la diferencia entre las dos evaluaciones, si esta contiene el valor cero, no podemos afirmar que la diferencia es real, sino debida a los errores del muestro. Por último recordar que aquí el parámetro estimado es la diferencia encontrada entre las dos evaluaciones.
En el ejemplo utilizado en el tema, los cálculos serían los siguientes:
(0.95-0.75)±1.96√( 0.75 ( 1-0.75)/60)+ (0.95(1-0.95)/60 )
Obtenemos como resultado el siguiente (0.2±0.12), como no esta incluido el cero podemos concluir que los cambios que hemos obtenidos no son debidos a errores del muestreo
ANÁLISIS
DE LOS DATOS DE LA REEVALUACIÓN
Una vez que tenemos los datos de la comparación entre los índices obtenidos en ambas evaluaciones, nos toca analizar los mismos de cara a ver las posibles situaciones que describimos a continuación:
No se ha producido la mejora:
En este caso hay que valorar si las medidas de mejoras adoptadas se implantaron, si hubo dificultades en esa implantación, si fueron las correctas, etc.
Se produce mejora pero no en los niveles que queríamos
Hay que entrar a valorar si hemos reevaluado esperando poco tiempo desde que se implantaran las medidas de mejora o si por el contrario han existido dificultades en su implantación o si necesitamos de nuevas medidas de mejora que apoyen a las anteriores, o incluso si el nivel exigido no es factible para la situación actual del centro. Sea por tiempo o porque implantemos nuevas medidas de apoyo a las anteriores debemos pasado un tiempo, volver a reevaluar dicha atención para comprobar si hemos mejorado en los niveles que nos hemos marcado.
Se consigue mejorar la atención en los niveles que nos habíamos marcados:
Es decir alcanzamos el estándar que nos habíamos marcado, en este caso, dedicamos nuestros esfuerzos en identificar otra oportunidad de mejora sobre la cual trabajar para seguir aumentando la calidad de la atención. Ahora bien, en muchas ocasiones es aconsejable crear un indicador que nos de información de cómo marcha en el tiempo este proceso que hemos sometido a mejora, para asegurarnos que la mejora perdura en el tiempo.
Como podemos observar el ciclo de evaluación, no termina hasta que comprobamos que las acciones emprendidas han conseguido mejorar, hasta un nivel óptimo, la calidad de la atención prestada.
ESQUEMA
GENERAL DE LOS CICLOS DE EVALUACIÓN
ESQUEMA GENERAL RESUMEN DE LAS ACTIVIDADES DE MONITORIZACIÓN Y EVALUACIÓN
Tal como hemos comentado al principio del tema, la situación recomendada para iniciar un estudio de evaluación de la calidad es la detección de un problema u oportunidad de mejora, para ello existen diferentes técnicas, comentarios de los profesionales, realización de técnicas cualitativas tanto con los profesionales como con los pacientes y familiares, o el uso de indicadores de calidad. Cuando utilizamos los indicadores, se les establece un umbral, cuando el mismo es superado se considera que puede existir un problema u oportunidad de mejora y entonces se pone en marcha el estudio de evaluación de la calidad.
Ejemplo de indicador: Número de pacientes diabéticos que tras recibir educación sanitaria demuestran conocimientos sobre la dieta/total de pacientes diabéticos que han recibido la educación sanitaria de cara a la explicación podemos establecer un umbral del 80%, en el caso que al medir dicho indicador obtuviésemos un valor menor habría que iniciar un estudio de evaluación de la atención al paciente diabético sobre los aspecto de la educación sanitaria.
