Notas metodólogicas

5/09/2008

Berra S, Sánchez E, Pons JMV, Tebé C, Aymerich M.

Introducción

La investigación clínica y de servicios sanitarios debe llenar vacíos de conocimiento de la práctica clínica y la provisión de servicios. Hay bastante incertidumbre en cuanto a la efectividad, eficiencia, seguridad y equidad de servicios o tecnologías, mientras que los recursos para financiar su evaluación son limitados. Esta realidad conduce a la necesidad de priorizar, que frecuentemente se hace de manera no explícita en las decisiones de financiación de la investigación. A fin de conseguir los mejores beneficios derivados de la inversión en investigación, varios países y programas de evaluación de tecnología sanitaria introdujeron estrategias de priorización explícitas, con una consideración fundamental de aspectos técnicos. De hecho, la transparencia en los procedimientos es un elemento clave para la utilidad y generalización de la evaluación de tecnologías1.

El proyecto EUR-ASSESS, dirigido a promover la coordinación de la evaluación de las tecnologías médicas entre los estados miembros de la Unión Europea, estudió específicamente la determinación de prioridades como uno de sus objetivos. La conclusión a la que se llegó fue que no existe un estándar para llevar a cabo esta determinación de prioridades, aunque se recomendaban unos mínimos: que la priorización fuese hecha a partir de criterios y que éstos habían de incluir una valoración sobre los costes y los beneficios de llevar a cabo la evaluación/investigación. Sin embargo, no existe un método estándar para establecer prioridades y en todos se pueden reconocer ventajas y limitaciones2. Entre los métodos conocidos se pueden mencionar técnicas de consenso, métodos cualitativos, reuniones de expertos o consultas a expertos clave, así como cuestionarios o métodos cuantitativos de evaluación económica de la aplicación de los resultados de una investigación.

Los criterios utilizados pueden ser divididos en aquellos que valoran la relevancia de los temas y los que tienen en cuenta la viabilidad de llevar a cabo la investigación. Entre los primeros, los más frecuentemente mencionados son la carga de la enfermedad, la variabilidad en la práctica médica y el coste-efectividad de la atención sanitaria. Otros aspectos que suelen ser tenidos en cuenta son el abordaje de la inequidad, la traslación de un nuevo conocimiento a la práctica y el retorno social de la inversión.

Un método reconocido de priorización es el que ideó un grupo de estudio del Institute of Medicine (IOM) de los Estados Unidos de América3 (Committe on Priorities for Assessment and Reassessment of Health Care Technologies) para recomendar al Office of Health Technology Asessment. El grupo propuso siete etapas, desde la selección de los criterios y la identificación de las tecnologías y condiciones candidatas, hasta la revisión por parte de un consejo asesor de las propuestas de investigación. Este criterio fue adaptado por OSTEBA, el servicio de evaluación de tecnologías sanitarias del País Vasco, para determinar prioridades en las necesidades de investigación/evaluación de servicios sanitarios (Tabla 1), tanto en la convocatoria de 1996 como en la de 1998.

Tabla 1. Pesos de los criterios propuestos por el IOM y modificados por OSTEBA

IOM: Institute of Medicine (Estados Unidos de América); OSTEBA: Servicio de Evaluación de Tecnologías Sanitarias del País Vasco


Objetivos

Los objetivos del presente trabajo fueron:

1) Obtener la opinión y el consenso de la comunidad científica catalana sobre los criterios incluidos en el método de priorización, con la posibilidad de incorporar unos nuevos

2) Evaluar la importancia relativa (pesos) de los criterios

3) Analizar la fiabilidad y validez de la escala de priorización de las propuestas de temas de la convocatoria de investigación clínica y en servicios sanitarios


Metodología

Estrategia general del estudio

La evaluación se llevó a cabo en el marco de la Convocatoria 2006 de investigación clínica y en servicios sanitarios, gestionada por la AATRM. El call for topics fue enviado a casi 5000 personas relacionadas con el ámbito de la salud y los servicios sanitarios en Cataluña (profesionales de salud, gestores, universitarios, miembros de sociedades científicas, asociaciones de enfermos). Las propuestas formuladas, con una justificación de una página, se recibieron mayoritariamente por correo electrónico.

A fin de realizar la evaluación de los criterios y del instrumento, se diseñó una estrategia de continuidad del trabajo de priorización que permitiera llevar a cabo una técnica de consenso y una segunda evaluación de algunos temas por las mismas personas para la evaluación de las propiedades del instrumento (Figura 1).

Figura 1. Esquema del procedimiento de priorización de la Convocatoria 2006 y de la revisión y evaluación de los criterios de priorización

Durante la primera ronda de consulta, además del formulario de evaluación de temas, los/las evaluadores/as recibieron información sobre el proyecto, el cuestionario de consulta sobre los criterios y un cuestionario con datos personales. Entonces, se les pidió su colaboración para continuar en el proceso de evaluación y la respuesta de los instrumentos citados, además de su participación en el procedimiento de priorización de la convocatoria. Se hicieron en total 3 rondas de consulta con estos/as panelistas, siendo la primera la correspondiente a la evaluación de temas para la convocatoria 2006.

 

Resultados

La identificación de temas durante el call-for-topics resultó en la recepción de 210 propuestas, que fueron agrupadas en 199, dentro de 15 temáticas.

  • Atención primaria de la salud
  • Servicios sanitarios
  • Cardiovascular y cerebrovascular
  • Dependencia y envejecimiento
  • Dolor, fatiga crónica y fibromialgia
  • Fármacos y productos sanitarios
  • Gastrointestinal y hepatología
  • Ginecología, obstetricia y perinatal
  • Infecciosas e inmunodeficiencias
  • Inmigración
  • Neurología
  • Oncología
  • Salud mental
  • Drogas y violencia
  • Traumatología y ortopedia
  • Otras

Selección e importancia de los criterios

Como resultado de las opiniones de los panelistas durante la primera ronda se decidió realizar algunas modificaciones al texto de justificación de cada criterio y, además, añadir un nuevo criterio para ser sometido a consideración durante la segunda ronda: el "grado de conocimiento que hay del problema en cuestión".

En la segunda ronda, el consenso para la inclusión de los criterios en el sistema de priorización superó el 80% en 8 de los criterios sometidos a consulta (tabla 2), pero no se alcanzó este consenso en los 3 criterios restantes. El criterio "posibilidad de aclarar aspectos éticos, legales o sociales" (número 7) llegó a un consenso alto pero insuficiente. De los cuatro nuevos criterios dos llegaron al suficiente consenso (>80% de acuerdo) para su inclusión (números 9 y 11) y los otros dos consiguieron un 62,9% (número 8) y un 31,5% (número 10) de acuerdo. Teniendo en cuenta la imposibilidad de continuar las rondas de consulta, la decisión final sobre la inclusión o exclusión de los criterios se tomó teniendo en cuenta la opinión sobre su importancia.

Tabla 2. Opinión sobre la inclusión de los criterios considerados en el sistema de priorización de la investigación clínica y en servicios sanitarios en Cataluña

mv: valores ausentes

Los resultados de la segunda ronda fueron similares a los anteriores y a partir de ellos se realizó la selección definitiva de criterios. Cuando se pidió a las personas que señalasen el grado de importancia de cada criterio, el de "interés político" (número 10), fue votado como el menos importante por 24 personas, seguido por el de "oportunidad de financiación" (número 8) con 5 votos (Tabla 3, columna de votos A). Dejando aparte este criterio, que no consiguió un grado lo suficientemente elevado de consenso para su inclusión en el sistema de priorización, el criterio escogido como el menos importante (Tabla 4, columna de votos B) fue el de "posibilidad de aclarar aspectos éticos, legales o sociales"(número 7).

Los descriptivos de las puntuaciones otorgadas a cada criterio permiten ver que los dos que no llegaron al consenso para su inclusión y al mismo tiempo fueron votados como los menos importantes (núm. 8 y 10), no fueron clasificados por ninguna persona en los primeros lugares (valores mínimos 5 y 7 respectivamente), siendo también los ítems que presentaban niveles de dispersión menores en las puntuaciones (39% y 23%, respectivamente), lo que confirma un alto grado de acuerdo. En el extremo superior de la tabla se observa que los criterios "posibilidad de cambio en los resultados en salud" y "carga e importancia de la enfermedad" fueron los más votados entre los primeros lugares de importancia (de puntuaciones media 2,40 y 2,89, respectivamente), obteniendo el segundo un nivel de dispersión de los más bajos (30%).

Ya que no se pudo llegar a un consenso absoluto, se decidió:

"Posibilidad de aclarar aspectos éticos, legales o sociales" (número 7): conservar el criterio dado:

1) El  alto acuerdo para su inclusión (77,1%)

2) Criterio incluido en el sistema de priorización del IOM y de OSTEBA

3) Heterogeneidad en las opiniones respecto de su importancia (hubo personas que lo pusieron en primer lugar y obtuvo una de las mayores desviaciones estándar en la puntuación de importancia)

"Interés político" (número 10): excluirlo dado:

1) El alto desacuerdo para su inclusión (68%)

2) El alto grado de acuerdo respecto de su baja importancia (nadie lo puso en los primeros 6 lugares y obtuvo la menor desviación estándar)

"Oportunidad de financiación" (número 8): excluirlo dado:

1) El insuficiente acuerdo para su inclusión (62,9%)

2) Criterio nuevo, no utilizado en otros sistemas de priorización

3) Información de difícil acceso.

Tabla 3. Votos para el criterio menos importante y descriptivos de las puntuaciones obtenidas.Criterios ordenados según la media de las puntuaciones obtenidas

a Votos A: suma de veces que un criterio se propuso en último lugar, considerando todos los criterios.
b Votos B: suma de veces que un criterio se propuso en último lugar, excluyendo los criterios que no llegaron a consenso para su inclusión
c % variabilidad: nivel de dispersión respecto del valor máximo de la variabilidad (calculado a partir del rango de puntuación).

Pesos de los criterios

Un primer valor de peso para los criterios se obtuvo como promedio de los valores otorgados por los panelistas en la tercera ronda de consulta. Se produjo una importante distancia entre el criterio fijado al valor 1 y los demás. Se realizó una regresión a la media de los pesos otorgados con el orden, a fin de armonizar las puntuaciones de cada criterio. Finalmente, se consideran los pesos resultantes de realizar una regresión lineal similar a la anterior, ponderando por la varianza. En la tabla 4, están descritos los pesos correspondientes a cada criterio en función de la metodología empleada para su cálculo.

Tabla 4. Pesos de los criterios obtenidos mediante diferentes métodos. Ordenados de mayor a menor peso según el valor de la media no ponderada

a Media: media de los pesos (no ponderada); b Regresión lineal: pesos resultantes de regresar a la media los pesos otorgados con el orden; c Regresión lineal ponderada: pesos resultantes de regresar a la media los pesos otorgados con el orden, ponderando la varianza.


Conclusiones

Se revisaron los criterios de priorización de la investigación clínica y en servicios sanitarios, añadiendo dos nuevos a los que habían sido propuestos por el IOM en los Estados Unidos de América, y se modificaron sus pesos, intentando actualizarlos y hacerlos más adecuados al contexto catalán. Además, se estudió la fiabilidad y validez de la escala de medición que se utiliza en este procedimiento. También, a partir de los comentarios que los panelistas hicieron, se introdujeron cambios en los enunciados de los criterios.

El nuevo sistema de evaluación de prioridades se diferencia de sus precedentes por contar con dos criterios nuevos y por unos pesos modificados, que cambian el orden de algunos de los criterios respecto a otros. Los nuevos criterios valoran la necesidad de conocimiento acerca de un tema y la potencialidad de traslación de un nuevo conocimiento a la práctica clínica o sanitaria. Estos nuevos criterios pueden otorgar más relevancia a problemas emergentes, situaciones novedosas o conocimientos que pueden acelerar el impacto de los avances científicos. Por otra parte, el criterio de potencial impacto de la investigación en los resultados en salud, pasó a ser el de mayor peso, mientras que los otros métodos ponderan más la carga de la enfermedad3 o la variabilidad de la práctica médica. Aunque las diferencias podrían deberse en parte a las estrategias utilizadas en cada estudio, estos resultados pueden verse como una adecuación del método a los intereses actuales de la sociedad, teniendo en cuenta la celeridad con que aumenta la producción del conocimiento y la innovación tecnológica, así como la relevancia que se les da actualmente.

Respecto a la evaluación del instrumento, se puede decir que su fiabilidad es aceptable, atendiendo a la buena distribución de puntuaciones y a la adecuada homogeneidad entre los criterios para medir la prioridad. Un punto débil del instrumento es su moderada estabilidad cuando se hace más de una valoración, aspecto que podría estar asociado a la variabilidad en la calidad de las propuestas. La validez de este método puede ser menor que la de aquellos que se desarrollan acotados a unos temas específicos a través del juicio de grupos de expertos1 o grupos focales con usuarios o enfermos en situaciones específicas4,5. En cambio, se trata de un procedimiento relativamente más rápido, económico, participativo y multidisciplinario que permite establecer prioridades entre un espectro mucho más amplio de temas.

Bibliografía

1 ECHTA/ECAHI project. European Collaboration for Health Technology Assessment/Assessment of Health Interventions. [citado 19 octubre 2008]. Disponible en: http://ec.europa.eu/health/ph_projects/ 1999/monitoring/fp_monitoring_1999_frep_09_en.pdf

2 Bernal-Delgado E, Peiró S, Sotoca R. Prioridades de investigación en servicios sanitarios en el Sistema Nacional de Salud. Una aproximación por consenso de expertos. Gac Sanit. 2006;20(4):287-94.

3 Donaldson MS, Sox HC, editors. Setting priorities for health technology assessment: a model process. Washigton DC: Nationel Academy Press; 1992.

4 Gross CP, Anderson GF, Powe NR. The relation between funding by the National Institutes of Health and the burden of disease. N Engl J Med. 1999;340:1881-7.

5 Phelps CE, Parente ST. Priority setting in medical technology and medical practice assessment. Med Care. 1990;28:703-23 (erratum in Med Care. 1992;30:744-51).


Palabras clave: , , ,