Título: El impacto de la no normalidad y la ausencia de esfericidad, con y sin autocorrelación serial, en la Robustez y sensibilidad de tres estadísticos univariados para analizar diseños de medidas repetidas



Descargar 121 Kb.
Fecha de conversión09.03.2018
Tamaño121 Kb.
Vistas34
Descargas0
Catálogo: dise investigacion
dise investigacion -> Fichero Adicional Referencias bibliográficas seleccionadas de carácter general

Fichero Adicional 1. Variables observadas en la revisión
Previamente ubicamos el sub-apartado variables registradas en el apartado Método del trabajo presentado.
Método
Hemos realizado una revisión sistemática no cuantitativa (Shadish y Myers, 2004 a) de las investigaciones Pre-experimentales y Cuasi-experimentales, en adelante Cx. y Px., contenidas en tres revistas españolas de Psicología durante el período temporal de 11 años entre 1999 y 2009, ambos incluidos.
Materiales: El criterio para la selección de las revistas fue cumplir con tres requisitos, ser revistas de temática general en el campo de la Psicología, aparecer en el Journal Citation Reports (JCR) con factor de impacto en el año 2009, y constar en el IN-RECS con índice de impacto dentro del primer cuartil en el mismo año. Estos criterios los satisfacían las revistas Psicothema, Internacional Journal of Clinical and Health Psychology (IJCHP) y Psicológica.
Unidad de análisis: La unidad de análisis ha sido el estudio, considerando unidades independientes cada uno de los estudios Cx. y Px. publicados en un mismo artículo.
Diseño y Procedimiento: Una vez identificadas las investigaciones Cx. y Px. aleatoriamente fueron repartidas en dos grupos y cada uno de ellos asignado aleatoriamente a dos expertos en metodología de investigación que, de modo independiente entre e intra-grupo, examinaron las variables de interés. La información considerada de cada estudio a cerca del diseño y sus características fue extraída de los apartados introducción, método, resultados y conclusiones. Posteriormente los dos expertos de cada grupo comparaban sus datos. El porcentaje medio de acuerdo fue de un 94%. Los casos en que hubo discrepancia fueron revisados por un tercer experto y de nuevo y se analizaba el contenido del artículo hasta que los tres llegasen a una conclusión compartida.

El conjunto de variables observadas fue planificado a priori minuciosamente. Todas ellas son importantes y determinantes para lograr el objetivo propuesto, y, aunque algunas han sido estudiadas en otras revisiones (Harris et al., 2004 y 2006; Harris, Lautenbach y Perencevich, 2005; Hsieh et al., 2005; Scandura y Williams, 2000; Snyder, Thompson, Mclean y Smith, 2002), es la primera vez que se hace un examen tan minucioso como el que aquí presentamos.

Con ánimo de optimizar la recogida de la información contenida en las investigaciones sometidas a revisión, desde el principio contemplamos la necesidad de que las categorías en el registro fuesen flexibles para adaptarse a la incorporación de nuevos datos en el momento que aparecieran. Así las cosas, las características particulares de los diferentes estudios fueron incrementando el registro en nuevas categorías de variables no contempladas a priori produciéndose un intercambio dinámico entre las particularidades de los casos y la concepción inicial de las variables.

El devenir de esta investigación, por tanto, ha estado enmarcado en un contexto de descubrimiento, y por esta razón el diseño del registro de los datos ha sido emergente, elaborándose a medida que avanzaba la investigación estudiando cada caso particular en profundidad.


Variables registradas: Las variables que hemos observado han sido consideradas de importancia capital en destacados trabajos sobre calidad en las investigaciones no aleatorizadas en el ámbito médico (e.g., Daya, 2003; Deeks et al., 2003; Li, Moja, Romero, Sayre y Grimshaw, 2009; Shahar y Shahar, 2009; Victora, Habicht, Bryce, 2004; Wunsch, Linde-Zwirble y Angus 2006; int al.), en educación (e.g., Cook, Cook, Landrum y Tankersley, 2008; Cook, Tankersley y Landrum, 2009; Gersten y Edyburn 2007; Gersten et al., 2005; Thompson, Diamond, McWilliam, Snyder y Snyder, 2005; int al.), en el ámbito de las organizaciones (e.g., Bartunek, Rynes y Ireland,2006; Buchel, 2000; Cook y Campbell,1976;Cox y Hassard, 2005; Creswell, 2009; Easterby-Smith, Golden-Biddle y Locke, 2008; Edmondson y McManus, 2007; Gibbert y Ruigrok, 2010; Gibbert, Ruigrok y Wicki, 2008; Paluck y Green, 2009; Scandura y Williams, 2000; int.al.) y en el ámbito de las ciencias sociales en general (e.g., Shadish, Cook y Campbell, 2002; Shadish y Myers, 2004 a; Shadish y Myers, 2004 b). Las exponemos anidadas en los cinco bloques siguientes:
1.- Características molares de la investigación Cuasi y Pre-experimental.

1.1.- Prevalencia, área de conocimiento y finalidad

1.2.- Definición de la metodología utilizada y denominación efectuada por los autores del diseño de investigación realizado (sólo en los D.Cx.).

1.3.- Diseños de investigación llevados (sólo en los D. Cx.).


2.- Aspectos importantes (incluso determinantes) de la planificación para defender las inferencias sustantivas y estadísticas.

2.1.- Composición de la muestra.

2.2.- Tamaño de la muestra. Cálculo del tamaño de la muestra a priori.

2.3.- Número de grupos de tratamiento y de control

2.4.- Características del grupo de control: composición y formación (sólo observado en los D.Cx.)

2.5.- Número de medidas realizadas en el tiempo

2.6.- Número de variables dependientes registradas
3.- Examen exploratorio de los datos y precauciones tomadas antes de decidir qué estadístico utilizan para poner a prueba las hipótesis.

3.1.- Tamaño de los grupos

3.2.- Equilibrio de los grupos: diferencia y razón entre el tamaño de los grupos más extremos en los diseños no balanceados.

3.3.- Relación entre el tamaño de los grupos y el tamaño de las varianzas.

3.4.- Examen de outliers, evaluación de datos perdidos (definitivamente: mortalidad experimental, abandono; o ocasionalmente: datos faltantes)

3.5.- Comprobación de las asunciones de normalidad, homoscedasticidad e independencia.

3.6.- Otras consideraciones y precauciones: Hemos observado si se realiza transformación de puntuaciones, si se establece a priori el error de Tipo I, si se controla la tasa de error en función del número de comparaciones efectuadas, si en función del cumplimiento o no de las asunciones se decide utilizar una prueba no paramétrica, o una pruebas robustas, si cuando se utiliza ACOVAR se examinan las asunciones específicas del Acovar, si cuando se realiza Regresión comprobar multicolinealidad y mediación.

4.- Análisis de los datos.

4.1.- De qué modo ponen los investigadores a prueba la igualdad de los grupos antes de aplicar el tratamiento

4.2.- Qué uso hacen de la medida pre tratamiento y de otras variables registradas y medidas también antes de la aplicación del tratamiento

4.3.- Qué modelo asumen que explica sus resultados, esto es, qué escriben los investigadores acerca de qué están interesados en analizar en su investigación.

4.4.- Qué estadístico inferencial utilizan para poner a prueba la hipótesis.

4.5.- Si se analiza correctamente la interacción.

4.6.- Cómo realizan las comparaciones múltiples cuando hay más de dos medidas en el tiempo o más de dos grupos de sujetos.

4.7.- Si una vez analizados los datos, examinan el tamaño del efecto, los intervalos confidenciales y la potencia de la prueba a posteriori.

4.8.- Si exponen el valor de los estadísticos e indican el paquete estadístico utilizado para analizar los datos.


5.- Exposición y redacción de las conclusiones. Hemos evaluado si se realizan comentarios de autocrítica referentes a:

5.1.- El tamaño y composición de la muestra.

5.2.- Comentarios con respecto a las amenazas a la validez interna, externa o de conclusión estadística

5.3.- Si existe intención clara de aplicar el tratamiento a los grupos que no lo han recibido.


Breve explicación o justificación de algunas de las variables contenidas en los cinco bloques anteriores. De todas las variables se expone las categorías que contienen o se refiere a las Tablas en que están expuestas, pero sólo aquellas que no se explican o justifican en detalle en el texto del artículo tienen aquí una pequeña aclaración.

Con frecuencia, por tanto, se hace referencia a las Tablas en que se exponen los resultados obtenidos con respecto a las variables que se detallan, todas ellas contenidas en el Fichero Adicional 3, en adelante (FA.3). Se hace del siguiente modo, v.g., (FA.3; T2) que significará “el resultado obtenido tras la evaluación de la variable (la que en ese momento se está describiendo) está expuesto en la Tabla 2 en el Fichero Adicional 3.


Breve explicación
1.- Características molares de la investigación Cuasi y Pre-experimental.

1.1.- Prevalencia, área de conocimiento y finalidad

1.2.- Diseños de investigación llevados (sólo en los Diseños Cuasi-experimentales).

1.3.- Definición de la metodología utilizada y denominación efectuada por los autores del diseño de investigación realizado (sólo en los Diseños Cuasi-experimentales).


1.1.- Prevalencia, área de conocimiento y finalidad

Prevalencia: Deseábamos saber cuántos diseños Pre-experimentales y Cuasi-experimentales se habían realizado en las tres revistas en el período temporal indicado y cuántas investigaciones experimentales (las cuales son objeto de otra investigación que se está llevando a cabo paralela a ésta). Hemos distinguido entre investigaciones pre-experimentales y cuasi-experimentales (en adelante Px. y Cx.) del mismo modo que hicieran Campbell y Stanley (1963). En 1963 denominaron pre-experimentales a tres estructuras básicas de diseño, diseño de un solo grupo con medida post, diseño de un solo grupo con medida pre y post y diseños de grupos de comparación estática sólo con medida post. En la misma obra consideran 3 tipos de investigaciones cuasi-experimentales, de grupo control no equivalente, de series temporales y de discontinuidad en la regresión. Unos y otros reciben intervención pero sólo estos últimos tiene a la vez medidas pre-tratamiento y grupo o condición de comparación. En ninguno de los diseños anteriores el/los grupos están formados de modo aleatorio. En 1979 Cook y Campbell ya no denominan a los tres primeros diseños Px., se refieren a ellos como Three designs that often do not permit reasonable causal inferences (Cook y Campbell (1979, p. 95), y representan a un grupo de diseños dentro de un grupo más amplio de diseños Cx. Shadish et al., (2002) también consideran a estos tres diseños Cx. that either lack a control groups and pretest observations on the outcome. Nosotros, al igual que otros investigadores (e.g., Chacón, Shadish y Cook, 2008; Montgomery, 2009;) hemos deseado mantener la denominación original. Ver (FA.3; T1).


Área de conocimiento: Nos referimos al dominio sustantivo que nutre la investigación. Las posibilidades de hacerlo son muchas. En lo que a la ciencia de la psicología respecta que es la que nos ocupa, podría hacerse en función de los perfiles profesionales que pueden elegir los psicólogos, de las especialidades que ofrecen los estudios de grado universitario, de las áreas de conocimiento de la Psicología propuestas por el Ministerio de Educación y Ciencia. Buela-Casal, Carretero-Dios y Santos-Roig (2002) consideraron esta última y clasificaron las investigaciones en las áreas de Personalidad, Evaluación y Tratamiento Psicológico, Psicología Social, Psicología Básica, Psicobiología, Metodología, Psicología Evolutiva y de la Educación, y lo hicieron en función del contenido temático y no del área al que pertenecían los autores. Nosotros en este caso hemos hecho algo similar, pero destacando en la clasificación el contenido temático, no el área. Así las cosas clasificamos las investigaciones en

1= Psicofisiología: percepción, atención, potenciales evocados, estudio de zonas neuronales, etc. La muestra aquí pueden ser personas normales o con alguna característica especial, y la finalidad puede ser tanto básica como aplicada.

2= Aprendizaje, memoria, modificación de conducta (refuerzo, castigo, condicionamiento ya sea clásico, inhibitorio, etc.), La muestra aquí pueden ser personas normales o con alguna característica especial, pero nunca la finalidad es aplicada, siempre es investigación básica.

3= Clínica: cuando se lleva a cabo una intervención conductual, un programa de tratamiento de habilitación o de rehabilitación con personas que tiene algún problema que resolver (e.g., fobia, dislexia, etc.), o alguna necesidad especial (aumentar el recuerdo, mejorar el estado físico para un deporte, etc.). La finalidad siempre es aplicada.

4= Psicología Cognitiva: motivación, emoción, lenguaje, comprensión, cambio de actitudes, etc. La muestra aquí siempre son personas ser personas normales o con alguna característica especial, y la finalidad puede ser básica o aplicada.
Entendemos que la conducta no es una propiedad esencial del organismo, sino una propiedad relacional, y por lo tanto puede implicar a más de un contenido temático. Por ejemplo, de forma más específica, dentro de la psicología clínica y la Medicina Conductual se ha mostrado la relevancia que el componente psicofisiológico puede tener en la etiología, desarrollo y mantenimiento de numerosos trastornos psicofisiológicos (Comeche, Vallejo y Díaz, 2000; Stoney y Manzi, 2000). Asimismo, se hace cada vez más patente la utilidad de dicho componente en el diagnóstico y proceso terapéutico de problemas clínicos como el trastorno de estrés postraumático, la depresión o los trastornos de ansiedad (Orr y Roth, 2000; Acierno, Hersen, Tremont, Van Hasselt y Kabacoff, 1999).

Otro ejemplo, podríamos pretender un cambio de conducta (Aprendizaje) implicando distintos modos de afrontamiento (Psicología cognitiva: mediante el aumento de la motivación, o procurando la comprensión).


El área de investigación, pese a ser una de las variables que menos importancia tiene para los objetivos que nos proponemos ha sido una variable difícil de categorizar. Por lo tanto, en el momento de efectuar esta clasificación, ha sido importante tener en cuenta, además de las hipótesis u objetivos de la investigación, el tipo de muestra, la(s) variable(s) independientes y las variables dependientes registradas (e.g., número de respuestas (pulsaciones) emitidas, número de respuestas correctas y tiempo de reacción, latencia, etc.). Así pues, en alguna ocasión hemos clasificado la investigación en dos de estas clasificaciones simultáneamente. En (FA.3; T3) se pueden ver el resultado con respecto a esta variable.
Finalidad: Diferenciamos entre finalidad básica y finalidad aplicada. Si el objetivo de la investigación fue poner a prueba hipótesis para determinar el alcance de una teoría o ampliar un cuerpo temático la finalidad fue clasificada como básica. Si el objetivo fue solucionar algún problema (solicitado u ofrecido) para personas con alguna necesidad especial (fobias, dislexia, mejorar marca deportiva, mejorar la memoria, etc.) entonces la finalidad fue aplicada.
1.2. Definición de la metodología utilizada y denominación efectuada por los autores del diseño de investigación realizado (sólo en los D.Cx.): Hemos efectuado la clasificación y la denominación dada por los autores de cada diseño en concreto mediante la lectura detenida de los apartados método y procedimiento. Esto nos ha permitido conocer qué investigaciones clasifican el trabajo correctamente en la metodología cuasi-experimental (consideramos correcto si se clasificaban como cuasi-experimentales aunque hubiesen sido pre-experimentales) o las clasifican como experimentales o como otra distinta, y también si definen correctamente el diseño concreto. Las categorías de la variable son:
Clasificación correcta [Metodología y Diseño concreto]

Clasificación correcta de la Metodología e incorrecta del Diseño

Clasificación correcta de la Metodología] y no definen el diseño

Lo definen como experimento cuando es cuasi-experimento

No definen ni la Metodología ni el Diseño: lo sabemos por el procedimiento

No definen La Metodología pero sí el Diseño concreto


El resultado se exponen en (FA.3; T2).
1.3.- Diseños de investigación llevados (sólo en los D. Cx.). En (FA.3; T1) se puede ver cuándos diseños de cada clase hemos hallado en el conjunto de las 3 revistas analizadas y en cada una de ellas por separado. En (FA.3; T2) hemos expuesto los D.Px. clasificados en 8 estructuras y los D.Cx. en 9 estructuras. Hemos mantenido la misma estructura matriz que Campbell y Stanley (1963), como indicamos en el apartado prevalencia. Pero en este caso, hemos destacado en la clasificación la importancia de los “elementos del diseño” (número de medidas tanto pre como post, y número de grupos tanto de tratamiento como de control). Shadish et al., (2002) insisten repetidamente en que estos detalles son de sumo interés para poner a prueba las hipótesis causales.

La apariencia de los diseños Px. hallada es:


D.Px-1G [sólo medida post]

D.Px-1G [una media pre y otra medida post]

D.Px-1G [una media pre y dos medidas post]

D.Px-Gs [todos reciben el mismo tratamiento y se toman medidas pre y post)

D.Px-Gs [todos reciben el mismo tratamiento y se toma sólo 1 medidas post]

D.Px-Gs [todos reciben el mismo tratamiento y dos V.Intra (una el tiempo)]

D.Px-Gs [uno es G.C, el resto reciben todos el mismo tratamiento y sólo se toma una medida post]

D.Px-Gs [uno es G.C, el resto reciben tratamientos distintos y todos pasan por una V.I de trat]


La apariencia de los diseños Cx. hallada es:
D.Cx-1G [diseño de medidas repetidas, estructura OXOXO]

D.Cx-GCNE Clásico [un G.C, un G.E, y medidas pre y post para ambos]



D.Cx-GCNE [con más de un grupo de control

D.Cx-GCNE [con más de un grupo de control y dos medidas post]

D.Cx-GCNE [con varios grupos de tratamiento y un grupo de control]

D.Cx-GCNE [con dos o más medidas post]



D.Cx-GCNE [con Intercambio de Tratamiento]

D.Cx-GCNE [de tratamiento dividido (varios G.E y uno G.C), y dos ó más medidas post]

D.Cx-DR [1diseño tiene dos G.C y otro tiene más de un G.E. Dos ó más medidas post sólo tienen 3]
A priori contemplamos tener en cuenta en las categorías de esta variable los diseños de cohortes, de variables dependientes no equivalentes, diseños sólo con medida post test con interacciones predictibles de alto orden y diseños de series temporales. El motivo por el que no aparecen expuestos es porque no se ha encontrado ninguno de estas características en los estudios revisados

Breve explicación
2.- Aspectos importantes (incluso determinantes) de la planificación para defender las inferencias sustantivas y estadísticas.

2.1.- Composición de la muestra.

2.2.- Tamaño de la muestra. Cálculo del tamaño de la muestra a priori.

2.3.- Número de grupos de tratamiento y de control.

2.4.- Características del grupo de control: composición y formación (sólo observado en los D.Cx.).

2.5.- Número de medidas realizadas en el tiempo.

2.6.- Número de variables dependientes registradas.
Junto con la elección del Diseño concreto elegido para realizar la intervención, todas estas variables van a aportar matices, los “elementos del diseño” (Shadish et al., 2002) que van a determinar la calidad de la validez interna.

Hemos recogido cada matiz de la composición de la muestra (FA.3; T4). Si eran estudiantes universitarios hemos diferenciado entre los que eran de psicología y de otros centros diferentes. Dentro de los estudiantes de colegios hemos diferenciado los que eran mayores y menores de 14 años. Denominamos muestra específica enferma a las personas que tenían una necesidad especial (fobia, esquizofrenia, depresión, problemas con el alcohol, etc.) y muestra específica no enferma a muestras con alguna característica especial (superdotados, deportistas, etc.) que no requerían resolver un problema de salud psíquica o mental, pero sí alcanzar objetivos determinados, o simplemente servir de punto de contraste con un grupo de control respecto al efecto de un tratamiento. También creímos conveniente tener en cuenta si eran niños menores de 12 años o si eran personas adultas de más de 65. Si eran voluntarios o si recibían alguna compensación por participar.

Poco hay que decir que no se haya dicho en múltiples foros acerca de la planificación del tamaño de la muestra en base a obtener un Tamaño del Efecto determinado. Hemos tenido en cuenta este aspecto.

El número de grupos tanto de tratamiento como de control, el número de medidas registradas de la conducta de interés, tanto antes como después de la aplicación del tratamiento son aspectos capitales (Shadish et al., 2002) para poner a prueba las hipótesis con garantías. Estos aspectos están destacados en (FA.3; T2).

La formación del grupo control en los D.Cx. tiene una importancia superlativa En (FA.3; T5) se exponen todos los matices que en esta revisión han aparecido. Son los siguientes:
En los D.Cx-GCNE


  • Al azar se decide cual de los grupos incidentales (comparables, no exclusivamente próximos) es G.E, y cual es G.C.

  • Sujetos pareados con los experimentales

  • G.C en lista de espera

  • Personas con algún problema todas ellas, pero no pueden acudir a la terapia por distintas razones (p.ej. los padres no los pueden llevar,…, etc.)

  • Proximidad (del centro educativo, aulas.., que se suponen comparables)

  • En colegios (e.g., unos van a ética otros religión, unos han hecho un curso otros no, etc.)

  • Todos los sujetos parecidos en problema, edad sexo, etc., pero no indican cómo de parecidos

  • De aquellos posibles con unas características concretas se piden voluntarios

  • No se dice absolutamente nada de las características del grupo de control

En los D.Cx-DR



  • En función de la medida pre

  • Son personas normales (sin ninguna enfermedad o problema, se supone voluntarias) y son elegidos para ser comparados con el GE que sí tiene un problema)

  • En función de la medida pre, pero también el G a tratar queda dividido en GE y GC, éste por no poder participar


Breve explicación
3.- Examen exploratorio de los datos y precauciones tomadas antes de decidir qué estadístico utilizan para poner a prueba las hipótesis.

3.1.- Tamaño de los grupos

3.2.- Equilibrio de los grupos: diferencia y razón entre el tamaño de los grupos más extremos en los diseños no balanceados.

3.3.- Relación entre el tamaño de los grupos y el tamaño de las varianzas.

3.4.- Examen de outliers, evaluación de datos perdidos (definitivamente: mortalidad experimental, abandono; o ocasionalmente: datos faltantes)

3.5.- Comprobación de las asunciones de normalidad, homoscedasticidad e independencia.

3.6.- Otras consideraciones y precauciones: Hemos observado si se realiza transformación de puntuaciones, si se establece a priori el error de Tipo I, si se controla la tasa de error en función del número de comparaciones efectuadas, si en función del cumplimiento o no de las asunciones se decide utilizar una prueba no paramétrica, o una pruebas robustas, si cuando se utiliza Acovar se examinan las asunciones específicas del Acovar, si cuando se realiza Regresión o análisis multivariado los autores ponen a prueba la existencia de multicolinealidad (y mediación, o moderación, o supresión también cuando se realizan análisis de Regresión).
Todas las variables observadas de este bloque se refieren al examen detallado de los datos una vez recogidos como un paso previo a la elección del análisis que más adelante se llevará a cabo para poner a prueba las distintas hipótesis. Por lo tanto, todos estos aspectos son determinantes para garantizar la validez de la conclusión estadística. Las variables referidas en los tres primeros puntos están expuestas en (FA.3; T6) y las referidas en los tres últimos en (FA.3; T7).

En las Tablas referidas aparecen, no todo lo que hubiésemos deseado observar, sino lo que los autores han observado. Por ejemplo, nos resultaba interesante conocer qué hacen los investigadores para evitar el abandono y si tenían previsto un plan B si eso ocurría. En el caso en que sí ha habido abandono deseábamos saber si los autores se han ocupado de evaluar las posibles causas. Esto no aparece en la Tabla citada porque ningún autor se ha ocupado de ello.

Del mismo modo, en lo que a las precauciones iniciales se refiere, en la Tabla sólo aparecen 4 opciones:


  • Transformación de asunciones

  • Establecen error de Tipo I a priori

  • Establecen error de Tipo I a priori y controlan la tasa de error

  • Ninguna

Pero como expusimos en el detalle del punto 3.6, la voluntad de observar esta variable era mucho mayor.
Breve explicación
4.- Análisis de los datos.

4.1.- De qué modo ponen los investigadores a prueba la igualdad de los grupos antes de aplicar el tratamiento

4.2.- Qué uso hacen de la medida pre tratamiento y de otras variables registradas y medidas también antes de la aplicación del tratamiento

4.3.- Qué modelo asumen que explica sus resultados, esto es, qué escriben los investigadores acerca de qué están interesados en analizar en su investigación.

4.4.- Qué estadístico inferencial utilizan para poner a prueba la hipótesis.

4.5.- Análisis de la interacción. Nos interesa saber si la analizan y cómo

4.6.- Cómo realizan las comparaciones múltiples cuando hay más de dos medidas en el tiempo o más de dos grupos de sujetos.

4.7.- Si una vez analizados los datos, examinan el tamaño del efecto, los intervalos confidenciales y la potencia de la prueba a posteriori.

4.8.- Si exponen el valor de los estadísticos e indican el paquete estadístico utilizado para analizar los datos.
Los tres primeros puntos tienen una importancia capital para conseguir lo que en el texto del artículo hemos denominado Validez Estructurada. Constituyen el punto de enlace entre la validez interna y la validez de conclusión estadística. Dicho de otro modo, la validez de la conclusión estadística estará cargada de significado sólo si se cuidan estos tres puntos.

En los diseños Cx. es imperativo, antes de examinar el efecto de la variable de tratamiento, examinar si los grupos (G.E y G.C) son iguales estadísticamente, o son comparables. Esto se debe de hacer con respecto a la medida pre test y con respecto a otras que están relacionadas también con la variable dependiente. Con frecuencia si son iguales con respecto a la medida pre test se comenta que no existe sesgo de selección. Pero esto no es del todo correcto como se expone en el apartado “resultados y discusión” del artículo. No obstante, sean iguales o sean distintos los grupos en la medida pre test, este valor puede intervenir de distintos modos en la prueba de la hipótesis según sea el modelo asumido por el investigador que explique los resultados. Este aspecto también nos interesa conocerlo. En (FA.3; T8 a) se exponen las categorías observadas de estas tres primeras variables. Cómo anteriormente se ha expuesto, el abanico de categorías podría ser mayor pero sólo se han hallado esas en las investigaciones sometidas a revisión.

Las variables 4, 5 y 6 se refieren exclusivamente a cómo se ha realizado el análisis de los datos. Deseamos aclarar que no hemos examinado si se efectúan y cómo, por ejemplo, correlaciones o cruces de variables como exámenes previos a la prueba de la hipótesis (análisis estadísticos que algunos autores han denominado periféricos, e.g., Valera, Sánchez Meca y Marín, 2000). Con respecto al estadístico utilizado para poner a prueba las hipótesis (las categorías de esta variable están en (FA.3; T8 b y T8 c) queremos manifestar que en ninguna publicación hemos visto que se haya hecho así. Esta variable es habitual categorizarla en base a estadísticos inferenciales globales (e.g., ANOVA, MANOVA, Regresión, etc.). A priori, nosotros consideramos hacerlo de ese modo. Sin embargo, todos los revisores advirtieron el mismo patrón de conducta en la gran mayoría de los artículos revisados. El exceso de pruebas de significación. Decidimos entonces describir esa conducta lo más detalladamente posible.

Es necesario explicar qué significa cada fila de la Tabla 8 b y Tabla 8 c. Cuando aparece Univariado (si no se apostilla nada se entiende que es paramétrico), Univariado con Covarianza, Multivariado, Multivariado con Covarianza significa que se han llevado a cabo análisis globales del diseño, esto es, se ha analizado como un diseño de medidas parcialmente repetidas con una variable entre-sujetos (GC y GE) y una variable intra sujeto (tiempo, medida pre-y medida post, y sucesivas si las hubiere). Cuando al lado de estas técnicas de análisis aparece Todas t de Student, significa que además, en cada nivel de la variable entre grupos (GC y GE) se examina la diferencia entre los niveles de la variable intra grupo, pero también, para cada nivel de la variable intra-grupo, se examinan las diferencias entre GE y GC, (por lo tanto, cuando aparece sólo Todas t de Student-segunda fila- no se hace ninguna prueba de hipótesis global). Cuando aparece Cada nivel de variable intra por separado o cada nivel de variable entre por separado, significa que además, se realizan pruebas t de Student sólo en los niveles de la variable entre o sólo en los niveles de la variable intra.

Cuando una interacción resulta estadísticamente significativa se debe profundizar en su estudio y mantener al margen el estudio de cada variable de modo independiente . Deseábamos saber si se ha realizado o no correctamente (ver FA.3; T9).

Aunque no en muchas ocasiones, los grupos a veces eran más de dos y las medidas registradas también. Deseábamos conocer si los autores realizaban comparaciones de medias y qué estadístico utilizaban (ver FA.3; T10). De nuevo, las categorías de variable que aparecen no son todas las posibles, si no las que en alguna ocasión se han utilizado.

La variable séptima: Si una vez analizados los datos, los autores examinan el tamaño del efecto, los intervalos confidenciales y la potencia de la prueba empírica, tiene una enorme importancia. Desde la 4ª edición del manual de la APA en 1994 se nos viene exigiendo hacer estos análisis. (ver FA.3; T11).
Breve explicación
5.- Exposición y redacción de las conclusiones. Hemos evaluado si se realizan comentarios de autocrítica referentes a:

5.1.- El tamaño y composición de la muestra.

5.2.- Comentarios con respecto a las amenazas a la validez interna, externa o de conclusión estadística

5.3.- Si existe intención clara de aplicar el tratamiento a los grupos que no lo han recibido.


Esta variable tiene una importancia extraordinaria para valorar el alcance y el valor del estudio sea el que sea. Los comentarios acerca de las incidencias ocurridas en el proceso de la investigación, los puntos débiles, los aspectos ocurridos que podrían amenazar la prueba de la hipótesis que se ha puesto a prueba, etc. En el texto del artículo se detallan todos estos aspectos. En (FA.3; T12) se exponen los resultados. De nuevo, sólo aparece lo que se ha observado en los trabajos revisados.

Referencias
Acierno, R., Hersen, M., Tremont, G., Van Hasselt, V.B., y Kabacoff, R. (1999). Psychophysiological identification of depression subtypes in older adults: problematic diagnotic heterogeneity in the DSM-III-R and DSM-IV. Journal of Clinical Geropsychology, 5, 245-263.

Bartunek, J.M., Rynes, S.L., y Ireland, R.D. (2006). Editors’ forum: What makes management research interesting, and why does it matter?. The Academy of Management Journal, 49, 9-15.

Buchel, B. (2000). Framework of joint venture development: Theory-building through quantitative research. Journal of Management Studies, 37, 55-83.

Buela-Casal, G., Carretero-Dios, H., y Santos-Roig, M. (2002). Análisis comparativo de las revistas de Psicología en castellano con factor de impacto. Psicothema, 14, 837-852.


Chacón, S., Shadish, W. R., y Cook, T. D. (2008). Diseños evaluativos de intervención media. En M. T. Anguera, S. Chacón y A. Blanco (Eds.), Evaluación de programas sociales y sanitarios: un abordaje metodológico (pp. 185-218). Madrid: Síntesis.

Comeche, M.I., Vallejo, M.A., y Díaz, M.I. (2000). Tratamiento psicológico de la cefalea. Predicción de la mejoría en un acercamiento activo-pasivo. Psichotema, 12, 55-63.

Cook, T.D., y Campbell, D.T. (1976). The design and conduct of quasi-experiments and true experiments in field settings. In M. D. Dunnette (Ed.), Handbook of industrial and organizational psychology (pp. 223-326). New York: John Wiley and Sons.

Cook, L., Cook, B.G., Landrum T.J., y Tankersley, M. (2008). Examining the role of group experimental research in establishing evidenced-based practices. Intervention in School and Clinic, 44(2), 76-82.



Cox, J.W., y Hassard, J. (2005). Triangulation in Organizational Research: A Re-Presentation. Organization January, 12, 109-133.

Creswell, J.W. (2009). Research design: Qualitative, quantitative, and mixed methods approaches (3rd ed.). Thousand Oaks, CA: Sage.

Daya, S. (2003). Characteristics of good causation studies. Seminars in Reproductive Medicine, 21(1), 73-83.

Deeks, J.J., Dinnes, J., D'Amico, R., Sowden, A.J., Sakarovitch, C., Song, F., Petticrew, M., Altman, D.G., International Stroke Trial Collaborative Group, y European Carotid Surgery Trial Collaborative Group (2003). Evaluating non-randomised intervention studies. Health Technology Assessment, 7(27), iii-x, 1-173.

Easterby-Smith, M., Golden-Biddle, K., y Locke, K. (2008). Working with pluralism: Determining quality in qualitative research. Organizational Research Methods, 11, 419-429.

Edmondson, A.C., y McManus, S.E. (2007). Methodological fit in management field reseach. Academy of Management Review, 32, 1155, 1179.

Gersten R., y Edyburn, D. (2007). Defining quality indicators for special education technology research. Journal of Special Education Technology, 22(3), 3-18.

Gersten, R., Fuchs, L., Compton, D., Coyne, M., Greenwood, Ch., y Innocenti M. S. (2005). Quality indicators for group experimental and quasi experimental research in special education. Exceptional Children, 71(2), 149-164.



Gibbert, M., y Ruigrok, W. (2010). The ‘‘What’’ and ‘‘How’’ of Case Study Rigor: Three Strategies Based on Published Work. Organizational Research Methods, 13(4), 710-737.

Gibbert, M., Ruigrok, W., y Wicki, B. (2008). What passes as a rigorous case study?. Strategic Management Journal, 29, 1465-1474.

Harris, A.D., Bradham, D.D., Baumgarten, M., Zuckerman, I.H., Fink, J.C., y Perencevich, E.N. (2004). The use and interpretation of quasi-experimental studies in infectious diseases. Clinical Infectious Diseases, 38, 1586–91.

Harris, A.D. Lautenbach, E., y Perencevich, E. (2005). A systematic review of quasi-experimental study designs in the fields of infection control and antibiotic resistance. Clinical Infectious Diseases, 41(1), 77–82.

Harris, A.D. McGregor, J.D., Perencevich, E.N., Furuno, J.P., Zhu, J., Peterson, D.E., y Finkelstein, J. (2006). The Use and Interpretation of Quasi-Experimental Studies in Medical Informatics. Journal of the American Medical Informatics Association, 13 (1), 16-23.

Hsieh, P., Acee, T., Chung, WH., Hsieh, YP., Kim, H., Thomas, G.D., You, Ji., Levin, J.R., y Robinson, D.H. (2005). Is Educational Intervention Research on the Decline?. Journal of Educational Psychology, 97(4), 523–529.

Li, L.C., Moja, L., Romero, A., Sayre, E.C. y Grimshaw, J.M. (2009). Nonrandomized quality improvement intervention trials might overstate the strength of causal inference of heir findings. Journal of Clinical Epidemiology, 62(9), 959-66.

Montgomery, D.G. (2009). Design and analysis of experiments. USA: Yohn Wiley & Sons.

Orr, S.P., y Roth, W.T. (2000). Psychophysiological assessment: clinical applications for PTSD. Journal of affective Disorders, 61, 225-240.

Paluck, E.L., y Green, D.P. (2009). Prejudice Reduction: What Works? A Review and Assessment of Research and Practice. Annual Review of Psychology, 60, 339-367.

Scandura, T.A., y Williams E.A. (2000). Research methodology in management: Current practices, trends, and implications for future research. Academy of Management Journal, 43(6), 1248-1264.

Snyder, P., Thompson, B., Mclean, M.E., y Smith, B.J. (2002). Examination of Quantitative Methods Used in Early Intervention Research: Linkages With Recommended Practices. Journal of Early Intervention, 25(2), 137-150.

Valera, A., Sánchez Meca, J., y Marín, F. (2000). Contraste de hipótesis e investigación psicológica española: análisis y propuestas. Psicothema, 12(2), 549-552.

Shadish, W.R., Cook, T.D., y Campbell, D.T. (2002). Experimental and quasi-experimental designs for generalized causal inference. New York: Houghton Mifflin.

Shadish, W.R., Cook, T.D., y Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. New York: Houghton Mifflin.

Shadish, W.R., y Heinsman, D.T. (1997). Experiments versus quasi-experiments: Do you get the same answer? En W.J. Bukoski (Ed.) Meta-Analysis of Drug Abuse Prevention Programs (pp. 147-164). Washington DC: Superintendent of Documents.

Shadish, W., y Myers, D. (2004a). Research Design Policy Brief. Disponible enhttp://www.campbellcollaboration.org/artman2/uploads/1/C2_Research_Design_Policy_Brief-2.pdf.

Shadish, W., y Myers, D. (2004b). How to make a Campbell Collaboration Review:The Review. Documento elaborado para Nordic Campbell Center (The DNIHSR). Disponible en http://www.sfi.dk/graphics/Campbell/Dokumenter/For_Forskere/guide _3_review_samlet20DEC04.pdf.

Shahar, E., y Shahar, D.J. (2009). On the causal structure of information bias and confounding bias in randomized trials. Journal of Evaluation in Clinical Practice, 15(6), 1214-1216.

Snyder, P., Thompson, B., Mclean, M.E. y Smith, B.J. (2002). Examination of Quantitative Methods Used in Early Intervention Research: Linkages With Recommended Practices. Journal of Early Intervention, 25(2), 137-150.

Stoney, C.M., y Manzi, L. (2000). Psychophysiological applications in clinical health psychology. En J.T. Cacioppo, L.G. Tassinary y G.G. Berntson (Eds.), Handbook of Pyschophysiology (2nd ed.). New York: Cambridge University Press.

Thompson, B., Diamond, K., McWilliam, R., Snyder, P., y Snyder, S. (2005). valuating the quality of evidence from correlational research for evidence-based practice. Exceptional Children, 71, 181-194.

Valera, A., Sánchez Meca, J., y Marín, F. (2000). Contraste de hipótesis e investigación psicológica española: análisis y propuestas. Psicothema, 12(2), 549-552.

Victora, C.G., Habicht, J.P., y Bryce, J. (2004). Evidence-based public health: moving beyond randomized trials. American Journal of Public Health. 94(3),400-5.



Wunsch, H., Linde-Zwirble, W.T., y Angus, D.C. (2006). Methods to adjust for bias and confounding in critical care health services research involving observational data. Journal of Critical Care, 21(1), 1-7.

Compartir con tus amigos:


La base de datos está protegida por derechos de autor ©psicolog.org 2017
enviar mensaje

enter | registro
    Página principal


subir archivos