Мета-анализ: модели с постоянными и случайными эффектами

* Тема: Мета-анализ: модели постоянных и случайных эффектов.
* Ключевые слова: мета-анализ, постоянный, фиксированный, эффект, фактор, случайный, свободный, fixed, random, effect, Кохен, Хеджс, Cohen, Hedges.
* Опубликован: ?, перевод: 23.06.2009.
* Автор: Valentim R. Alferes (Университет Коимбра, Португалия), valferes@fpce.uc.pt.
* Перевод: А. Балабанов.
* Размещение: http://www.spsstools.ru/Syntax/MetaAnalysis/meta_fix_ran.txt (.sps).
* Проверено: SPSS 15.0.0.

****************************************************************************
** Синтаксис помогает в выполнении мета-анализа по набору из нескольких 
** (опубликованных) исследований, в которых производится сравнение средних по двум
** независимым выборкам. Он работает как с моделями постоянных (fixed, фиксированных), 
** так и с моделями свободных (random, случайных) эффектов с использованием
** статистики d Кохена (Cohen's d), как с поправкой Хеджса (Hedges' correction), так и без оной.

** Пользователь располагает 10 РЕЖИМАМИ ВВОДА ДАННЫХ (см. ЧАСТЬ 1):
**
** Режим 1 - № исследования, N1, M1, SD1, N2, M2 SD2.
** Режим 2 - № исследования, N1, M1, N2, M2 SD_POOL.
** Режим 3 - № исследования, направление эффекта, разность, N1, SD1, N2, SD2.
** Режим 4 - № исследования, направление эффекта, разность, N1, N2, SD_POOL.
** Режим 5 - № исследования, DF, M1, SD1, M2 SD2.
** Режим 6 - № исследования, DF, M1, M2, SD_POOL.
** Режим 7 - № исследования, направление эффекта, DF, разность, SD1, SD2.
** Режим 8 - № исследования, направление эффекта, DF, разность, SD_POOL.
** Режим 9 - № исследования, направление эффекта, N1, N2, T_OBS.
** Режим 10 - № исследования, направление эффекта, DF, T_OBS.
* Здесь: N - объём выборки, M - выборочное среднее, SD - выборочное стандартное 
* отклонение, SD_POOL - совместная (совмещённая) оценка стандартного отклонения (по двум выборкам),
* DF - число степеней свободы (если размеры выборок равны, см. комм. ниже),
* T_OBS - наблюдаемое значение t-статистики, направление эффекта - признак M1>M2 (см. комм. ниже),
* разность - разность между выборочными средними (в абсолютном выражении).
* Индекс 1 или 2 обозначает принадлежность статистики к 1-й или 2-й группе (выборке) - примеч. перев.


** По числу сравниваемых исследований ограничения не существует. Пользователь
** также может ввести данные по исследованиям во всех 10 режимах, либо проанализировать
** исследования только в одном режиме ввода данных. Если какие-то режимы вы не 
** используете, соответствующие строки данных должны быть очищены (но строки
** с командами должны остаться без изменений!). 

** Если вводятся средние значения, программа предполагает, что группа 1 является
** экспериментальной, или фокусной, а группа 2 - является контрольной, или
** группой сравнения.

** Если вводятся разности между средними групп, либо наблюдаемые t-статистики, они
** принимаются программой в абсолютном выражении (DIF=|M1-M2| или T_OBS=|Tobs|), а
** направление эффекта пользователь указывает в дополнительной переменной (DIRECT):
** +1 (если эффект действует в прямом направлении: среднее 1-й группы больше среднего 2-й группы) и
** -1 (если эффект действует в обратном направлении: среднее 1-й группы меньше среднего 2-й группы).

** Если указано число степеней свободы, синтаксис предполагает группы равными по величине, если
** DF - четное число, и N2 = N1-1, если DF - нечётное число.


** Если в публикации сообщаются результаты проверки с помощью дисперсионного
** анализа (ANOVA), вы можете ввести их в режимах 2 или 4, сделав совмещенную оценку
** стандартного отклонения (SD_POOL) равной квадратному корню из среднеквадратической ошибки (MS Error).

** По умолчанию величина эффекта представлена поправкой Хеджеса к статистике d Кохена.
** Если вы хотите использовать статистику d без этой коррекции, надо изменить эту установку
** в соответствующей командной строке.

** Выдача РЕЗУЛЬТАТОВ организована в 9 таблицах:
**
** Таблица 1. Данные, введённые пользователем
**
** Таблица 2. Дополнение данных пользователя однозначно вычисляемыми параметрами
** 			(например, вычисление степеней свободы, если указаны размеры выборок) - примеч. перев.
**
** Таблица 3. Индивидуальные t-проверки и наблюдаемая мощность
** - N1, N2, число степеней свободы (DF), разность между выборочными средними (DIF), 
**   наблюдаемая t-статистика (T_OBS), 2-сторонний собств. уровень значимости (P_TWO), односторонний 
*    собств. уровень значимости (P_ONE);
** - Альфа (ALFA), гармоническое N (N_HARM), параметр нецентральности (NCP) и 
**   наблюдаемая мощность (OPOWER).
**   [см. алгоритм в Borenstein et al., 2001]
**
** Таблица 4. Показатели величины (силы) эффекта и неперекрываемости (распределений)
** Показатели величины (силы) эффекта:
** - d Кохена (Cohen's d, D);
**   [Cohen, 1988, стр. 20]
** - Поправка Хеджеса (Hedges' correction, D_H);
**   [D_H = d в Hedges & Olkin, 1985; D_H = d* в Hunter & Schmidt, 
**   1990; см. Cortina & Nouri, 2000, стр. 9];
** - точечно-бисериальная корреляция r (R);
** - квадрат точечно-бисериальной корреляции (R2);
** - биномиальный показатель величины эффекта (Binomial Effect Size Display, BESD_LO и BESD_UP).
**   [см. алгоритм в Rosenthal et al. 2000, стр. 8-19]
**
** Показатели неперекрываемости (non-overlap):
** - U1 (процент неперекрывающихся плотностей двух распределений);
** - U2 (процент наибольших значений из группы 1, превосходящих такой же процент наименьших значений из группы 2);
** - U3 (соотношение процентилей = процентиль из распределения группы 2, соответствующий значениям из
**   50-го процентиля распределения группы 1);
**   [см. алгоритм в Cohen, 1988, стр. 21-23]
**
** Таблица 5: Невзвешенная сила эффекта, описательные статистики
** - Число проанализированных исследований (NSTUDIES), d Кохена (Cohen's d, D) и поправка Хеджеса (Hedges' correction, 
**   D_H) (минимум, максимум, среднее, ст. ошибка средней и ст. отклонение).
**
** Таблица 6. Модель с постоянными эффектами (fixed effects)
** - Средневзвешенная величина эффекта (EF_SIZE), дисперсия (VARIANCE) и 
**   стандартная ошибка (SE);
** - статистика z (z), 2-сторонний уровень значимости (P_TWO), 1-сторонний уровень значимости 
**   (P_ONE);
** - доверительный уровень (CL), нижняя (CI_LOWER) и верхняя (CI_UPPER) 
**   границы доверительного интервала.
**   [см. алгоритм вычисления в Shadish & Haddock, 1994, стр. 265-268]
**
** Таблица 7. Проверка Хи-квадрат на однородность величины эффекта
** - статистика Q, число степеней свободы (K), 2-сторонний уровень значимости 
**   (P_CHISQ)
**   [см. алгоритм в Shadish & Haddock, 1994, стр. 266]
**
** Таблица 8. Компонента случайной дисперсии (Random Variance Component)
** - V0 [см. алгоритм в Lipsey & Wilson, 2001, стр. 134].
**
** Таблица 9. Модель случайных эффектов (random effects)
** - Средневзвешенная величина эффекта (EF_SIZE), дисперсия (VARIANCE) и 
**   стандартная ошибка (SE);
** - статистика z (z), 2-сторонний уровень значимости (P_TWO), 1-сторонний уровень значимости 
**   (P_ONE);
** - доверительный уровень (CL), нижняя (CI_LOWER) и верхняя (CI_UPPER) 
**   границы доверительного интервала.
**   [см. алгоритм и вычислительные процедуры в Lipsey & Wilson, 2001, стр. 134-135]
**
** Для вычисления наблюдённой мощности в отдельных исследованиях синтаксис полагает
** альфа = 0,05. Для вычисления доверительного интервала средневзвешенной силы эффекта
** синтаксис полагает доверительный уровень = 95%. По желанию вы можете изменить
** эти значения в соответствующих строчках кода (см. ЧАСТЬ 2).
**
** В результате работы синтаксиса пользователь получает доступ к табл. 2, 3 и 4
** в активном файле данных SPSS: они могут пригодиться в других процедурах
** мета-анализа, основанных на других показателях силы эффекта, или на 
** точных вероятностях (см. другие решения на этом сайте).
**
** В примере ниже у нас имеется 20 различных исследований, и мы используем
** все 10 режимов ввода данных. 

****************************************************************************

*** НАЧАЛО СИНТАКСИСА.

** ЧАСТЬ 1: ВВОД АГРЕГИРОВАННЫХ ДАННЫХ.

* Режим 1: введите построчно информацию из разных исследований: номер исследования, N1, M1, SD1, N2, M2 SD2.
DATA LIST LIST /Study(F8.0) N1(F8.0) M1(F8.2) SD1(F8.2) N2(F8.0) M2(F8.2) 
SD2(F8.2).
BEGIN DATA
1  17  7.46  1.98  16  6.23  2.45
2  15  5.34  2.14  15  4.47  2.51
END DATA.
SAVE OUTFILE=DATA1.

* Режим 2: введите построчно информацию из разных исследований: номер исследования, N1, M1, N2, M2 SD_POOL.
DATA LIST LIST /Study(F8.0) N1(F8.0) M1(F8.2) N2(F8.0) M2(F8.2) 
SD_POOL(F8.2).
BEGIN DATA
3  14  7.32  16  8.23  2.67
4  23  6.20  27  4.47  2.21
END DATA.
SAVE OUTFILE=DATA2.

* Режим 3: введите построчно информацию из разных исследований: номер исследования, направление эффекта, разность, 
* N1, SD1, N2, SD2.
DATA LIST LIST /Study(F8.0) Direct(F8.0) DIF(F8.2) N1(F8.0) SD1(F8.2) 
N2(F8.0) SD2(F8.2).
BEGIN DATA
5  +1  1.04  10  3.04  11  2.98
6  -1  2.25  12  2.63  12  2.21
END DATA.
SAVE OUTFILE=DATA3.

* Режим 4: введите построчно информацию из разных исследований: номер исследования, направление эффекта, разность, N1, 
* N2, SD_POOL.
DATA LIST LIST /Study(F8.0) Direct(F8.0) DIF(F8.2) N1(F8.0) N2(F8.0) 
SD_POOL(F8.2).
BEGIN DATA
7  -1  1.32  34  33  2.44
8  +1  1.25  20  20  3.09
END DATA.
SAVE OUTFILE=DATA4.

* Режим 5: введите построчно информацию из разных исследований: номер исследования, DF, M1, SD1, M2 SD2.
DATA LIST LIST /Study(F8.0) DF(F8.0) M1(F8.2) SD1(F8.2) M2(F8.2) SD2(F8.2).
BEGIN DATA
9   34  7.46  1.69  6.33  2.98
10  33  5.34  2.94  5.46  2.31
END DATA.
SAVE OUTFILE=DATA5.

* Режим 6: введите построчно информацию из разных исследований: номер исследования, DF, M1, M2, SD_POOL.
DATA LIST LIST /Study(F8.0) DF(F8.0) M1(F8.2) M2(F8.2) SD_POOL(F8.2).
BEGIN DATA
11  27  7.76  5.29  2.77
12  28  6.30  4.21  2.41
END DATA.
SAVE OUTFILE=DATA6.

* Режим 7: введите построчно информацию из разных исследований: номер исследования, направление эффекта, DF, разность, 
* SD1, SD2.
DATA LIST LIST /Study(F8.0) Direct(F8.0) DF(F8.0) DIF(F8.2) SD1(F8.2) SD2(F8.2).
BEGIN DATA
13  +1  40  3.07  1.77  2.87
14  -1  37  2.11  2.62  2.21
END DATA.
SAVE OUTFILE=DATA7.

* Режим 8: введите построчно информацию из разных исследований: номер исследования, направление эффекта, DF, разность, 
* SD_POOL.
DATA LIST LIST /Study(F8.0) Direct(F8.0) DF(F8.0) DIF(F8.2) SD_POOL(F8.2).
BEGIN DATA
15  -1  23  2.22  1.88
16  +1  34  3.17  1.94
END DATA.
SAVE OUTFILE=DATA8.

* Режим 9: введите построчно информацию из разных исследований: номер исследования, направление эффекта, N1, N2, T_OBS.
DATA LIST LIST /Study(F8.0) Direct(F8.0) N1(F8.0) N2(F8.0) T_OBS(F8.2).
BEGIN DATA
17  +1  20  20  4.74
18  -1  14  15  3.17
END DATA.
SAVE OUTFILE=DATA9.

* Режим 10: введите построчно информацию из разных исследований: номер исследования, направление эффекта, DF, T_OBS.
DATA LIST LIST /Study(F8.0) Direct(F8.0) DF(F8.0) T_OBS(F8.2).
BEGIN DATA
19  +1  54  5.46
20  -1  49  2.27
END DATA.
SAVE OUTFILE=DATA10.
GET FILE=DATA1.
ADD FILES/FILE=*/FILE=DATA2/FILE=DATA3/FILE=DATA4/FILE=DATA5
/FILE=DATA6/FILE=DATA7/FILE=DATA8/FILE=DATA9/FILE=DATA10.
EXECUTE.


** ЧАСТЬ 2: УСТАНОВКА ЗНАЧЕНИЙ АЛЬФА И ДОВЕРИТЕЛЬНОГО УРОВНЯБ ВЫБОР ПОКАЗАТЕЛЯ СИЛЫ ЭФФЕКТА
** И ЗАПУСК МЕТА-АНАЛИЗА.

* Ввод альфа для вычисления наблюдённой мощности (по умолчанию, ALFA = 0.05).
COMPUTE ALFA = 0.05.
EXECUTE.
SORT CASES BY STUDY(A).
IF (M1>=M2) DIRECT=1.
IF (M1<M2) DIRECT=-1.
SUMMARIZE/TABLES=STUDY DIRECT N1 N2 DF M1 M2 DIF SD1 SD2 SD_POOL T_OBS
/FORMAT=VALIDLIST NOCASENUM TOTAL/TITLE="Табл. 1. Данные пользователя"/CELLS=NONE.
COMPUTE MOD_DF=MOD(DF,2).
IF (MOD_DF=0) N1=(DF/2)+1.
IF (MOD_DF=0) N2=N1.
IF (MOD_DF=1) N1=((DF+1)/2)+1.
IF (MOD_DF=1) N2=N1-1.
COMPUTE DF=(N1+N2)-2.
IF (M1<=0 OR M1>0) DIF=ABS(M1-M2).
COMPUTE SDX=(((N1-1)*(SD1**2))+((N2-1)*(SD2**2)))/(N1+N2-2).
IF (SD_POOL<=0 OR SD_POOL>0) SDX=SD_POOL**2.
IF (SDX<=0 OR SDX>0) T_OBS=DIF/SQR(SDX*((1/N1)+(1/N2))).
COMPUTE SD_POOL=SQR(SDX).
COMPUTE T_OBS=DIRECT*T_OBS.
COMPUTE DIF=DIRECT*DIF.
COMPUTE TABS=ABS(T_OBS).
COMPUTE P_TWO=(1-CDF.T(TABS,DF))*2.
COMPUTE P_ONE=1-CDF.T(TABS,DF).
COMPUTE D=T_OBS*SQR((1/N1)+(1/N2)).
COMPUTE N_HARM=(2*N1*N2)/(N1+N2).
COMPUTE NCP=ABS((D*SQR(N_HARM))/SQR(2)).
COMPUTE T_ALPHA=IDF.T(1-ALFA/2,DF).
COMPUTE POWER1=1-NCDF.T(T_ALPHA,DF,NCP).
COMPUTE POWER2=1-NCDF.T(T_ALPHA,DF,-NCP).
COMPUTE OPOWER=POWER1+POWER2.
COMPUTE R=T_OBS/SQR((T_OBS**2)+DF).
COMPUTE R2=R**2.
COMPUTE D_H=D*(1-(3/(4*(N1+N2)-9))).
COMPUTE BESD_LO=.50-(R/2).
COMPUTE BESD_UP=.50+(R/2).
COMPUTE U3=CDF.NORMAL(D,0,1)*100.
COMPUTE U2=CDF.NORMAL((D/2),0,1)*100.
COMPUTE U2X=CDF.NORMAL(((ABS(D))/2),0,1).
COMPUTE U1=(2*U2X-1)/U2X*100.
FORMATS P_TWO P_ONE ALFA N_HARM NCP OPOWER D D_H R R2 BESD_LO BESD_UP(F8.4) 
U1 U2 U3(F8.1).
SUMMARIZE/TABLES=STUDY DIRECT N1 N2 DF M1 M2 DIF SD1 SD2 SD_POOL T_OBS
/FORMAT=VALIDLIST NOCASENUM TOTAL/TITLE="Табл. 2. Дополнение данных пользователя" 
/CELLS=NONE.
SUMMARIZE/TABLES=STUDY DIRECT DIF DF T_OBS P_TWO P_ONE ALFA N_HARM NCP 
OPOWER/FORMAT=VALIDLIST NOCASENUM TOTAL
/TITLE="Табл. 3. Индивидуальные t-проверки и наблюдённая мощность"/CELLS=NONE.
SUMMARIZE/TABLES=STUDY DIRECT D D_H R R2 BESD_LO BESD_UP U1 U2 U3
/FORMAT=VALIDLIST NOCASENUM TOTAL
/TITLE="Табл. 4. Показатели силы эффекта и неперекрываемости"/CELLS=NONE.
SUMMARIZE/TABLES=D D_H/FORMAT=NOLIST TOTAL/TITLE="Табл. 5 Невзвешенная величина эффекта."
+" Описательная статистика: d Кохена и поправка Хеджса"
/CELLS=COUNT MIN MAX MEAN SEMEAN STDDEV.
SAVE OUTFILE=META_DATA.

* Выбор показателя силы эффекта (d Кохена: ES = 1; Поправка Хеджса: ES = 2) 
* (по умолчанию, ES = 2).
COMPUTE ES = 2.
IF (ES=1) D=D.
IF (ES=2) D=D_H.
EXECUTE.
COMPUTE V=((N1+N2)/(N1*N2))+((D**2)/(2*(N1+N2))).
COMPUTE W=1/V.
COMPUTE WD=W*D.
COMPUTE WD2=W*D**2.
COMPUTE W2=W**2.
COMPUTE X=1.
EXECUTE.
SAVE OUTFILE=FOUTX.
AGGREGATE/OUTFILE=*/BREAK=X/SUM_W=SUM(W)/SUM_WD=SUM(WD)
/SUM_WD2=SUM(WD2)/SUM_W2=SUM(W2)/NSTUDIES=N.
COMPUTE K=NSTUDIES-1.
COMPUTE EF_SIZE=SUM_WD/SUM_W.
COMPUTE VARIANCE=1/SUM_W.
COMPUTE SE=SQR(1/SUM_W).
COMPUTE Z=ABS(EF_SIZE)/SE.
COMPUTE P_TWO=(1-CDF.NORMAL(Z,0,1))*2 .
COMPUTE P_ONE=1-CDF.NORMAL(Z,0,1).
EXECUTE.

* Выбор доверительного уровня для доверительного интервала (по умолчанию, CL=95%).
COMPUTE CL = 95.
COMPUTE ZCL=IDF.NORMAL((1-(((100-CL)/100)/2)),0,1).
COMPUTE CI_LOWER=EF_SIZE-ZCL*SE.
COMPUTE CI_UPPER=EF_SIZE+ZCL*SE.
COMPUTE Q=SUM_WD2-SUM_WD**2/SUM_W.
COMPUTE P_CHISQ = 1-CDF.CHISQ(Q,K).
COMPUTE V0 = (Q-K)/(SUM_W-SUM_W2/SUM_W) .
EXECUTE.
SAVE OUTFILE=FOUTY/KEEP=V0 X.
FORMATS ALL(F8.4) VARIANCE SE(F8.5) NSTUDIES CL K(F8.0).
SUMMARIZE/TABLES=NSTUDIES EF_SIZE VARIANCE SE Z P_TWO P_ONE CL CI_LOWER 
CI_UPPER/FORMAT=LIST NOCASENUM TOTAL /TITLE='Табл. 6. Модель с постоянными эффектами:'
+' средневзвешенная величина эффекта, z-проверка, доверительный интервал' 
/CELLS=NONE.
SUMMARIZE/TABLES=Q K P_CHISQ/FORMAT=LIST NOCASENUM TOTAL/TITLE=
'Табл. 7. Проверка Хи-квадрат на однородность величины эффекта'/cells=none.
GET FILE=FOUTX.
MATCH FILES /FILE=*/TABLE=FOUTY/BY X.
EXECUTE.
COMPUTE V=V+V0.
COMPUTE W=1/V.
COMPUTE WD=W*D.
COMPUTE WD2=W*D**2.
COMPUTE W2=W**2.
EXECUTE.
FORMATS V0(F8.3).
SUMMARIZE/TABLES=v0/FORMAT=NOLIST TOTAL/TITLE='Табл. 8. Компонента'
+' случайной дисперсии'/CELLS=MEAN.
AGGREGATE/OUTFILE=*/BREAK=X/SUM_W=SUM(W)/SUM_WD=SUM(WD)
/SUM_WD2=SUM(WD2)/SUM_W2=SUM(W2)/NSTUDIES=N.
COMPUTE K=NSTUDIES-1.
COMPUTE EF_SIZE=SUM_WD / SUM_W.
COMPUTE VARIANCE=1/SUM_W.
COMPUTE SE=SQR(1/SUM_W).
COMPUTE Z=ABS(EF_SIZE)/SE.
COMPUTE P_TWO=(1-CDF.NORMAL(Z,0,1))*2 .
COMPUTE P_ONE=1-CDF.NORMAL(Z,0,1).
EXECUTE.

* Выбор доверительного уровня для доверительного интервала (по умолчанию, CL=95%).
COMPUTE CL = 95.
COMPUTE ZCL=IDF.NORMAL((1-(((100-CL)/100)/2)),0,1).
COMPUTE CI_LOWER=EF_SIZE-ZCL*SE.
COMPUTE CI_UPPER=EF_SIZE+ZCL*SE.
FORMATS ALL(F8.4) VARIANCE SE(F8.5) NSTUDIES CL K(F8.0).
SUMMARIZE/TABLES=NSTUDIES EF_SIZE VARIANCE SE Z P_TWO P_ONE CL CI_LOWER 
CI_UPPER/FORMAT=LIST NOCASENUM TOTAL /TITLE='Табл. 9. Модель со случайными эффектами:'
+' средневзвешенная величина эффекта, z-проверка, доверительный интервал' 
/CELLS=NONE.
GET FILE=META_DATA/KEEP=STUDY DIRECT N1 N2 DF M1 M2 DIF SD1 SD2 
SD_POOL T_OBS P_TWO P_ONE ALFA N_HARM NCP OPOWER D D_H R R2 BESD_LO 
BESD_UP U1 U2 U3.

*** КОНЕЦ СИНТАКСИСА.

****************************************************************************
** Примечания **
**
** Начиная со строки:
**
** COMPUTE W=1/V.
**
** при вычисленных к настоящему моменту по данным из синтаксиса величинах эффектов (D) и дисперсиях (V),
** синтаксис был протестирован на соответствие результатам, представленным в Lipsey and Wilson (2001, стр. 130, 
** табл. 7.1) и Shadish and Haddock (1994, стр. 267, табл. 18.2).
**
** Процедуры вычисления дополнительных статистик к пользовательским данным (для табл. 2)
** и вычисления индивидуальных t-статистик были протестированы в SPSS
** путем сравнения с результатами, полученными по примерами с исходными (неагрегированными) данными.

** Алгоритм вычисления мощности критерия - тот же, что реализован в SamplePower (Borenstein et al.,
** 2001). Расчет величин эффекта и неперекрываемости протестирован с помощью табличных
** значений, приведённых в Cohen (1988) и Rosenthal et al. (2000).

** Свободно используйте и изменяйте этот синтаксис по вашему желанию. В случае, если 
** потребуется сослаться на него, вот образец ссылки:
 
** Alferes, V. R. (2003). Meta-analysis: Fixed and random effects models 
**    [SPSS Syntax File]. Retrieved [дата загрузки], from [URL]

****************************************************************************
** Список литературы **
**
** Borenstein, M., Rothstein, H., & Cohen, J. (2001). SamplePower 2.0 
**    [Computer Manual]. Chicago: SPSS Inc.
** Cohen, J. (1988). Statistical power analysis for the behavioral 
**    sciences (2nd ed.). Hillsdale, NJ: Lawrence Erbaum.
** Cortina, J. M., & Nouri, H. (2000). Effect sizes for ANOVA designs. 
**    Thousand Oaks, CA: Sage.
** Hedges, L. V., & Olkin, I. (1985). Statistical methods for meta-analysis.
**    Orlando, FL: Academic Press.
** Hunter, J. E., & Schmidt, F. L. (1990). Methods of meta-analysis:
**    Correcting error and bias in research findings. Newbury Park, CA: 
**    Sage.
** Lipsey, M. W., & Wilson, D. B. (2001). Pratical meta-analysis. Thousand 
**    Oaks, CA: Sage.
** Rosenthal, R., Rosnow, R. L, & Rubin, D. B. (2000). Contrasts and 
**    effect sizes in behavioral research: A correlational approach. 
**    Cambridge, UK: Cambridge University Press.
** Shadish, W. R., & Haddock, C. K. (1994). Combining estimates of effect
**    size. In H. Cooper and L. V. Hedges (Eds.), The handbook of research
**    synthesis (pp. 261-281). New York: Russell Sage Foundation.
***************************************************************************.