비표준형 연구설계 및
자료의 분석
Analysing non-standard data and
study designs
코크란 체계적 문헌고찰의 과정
Steps of a Cochrane review
1. 연구 질문 설정
2. 선정 기준 계획
3. 연구 방법 계획
4. 연구자료 (원자료) 검색
5. 선정 기준 적용
6. 자료 추출
7. 분석 대상 연구들의 비뚤림 위험 평가
8. 결과 분석 및 제시
9. 분석결과의 해석 및 결론 도출
10. 문헌고찰 개선 및 주기적 갱신
cochrane training
개요
Outline
• 역-분산 (generic inverse variance) 메타 분석
• 비표준형 자료
• 여러 종류의 연구설계 분석과 관련된 논의사항
See Chapters 7 & 9 of the Handbook
cochrane training
효과 추정치의 분석
Analysing effect estimates
• 각 군별 결과가 아닌, 전반적 효과 추정치만 보고된
경우
• 표준형 효과 추정치 (RR, OR, MD)
• 비무작위배정 연구, 군집무작위배정 연구, 교차연구
• 생존형 자료 (위험도비, HR), 비율 자료 (상대위험도,
RR), 순위 자료 (비례 오즈비, POR)
• 보정 후 자료 (예; 회귀 분석 자료)
cochrane training
역-분산법
The generic inverse-variance method
• ‘generic’ = 어떠한 통계량에도 사용 가능
• ‘inverse-variance’ = 효과 추정치 분산의 역수를
사용하여, 메타 분석 시 개별 연구의 가중치를 부여함
See Section 7.7.7 of the Handbook
cochrane training
사용 방법
What do I do?
• 적용시키고자 하는 통계량이 무엇인지 확인
• 각 개별 연구에 대한 동일한 형태의 통계량이 필요함
• RevMan 에 사용 가능한 표준 통계량일 경우, 다른 개별
연구들의 결과를 한 종류의 통계량으로 변환시킨 후,
역분산법을 이용하여 하나의 메타분석에 포함시킴
• 각 개별 연구에는, 두 가지 수치를 입력함
• 요약 통계량
• 요약 통계량의 표준 오차 (standard error)
cochrane training
역-분산 메타 분석
Generic inverse-variance meta-analysis
cochrane training
역-분산 효과 추정
Generic inverse-variance outcomes
cochrane training
역-분산 효과 추정
Generic inverse-variance outcomes
cochrane training
중요: ‘비’(ratio) 통계량의 분석
• ‘비’ 통계량은 정규분포가 불가함
• RevMan 에는 자연로그로 자료를 변환시켜 입력해야
함
• 예; log OR, SE of log OR
• 개별 연구에서 이미 이러한 형태로 자료를
보고하였는지 여부 확인
• RevMan 은 분석 결과를 자동 변환시켜 보통의 자료
형태로 보여줌
• Handbook 및 통계 전문가 참조
See Section 9.2.7 of the Handbook
cochrane training
결과변수 특성
Outcome properties
cochrane training
계산 기능
Calculating
cochrane training
개요
Outline
• 역-분산 (generic inverse variance) 메타 분석
• 비표준형 자료
• 여러 종류의 연구설계 분석과 관련된 논의사항
See Chapters 7 & 9 of the Handbook
cochrane training
자료의 유형
Types of data
•
•
•
•
•
이분형 (dichotomous)
연속형 (continuous)
순위형 (ordinal)
계수형 및 율 (counts and rates)
생존형 (time-to-event)
cochrane training
순위형 결과변수
Ordinal outcomes
• 정도의 차이를 의미하는 순서를 가진 범주로 구성
• 짧은 척도: 통증 척도, 리커트 척도 등
• 긴 척도: 삶의 질, 기능지수 등
• 순위형 변수 분석
• 이분형
• 짧은 척도는 이분형 변수로 변환 가능
• 통증 대 통증 없음, 가벼운 통증 대 심한 통증 등
• 연속형
• 긴 척도는 평균 점수 보고
• 비례 오즈 비 (proportional odds ratio)
• 역-분산 추정법으로 분석
cochrane training
계수형 및 율 결과 변수
Counts and rates
• 1회 이상 발생 가능한 특정 사건의 계수
• 입원, 충치 개수 등
• 율 (rates) 은 일정 기간 내에 발생한 횟수를 의미
• 분석 –단위 (unit-of-analysis) 관련 오류에 유의
• 계수 및 율의 분석
• 이분형
• 최소 1번 이상 사건을 경험한 피험자 수
• 연속형
• 1인 평균 사건 경험 수
율 = 사건 발생 수
일정 기간
• 첫 사건 발생까지 걸린 시간 (time to first event)
• 율비 (rate ratio)
• 역-분산 추정법으로 분석
cochrane training
생존형 결과 변수
Time-to-event (survival) outcomes
• 사건 발생까지 걸린 기간
• 사망까지 걸린 시간, 간질발작 없이 유지되었던 시간 등
• ‘절단’자료 포함 – 연구기간 내 사건 발생이 없었던 피험자의
자료
• 생존형 자료 분석
• 이분형
• 특정 측정 시점에 얻은 자료
• 연속형
• 사건발생 시점까지의 평균 소요 일수 – 절단 자료의 분석에는
부적합
• 위험도비 (hazard ratios)
• 역-분산 방법으로 분석
• O – E and V
cochrane training
개요
Outline
• 역-분산 (generic inverse variance) 메타 분석
• 비표준형 자료
• 여러 종류의 연구설계 분석과 관련된 논의사항
See Chapters 9 & 16 of the Handbook
cochrane training
3군 이상의 연구
Studies with more than two groups
• RevMan 을 사용하기 위해서는, 2 군 간비교가 필요함
• 연구 질문을 고려
•
•
•
•
연구질문과 상관없는 군은 무시
각 대조 분석 당 하나씩의 2군 간 비교 (여러 대조 분석 수행)
두 군 병합 (적합할 경우)
다중 치료 메타 분석 (multiple treatments meta-analysis)
• 한 메타 분석에 같은 군 자료가 중복 포함되지 않도록
주의
• 분석-단위 오류 (unit-of-analysis error)
See Section 16.5 of the Handbook
cochrane training
예시: 조기 분만 방지를 위한 항생제 사용
Example: antibiotics to inhibit preterm labour
• 요인 설계 연구 (ORACLE) – 문헌고찰에 포함된 최대,
최고 수준의 연구
•
•
•
•
erythromycin
co-amoxiclav
erythromycin + co-amoxiclav
neither
• 문헌고찰 시 모든 항생제 투여군 (3개 군) 을 병합
Source: Craig Ramsay
King JF, Flenady V, Murray L. Prophylactic antibiotics for inhibiting preterm labour with intact membranes.
Cochrane Database of Systematic Reviews 2002, Issue 4. Art. No.: CD000246. DOI: 10.1002/14651858.CD000246.
cochrane training
예시: 아래 분석이 적절한가?
Example: Is this OK?
Source: Craig Ramsay
Adapted from: King JF, Flenady V, Murray L. Prophylactic antibiotics for inhibiting preterm labour with intact membranes.
Cochrane Database of Systematic Reviews 2002, Issue 4. Art. No.: CD000246. DOI: 10.1002/14651858.CD000246.
cochrane training
예시: 대조군 자료의 분할
Example: shared control group
Source: Craig Ramsay
Adapted from: King JF, Flenady V, Murray L. Prophylactic antibiotics for inhibiting preterm labour with intact membranes.
Cochrane Database of Systematic Reviews 2002, Issue 4. Art. No.: CD000246. DOI: 10.1002/14651858.CD000246.
cochrane training
예시: 여러 치료군을 한 군으로 병합
Example: combined arms
Source: Craig Ramsay
Adapted from: King JF, Flenady V, Murray L. Prophylactic antibiotics for inhibiting preterm labour with intact membranes.
Cochrane Database of Systematic Reviews 2002, Issue 4. Art. No.: CD000246. DOI: 10.1002/14651858.CD000246.
cochrane training
예시: 각 군 간 별도 비교
Example: separated arms
Source: Craig Ramsay
Adapted from: King JF, Flenady V, Murray L. Prophylactic antibiotics for inhibiting preterm labour with intact membranes.
Cochrane Database of Systematic Reviews 2002, Issue 4. Art. No.: CD000246. DOI: 10.1002/14651858.CD000246.
cochrane training
군집-무작위배정 연구
Cluster-randomised trials
• 여러 개인이 한 그룹으로 묶여 무작위 배정됨
•
•
•
•
여러 의료기관, 학교, 마을, 세대 등
그룹에 대한 중재 효과의 분석에 활용 가능
연구 수행 상 보다 실제적일 수 있음
개인 단위로 무작위 배정될 경우 발생 가능한, 무작위
배정 유지의 실패 방지
cochrane training
단순 시험 설계
Simple trial design
무작위배정 단위
분석 단위
개인
개인
시험군
무작위 배정
대조군
Source: Julian Higgins
cochrane training
군집 무작위배정 설계
Cluster-randomised design
무작위배정 단위
분석 단위
그룹
그룹
시험군
무작위 배정
대조군
Source: Julian Higgins
cochrane training
군집 무작위배정 설계
Cluster-randomised design
무작위배정 단위
분석 단위
그룹
개인
시험군
무작위 배정
대조군
Source: Julian Higgins
cochrane training
분석-단위
Unit-of-analysis issues
• 한 군집 내 개인들 간에는 연관성이 있음 (correlated).
• 개인 수준의 결과에 관심 있을 때:
• 개인을 분석단위로 할 경우 정확도가 과도하게 높아짐
• 위-양성 결론
• 메타 분석 시 과도한 가중치 부여
• 군집을 분석단위로 할 경우 정확도가 과도하게 낮아짐
• 올바른 가중치는 개인 분석과 군집 분석 시 얻은 값
사이에 있음
• 다른 연구에서도 발생 가능
• 그룹화된 중재 (예; 시술자 별 그룹화된 중재)
• 여러 치료 (예; 여러 치료 주기, 여러 신체 부위의 치료)
Source: Julian Higgins
cochrane training
연관성을 고려하여 분석
Taking correlation into account
• 개별 연구에서는 적절한 분석방법을 사용했을 수
있음
• 예) a mixed (multilevel) model, GEEs
• 역분산 방법을 이용한 메타 분석
• 그렇지 않을 경우, 연관성을 보정하여 분석
• 통계 자문을 받을 것
• 군집-무작위배정 연구임을 명확히 확인하고, 어떻게
자료를 분석하였는지 설명할 것
See Section 16.3 of the Handbook
Source: Julian Higgins
cochrane training
예시: 개 물림 손상 방지를 위한 교육
Example: Education to prevent dog bites
Source: Craig Ramsay
Duperrex O, Blackhall K, Burri M, Jeannot E. Education of children and adolescents for the prevention of dog bite injuries.
Cochrane Database of Systematic Reviews 2009, Issue 2. Art. No.: CD004726. DOI: 10.1002/14651858.CD004726.pub2.
cochrane training
교차 시험
Cross-over trials
• 모든 피험자가 시험 및 대조 중재를 둘 다 받음
• 시험 및 대조 중재는 무작위 순서로 받는 것이 이상적임
• 연관성으로 인한 장점 활용 가능
• 피험자 간 변이를 제거
• 목표한 검정력을 위해 보다 적은 수의 피험자가 필요
cochrane training
교차 시험
Cross-over trials
병행 그룹
결과
중재군
피험자 간 비교
무작위 배정
교차
무작위 배정
대조군
중재군
대조군
결과
결과
중재군
결과
결과
대조군
결과
피험자 내 비교
Source: Julian Higgins
cochrane training
교차시험 설계의 적절성
Suitability of cross-over design
• 아래 경우에 적합:
• 질환이 만성적, 안정적일 때
• 치료 효과가 단기적일 때 (예; 증상의 호전)
• 치료 효과의 소실을 위한 휴지기 (washout period) 가 충분할 때
• 두 번째 중재기에 영향을 미칠 수 있는 문제들
•
•
•
•
비가역적인 결과 (예; 사망, 완치)
기간 효과 (예; 퇴행성 질환)
잔류 효과 (carryover effect) (예; 효과가 장기간 지속되는 중재)
첫 번째 중재기 결과만 병행군 임상시험 자료로 간주하고
활용하는 것을 고려
• 첫 번째 중재 결과만 별도로 보고되는 경우는 드물며, 선택적으로
보고되었을 가능성이 있음
Source: Julian Higgins
cochrane training
분석 단위
Unit of analysis issues
• 각 개인 내 측정은 상호 연관되어 있음. (correlated)
• 개인 내 측정 디자인의 특성을 분석 시 고려해야 함
• 만약 그렇지 않으면, 메타 분석 시 해당 연구는 지나치게
낮은 가중치를 받게 될 것임
• 한 개인 내 여러 신체 부위를 평가하는 연구에서도 역시
발생 가능함
Source: Julian Higgins
cochrane training
연관성을 고려하여 분석
Taking correlation into account
• 개별 연구에서는 적절한 대응 (paired) 분석을 했을 수
있음.
• 중재군과 대조군 간 연구참여자-특이적 차이
• 역분산 방법을 이용한 메타 분석
• 개별 연구는 중재군과 대조군 간 단순 대조를 했을 수
있음
• 그렇지 않을 경우, 연관성을 보정하여 분석
• 통계 자문을 받을 것
• 교차 시험임을 명확히 확인하고, 어떻게 자료를
분석하였는지 설명할 것
See Section 16.4 of the Handbook
cochrane training
예시: 교차-시험 설계를 무시
Example: ignoring cross-over design
SMD with 95% CI
Woodcock 1981
Woodcock 1982
Johnson 83
Eiser A
Eiser B
Bruera 93
Light 96
Chua
Poole
Leung
Noseda
Jankelson
Pooled
-0.38 ( -0.61 , -0.15 )
-2
-1
Opioid better
0
1
2
Placebo better
Source: Julian Higgins.
Adapted from Jennings AL, Davies AN, Higgins JPT, Anzures-Cabrera J, Broadley KE. Opioids for the palliation of breathlessness in
terminal illness. Cochrane Database of Systematic Reviews 2001, Issue 3. Art. No.: CD002066. DOI: 10.1002/14651858.CD002066.
cochrane training
예시: 교차-시험 설계를 고려한 분석
Example: accounting for cross-over design
SMD with 95% CI
Woodcock 1981
Woodcock 1982
Johnson 83
Eiser A
Eiser B
Bruera 93
Light 96
Chua
Poole
Leung
Noseda
Jankelson
Pooled
-0.32 ( -0.43 , -0.20 )
-2
-1
Opioid better
0
1
2
Placebo better
Source: Julian Higgins.
Adapted from Jennings AL, Davies AN, Higgins JPT, Anzures-Cabrera J, Broadley KE. Opioids for the palliation of breathlessness in
terminal illness. Cochrane Database of Systematic Reviews 2001, Issue 3. Art. No.: CD002066. DOI: 10.1002/14651858.CD002066.
cochrane training
비-무작위 대조군 연구
Non-randomised trials
• 추후 문헌고찰 갱신 시 포함될 가능성도 있음
•
•
•
•
•
전후 비교 통제 관찰 연구
간여 시계열 분석 (interrupted time series)
이상반응 분석 시; 기타 관찰연구도 포함 고려
경제성 평가
질적 연구 자료
• (분석 시) 별도의 방법 및 조건이 필요함
• 분석 진행 전, 조언을 구할 것
See Chapters 13, 14, 15 & 20 of the Handbook
cochrane training
연구계획서에 포함될 것
What to include in your protocol
• 모든 잠재적 issue 를 예측해야 할 필요는 없음
• 아래의 자료가 예측될 경우, 이를 어떻게 다룰지 서술
• 비-표준화 통계량
• 비-표준화 자료 유형
• 특수 연구 설계
cochrane training
핵심 전달 사항
Take home message
• 특정 자료 유형 분석을 위한 별도의 방법이 필요할 수 있음
• 특정 연구 디자인 분석을 위한 별도의 방법이 필요할 수
있음
• 필요 시, 위와 같은 경우에 대비하고 분석을 위한 추가
정보를 확보할 것.
• 역-분산 방법은 전반적인 요약 통계량을 메타-분석하기
위해 사용될 수 있음
• 코크란 핸드북을 주의깊게 읽고 통계적 조언을 받을 것
cochrane training
References
Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of
Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011.
Available from www.cochrane-handbook.org.
•Higgins JPT, Deeks JJ (editors). Chapter 7: Selecting studies and collecting data
•Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and
undertaking meta-analyses
•Higgins JPT, Deeks JJ, Altman DG (editors). Chapter 16: Special topics in statistics
•
•
•
•
Acknowledgements
편집 Miranda Cumpston
Julian Higgins, Craig Ramsay, 코크란 통계방법 그룹 (Cochrane Statistical Methods
Group) 과 호주 코크란 센터 (Australasian Cochrane Centre) 의 교육자료를
원자료로 함
본 교육자료는 Cochrane Methods Board 가 승인하였음
cochrane training
Translated by Kun Hyung Kim, Hyung Sik Ahn