อคติในการเก็บข้อมูล [Information Bias]

advertisement
การบริหารจัดการข้อมู ล
ระบบเครือข่าย
โดยใช้ ScanTRIAD
่ ารพ, PhD.
รศ.ดร. บัณฑิต ถินค
(Statistics)
ผู อ
้ านวยการศู นย ์บริหารจัดการข้อมู ลและ
สนับสนุ นด้านสถิต ิ
ส่วนประกอบขององค ์ความรู ้จาก
การวิจ ัย
ความรู ้จากการวิจย
ั = ความ
่
จริง + สิงรบกวน
ความบังเอิญ
อคติ
(Random
(Bias หรือ
ผิดจากความเป็ นจริ
งไป
ผิดจากความเป็
error) นจริง
Systematic
error
อย่างเป็ นระบบ
ไปโดยบังเอิญ
) วั อย่าง [Selection เป็ นไปโดยธรรมชาติ
อคติในการเลือกต
Bias]
อคติในการเก็บข้อมู ล
Data Management
[Information Bias]
่ ยวข้
่
อคติจากปั จจ ัยต่างๆ ทีเกี
อง
่ [Confounding Bias]
่ และมี
ลดสิงรบกวนโดยการออกแบบการศึ
กษาวิจ ัยทีดี
บทบาทการบริหารจัดการข้อมู ลต่อ
องค
์ความรู
้จากการวิ
จ
ัย
่
ข้อมู ลวิเคราะห ์/แปลผล องค ์ความรู ้ทีมี
่ บมาได้ + การ
คุณภาพข้อมู ลทีเก็
่
บริหารจ ัดการข้อมู ลทีดี
คุณภาพ
ข้อมู ลผิดจากความเป็ นจริง
[All eligible subjects vs. Lost to
อย่Selection
างเป็ นระบบBias
follow-up
and
Non-response]
Information
Bias
[Validity & reliability of
tools
vs. Data management]
Confounding
Bias [All related predictors vs. wh
ข้อมู ลผิดจากความเป็ นจริง
• Cancel
โดยบั
งเอิญ out in large study
• Achieve precision by reducing
measurement
่ กเข้าใจว่า error Data entry -> Data editing &
บทบาทที
มั
ทาเพียงเท่านี ้
บทบาทที่
cleaning -> Back-up storage
Systematic Approach ------->
Systematic Approach
a Management and Statistical Supp
complete, clean data takes time, effort, and atten
่ กทีสุ
่ ดคือ Clean data ทีได้
่ จากการ
“งานทีหนั
้ั
่
Researcher + Statistician ร่วมวางแผนตงแต่
เริมโ
่ ัดเจน รวมทัง้
มี Manual of Operation ทีช
Plan
for data+analysis
Statistician
Data manager +
Programmer
ร่วมท
างานต่อไปอย่างใกล้ชด
ิ
ทุกกระบวนการให้
ม ี Documentation
Detect ปั ญหาให้เร็ว แล้วแก้ไขอย่าง สาคัญมาก
รวดเร็ว
การประกันคุณภาพ
มาตรฐานสากลในการท
าวิ
จย
ั ทางการแพทย ์
งานวิ
จ
ัย
่
ICH-GCP ดู รายละเอียดที http://www.ich.org
ICH = International Conference on Harmonisation of
Technical Requirements for Registration of
Pharmaceuticals for Human Use
GCP = Good Clinical Practice
่
่ 19
ริเริมโดย
European Union (EU), Japan, และ USA เมือ
่
หลายประเทศทัวโลกตาม
เช่น Australia; Canada; the No
่ าตาม ICH-GCP เท่านันที
้ จะไ
่
ผลิตภัณฑ ์จากผลการวิจย
ั ทีท
้ สามารถปร ับใช้ได้กบ
่ าหนดนัน
ั ทุกประเภทการว
แนวทางทีก
เป้ าหมายหลัก
Quality assurance and/or control
Prevent problems
Detect problems
Correct problems
Quality assurance elements
•
Prevention
–
–
–
–
–
–
–
Well-written protocol, manual of operations
Collection limited to essential items, uncomplicated forms,
criteria
Pre-test study forms and procedures
Investigators commitment to follow protocol
Training and certification of all staff
Data from central classification committees, specialized
equipment (calibration), central laboratories or reading
centers (internal replication; external duplication or standards)
Maintain study records; audit trails, archiving
Adopted from Shrikant I. Bangdiwala, Ph.D.
Quality assurance elements
•
Detection
–
Central monitoring of data on individual subjects:
•
•
•
–
–
Site visits: standard check-list, records audit
Comprehensive performance-monitoring reports: study
overall, by site, by staff
•
•
–
data entry system checks
logical, consistency checks
extreme values
recruitment, follow-up, adherence, completion of procedures
errors
Statistical investigations of aggregate data: by site, by staff
•
•
•
identify unusual patterns
lack of variability
unusual relationships in the data
Adopted from Shrikant I. Bangdiwala, Ph.D.
Quality assurance elements
• Correction
–
–
–
–
–
–
–
correct the errors and minimize the chance of future
occurrences
procedures must be implemented early in the study
empower individuals, committees, centers to address
problems
effect of systematic errors, bias, violations of protocol
address individual site or staff performance
redress misconduct or fraud
Document all actions
Adopted from Shrikant I. Bangdiwala, Ph.D.
RDM Processes
Data Entry Design Considerations
Design of data collection forms
้
Paper-based : ระบบบันทึกข ้อมูล, ระบบลงรหัส, ความแน่ นของเนื อหา,
ความซับซ ้อน ฯลฯ
Electronic-based : CAPI, PDA, Web-based, Applications, Optical Scan, etc
Data collection methods
่ ้ร ับกลับ, ระบบตรวจ
Self-administered ลายมือ, สภาพกระดาษทีได
่ ด, ฯลฯ
กรองค่าทีผิ
Interview
Type of projects
Single site VS Multi-center
Cross-sectional or Longitudinal
Routine data collection
Others
RDM Processes
Data Entry Design
Portal of data entry
Distributed data entry
Centralized data entry
Design of data entry interface
Direct VS Via CRF
Key punching VS Mouse clicking VS Optical scan
Spread sheet style VS WYSIWYG
Data entry, validation, and verification methods
Single VS Double data entry
Embedded validation at entry VS Validation externally
Verification tools : Paper VS Printout, Paper VS Screen,
Screen VS Screen, Two parts within a screen,
Data and images being integrated (SD and CRF can be integrated)
RDM Processes
• Data cleaning
– All variables or key variables?
– How much computerized vs manual?
– Consistency checks – across variables, across forms,
across time, across similar individuals
– Frequency and timing given rate of accumulation and
study needs
– Audit trail & documentation – ALL changes to original
data specify what, when, why, by whom
RDM Processes
• Audit trail & documentation – ALL changes to original data
specify what, when, why, by whom
• WHY?
– Monitor study integrity and quality assurance
• CC does this separately by personnel, collectively for trends
– Regulatory agencies wish to compare the information in original
data collection forms with that in reports
• Usually, sample 10% of subjects in database, 100% of data from
sampled subjects, and often 100% of subjects for key variables
• Tolerance of errors: < 25/10000 fields = 0.25%
Main Tasks
ata Management using
1. Scan
SCAN
Back Office
2. Verify
VERIFY
PURIFY
3. Purify
Front Office
้
ขันตอนการท
างาน
1.Scan
Feed
paper
Scan and
activate
OMR & ICR
Check for
image error
and fix if any
Export both
images and data
as a ZIP file
Unzip to database server
2.Verify
Login to
the client
computer
3.Purify
Login to
the client
computer
Load
data
Verify
data
Check items
with validation
warnings
Save
data
Check items
with verification
remarks
Data ready for researchers
Send data
to the
server
Check items
based on EDA
results
ScanTriad
SCANNER
ADSL
DVD Backu
INTERNET
INTRANET SERVER
2. PURIFY
Downloading station
1. VERIFY
3. DELIVER
DVD Backup
HDD-USB
ศู นย ์บริหารจัดการ
ข้อมู ลฯ
ตู น
้ ิ รภัยที่ สนง. โคร
Data Management System with Tools for
Optical Recognition, Verification, and Purification.
http://www.scantriad.com
่ ร ับจากไปรษณี ย ์
จัดเตรียมแบบสอบถามทีได้
่
จัดเป็ น Lot เพือเตรี
ยมสแกน
่
แบบสอบถาม จัดเป็ น Lot เพือเตรี
ยมส
สแกนแบบสอบถาม
สแกนแบบสอบถาม ดูให้ละเอียด
Data
Verification
Center
Data
Verification
Center
Example that data verification is
needed
Example that data verification is
needed
Example that data verification is
needed
Example that data verification is
needed
Example that data verification is
needed
Example that data verification is
needed
Example that data verification is
needed
Example that data verification is
needed
คู ม
่ อ
ื Verify
Download