รายงานความคืบหน้าวิทยานิพนธ์
วันที 23/02/66
หัวข ้อ:
ิ ธิภาพของโมเดล
1. วิธก
ี ารวัดและรายงานผลประสท
2. เอกสารอธิบาย features แต่ละตัวในข ้อมูลดิบ
____________________________________________________________________________
ิ ธิภาพของโมเดล 2 ค่า (รูปที 1) คือ
1. โปรเจคต ้นแบบรายงานประสท
1. RMSE ของ validation data ของข ้อมูลทีถูกแยกเป็ น train-validation-test split
2. 5-fold cross validation RMSE
Train RMSE
Validation
RMSE
5-Fold CV
RMSE
Feedforward Network
18.914
28.140
28.057
MPN
17.995
26.239
26.328
Baseline GCN (ไม่มี rd-kit features)
15.077
28.516
29.888
Tuned GCN (ไม่มี rd-kit features)
27.080
27.370
27.975
Baseline GCN (มี rd-kit features)
14.236
25.636
27.728
Tuned GCN (มี rd-kit features)
15.836
25.121
26.943
โครงสร้างโมเดล
ิ ธิภาพของโมเดลต่างๆ จากโปรเจคต ้นแบบ
รูปที 1 ตารางรายงานประสท
ึ
่ เดียวกับโปรเจคต ้นแบบแต่เปลียน
ซงจากการทดลองรั
นโค ้ดเพือเทรนโมเดล neural network เชน
seed number ในการแยก train-validation-split ต่างๆ จํานวน 10 รอบ พบว่า
1. ค่า variance ของ validation error และ test error ของโมเดลเมือเรียนรู ้ด ้วยชุดข ้อมูลต่างๆ มีคา่
สูง (รูปที 2A)
2. Rank ของโมเดลในแต่ละชุดข ้อมูลไม่เหมือนกัน (รูปที 2A)
3. ชุดข ้อมูลทีโปรเจคต ้นแบบใชมี้ คา่ test error ตํากว่า validation error ในทุกโมเดลทีเทรน(รูปที
ึ นเรืองผิดธรรมชาติ ทังนีอาจเกิดจากการที test data มีความคล ้ายคลึงกับ train data
2B) ซงเป็
มากกว่า validation data โดยบังเอิญ
จากผลลัพธ์ด ้านบนสามารถสรุปได ้ว่า การวัดและรายงานผลบนชุดข ้อมูลเดียวอาจทําให ้การวิเคราะห์ผล
้
คลาดเคลือน หรือ หากใชผลดั
งกล่าวในการคัดเลือกโมเดล โมเดลทีเลือกจะแตกต่างกันในแต่ละชุดข ้อมูล
ดังนัน ผมจึงคิดว่าจะไม่รายงานผล RMSE บนชุดข้อมูลเดียว จะว ัดและรายงานผลเฉพาะ 5-fold
Cross validation score คร ับ
รูปที 2A validation error และ test error เมือเทรนโมเดล neural network บนชุดข ้อมูลต่างๆ
รูปที 2B แสดง validation error และ test error บนชุดข ้อมูล (splits) ต่างๆ ของแต่ละโมเดล neural
้ ฟ
ี ้ า) test error ตํากว่า validation error ในทุก
network จะเห็นได ้ว่าบนชุดข ้อมูลทีโปรเจคต ้นแบบใช ้ (เสนส
ึ นเรืองผิดธรรมชาติ ในขณะทีบนชุดข ้อมูลอืนๆ สว่ นมากจะมี test score สูงกว่า validation
โมเดล ซงเป็
score ตามทฤษฏี
2. ค่า 5-fold cross validation score สามารถวัดได ้อย่างน ้อย 2 แบบคือ
ิ ธิภาพของโมเดลด ้วย
1. Flat 5-fold cross validation score (อัลกอริทม
ึ ในรูปที 3A) รายงานประสท
ชุด hyperparameters ทีดีทสุ
ี ด
2. Nested 5-fold cross validation (อัลกอริทม
ึ ในรูปที 3B) หาชุด optimal hyperparameters ใน
inner loop ก่อน แล ้วจึงวัดและรายงานผลโดยการประเมินผลบนชุดข ้อมูลทีเก็บไว ้ใน outer loop
รูปที 3A flat cross-validation algorithm, รูปที 3B nested cross-validation algorithm
การวัดผลแบบที 1 มีแนวโน ้มจะ bias (ในทางทีจะให ้ค่าทีดีกว่าความเป็ นจริง) เนืองจากชุดข ้อมูลทีใช ้
้
ประเมินผลเหมือนกับถูกใชในการ
tune hyperparameter ด ้วย ในขณะทีการวัดผลแบบที 2 ให ้ผลทีใกล ้
้
เคียงความเป็ นจริง แต่ต ้องใชเวลาในการเทรนโมเดลมากกว่
าหลายเท่าเทียบกับแบบที 1 เนืองจากจํานวน
โมเดลทีต ้องเทรนมีจํานวนมากกว่า จึงขอสอบถามอาจารย์วา่ ค่า 5-fold Cross validation score ควร
ว ัดและรายงานต ัวไหนคร ับ
่ น
3. ข้อมูลดิบทีอยูใ่ นโฟลเดอร์ของน้องไม่มอ
ี ธิบายว่า features แต่ละต ัวคืออะไร (รูปที 4) ข้อมูลสว
นีสามารถขอจากใครได้ไหมคร ับ
Name
nBondsM
NsCH3
MPC4
n11Ring
n5aHRing
n11AHRing
n8FaRing
n5FAHRing
Melting
point
nBondsKS
NdCH2
MPC5
n12Ring
n6aHRing
n12AHRing
n9FaRing
n6FAHRing
SMILES
nBondsKD
NssCH
2
MPC6
nG12Ring
n7aHRing
nG12AHRin
g
n10FaRing
n7FAHRing
ABC
C1SP1
NtCH
MPC7
nHRing
n8aHRing
nFRing
n11FaRing
n8FAHRing
ABCGG
C2SP1
NdsCH
MPC8
n3HRing
n9aHRing
n4FRing
n12FaRing
n9FAHRing
รูปที 4 ตัวอย่าง features บางสว่ นในไฟล์ข ้อมูลดิบ