Γ
ραμμι
κάΜοντέ
λακαιΣχε
δι
ασμός
& Ανάλ
υσηΠε
ι
ραμάτ
ων
Αλ
έ
ξ
ανδροςΚαραγρηγορί
ου,
Καθηγητ
ής
Πανε
πι
στ
ήμι
οΑι
γαί
ου
ΕμμανουήλΝε
κτ
άρι
οςΚαλλι
γέ
ρης
,
Δι
δάκτ
ωρ
Πανε
πι
στ
ήμι
οΑι
γαί
ου
Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων
με Εφαρμογές σε R και Minitab
Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων
με Εφαρμογές σε R και Minitab
Αλέξανδρος Καραγρηγορίου
Καθηγητής
Πανεπιστήμιο Αιγαίου
Εμμανουήλ Νεκτάριος Καλλιγέρης
Διδάκτωρ
Πανεπιστήμιο Αιγαίου
ΚΑΛΛΙΠΟΣ
ΑΝΟΙΚΤΕΣ ΑΚΑΔΗΜΑΪΚΕΣ ΕΚΔΟΣΕΙΣ
www.kallipos.gr
Τίτλος πρωτοτύπου: «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές σε R και Minitab»
Copyright © 2023, ΚΑΛΛΙΠΟΣ, ΑΝΟΙΚΤΕΣ ΑΚΑΔΗΜΑΪΚΕΣ ΕΚΔΟΣΕΙΣ
Το παρόν έργο διατίθεται με τους όρους της άδειας Creative Commons Αναφορά Δημιουργού – Μη Εμπορική Χρήση – Παρόμοια Διανομή 4.0. Για να δείτε τους όρους της άδειας αυτής επισκεφτείτε τον ιστότοπο
https://creativecommons.org/licenses/by‐nc‐sa/4.0/legalcode.el
Αν τυχόν κάποιο τμήμα του έργου διατίθεται με διαφορετικό καθεστώς αδειοδότησης, αυτό αναφέρεται ρητά
και ειδικώς στην οικεία θέση.
Συντελεστές έκδοσης
Γλωσσική επιμέλεια:
Ευγενία Παξινού
Τεχνική επεξεργασία:
Δημήτριος Καρατζίδης
ΚΑΛΛΙΠΟΣ
Εθνικό Μετσόβιο Πολυτεχνείο
Ηρώων Πολυτεχνείου 9
15780 Ζωγράφου
www.kallipos.gr
Βιβλιογραφική αναφορά:
Διαθέσιμο στο:
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (2023). Γραμμικά Μοντέλα
και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές σε R και Minitab
[Προπτυχιακό εγχειρίδιο]. Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές
Εκδόσεις.
http://dx.doi.org/10.57713/kallipos-70
ISBN:
978-618-5667-84-9
Αφιερώνεται στην Ίλια και στη Χριστιάνα.
Α. Καραγρηγορίου
Αφιερώνεται στη μητέρα μου, Αριστέα, και στους φίλους μου, Θανάση και
Κίμωνα.
Ε. Ν. Καλλιγέρης
ΠΕΡΙΕΧΟΜΕΝΑ
Πίνακας Συντομεύσεων - Ακρωνυμίων
xv
Πρόλογος
xvii
1
Εισαγωγή στη Στατιστική Ανάλυση
1
2
Απλή Γραμμική Παλινδρόμηση
2.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Ευθεία παλινδρόμησης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Απλό γραμμικό μοντέλο και προϋποθέσεις . . . . . . . . . . . . . . . . . . . . . .
2.4 Εκτιμητές ελαχίστων τετραγώνων . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5 Το θεώρημα Gauss-Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 Πίνακας ανάλυσης διακύμανσης (ANOVA) . . . . . . . . . . . . . . . . . . . . .
2.7 Συντελεστής προσδιορισμού R2 και συντελεστής γραμμικής συσχέτισης . . . . . .
2.8 Έλεγχος υποθέσεων, διαστήματα εμπιστοσύνης και πρόβλεψη . . . . . . . . . . . .
2.8.1 Έλεγχος υποθέσεων . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.8.2 Διαστήματα εμπιστοσύνης . . . . . . . . . . . . . . . . . . . . . . . . .
2.8.2.1
Διάστημα εμπιστοσύνης για τους συντελεστές παλινδρόμησης .
2.8.2.2
Διάστημα εμπιστοσύνης για τη συνάρτηση παλινδρόμησης . . .
2.8.2.3
Διάστημα εμπιστοσύνης για την πρόβλεψη νέων παρατηρήσεων
2.9 Εφαρμογές στην R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.10 Άλυτες ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
6
6
12
14
19
21
24
28
28
29
29
30
31
32
42
Βιβλιογραφία
45
3
47
48
48
51
52
54
Πολλαπλή Παλινδρόμηση
3.1 Εισαγωγή . . . . . . . . . . . . . . . . . . .
3.2 Πολλαπλό γραμμικό μοντέλο και προϋποθέσεις
3.3 Εκτιμητές ελαχίστων τετραγώνων . . . . . . .
3.4 Πίνακας ανάλυσης διακύμανσης (ANOVA) . .
3.5 Το θεώρημα Gauss-Markov . . . . . . . . . .
i
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ii
ΠΕΡΙΕΧΟΜΕΝΑ
3.6
3.7
3.8
3.9
3.10
Εκτιμήτριες μεγίστης πιθανοφάνειας . . . . . . . . . . . . . . . . . . . . . . . . . .
Προσαρμοσμένος συντελεστής προσδιορισμού και συντελεστής μερικού προσδιορισμού
Έλεγχος υποθέσεων, διαστήματα εμπιστοσύνης και πρόβλεψη . . . . . . . . . . . . . .
Εφαρμογές στην R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Άλυτες ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
57
58
59
60
69
Βιβλιογραφία
73
4
75
76
76
77
78
79
80
81
81
81
82
83
87
88
90
91
99
Διαγνωστικοί Έλεγχοι Προϋποθέσεων Γραμμικού Μοντέλου Παλινδρόμησης
4.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Μη γραμμικότητα και μετασχηματισμοί . . . . . . . . . . . . . . . . . .
4.3 Έλεγχος κανονικότητας των σφαλμάτων . . . . . . . . . . . . . . . . .
4.3.1 Ο έλεγχος Kolmogorov-Smirnov για ένα δείγμα . . . . . . . . .
4.3.1.1
Ο έλεγχος Κανονικότητας του Lilliefors . . . . . . .
4.3.2 Ο έλεγχος Anderson-Darling για ένα δείγμα . . . . . . . . . . .
4.3.3 Ο έλεγχος Shapiro-Wilk για ένα δείγμα . . . . . . . . . . . . .
4.3.4 Ακραίες τιμές . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4 Έλεγχος ανεξαρτησίας των σφαλμάτων . . . . . . . . . . . . . . . . . .
4.5 Έλεγχος ομοσκεδαστικότητας των σφαλμάτων . . . . . . . . . . . . . .
4.6 F έλεγχος έλλειψης καλής προσαρμογής . . . . . . . . . . . . . . . . .
4.7 Box-Cox μετασχηματισμοί . . . . . . . . . . . . . . . . . . . . . . . .
4.8 Επηρεάζουσες παρατηρήσεις . . . . . . . . . . . . . . . . . . . . . . .
4.9 Συνέπειες παραβίασης προϋποθέσεων παλινδρόμησης . . . . . . . . . . .
4.10 Εφαρμογές στην R . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.11 Άλυτες ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Βιβλιογραφία
101
5
103
104
104
105
105
105
105
106
106
Κριτήρια Αξιολόγησης Μοντέλων
5.1 Εισαγωγή . . . . . . . . . . . . .
5.2 Κριτήριο Rp2 . . . . . . . . . . .
5.3 Κριτήρια F P Ep και AICp . . . .
5.4 Κριτήριο BICp . . . . . . . . . .
5.5 Εναλλακτικά κριτήρια αξιολόγησης
2
5.5.1 Κριτήριο M SEp ή Radj,p
5.5.2 Κριτήριο Cp . . . . . . .
5.6 Εφαρμογές στην R . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Βιβλιογραφία
109
6
111
112
114
117
118
119
120
121
124
Ειδικά Θέματα Παλινδρόμησης
6.1 Έξτρα (ή διαδοχικά) αθροίσματα τετραγώνων . .
6.2 Έλεγχοι υποθέσεων . . . . . . . . . . . . . . .
6.3 Εκτιμητές σταθμισμένων ελαχίστων τετραγώνων
6.4 Πολυσυγγραμμικότητα . . . . . . . . . . . . .
6.5 Συντελεστής διόγκωσης της διακύμανσης (VIF)
6.6 Ψευδομεταβλητές . . . . . . . . . . . . . . . .
6.7 Εφαρμογή στην R . . . . . . . . . . . . . . . .
6.8 Άλυτες ασκήσεις . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ΠΕΡΙΕΧΟΜΕΝΑ
iii
Βιβλιογραφία
127
7
129
130
131
134
136
137
137
140
143
144
144
145
145
146
147
148
149
149
149
150
151
160
160
161
162
Ανάλυση Διακύμανσης κατά έναν Παράγοντα
7.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2 Πλήρως Τυχαιοποιημένο Σχέδιο . . . . . . . . . . . . . . . . . . . . . . . . . .
7.3 Γραφική ανάλυση μέσων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.4 Μονοπαραγοντική ανάλυση διακύμανσης . . . . . . . . . . . . . . . . . . . . . .
7.4.1 Πρότυπο σταθερών επιδράσεων . . . . . . . . . . . . . . . . . . . . . .
7.4.1.1
Εκτίμηση και έλεγχος υποθέσεων . . . . . . . . . . . . . . . .
7.4.1.2
Διαστήματα εμπιστοσύνης . . . . . . . . . . . . . . . . . . .
7.4.2 Πρότυπο τυχαίων επιδράσεων . . . . . . . . . . . . . . . . . . . . . . .
7.5 Μελέτη πολλαπλών συγκρίσεων . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.5.1 Διαστήματα Fisher LSD . . . . . . . . . . . . . . . . . . . . . . . . . .
7.5.2 Διαστήματα Bonferroni . . . . . . . . . . . . . . . . . . . . . . . . . .
7.5.3 Διαστήματα Tukey . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.5.4 Διαστήματα Dunnett . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.6 Ανάλυση καταλοίπων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.6.1 Γραφικές μέθοδοι ανάλυσης καταλοίπων . . . . . . . . . . . . . . . . . .
7.6.2 Στατιστικές μέθοδοι ανάλυσης καταλοίπων . . . . . . . . . . . . . . . . .
7.6.2.1
Οι έλεγχοι A-D, K-S και S-W . . . . . . . . . . . . . . . . . .
7.6.2.2
Ο Wald-Wolfowitz έλεγχος των ροών . . . . . . . . . . . . .
7.6.2.3
Οι έλεγχοι Bartlett και Levene για την ισότητα των διασπορών .
7.7 Εφαρμογές στο Minitab και την R . . . . . . . . . . . . . . . . . . . . . . . . . .
7.8 Σχόλια και χρήσιμες σημειώσεις . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.8.1 Σχόλια και χρήσιμες σημειώσεις - Minitab . . . . . . . . . . . . . . . . .
7.8.2 Σχόλια και χρήσιμες σημειώσεις - R . . . . . . . . . . . . . . . . . . . . .
7.9 Άλυτες ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Βιβλιογραφία
165
8
167
168
169
172
172
172
174
175
177
180
186
186
191
199
203
204
209
225
225
Σχεδιασμός Πειραμάτων
8.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.2 Σχέδιο τυχαιοποιημένων πλήρων ομάδων (μεταβλητές πλαισίου) . . . . . . . . . . . . .
8.2.1 Πρότυπα σταθερών και τυχαίων επιδράσεων . . . . . . . . . . . . . . . . . . .
8.2.1.1
Πρότυπο σταθερών επιδράσεων . . . . . . . . . . . . . . . . . . .
8.2.1.2
Εκτίμηση και έλεγχος υποθέσεων . . . . . . . . . . . . . . . . . . .
8.2.1.3
Κλασικά διαστήματα εμπιστοσύνης και πολλαπλές συγκρίσεις . . . .
8.2.1.4
Πρότυπο τυχαίων επιδράσεων . . . . . . . . . . . . . . . . . . . .
8.2.2 Αναπλήρωση χαμένων/ελλειπουσών μετρήσεων . . . . . . . . . . . . . . . . .
8.3 Σχέδιο Λατινικού Τετραγώνου . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.4 Διπαραγοντικά πειράματα πλήρους τυχαιοποίησης (Διπαραγοντική ανάλυση διακύμανσης)
8.4.1 Πρότυπο με και χωρίς αλληλεπίδραση . . . . . . . . . . . . . . . . . . . . . .
8.4.2 Πρότυπο σταθερών επιδράσεων . . . . . . . . . . . . . . . . . . . . . . . . .
8.4.3 Πρότυπο τυχαίων επιδράσεων . . . . . . . . . . . . . . . . . . . . . . . . . .
8.4.4 Πρότυπο μεικτών επιδράσεων . . . . . . . . . . . . . . . . . . . . . . . . . .
8.4.5 Πρότυπο με μεταβλητές πλαισίου και σχέδια Λατινικού Τετραγώνου . . . . . . .
8.5 Εφαρμογές στο Minitab και στην R . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.6 Σχόλια και χρήσιμες σημειώσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.6.1 Σχόλια και χρήσιμες σημειώσεις - Minitab . . . . . . . . . . . . . . . . . . . .
iv
ΠΕΡΙΕΧΟΜΕΝΑ
8.7
8.6.2 Σχόλια και χρήσιμες σημειώσεις - R . . . . . . . . . . . . . . . . . . . . . . . . 227
Άλυτες ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
Βιβλιογραφία
231
9
233
234
235
240
241
242
248
249
253
263
264
265
282
282
Πειράματα f Παραγόντων με 2 επίπεδα
9.1 2f παραγοντικά πειράματα . . . . . . . . . . . . . . . . . .
9.1.1 Το 22 παραγοντικό πείραμα . . . . . . . . . . . . .
9.1.2 Το 23 παραγοντικό πείραμα . . . . . . . . . . . . .
9.1.3 Η γενική περίπτωση του 2f παραγοντικού πειράματος
9.1.4 Το πρότυπο της παλινδρόμησης . . . . . . . . . . .
9.2 Κλασματικά παραγοντικά πειράματα . . . . . . . . . . . . .
9.2.1 Σύγχυση και ανάλυση (διακριτική ικανότητα) . . . .
9.2.2 Κλάσματα ενός δευτέρου πλήρους τυχαιοποίησης . .
9.2.3 Κλάσματα μικρότερα του ενός δευτέρου . . . . . . .
9.2.4 Σχεδιασμοί ομαδοποίησης . . . . . . . . . . . . . .
9.3 Εφαρμογές στο Minitab . . . . . . . . . . . . . . . . . . . .
9.4 Σχόλια και χρήσιμες σημειώσεις - Minitab . . . . . . . . . .
9.5 Άλυτες ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Βιβλιογραφία
285
10 Ειδικά Θέματα Ανάλυσης Διακύμανσης
10.1 f - Παραγοντική ανάλυση διακύμανσης . . . . . . . . . . . . . . . . . . . .
10.2 Μη παραμετρική ανάλυση διακύμανσης . . . . . . . . . . . . . . . . . . . .
10.3 Ανάλυση συνδιακύμανσης . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.3.1 Ανάλυση συνδιακύμανσης σε πλήρως τυχαιοποιημένο σχεδιασμό . . .
10.3.2 Ανάλυση συνδιακύμανσης με έναν παράγοντα και μεταβλητή πλαισίου
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Βιβλιογραφία
11 Εισαγωγή στα Γενικευμένα Γραμμικά Μοντέλα
11.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2 Το μη γραμμικό μοντέλο . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2.1 Γενικό πρότυπο . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2.2 Εκτίμηση παραμέτρων μη γραμμικού μοντέλου . . . . . . . . . .
11.3 Πρότυπο γενικευμένου γραμμικού μοντέλου . . . . . . . . . . . . . . .
11.3.1 Εκτιμητής μέγιστης πιθανοφάνειας . . . . . . . . . . . . . . . .
11.4 Έλεγχος υποθέσεων και διαστήματα εμπιστοσύνης - Ο έλεγχος κατά Wald
11.4.1 Λ - τεστ λόγου πιθανοφανειών . . . . . . . . . . . . . . . . . .
11.4.2 Έλεγχος κατά Wald . . . . . . . . . . . . . . . . . . . . . . .
11.4.3 Σύνολα εμπιστοσύνης . . . . . . . . . . . . . . . . . . . . . .
11.5 Έλεγχοι καλής προσαρμογής . . . . . . . . . . . . . . . . . . . . . . .
11.5.1 Deviance . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.5.2 χ2 - έλεγχοι καλής προσαρμογής . . . . . . . . . . . . . . . . .
11.5.2.1 Ο έλεγχος κατά Pearson . . . . . . . . . . . . . . .
11.5.2.2 Ο έλεγχος κατά Hosmer και Lemeshow . . . . . . .
11.5.3 Ψευδο-συντελεστής προσδιορισμού R2 . . . . . . . . . . . . . .
11.6 Το δίτιμο λογιστικό μοντέλο παλινδρόμησης . . . . . . . . . . . . . . .
11.6.1 Εκτίμηση παραμέτρων . . . . . . . . . . . . . . . . . . . . . .
287
288
294
300
300
306
307
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
309
310
310
310
310
311
312
314
314
315
316
316
316
319
319
320
321
321
322
ΠΕΡΙΕΧΟΜΕΝΑ
11.6.2 Ερμηνεία συντελεστών δίτιμου λογιστικού μοντέλου παλινδρόμησης
11.7 Το Poisson μοντέλο παλινδρόμησης . . . . . . . . . . . . . . . . . . . . .
11.7.1 Εκτίμηση παραμέτρων . . . . . . . . . . . . . . . . . . . . . . .
11.7.2 Ερμηνεία συντελεστών Poisson μοντέλου παλινδρόμησης . . . . .
11.7.3 Poisson μοντέλο παλινδρόμησης με αντιστάθμιση . . . . . . . . .
11.8 Επεκτάσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.8.1 Γραμμικά μεικτά μοντέλα . . . . . . . . . . . . . . . . . . . . . .
11.8.2 Γενικευμένα γραμμικά μεικτά μοντέλα . . . . . . . . . . . . . . .
11.9 Εφαρμογές στην R . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
v
323
325
325
326
326
327
327
327
327
Βιβλιογραφία
333
Παραρτήματα
335
Α Απαντήσεις Ασκήσεων Αυτοαξιολόγησης
Α.1 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 2 . . . . . . . . . . . . . . .
Α.2 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 3 . . . . . . . . . . . . . . .
Α.3 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 4 . . . . . . . . . . . . . . .
Α.4 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 5 - Ενότητα 5.4 . . . . . . . .
Α.5 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 5 - Ενότητα 5.5 . . . . . . . .
Α.6 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 7 . . . . . . . . . . . . . . .
Α.7 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 8 . . . . . . . . . . . . . . .
Α.8 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.1 . . . . . . . .
Α.9 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.1 . . . . . . .
Α.10 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.2 - 1η Άσκηση
Α.11 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.2 - 2η Άσκηση
Α.12 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.3 . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
337
337
337
338
338
339
339
339
340
341
341
341
342
.
.
.
.
.
.
.
.
.
.
343
343
343
344
344
345
345
345
346
346
346
Εισαγωγή στο Minitab
Α.13 Λήψη και Εγκατάσταση
Α.14 Διεπαφή χρήστη . . . .
Α.15 Γραμμή εργαλειών . . .
Α.15.1 File . . . . . .
Α.15.2 Edit . . . . .
Α.15.3 Data . . . . .
Α.15.4 Calc . . . . .
Α.15.5 Stat . . . . .
Α.15.6 Graph . . . .
Α.16 Φύλλο εργασίας . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Β Εγκαθιστώντας την R και το R-Studio
349
Β.1 Λήψη και Εγκατάσταση . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Β.2 Η διεπαφή χρήστη του R-Studio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Πίνακες Ποσοστιαίων Σημείων
351
vi
ΠΕΡΙΕΧΟΜΕΝΑ
ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ
7
8
9
10
12
14
26
2.9
Σκεδασμογραφήματα πιθανών μορφών συσχέτισης μεταξύ X και Y . . . . . . . . . . . .
Σκεδασμογράφημα των X και Y χωρίς (α) και με (β)προσαρμογή κατάλληλης καμπύλης.
Κατανομή της Y για τρεις διαφορετικές τιμές της X. . . . . . . . . . . . . . . . . . . .
Το Απλό Γραμμικό Μοντέλο Παλινδρόμησης. . . . . . . . . . . . . . . . . . . . . . . .
Το απλό γραμμικό μοντέλο παλινδρόμησης . . . . . . . . . . . . . . . . . . . . . . . .
Σφάλματα (αποστάσεις) μεταξύ παρατηρήσεων και ευθείας παλινδρόμησης . . . . . . . .
Διάγραμμα διασποράς Πίνακα 2.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Διάγραμμα διασποράς μεταξύ X και Y με προσαρμογή της εκτιμώμενης ευθείας παλινδρόμησης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
98% Δ.Π. για το Y0 όταν x0 = 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1
Πολλαπλό μοντέλο παλινδρόμησης με 2 ανεξάρτητες μεταβλητές . . . . . . . . . . . . .
49
4.1
4.2
4.3
4.4
4.5
4.6
4.7
Γραφική διερεύνηση γραμμικότητας . . . . . . . . . . . .
Γραφική διερεύνηση ανεξαρτησίας . . . . . . . . . . . . .
Γραφική διερεύνηση ομοσκεδαστικότητας . . . . . . . . .
Συνιστώσες σφάλματος - Απλό γραμμικό μοντέλο . . . . .
Γραφική διερεύνηση ανεξαρτησίας . . . . . . . . . . . . .
Γραφική διερεύνηση ομοσκεδαστικότητας . . . . . . . . .
Συμπεριφορά log - πιθανοφάνειας για διάφορες τιμές του λ
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
77
82
83
87
93
95
98
7.1
7.2
7.3
7.4
7.5
7.6
7.7
ANOVA Πρότυπο - Αντοχή . . . . . . . . . . . . .
ANOVA Πρότυπο - Αντοχή . . . . . . . . . . . . .
Διάγραμμα Κουκκίδων - Σωλήνες Πίεσης . . . . . .
Διερεύνηση Κανονικότητας - Σωλήνες Πίεσης . . .
Διερεύνηση Ομοσκεδαστικότητας - Σωλήνες Πίεσης
Γραφική Διερεύνηση Ανεξαρτησίας - Σωλήνες Πίεσης
Ανάλυση Μέσων, α = 5% - Σωλήνες Πίεσης . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
135
136
152
156
157
157
159
8.1
8.2
8.3
Διάγραμμα Κουκκίδων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Διάγραμμα Κύριων Επιδράσεων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Διάγραμμα Αλληλεπιδράσεων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
vii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
36
42
viii
ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ
8.4
8.5
8.6
8.7
8.8
Πολλαπλές Συγκρίσεις Tukey 95% Διαστήματα Εμπιστοσύνης - Αντοχή .
Πολλαπλές Συγκρίσεις Tukey 94.5% Διαστήματα Εμπιστοσύνης - Αντοχή
Πολλαπλές Συγκρίσεις Dunnett 95% Διαστήματα Εμπιστοσύνης - Αντοχή
Διάγραμμα Κύριων Επιδράσεων - Σωλήνες . . . . . . . . . . . . . . . .
Διάγραμμα Αλληλεπιδράσεων - Σωλήνες . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
213
214
215
218
219
10.1 Boxplot Friedman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
Β.1
Διεπαφή χρήστη Minitab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
2.12
Τιμές 10 ζευγών παρατηρήσεων (xi , yi ). . . . . . . . . . . . . . . . . . . . .
Τιμές 5 παρατηρήσεων (xi1 , xi2 , yi ) . . . . . . . . . . . . . . . . . . . . . .
Τιμές 15 παρατηρήσεων (xi1 , xi2 , yi ) . . . . . . . . . . . . . . . . . . . . . .
Πίνακας ANOVA Απλής Γραμμικής Παλινδρόμησης . . . . . . . . . . . . . .
Τιμές 17 ζευγών παρατηρήσεων (xi , yi ) . . . . . . . . . . . . . . . . . . . . .
Υπολογισμός ποσοτήτων για τον προσδιορισμό του r . . . . . . . . . . . . . .
Χωρία απόρριψης της μηδενικής υπόθεσης για τους συντελεστές παλινδρόμησης
Τιμές 11 ζευγών παρατηρήσεων (xi , yi ) . . . . . . . . . . . . . . . . . . . . .
Τιμές 6 ζευγών παρατηρήσεων (xi , yi ) . . . . . . . . . . . . . . . . . . . . .
Ημιτελής Πίνακας ANOVA Άσκησης 9 . . . . . . . . . . . . . . . . . . . . .
Τιμές 10 ζευγών παρατηρήσεων (xi , yi ) . . . . . . . . . . . . . . . . . . . . .
Τιμές 10 ζευγών παρατηρήσεων (xi , yi ) . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
11
11
22
25
27
29
32
37
43
44
44
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
Πίνακας ANOVA Πολλαπλής Γραμμικής Παλινδρόμησης . . . . . . . . . . . .
Χωρία απόρριψης της μηδενικής υπόθεσης για τους συντελεστές παλινδρόμησης
Τιμές 6 παρατηρήσεων (xi1 , xi2 , yi ) . . . . . . . . . . . . . . . . . . . . . .
Τιμές 25 παρατηρήσεων (xi1 , xi2 , yi ) . . . . . . . . . . . . . . . . . . . . . .
Τιμές 11 παρατηρήσεων (xi1 , xi2 , yi ) . . . . . . . . . . . . . . . . . . . . . .
Τιμές 8 παρατηρήσεων (xi1 , xi2 , yi ) . . . . . . . . . . . . . . . . . . . . . .
Τιμές 5 ζευγών παρατηρήσεων (t, yi ) . . . . . . . . . . . . . . . . . . . . . .
Τιμές 16 παρατηρήσεων (xi1 , xi2 , yi ) . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
53
59
61
65
69
70
70
71
4.1
4.2
4.3
4.4
4.5
4.6
4.7
Τιμές 11 ζευγών παρατηρήσεων (xi , yi ) .
Τιμές 10 ζευγών παρατηρήσεων (xi , yi ) .
Πίνακας ANOVA . . . . . . . . . . . .
Συνήθεις μετασχηματισμοί Box − Cox
Τιμές 9 παρατηρήσεων (xi1 , xi2 , yi ) . .
Τιμές 8 ζευγών παρατηρήσεων (xi , yi ) .
Τιμές 18 ζευγών παρατηρήσεων (xi , yi ) .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 85
. 86
. 86
. 87
. 96
. 99
. 100
5.1
Τιμές AIC και BIC μοντέλων slm.1 και slm.2 . . . . . . . . . . . . . . . . . . . . . 108
.
.
.
.
.
.
.
ix
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
x
ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
6.1
6.2
6.3
6.4
Τιμές 13 παρατηρήσεων (xi1 , xi2 , xi3 , xi4 , yi ) . . .
Τιμές SSR και SSE μοντέλων Α έως Ε . . . . . . . .
Πίνακας ANOVA − Έξτρα αθροίσματα τετραγώνων
Τιμές 12 ζευγών παρατηρήσεων (xi , yi ) . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
112
113
114
125
7.1
7.2
7.3
7.4
7.5
7.6
7.7
7.8
7.9
7.10
7.11
7.12
7.13
7.14
7.15
7.16
7.17
7.18
7.19
7.20
7.21
Πίνακας Δεδομένων - Πλήρως Τυχαιοποιημένο Σχέδιο . . . . . . . . . . . . . .
Πίνακας ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Παράδειγμα Σύγκρισης 4 γραμμών παραγωγής - Βασική Γραφική Ανάλυση Μέσων
Πίνακας ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Παράδειγμα - Δεδομένα σύγκρισης 4 γραμμών παραγωγής . . . . . . . . . . . .
Πίνακας ANOVA - Δεδομένα σύγκρισης 4 γραμμών παραγωγής . . . . . . . . .
Πίνακας Δεδομένων - 3 πληθυσμοί . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας ANOVA - 3 πληθυσμοί . . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας Δεδομένων - Σωλήνες Πίεσης . . . . . . . . . . . . . . . . . . . . . .
Πίνακας ANOVA - Σωλήνες Πίεσης . . . . . . . . . . . . . . . . . . . . . . .
Πολλαπλές Συγκρίσεις Tukey - Σωλήνες Πίεσης . . . . . . . . . . . . . . . . .
Διερεύνηση Ομοσκεδαστικότητας - Σωλήνες Πίεσης . . . . . . . . . . . . . . .
Στατιστική Διερεύνηση Ανεξαρτησίας - Σωλήνες Πίεσης . . . . . . . . . . . . .
One-way ANOVA - Χρήσιμες εντολές στην R . . . . . . . . . . . . . . . . . .
Σύνολο Δεδομένων 1 - Παράγοντας A . . . . . . . . . . . . . . . . . . . . . .
Σύνολο Δεδομένων 2 - Παράγοντας B . . . . . . . . . . . . . . . . . . . . . .
Σύνολο Δεδομένων 3 - Παράγοντας C . . . . . . . . . . . . . . . . . . . . . .
Σύνολο Δεδομένων 4 - Παράγοντας D . . . . . . . . . . . . . . . . . . . . . .
Σύνολο Δεδομένων 5 - Παράγοντας E . . . . . . . . . . . . . . . . . . . . . .
Σύνολο Δεδομένων 6 - Παράγοντας F . . . . . . . . . . . . . . . . . . . . . .
Σύνολο Δεδομένων 7 - Παράγοντας G . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
132
134
135
138
139
139
141
142
151
153
154
156
158
162
162
163
163
163
163
163
164
8.1
8.2
8.3
Τυχαιοποιημένος Τμηματικός Σχεδιασμός Πλήρων Ομάδων . . . . . . . . . . . . . . .
Πίνακας ANOVA - Τυχαιοποιημένος Τμηματικός Σχεδιασμός Πλήρων Ομάδων . . . . .
Πίνακας ANOVA - Τυχαιοποιημένος Τμηματικός Σχεδιασμός Πλήρων Ομάδων - Σταθερές
Επιδράσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας Δεδομένων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Αναθεωρημένος Πίνακας ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4 × 4 Σχέδιο Λατινικού Τετραγώνου . . . . . . . . . . . . . . . . . . . . . . . . . . .
5 × 5 Σχέδιο Λατινικού Τετραγώνου . . . . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας Δεδομένων - 5 × 5 Σχέδιο Λατινικού Τετραγώνου . . . . . . . . . . . . . . . .
Πίνακας ANOVA - m × m Σχέδιο Λατινικού Τετραγώνου . . . . . . . . . . . . . . . .
Πίνακας ANOVA - 5 × 5 Σχέδιο Λατινικού Τετραγώνου . . . . . . . . . . . . . . . . .
Πίνακας Δεδομένων - Διπαραγοντική Ανάλυση με ή χωρίς Αλληλεπίδραση . . . . . . . .
Πίνακας Δεδομένων - Γραφικές Μέθοδοι . . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας ANOVA - Διπαραγοντική Ανάλυση με Αλληλεπίδραση - Σταθερές Επιδράσεις . .
Πίνακας ANOVA - Διπαραγοντική Ανάλυση χωρίς Αλληλεπίδραση - Σταθερές Επιδράσεις
Πίνακας Δεδομένων - Διπαραγοντική Ανάλυση - Σταθερές Επιδράσεις . . . . . . . . . .
Πίνακας ANOVA - Με Αλληλεπίδραση . . . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας ANOVA - Χωρίς Αλληλεπίδραση . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας Δεδομένων - Διπαραγοντική Ανάλυση - Τυχαίες Επιδράσεις . . . . . . . . . . .
Πίνακας ANOVA - Διπαραγοντική Ανάλυση - Τυχαίες Επιδράσεις . . . . . . . . . . . .
Variance Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
170
171
8.4
8.5
8.6
8.7
8.8
8.9
8.10
8.11
8.12
8.13
8.14
8.15
8.16
8.17
8.18
8.19
8.20
8.21
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
173
178
178
179
181
182
182
183
185
187
189
192
194
195
196
197
201
202
203
ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
xi
8.22 Πίνακας ANOVA- Διπαραγοντική Ανάλυση με Αλληλεπίδραση και Μεταβλητή Πλαισίου
8.23 Πίνακας ANOVA - Διπαραγοντική Ανάλυση με Αλληλεπίδραση σε Σχέδιο Λατινικού Τετραγώνου . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.24 Πίνακας Δεδομένων - Λατινικό Τετράγωνο . . . . . . . . . . . . . . . . . . . . . . . .
8.25 Πίνακας ANOVA - Λατινικό Τετράγωνο . . . . . . . . . . . . . . . . . . . . . . . . .
8.26 Πίνακας Δεδομένων - Λατινικό Τετράγωνο - Εναλλακτικό Πρότυπο . . . . . . . . . . . .
8.27 Πίνακας Δεδομένων - Αντοχή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.28 Πίνακας Δεδομένων - Αντοχή - Λατινικό Τετράγωνο . . . . . . . . . . . . . . . . . . .
8.29 Πίνακας ANOVA - Αντοχή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.30 ANOVA Συντελεστές - Αντοχή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.31 Πολλαπλές Συγκρίσεις Tukey - Αντοχή . . . . . . . . . . . . . . . . . . . . . . . . . .
8.32 Πολλαπλές Συγκρίσεις Tukey 95% Διαστήματα Εμπιστοσύνης - Αντοχή . . . . . . . . .
8.33 Πολλαπλές Συγκρίσεις Dunnett - Αντοχή . . . . . . . . . . . . . . . . . . . . . . . . .
8.34 Πολλαπλές Συγκρίσεις Dunnett 95% Διαστήματα Εμπιστοσύνης - Αντοχή . . . . . . . .
8.35 Πίνακας ANOVA - 3 × 3 Λατινικό Τετράγωνο - Αντοχή . . . . . . . . . . . . . . . . .
8.36 Πίνακας Δεδομένων (2 επαναλήψεις ανά θεραπεία) - Σωλήνες . . . . . . . . . . . . . .
8.37 Πίνακας ANOVA - Σταθερές Επιδράσεις - Σωλήνες . . . . . . . . . . . . . . . . . . .
8.38 ANOVA Συντελεστές - Σταθερές Επιδράσεις - Σωλήνες . . . . . . . . . . . . . . . . . .
8.39 Πολλαπλές Συγκρίσεις Tukey A - Σωλήνες . . . . . . . . . . . . . . . . . . . . . . . .
8.40 Πολλαπλές Συγκρίσεις Tukey B - Σωλήνες . . . . . . . . . . . . . . . . . . . . . . . .
8.41 Πίνακας ANOVA - Τυχαίες Επιδράσεις - Σωλήνες . . . . . . . . . . . . . . . . . . . . .
8.42 Εκτιμητές Συνιστωσών Διασποράς - Τυχαίες Επιδράσεις - Σωλήνες . . . . . . . . . . . .
8.43 Πίνακας ANOVA - Μεικτό Πρότυπο - Σωλήνες . . . . . . . . . . . . . . . . . . . . . .
8.44 Εκτιμητές Συνιστωσών Διασποράς - Μεικτό Πρότυπο - Σωλήνες . . . . . . . . . . . . .
8.45 Μέσες Τιμές Επιπέδων - Μεικτό Πρότυπο - Σωλήνες . . . . . . . . . . . . . . . . . . .
8.46 Τwo-way ANOVA - Χρήσιμες εντολές στην R . . . . . . . . . . . . . . . . . . . . . .
8.47 Σύνολο Δεδομένων 1 - Παράγοντας Α - Μεταβλητή Πλαισίου O . . . . . . . . . . . . .
8.48 Σύνολο Δεδομένων 2 - Παράγοντας Α - Μεταβλητή Πλαισίου O . . . . . . . . . . . . .
8.49 Σύνολο Δεδομένων 3 - Παράγοντας Α - Μεταβλητή Πλαισίου O . . . . . . . . . . . . .
8.50 Σύνολο Δεδομένων 4 - Παράγοντας Α - Μεταβλητή Πλαισίου O . . . . . . . . . . . . .
8.51 Σύνολο Δεδομένων 5 - Παράγοντας Ενδιαφέροντος - Μεταβλητές Πλαισίου O και OO . .
8.52 Σύνολο Δεδομένων 6 - A και B (3 επαναλήψεις ανά θεραπεία) . . . . . . . . . . . . . .
8.53 Σύνολο Δεδομένων 7 - A και B (5 επαναλήψεις ανά θεραπεία) . . . . . . . . . . . . . .
205
Πίνακας Δεδομένων - 22 Παραγοντικό Πείραμα με n = 4 επαναλήψεις . . . . . . . . . .
Πίνακας Αλγεβρικών Προσήμων - 22 Παραγοντικό Πείραμα με n = 4 επαναλήψεις . . .
Πίνακας ANOVA - Παράδειγμα 22 Παραγοντικό Πείραμα με n = 4 επαναλήψεις . . . .
Θεραπείες στο 23 Παραγοντικό Πείραμα . . . . . . . . . . . . . . . . . . . . . . . . .
Πίνακας Αλγεβρικών Προσήμων στο 23 Παραγοντικό Πείραμα . . . . . . . . . . . . . .
Πίνακας Μεταβλητών Παλινδρόμησης στο 22 Παραγοντικό Πείραμα . . . . . . . . . . .
Πίνακας Μεταβλητών Παλινδρόμησης στο 23 Παραγοντικό Πείραμα . . . . . . . . . . .
Πίνακας Δεδομένων - Ανάλυση Παλινδρόμησης - 22 Παραγοντικό με 4 επαναλήψεις . . .
Συντελεστές Παλινδρόμησης - 22 Παραγοντικό Πείραμα . . . . . . . . . . . . . . . . .
Πίνακας Δεδομένων στο 23 Παραγοντικό Πείραμα με n = 2 επαναλήψεις . . . . . . . .
Συντελεστές Παλινδρόμησης - 23 Παραγοντικό Πείραμα . . . . . . . . . . . . . . . . .
Συντελεστές Παλινδρόμησης - 23 Παραγοντικό Πείραμα (Τροποποιημένο) . . . . . . . .
Πίνακας Αλγεβρικών Προσήμων στο 23 Παραγοντικό Πείραμα . . . . . . . . . . . . . .
Πίνακας Αλγεβρικών Προσήμων στο 23−1 Κλασματικό Παραγοντικό Πείραμα - 1η περίπτωση . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
235
238
239
240
241
242
243
244
244
246
247
247
249
9.1
9.2
9.3
9.4
9.5
9.6
9.7
9.8
9.9
9.10
9.11
9.12
9.13
9.14
206
207
208
208
209
210
211
211
212
213
214
215
216
217
219
220
221
222
223
223
224
225
225
227
227
228
228
228
228
229
229
250
xii
ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
9.15 Πίνακας Αλγεβρικών Προσήμων στο 23−1 Κλασματικό Παραγοντικό Πείραμα - 2η περίπτωση . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
9.16 Πίνακας Αλγεβρικών Προσήμων στο 23 Παραγοντικό Πείραμα - 3η περίπτωση . . . . . . 251
9.17 Παραλλαγές στο 23−1 Παραγοντικό Πείραμα - Προσδιορίζουσα I = AC . . . . . . . . 252
9.18 Παραλλαγές στο 23−1 Παραγοντικό Πείραμα - 4η περίπτωση - Προσδιορίζουσα I = ABC 252
9.19 Πίνακας Αλγεβρικών Προσήμων - Προσδιορίζουσα I = BCD . . . . . . . . . . . . . . 255
9.20 Θεραπείες - Προσδιορίζουσα I = BCD . . . . . . . . . . . . . . . . . . . . . . . . . 256
9.21 Θεραπείες - Προσδιορίζουσα I = BCD . . . . . . . . . . . . . . . . . . . . . . . . . 256
9.22 Παραλλαγές στο 24−1 Παραγοντικό Πείραμα - Προσδιορίζουσα I = BCD . . . . . . . 257
9.23 Πίνακας Αλγεβρικών Προσήμων - Προσδιορίζουσα I = ABCDE . . . . . . . . . . . 258
9.24 Πίνακας Αλγεβρικών Προσήμων - Προσδιορίζουσα I = ABCDE . . . . . . . . . . . 260
9.25 Πίνακας ANOVA - Παράδειγμα 25−1 Κλασματικό Παραγοντικό Πείραμα . . . . . . . . 260
9.26 Πίνακας ANOVA - 25−1 Κλασματικό Παραγοντικό Πείραμα με Αλληλεπιδράσεις . . . . 261
9.27 Πίνακας ANOVA - 25−1 Κλασματικό Παραγοντικό Πείραμα - Σημαντικές Κύριες Επιδράσεις 262
9.28 Εκτιμητές Συντελεστών Παλινδρόμησης & Επιδράσεων - 25−1 Κλασματικό Παραγοντικό
Πείραμα με Αλληλεπιδράσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
9.29 Πίνακας Δεδομένων - Μονάδα Παραγωγής - n = 4 επαναλήψεις . . . . . . . . . . . . . 266
9.30 Πίνακας ANOVA - Μονάδα Παραγωγής . . . . . . . . . . . . . . . . . . . . . . . . . 267
9.31 Συντελεστές ANOVA - Μονάδα Παραγωγής . . . . . . . . . . . . . . . . . . . . . . . 268
9.32 Μέσες Τιμές Επιπέδων - Μονάδα Παραγωγής . . . . . . . . . . . . . . . . . . . . . . . 269
9.33 Πίνακας ANOVA - Σημαντικές Επιδράσεις - Μονάδα Παραγωγής . . . . . . . . . . . . 269
9.34 Κωδικοποίηση Επιπέδων Παραγόντων - Μονάδα Παραγωγής . . . . . . . . . . . . . . 271
9.35 Συντελεστές Παλινδρόμησης - Μονάδα Παραγωγής . . . . . . . . . . . . . . . . . . . 272
9.36 Συντελεστές Παλινδρόμησης - Σημαντικές Επιδράσεις - Μονάδα Παραγωγής . . . . . . 272
9.37 Πίνακας Αλγεβρικών Προσήμων - Μονάδα Παραγωγής - Προσδιορίζουσα I = ABCD . 274
9.38 24−1 Κλασματικός Σχεδιασμός - Προσδιορίζουσα I = ABCD . . . . . . . . . . . . . 275
9.39 24−1 Κλασματικός Σχεδιασμός - Παραλλαγές - Προσδιορίζουσα I = ABCD . . . . . . 276
9.40 Πίνακας Δεδομένων - Μονάδα Παραγωγής - 23 κλάσμα - Προσδιορίζουσα I = ABCD . 276
9.41 24−1 Κλασματικός Σχεδιασμός - ANOVA - Προσδιορίζουσα I = ABCD . . . . . . . . 277
9.42 Θεραπείες - Μονάδα Παραγωγής - Προσδιορίζουσα I = BCD . . . . . . . . . . . . . 278
9.43 Παραλλαγές στο 24−1 Παραγοντικό Πείραμα - Μονάδα Παραγωγής - Προσδιορίζουσα
I = BCD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
9.44 24−1 Κλασματικός Σχεδιασμός - Προσδιορίζουσα I = BCD . . . . . . . . . . . . . . 280
9.45 24−1 Κλασματικός Σχεδιασμός - Παραλλαγές - Προσδιορίζουσα I = BCD . . . . . . . 281
9.46 24−1 Κλασματικός Σχεδιασμός - ANOVA Προσδιορίζουσα I = BCD . . . . . . . . . . 281
9.47 Συγκριτικός Πίνακας - Πλήρες Πείραμα και Κλασματικά Πειράματα . . . . . . . . . . . 282
9.48 Σύνολο Δεδομένων - Πέντε Παράγοντες . . . . . . . . . . . . . . . . . . . . . . . . . 284
10.1 Πίνακας Δεδομένων στο 32 Παραγοντικό Πείραμα με n = 1 . . . . . . . . . . . . . . .
10.2 Παλινδρόμηση - Εκτίμηση Συντελεστών - Παράδειγμα 32 Παραγοντικό Πείραμα . . . . .
10.3 Πίνακας ANOVA - Παλινδρόμηση - Παράδειγμα 32 Παραγοντικό Πείραμα . . . . . . .
10.4 Πίνακας Δεδομένων στο 32 Παραγοντικό Πείραμα με n = 2 επαναλήψεις . . . . . . . .
10.5 Παλινδρόμηση - Εκτίμηση Συντελεστών - Παράδειγμα 32 Παραγοντικό Πείραμα . . . . .
10.6 Πίνακας ANOVA Παλινδρόμηση - Παράδειγμα 32 Παραγοντικό Πείραμα . . . . . . . .
10.7 Πίνακας ANOVA - Διπαραγοντική Ανάλυση με Αλληλεπίδραση - 32 Παραγοντικό Πείραμα
10.8 Πίνακας Δεδομένων - Παράδειγμα Kruskal - Wallis . . . . . . . . . . . . . . . . . . .
10.9 Πίνακας Δεδομένων και Τάξεων - Παράδειγμα Kruskal - Wallis . . . . . . . . . . . . .
10.10 Αποτελέσματα Ελέγχου Kruskal-Wallis . . . . . . . . . . . . . . . . . . . . . . . . . .
10.11 Δεδομένα - Παράδειγμα Friedman . . . . . . . . . . . . . . . . . . . . . . . . . . . .
289
290
291
292
293
293
294
297
297
297
298
ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
xiii
10.12 Περιγραφικά Χαρακτηριστικά - Παράδειγμα Friedman . . . . . . . . . . . . . . . . . .
10.13 Αποτελέσματα Ελέγχου Friedman . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.14 Πίνακας ANCOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.15 Πίνακας Δεδομένων - Πωλήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.16 Πίνακας ANCOVA - Πωλήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.17 Πίνακας ANCOVA - Πωλήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.18 Συντελεστές Προτύπου - Πωλήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.19 Πίνακας Αθροισμάτων Τετραγώνων - ANCOVA (2 παράγοντες, αλληλεπίδραση, 1 ομάδα)
299
299
302
304
304
305
305
306
11.1 Στοιχεία κανονικής μορφής γνωστών κατανομών . . . . . . . . . . . . . . . . . . . . . 312
11.2 Συνήθεις συναρτήσεις σύνδεσης γνωστών κατανομών . . . . . . . . . . . . . . . . . . . 313
11.3 Πιθανοφάνεια κορεσμένου γενικευμένου γραμμικού μοντέλου κάτω από διάφορες κατανομές 319
Α.1 3 × 3 Σχέδιο Λατινικού Τετραγώνου 1η περίπτωση . . . . . . . . . . . . . . . . . . . . 339
Α.2 3 × 3 Σχέδιο Λατινικού Τετραγώνου 2η περίπτωση . . . . . . . . . . . . . . . . . . . . 340
Α.3 Πίνακας ANOVA - Παράδειγμα 23 Παραγοντικό Πείραμα με n = 2 επαναλήψεις . . . . 340
Β.1
Β.2
Β.3
Β.4
Β.5
Β.6
Β.7
Β.8
Β.9
Β.10
Διακριτές κατανομές . . . . . . . . . . . . . . . .
Συνεχείς κατανομές . . . . . . . . . . . . . . . . .
Αθροιστική συνάρτηση τυπικής κανονικής κατανομής
Ποσοστιαία σημεία tn;α . . . . . . . . . . . . . . .
2
Ποσοστιαία σημεία Xn;α
. . . . . . . . . . . . . . .
Ποσοστιαία σημεία Fn,m;0.1 . . . . . . . . . . . .
Ποσοστιαία σημεία Fn,m;0.05 . . . . . . . . . . . .
Ποσοστιαία σημεία Fn,m;0.025 . . . . . . . . . . .
Ποσοστιαία σημεία Fn,m;0.01 . . . . . . . . . . . .
Ποσοστιαία σημεία Kolmogorov-Smirnov Dn (α) .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
352
353
354
355
356
357
358
359
360
361
xiv
ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
ΠΙΝΑΚΑΣ ΣΥΝΤΟΜΕΥΣΕΩΝ - ΑΚΡΩΝΥΜΙΩΝ
xv
xvi
ΠΙΝΑΚΑΣ ΣΥΝΤΟΜΕΥΣΕΩΝ - ΑΚΡΩΝΥΜΙΩΝ
β.ε.
ΓΓΜ
ΓΜΜ
ΓΓΜΜ
Δ.Ε.
Δ.Π.
ΕΕΤ
ΕΜΠ
Θ.δ.ό.
ΣΣΕ
τ.μ.
A-D
AIC
ANOVA
BIC/SIC
BLUE
Cp
CL
FPE
IDE
K-S
K-W
LDL
LSD
MLE
OLS
P-P Plot
Q-Q Plot
SR
SR*
SRsemi
S-W
UDL
VIF
SSx
MSx
SSR/MSR
SSE/MSE
SSTO
SST /MST
SSPE/MSPE
SSLF/MSPLF
βαθμοί ελευθερίας
Γενικευμένα Γραμμικά Μοντέλα
Γραμικά Μικτά Μοντέλα
Γενικευμένα Γραμμικά Μικτά Μοντέλα
Διάστημα Εμπιστοσύνης
Διάστημα Πρόβλεψης
Εκτιμητής Ελαχίστων Τετραγώνων
Εκτιμητής Μεγίστης Πιθανοφάνειας
Θα δειχθεί ότι
Στατιστική Συνάρτηση Ελέγχου
Τυχαία Μεταβλητή
Anderson-Darling Test
Akaike Information Criterion
Analysis of Variance
Bayesian/Schwarz Information Criterion
Best Linear Unbiased Estimator
Mallows’ Criterion
Central Line
Final Prediction Error Criterion
Integrated Development Environment
Kolmogorov - Smirnov Test
Kruskal - Wallis Test
Lower Decision Limit
Least Significant Difference
Maximum Likelihood Estimator
Ordinary Least Squares (Estimator)
Probability-Probability Plot
Quantile-Quantile Plot
Standardized Residuals
Studentized Residuals
Semi-Studentized Residuals
Shapiro-Wilk Test
Upper Decision Limit
Variance Inflation Factor
Sum of Squares due to x (=A, B, AB, C, O)
Mean Squared Error due to x (=A, B, AB, C, O)
Sum of Squares due to Regression/Mean Square due to Regression
Sum of Squared Errors/Mean Squared Error
Total Sum of Squares
Sum of Squares due to Treatments /Mean Square due to Treatments
Sum of Squares of Pure Error /Mean Squared Pure Error
Sum of Squares of Lack-of-Fit /Mean Square Lack-of-Fit
ΠΡΟΛΟΓΟΣ
Το βιβλίο αυτό έχει στόχο να αποτελέσει διδακτικό εγχειρίδιο τόσο για φοιτητές των οποίων το αντικείμενο
σπουδών είναι η Στατιστική, ο Πειραματικός Σχεδιασμός και η Ανάλυση Δεδομένων, όσο και για φοιτητές
που σπουδάζουν επιστήμες όπου η Στατιστική αποτελεί βασικό εργαλείο (Στατιστικής) Ανάλυσης.
Σημειώνεται ότι το παρόν σύγγραμμα μπορεί να χρησιμοποιηθεί τόσο σε ανώτερο προπτυχιακό όσο και σε μεταπτυχιακό επίπεδο και προϋποθέτει βασικές γνώσεις στατιστικής συμπερασματολογίας (Εκτιμητική, Έλεγχοι Υποθέσεων, Διαστήματα Εμπιστοσύνης). Ταυτόχρονα, η χρησιμότητα του βιβλίου ξεπερνά τον ακαδημαϊκό χώρο και μπορεί να αποτελέσει χρήσιμο εργαλείο για τον Εφαρμοσμένο Ερευνητή (Practitioner) σε
πληθώρα επιστημονικών πεδίων όπου βρίσκει εφαρμογή η Στατιστική, συμπεριλαμβανομένης της Διοικητικής Επιστήμης, των Επιστημών Υγείας, των Κοινωνικο-Οικονομικών Επιστημών, των Επιστημών του Μηχανικού, των Γεωπονικών και Γεωφυσικών Επιστημών κ.ά.
Η συγγραφή του βιβλίου αυτού έχει βασιστεί στις διαλέξεις συναφών πανεπιστημιακών μαθημάτων του 1ου
και 2ου κύκλου σπουδών που οι συγγραφείς έχουν διδάξει στο Πανεπιστήμιο Maryland, στο Πανεπιστήμιο
Κύπρου, στο Ελληνικό Ανοικτό Πανεπιστήμιο και στο Πανεπιστήμιο Αιγαίου.
Η ύλη του συγγράμματος απλώνεται σε 11 κεφάλαια, εκ των οποίων τα πρώτα 6 αφορούν την Ανάλυση Παλινδρόμησης, τα επόμενα 4 την Ανάλυση Διακύμανσης και τον Σχεδιασμό & Ανάλυση Πειραμάτων και το
τελευταίο, τα Γενικευμένα Γραμμικά Μοντέλα. Κάθε κεφάλαιο συνοδεύεται από εφαρμογές στην R ή/και στο
Minitab, Ασκήσεις Αυτοαξιολόγησης, καθώς και Άλυτες Ασκήσεις οι οποίες στοχεύουν στην κάλυψη όλου
του εύρους της θεματολογίας που έχει αναπτυχθεί. Πολλά από τα δεδομένα των εφαρμογών, αλλά και των άλυτων ασκήσεων, αφορούν προβλήματα που έχουν τεθεί ως θέματα εργαστηριακών ή/και γραπτών εξετάσεων
σε διάφορα Πανεπιστήμια που δίδαξαν οι συγγραφείς. Στη βιβλιογραφία αναφέρονται οι σημαντικότερες ελληνόγλωσσες και ξενόγλωσσες πηγές που αφορούν το επιστημονικό πεδίο που πραγματεύεται το σύγγραμμα,
στις οποίες μπορεί να ανατρέξει ο αναγνώστης για περαιτέρω εμβάθυνση.
Σημαντικοί στατιστικοί πίνακες, απαραίτητοι για την εφαρμογή των τεχνικών και μεθόδων που καλύπτει
το σύγγραμμα, καθώς και μία εισαγωγή στην R και το Minitab, παρατίθενται στο Παράρτημα. Επιπλέον,
στο πλαίσιο του παρόντος εγχειριδίου κατασκευάστηκε ένα φιλικό προς τον χρήστη διαδικτυακό εργαλείο
εύρεσης ποσοστιαίων σημείων, καθώς και υπολογισμού πιθανοτήτων. Το link για το εργαλείο μπορείτε να το
βρείτε πατώντας εδώ.
xvii
xviii
ΠΡΟΛΟΓΟΣ
Οι συγγραφείς θα ήθελαν από τη θέση αυτή να ευχαριστήσουν όλους τους φοιτητές τους οποίους είχαν την
τύχη να γνωρίσουν μέσα από τις Πανεπιστημιακές διαλέξεις τους, όλα αυτά τα χρόνια, οι οποίοι συνέβαλαν
και συνεχίζουν να συμβάλλουν καθοριστικά στη διαμόρφωση της διδακτικής/παιδευτικής τους προσέγγισης.
Ιδιαίτερες ευχαριστίες απευθύνονται στη συνάδελφο κα Σόνια Μαλεφάκη, Καθηγήτρια του Πανεπιστημίου
Πατρών, για την κριτική ανάγνωση του συγγράμματος, στον συνάδελφο κο Χρήστο Χρήστου του Οργανισμού Ανοικτών Τεχνολογιών του Πανεπιστημίου Αιγαίου (fossaegean), για τη σχεδίαση και επιμέλεια του
εξωφύλλου αλλά και για τη συνεχή στήριξή του, καθώς και στη συνάδελφο κα Ευγενία Παξινού για τη γλωσσική επιμέλεια του συγγράμματος.
Παρά την προσεκτική ανάγνωση και επιμέλεια των κεφαλαίων, είναι πιθανό να υπάρχουν κάποια τυπογραφικά
ή/και άλλα λάθη. Για όποιες αστοχίες την ευθύνη φέρουμε ακέραια οι συγγραφείς, και παρακαλείστε να μας τις
υποδείξετε μαζί με όποια σχόλια ή εισηγήσεις, στις ηλεκτρονικές διευθύνσεις alex.karagrigoriou@gmail.com
και Burgundyekalligeres@gmail.com.
Τέλος, θα θέλαμε να συγχαρούμε την ομάδα του Έργου ΚΑΛΛΙΠΟΣ+ για την ιδέα και υλοποίηση της διεύρυνσης της βάσης Ανοικτών Ηλεκτρονικών Ακαδημαϊκών Συγγραμμάτων, καλύπτοντας μια τόσο ευρεία γκάμα
επιστημονικών πεδίων.
Αλέξανδρος Καραγρηγορίου & Εμμανουήλ Νεκτάριος Καλλιγέρης
Καρλόβασι, Σάμος, Ελλάδα
Μάιος, 2022
ΚΕΦΑΛΑΙΟ 1
ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει τον βασικό ορισμό, τη σημασία και τη χρησιμότητα της στατιστικής
ανάλυσης όσον αφορά τόσο τη στατιστική συμπερασματολογία όσο και τη στατιστική μοντελοποίηση.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και κατανόηση βασικών πιθανοθεωρητικών και στατιστικών όρων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• αντιλαμβάνεται τη σημασία και τη χρησιμότητα της στατιστικής ανάλυσης, καθώς και από τι
αυτή συνίσταται,
• αντιλαμβάνεται τις τρεις πτυχές της στατιστικής συμπερασματολογίας,
• αντιλαμβάνεται την ανάγκη μοντελοποίησης δηλαδή της επιλογής ενός κατάλληλου στατιστικού μοντέλου, μέσω της στατιστικής ανάλυσης.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
2
ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ
Η σημασία του όρου «ανάλυση» μπορεί να είναι αφηρημένη, όπως όταν αναφερόμαστε στην ανάλυση ενός
γεγονότος ή στην ανάλυση μιας υπόθεσης, ή μπορεί να έχει πιο συγκεκριμένη μορφή, όπως όταν αναφερόμαστε στη χημική ανάλυση, στη βιοϊατρική ανάλυση κτλ. Σε οποιαδήποτε όμως μορφή του, ο όρος «ανάλυση»
δηλώνει τη βαθύτερη κατανόηση κάποιου θέματος ή κάποιου φαινομένου, και μέσω αυτής την κατανόηση του
μηχανισμού που το διέπει, την εξαγωγή συμπερασμάτων ή πορισμάτων ή/και την αξιοποίησή τους για σκοπούς πρόβλεψης ή πρόγνωσης. Το βασικό πρόβλημα της όποιας ανάλυσης αφορά την αδυναμία του Ερευνητή
να αξιοποιήσει το σύνολο των μονάδων/στοιχείων (πληθυσμός) που θα μπορούσαν δυνητικά να ληφθούν
υπόψη για τη μελέτη του υπό εξέταση φαινομένου. Διέξοδο στην προαναφερθείσα αδυναμία, η οποία συχνά
έγκειται στην έλλειψη πόρων ή/και χρόνου, δίνει η Στατιστική επιτρέποντας την αξιοποίηση ενός κατάλληλου υποσυνόλου του πληθυσμού το οποίο, εφόσον είναι αξιόπιστο και αμερόληπτο και άρα αντιπροσωπευτικό
του πληθυσμού, αρκεί, ώστε να εξαχθούν συμπεράσματα τα οποία μπορούν να αναχθούν στον συνολικό πληθυσμό.
Ορισμός 1.1. Ως Στατιστική ορίζεται η Επιστήμη όπου διατυπώνονται τα αξιώματα και η μεθοδολογία που διέπουν:
α) τον σχεδιασμό και τον τρόπο συλλογής δεδομένων - πληροφοριών,
β) την οργάνωση, ταξινόμηση, κατανομή και ανάλυση δεδομένων και
γ) τη διατύπωση συμπερασμάτων και πορισμάτων, καθώς και τη λήψη αποφάσεων.
Η Στατιστική αποτελεί την επιστήμη που διέπει όλες τις πτυχές της στατιστικής ανάλυσης. Αν και για πολλά
χρόνια ήταν αποκλειστικά συνδεδεμένη με την ανάλυση δεδομένων, τους τελευταίους 2 αιώνες αναπτύχθηκε
ραγδαία για να ικανοποιήσει τις ανάγκες που δημιουργήθηκαν από τον σχεδιασμό, τη συλλογή, την οργάνωση και την ανάλυση των δεδομένων σχετικών με διάφορες ανθρώπινες ή μη δραστηριότητες. Σήμερα, μετά
τα γιγαντιαία βήματα του 20ού αιώνα, η Στατιστική καταπιάνεται με τον Σχεδιασμό Πειραμάτων (Design of
Experiments), την Περιγραφική Στατιστική (Descriptive Statistics) καθώς και τη Στατιστική Συμπερασματολογία (Inferential Statistics) για ένα σύνολο (Πληθυσμός). Για την επίτευξη των ανωτέρω, η Στατιστική
βασίζεται σε πληροφορίες που προέρχονται και συλλέγονται από ένα κατάλληλο υποσύνολο (Δείγμα) του
συνόλου, δηλαδή του πληθυσμού.
Η Στατιστική Συμπερασματολογία υποδιαιρείται σε τρεις κλάδους:
1. Εκτίμηση με Σημείο ή Σημειοεκτιμητική (Point Estimation) – Προσεγγιστικός υπολογισμός άγνωστων
ποσοτήτων ή χαρακτηριστικών (παραμέτρων) του πληθυσμού.
2. Εκτίμηση με Διάστημα (Interval Estimation)– Κατασκευή διαστημάτων εμπιστοσύνης τα οποία περιλαμβάνουν με μεγάλη πιθανότητα άγνωστες ποσότητες (χαρακτηριστικά) του πληθυσμού.
3. Έλεγχος Υποθέσεων (Hypotheses Testing)– Αποδοχή ή απόρριψη εικασιών σχετικών με άγνωστες
ποσότητες (χαρακτηριστικά) του υπό εξέταση πληθυσμού.
Μεταξύ των στόχων της Στατιστικής περιλαμβάνεται και ο προσδιορισμός του στατιστικού μοντέλου, δηλαδή
η αναζήτηση μιας μαθηματικής σχέσης (έστω προσεγγιστικής) που να αποτελεί τον μηχανισμό που παράγει
ένα φαινόμενο ή μια διεργασία και άρα τα σχετικά δεδομένα. Για παράδειγμα, σε πολλά πρακτικά προβλήματα
(όπως στη Διοικητική Επιστήμη, την Οικονομία, τη Μηχανολογία, τις Κοινωνικές και Πολιτικές Επιστήμες,
τις Επιστήμες Περιβάλλοντος και τις Γεωεπιστήμες, τις Βιολογικές Επιστήμες κλπ.) δύο ή και περισσότερες
μεταβλητές εμφανίζουν κάποιου είδους σχέση, που σε κάποιες περιπτώσεις μπορεί να είναι και έντονη. Στην
περίπτωση που μια από τις μεταβλητές είναι ιδιαίτερου ενδιαφέροντος, τότε μπορεί ο Ερευνητής να επιχειρήσει την αναζήτηση κατάλληλου μοντέλου το οποίο να εκμεταλλεύεται τη σχέση των εμπλεκόμενων μεταβλητών με σκοπό είτε να μπορέσει να περιγράψει όσο πιο αποτελεσματικά γίνεται το υπό εξέταση φαινόμενο (τη
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
3
μεταβλητή ενδιαφέροντος) είτε να προβεί σε προβλέψεις της μεταβλητής ενδιαφέροντος. Στις πλείστες των
περιπτώσεων, ο Ερευνητής αναζητά ένα απλό και ευέλικτο μοντέλο το οποίο να είναι εύκολα αξιοποιήσιμο
αλλά συγχρόνως να είναι σε θέση να ερμηνεύει ικανοποιητικά τα πειραματικά δεδομένα.
Ταυτόχρονα, στο πλαίσιο βελτιστοποίησης της μοντελοποίησης, συχνά αναγνωρίζονται νέες ελεγχόμενες
(προβλέπουσες) μεταβλητές (ποσοτικές ή μη) που αναφέρονται με τον όρο παράγοντες ή ανεξάρτητες μεταβλητές, και η εμπλοκή τους στην υπό εξέταση διεργασία επιδρά καθοριστικά στη μεταβλητή ενδιαφέροντος
ή μεταβλητή απόκρισης (εξαρτημένη μεταβλητή). Έτσι, συχνά απαιτείται ο σχεδιασμός κατάλληλων πειραμάτων που να λαμβάνουν υπόψη τους τις ελεγχόμενες αυτές μεταβλητές, με στόχο τον καθορισμό των κατάλληλων συνδυασμών των τιμών τους που θα οδηγήσουν στη βελτιστοποίηση της μεταβλητής απόκρισης
(μεγιστοποίηση επιθυμητής απόδοσης ή ελαχιστοποίηση μη αποδεκτής απόδοσης). Γενικά, η έννοια της μοντελοποίησης αφορά ένα σύνολο λειτουργιών (των εμπλεκόμενων παραγόντων) που συνδυάζονται ιδανικά
ώστε τα εισερχόμενα (input variables, ελεγχόμενες ή ανεξάρτητες μεταβλητές, παράγοντες) σε μια διεργασία να οδηγήσουν σε χρήσιμα εξερχόμενα (output variable, μεταβλητή απόκρισης). Θα πρέπει να τονιστεί
ότι αν προσεχθεί η φάση του πειραματικού σχεδιασμού τα οφέλη που θα προκύψουν μπορεί να είναι τεράστια.
Για τη μεγιστοποίηση των ωφελημάτων αρκεί να αξιοποιηθεί όλη η προτέρα γνώση ή αλλιώς όλη η διαθέσιμη
πληροφορία που συνήθως πρέπει να «εξαχθεί», και να αξιοποιηθεί από το σύνολο διαθέσιμων δεδομένων τα
οποία θα πρέπει να έχουν συλλεχθεί με τρόπο αξιόπιστο και έγκυρο και ταυτόχρονα να είναι τα κατάλληλα για
τη μελέτη του συγκεκριμένου προβλήματος. Σημειώνεται ότι η σαφής διατύπωση του προβλήματος και η εις
βάθος κατανόησή του, διευκολύνει τον σωστό σχεδιασμό και τη συλλογή των κατάλληλων δεδομένων, η ανάλυση των οποίων μπορεί να συμβάλει καθοριστικά στην αποτύπωση συμπερασμάτων με ουσιαστικά οφέλη. Η
αξιοποίηση της τεχνολογίας στην τρέχουσα εποχή των Μεγάλης Κλίμακας Δεδομένων (Big Data) διευρύνει
τις δυνατότητες του Ερευνητή ώστε αυτός να δύναται με προηγμένες τεχνικές να αξιοποιήσει τον τεράστιο
όγκο των διαθέσιμων δεδομένων και με την πληροφορία που θα συλλέξει από αυτά να βελτιώσει τη διαδικασία
μοντελοποίησης είτε αυτή απαιτείται για σκοπούς περιγραφής ενός φαινομένου ή μιας διεργασίας είτε αυτή
απαιτείται για σκοπούς πρόβλεψης.
Ανάμεσα στην πληθώρα τεχνικών και μεθόδων που είναι διαθέσιμες για τη Στατιστική Ανάλυση και την εύρεση ενός στατιστικού μοντέλου, περιλαμβάνονται η Ανάλυση Γραμμικής Παλινδρόμησης και ο Σχεδιασμός και
Ανάλυση Πειραμάτων (συμπεριλαμβανομένης και της Ανάλυσης Διακύμανσης), με τις οποίες και καταπιάνεται
το παρόν εγχειρίδιο. Οι στόχοι του εγχειριδίου περιλαμβάνουν:
(α) τη σκιαγράφηση της διερεύνησης σχέσεων μεταξύ χαρακτηριστικών ενός φαινομένου ή μιας διεργασίας, και της χρησιμότητας της ανάλυσης παλινδρόμησης, παρουσιάζοντας στην πράξη τα κύρια χαρακτηριστικά και τις εφαρμογές της στην πράξη,
(β) τη σκιαγράφηση της χρησιμότητας του πειραματικού σχεδιασμού, παρουσιάζοντας τα βασικά στοιχεία
και τις βασικές αρχές που διέπουν τα διάφορα πειραματικά σχέδια (πλάνα), συμπεριλαμβανομένης της
κλασικής Ανάλυσης Διακύμανσης.
Η ανάλυση παλινδρόμησης που αποτελεί το πρώτο μέρος του παρόντος συγγράμματος περιλαμβάνει τις μεθόδους και τεχνικές της Στατιστικής που αφορούν και σχετίζονται με τις σχέσεις μεταξύ μεταβλητών. Ταυτόχρονα, παρουσιάζονται και μελετώνται σε θεωρητικό και εφαρμοσμένο επίπεδο, τα πρότυπα (μοντέλα)
παλινδρόμησης που συνδέουν την τυχαία παρατήρηση της μεταβλητής απόκρισης με τους εμπλεκόμενους
παράγοντες και τα τυχαία σφάλματα. Τα πρότυπα αυτά είναι πιθανοτικά πρότυπα που αντικατοπτρίζουν την
αντίληψη που έχει ο Ερευνητής για τη σχέση μεταξύ των εμπλεκόμενων μεταβλητών είτε αυτή είναι ορατή και
προφανής είτε είναι λιγότερο προφανής, αλλά ο βαθμός σχέσης εκτιμάται/προσδοκάται ότι είναι σημαντικά
υψηλός.
Η ανάλυση διακύμανσης και ο σχεδιασμός πειραμάτων, που αποτελούν το δεύτερο και κυριότερο μέρος του
4
ΕΙΣΑΓΩΓΗ ΣΤΗ ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ
παρόντος συγγράμματος, περιλαμβάνουν μια πλειάδα πειραματικών σχεδίων (δειγματοληπτικών πλάνων)
για κάλυψη όλων των δυνατών περιπτώσεων που μπορεί να χρειαστεί να εφαρμόσει ο Ερευνητής. Η ενότητα
περιλαμβάνει τις μεθόδους και τεχνικές της Στατιστικής για την ανάλυση των πειραματικών αυτών σχεδίων,
αναδεικνύοντας τις πρακτικές προεκτάσεις τους.
ΚΕΦΑΛΑΙΟ 2
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει και μελετά το πρότυπο απλής γραμμικής παλινδρόμησης, καθώς και τις προϋποθέσεις που το διέπουν.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση βασικών εννοιών στατιστικής συμπερασματολογίας, με έμφαση στην εκτιμητική και τους ελέγχους υποθέσεων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου, ο αναγνώστης αναμένεται να:
• εφαρμόζει το απλό γραμμικό μοντέλο παλινδρόμησης και να αντιλαμβάνεται και να κατανοεί
τις προϋποθέσεις που πρέπει να πληρούνται για την εφαρμογή του,
• εκτιμά της αναγκαίες παραμέτρους συμπεριλαμβανομένης της κατασκευής διαστημάτων εμπιστοσύνης και της διεξαγωγής ελέγχων υποθέσεων,
• κατασκευάζει τον κατάλληλο πίνακα ανάλυσης διακύμανσης,
• υπολογίζει και να ερμηνεύει τη συσχέτιση μεταξύ των εμπλεκόμενων μεταβλητών και να σχεδιάζει το διάγραμμα διασποράς τους,
• να εφαρμόζει το πρότυπο απλής γραμμικής παλινδρόμησης με τη χρήση στατιστικών πακέτων.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
6
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
2.1 Εισαγωγή
Τα Γενικευμένα Γραμμικά Μοντέλα (ΓΓΜ) είναι μία περιοχή της Στατιστικής και αποτελούν τον πυρήνα ενός
από τα σημαντικότερα εργαλεία του Στατιστικού Ερευνητή, της Ανάλυσης Παλινδρόμησης (Regression Analysis). Ο όρος «παλινδρόμηση» χρεώνεται στον ανθρωπολόγο Sir Francis Galton (1822-1911) ο οποίος σε
μία μελέτη του το 1886 [21], έδειξε ότι το ύψος των ατόμων των οποίων οι γονείς είναι (πολύ) ψηλοί ή (πολύ)
κοντοί, τείνει («γυρνά πίσω», «παλινδρομεί») προς το μέσο ύψος του συνολικού πληθυσμού. Η Ανάλυση
Γραμμικής Παλινδρόμησης, με την οποία ασχολείται το παρόν κεφάλαιο, βασίζεται στα Γραμμικά Μοντέλα τα
οποία αποτελούν υποπερίπτωση των ΓΓΜ. Η παλινδρόμηση αποσκοπεί στη διερεύνηση της σχέσης μεταξύ
δύο ή περισσότερων μεταβλητών για σκοπούς εκτίμησης (προσέγγισης) ή/και πρόβλεψης των τιμών της μίας
μέσω των τιμών της άλλης (ή των άλλων).
2.2 Ευθεία παλινδρόμησης
Δύο είναι τα είδη των μεταβλητών που εμπλέκονται στην Ανάλυση Παλινδρόμησης:
α) οι ανεξάρτητες ή ελεγχόμενες ή επεξηγηματικές μεταβλητές ή συμμεταβλητές (independent ή input ή
explanatory variablesr ή covariates) και
β) οι εξαρτημένες μεταβλητές ή μεταβλητές απόκρισης (dependent variables ή response variables).
Στις πειραματικές ή παρεμβατικές έρευνες, ως ανεξάρτητη μεταβλητή X ορίζεται κάθε ελεγχόμενη μεταβλητή, δηλαδή κάθε μεταβλητή για την οποία ο Ερευνητής δύναται να επιλέξει/ορίσει τις τιμές που αυτή θα
λάβει (π.χ. το ύψος της θερμοκρασίας για την εκτέλεση ενός πειράματος ή μίας διεργασίας, η τιμή πώλησης
ενός προϊόντος ή μίας υπηρεσίας κ.ά.), ενώ ως εξαρτημένη μεταβλητή Y ορίζεται η μη ελεγχόμενη μεταβλητή, η τιμή της οποίας αποτελεί απόρροια της/των τιμής/ών που έχει/ουν επιλεγεί από τον Ερευνητή, για
την/τις ανεξάρτητη/τες μεταβλητή/τές (π.χ. η έκλυση ενέργειας κατά την εκτέλεση ενός πειράματος ή μίας
διεργασίας, οι πωλήσεις ενός προϊόντος ή μίας υπηρεσίας). Στην κατηγορία αυτή εμπίπτουν μεταξύ άλλων,
και οι κλινικές μελέτες (clinical trials).
Στις μη πειραματικές μελέτες ή μελέτες παρατήρησης, η ταξινόμηση των μεταβλητών σε ανεξάρτητες και
εξαρτημένες γενικώς δεν είναι ευδιάκριτη, διότι στις μελέτες αυτές όλες οι μεταβλητές είναι τυχαίες και άρα μη
ελεγχόμενες από τον Ερευνητή, ο οποίος δεν παρεμβαίνει στην εκτέλεση του πειράματος αλλά παρατηρεί και
καταγράφει (π.χ. το μορφωτικό επίπεδο και τον μισθό των εργαζομένων μίας μελέτης, το ποσοστό οξυγόνου
στο αίμα και το αν καπνίζουν ή όχι οι συμμετέχοντες σε μία έρευνα). Άρα, είναι σαφές ότι είναι στη διακριτική
ευχέρεια του Ερευνητή ποια μεταβλητή θα θεωρήσει ως εξαρτημένη και ποια/ες ως ανεξάρτητη/τες. Στην
κατηγορία αυτή περιλαμβάνονται μεταξύ άλλων οι μελέτες ασθενών μαρτύρων (case control studies).
Αν οι μεταβλητές συνδέονται με μία συναρτησιακή σχέση της μορφής y = f (x) ώστε για κάθε τιμή, έστω x,
που επιλέγει ο Ερευνητής για την X, να προσδιορίζεται με απόλυτη ακρίβεια (δηλαδή χωρίς σφάλμα) η Y ,
μέσω της γνωστής συναρτησιακής σχέσης f (·), οι δύο μεταβλητές έχουν μία αιτιοκρατική σχέση ή προσδιοριστική σχέση (deterministic), όπως για παράδειγμα συμβαίνει με τα λίτρα βενζίνης που απαιτούνται για να
γεμίσει το ρεζερβουάρ και το ποσό που καταβάλλει ο καταναλωτής στον βενζινοπώλη. Θα πρέπει μάλιστα να
σημειωθεί ότι, όσες φορές και να εκτελέσει ο Ερευνητής το πείραμα, επιλέγοντας την ίδια τιμή x για την ανεξάρτητη μεταβλητή X, η τιμή της εξαρτημένης μεταβλητής που θα προκύπτει, θα είναι η ίδια. Ως εκ τούτου,
στο Σκεδασμογράφημα, όλα τα ζεύγη παρατηρήσεων (x, y) θα είναι ακριβώς πάνω στην καμπύλη y = f (x).
Σημειώνεται ότι το Σκεδασμογράφημα ή Διάγραμμα Διασποράς (Scatter Plot) είναι η γραφική παράσταση των
διαθέσιμων παρατηρήσεων (xi , yi ), i = 1, ..., n, που μπορεί να καθορίσει μία ιδεατή καμπύλη (ή ειδικότερα
μία ευθεία) η οποία δίνει στην Ερευνητή μία γενική μορφή της σχέσης μεταξύ των εμπλεκόμενων μεταβλητών. Στην αντίπερα όχθη, οι μη προσδιοριστικές σχέσεις ονομάζονται στοχαστικές ( stochastic) ή πιθανοτικές
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
7
(probabilistic). Εδώ, αν εκτελεστεί το πείραμα πολλές φορές κάτω από τις ίδιες συνθήκες (δηλαδή για μία
συγκεκριμένη τιμή x της X), δεν προκύπτει μία κοινή, σταθερή τιμή y του Y , με αποτέλεσμα το σκεδασμογράφημα να θυμίζει ένα νεφέλωμα που αν και δίνει μία διάχυτη εικόνα, αυτή δεν αντιστοιχεί σε μία συγκεκριμένη
καμπύλη. Στο Σχήμα 2.1 παρουσιάζονται τρία Σκεδασμογραφήματα (με προσαρμογή της καταλληλότερης
καμπύλης) τα οποία αφορούν πιθανές μορφές συσχέτισης μεταξύ των X και Y .
Σχήμα 2.1: Σκεδασμογραφήματα πιθανών μορφών συσχέτισης μεταξύ X και Y .
Παράδειγμα 2.1. Για ένα πλήθος 10 μηνών, ο Πίνακας 2.1 δίνει τον αριθμό των τεμαχίων ενός συγκεκριμένου
ανταλλακτικού (X) που κατασκεύασε μία εταιρεία για καθέναν από τους 10 μήνες, καθώς και τον αριθμό των
εργατοωρών (Y ) που χρειάστηκαν κάθε φορά.
Πίνακας 2.1: Τιμές 10 ζευγών παρατηρήσεων (xi , yi ).
# ανά μήνα
X
Y
1
30
73
2
20
50
3
60
128
4
80
170
5
40
87
6
50
108
7
60
135
8
30
69
9
70
148
10
60
132
Τα ζεύγη των τιμών (xi , yi ), i = 1, ..., 10, δίνονται γραφικά στο Σχήμα 2.2(α) από όπου φαίνεται ότι
υπάρχει μία σχέση μεταξύ των μεταβλητών X και Y , υπό την έννοια ότι όταν αυξάνεται η τιμή της μίας, τότε
αυξάνεται και της άλλης. Είναι λοιπόν φανερό ότι η σχέση που συνδέει τις δύο μεταβλητές δεν είναι τέλεια,
αφού υπάρχει μία ελαφρά διακύμανση (σκεδασμός) των σημείων. Λόγω του παρατηρηθέντος σκεδασμού, το
Σχήμα 2.2(α) αναφέρεται ως Σκεδασμογράφημα ή Διάγραμμα Διασποράς (Scatter Plot). Ο παρατηρηθείς
σκεδασμός, που πιθανόν να οφείλεται σε εξωγενείς και συνήθως μη ελεγχόμενους παράγοντες, συχνά αναφέρεται στη βιβλιογραφία ως σφάλμα. Το Σχήμα 2.2(β) δείχνει τη σχέση μεταξύ των δύο μεταβλητών η οποία
περιγράφεται με μία ευθεία γραμμή.
Παρατηρούμε ότι τα περισσότερα σημεία βρίσκονται πάνω στην ευθεία που αντιπροσωπεύει τη (στατιστική)
σχέση μεταξύ X και Y , η οποία όμως μπορεί να αποδειχθεί πολύ χρήσιμη για την εξαγωγή κάποιων γενικών
συμπερασμάτων αναφορικά με το υπό μελέτη φαινόμενο.
8
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
(α)
(β)
Σχήμα 2.2: Σκεδασμογράφημα των X και Y χωρίς (α) και με (β)προσαρμογή κατάλληλης καμπύλης.
Για τα περισσότερα φαινόμενα, η εύρεση της συναρτησιακής σχέσης που συνδέει τις μεταβλητές είναι αδύνατη,
αφού η σχέση αυτή είναι συνήθως πολύπλοκη. Για τον λόγο αυτό, επιδιώκεται ο προσδιορισμός της στατιστικής σχέσης που συνδέει τις μεταβλητές, δηλαδή η προσέγγιση της συναρτησιακής σχέσης μέσω ενός μαθηματικού μοντέλου παλινδρόμησης. Το μοντέλο αυτό, αν και ενδέχεται να μην έχει καμία φυσική σημασία, μπορεί να
αξιοποιηθεί για την εξαγωγή συμπερασμάτων αναφορικά με το φαινόμενο που μελετάται, καθώς και για σκοπούς πρόβλεψης. Ένα μοντέλο παλινδρόμησης (regression model) θα πρέπει να περιέχει τα δύο συστατικά
της στατιστικής σχέσης μεταξύ των μεταβλητών:
1. την τάση της εξαρτημένης μεταβλητής να μεταβάλλεται με έναν συστηματικό/μαθηματικό τρόπο σε
σχέση με την ανεξάρτητη/ες μεταβλητή/τές και
2. τον σκεδασμό (διασπορά) των παρατηρήσεων γύρω από την καμπύλη της στατιστικής σχέσης.
Από τα παραπάνω είναι φανερό ότι από τη μία πλευρά η εξαρτημένη μεταβλητή Y θα πρέπει να έχει κάποια
κατανομή για κάθε τιμή της ανεξάρτητης μεταβλητής X, ενώ από την άλλη, οι μέσες τιμές των κατανομών αυτών θα πρέπει να μεταβάλλονται σε σχέση με την ανεξάρτητη μεταβλητή X με έναν συστηματικό/μαθηματικό
τρόπο.
Το Σχήμα 2.3 δείχνει την κατανομή της Y για τρεις διαφορετικές τιμές της X του Παραδείγματος 2.1. Από
το ίδιο σχήμα, είναι φανερή η μαθηματική σχέση σύμφωνα με την οποία μεταβάλλονται οι μέσες τιμές των
κατανομών της Y σε σχέση με τη X. Η μαθηματική αυτή σχέση ονομάζεται συνάρτηση παλινδρόμησης (regression function) ή μοντέλο παλινδρόμησης της Y ως προς τη X, ενώ η γραφική της αναπαράσταση ονομάζεται καμπύλη παλινδρόμησης (regression line). Η συνάρτηση παλινδρόμησης μπορεί να είναι είτε γραμμική
(linear), όπως αυτή του Παραδείγματος 2.1, είτε μη γραμμική (non linear).
Εάν το μοντέλο παλινδρόμησης έχει περισσότερες από μία ανεξάρτητες μεταβλητές, τότε θα πρέπει να γίνει
αναγωγή των πιο πάνω όρων στον χώρο. Εάν για παράδειγμα, υπάρχουν δύο ανεξάρτητες μεταβλητές, τότε η
γραφική αναπαράσταση της μαθηματικής σχέσης, με την οποία μεταβάλλονται οι μέσες τιμές των κατανομών
της Y , ονομάζεται επιφάνεια παλινδρόμησης (regression surface).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
9
Σχήμα 2.3: Κατανομή της Y για τρεις διαφορετικές τιμές της X.
Συμπερασματικά, και για την περίπτωση μίας ανεξάρτητης μεταβλητής, η ευθεία
y = β0 + β1 x,
(2.1)
με β0 , β1 ∈ R, δεν δύναται να περιγράψει ιδανικά τη σχέση των X και Y , αφού όπως ειπώθηκε παραπάνω,
αν το X λάβει δύο ή περισσότερες φορές την ίδια συγκεκριμένη τιμή x, το αποτέλεσμα, δηλαδή το y, δεν θα
είναι το ίδιο. Οι διαφορετικές τιμές του y ή αλλιώς ο σκεδασμός που παρατηρείται, μπορεί να οφείλονται σε
τυχαία σφάλματα μέτρησης.
Ως εκ τούτου, στην εξίσωση (2.1) προστίθεται ένας ακόμα όρος ο οποίος, για δεδομένη τιμή της X, μπορεί να περιγράψει τη διαφορά της παρατηρούμενης από τη θεωρητική τιμή της Y (δηλαδή β0 + β1 x που
θα έπρεπε να έχει λάβει, αν δεν υπήρχε το σφάλμα). H ποσότητα αυτή ονομάζεται στοχαστική διαταραχή ή
διαταρακτικός όρος ή σφάλμα, και ορίζεται ως:
ϵ = y − (β0 + β1 x)
και το αντίστοιχο στοχαστικό μοντέλο (πρότυπο) που είναι γνωστό ως Απλό Γραμμικό Μοντέλο Παλινδρόμησης (Simple Linear Regression Model):
y = β0 + β1 x + ϵ,
(2.2)
όπου y η τιμή της εξαρτημένης μεταβλητής (ή μεταβλητής απόκρισης) Y , x η τιμή της ανεξάρτητης μεταβλητής X, ε το τυχαίο σφάλμα και β0 και β1 οι συντελεστές παλινδρόμησης του μοντέλου.
10
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Σχήμα 2.4: Το Απλό Γραμμικό Μοντέλο Παλινδρόμησης.
Ένα από τα σημαντικότερα προβλήματα της ανάλυσης παλινδρόμησης, είναι η επιλογή των ανεξάρτητων μεταβλητών του μοντέλου παλινδρόμησης. Σε πολλές επιστημονικές περιοχές, όπως στις Κοινωνικο-Πολιτικές
Επιστήμες, είναι δύσκολο να επιλεγούν οι ανεξάρτητες μεταβλητές που επηρεάζουν την εξαρτημένη μεταβλητή Y . Υπάρχει μάλιστα πιθανότητα κάποιες από τις ανεξάρτητες μεταβλητές που πιστεύεται ότι πρέπει
να περιληφθούν στο παλινδρομικό μοντέλο, να μην μπορούν να μετρηθούν άμεσα (π.χ. τα ετήσια έσοδα μίας
οικογένειας σε 5 ή 10 χρόνια).
Στην ουσία, το κύριο πρόβλημα είναι η επιλογή ενός συνόλου ανεξάρτητων μεταβλητών το οποίο να είναι,
υπό κάποια έννοια, «κατάλληλο» για τους σκοπούς της μελέτης. Προφανώς, ένα τέτοιο σύνολο μπορεί να είναι πάρα πολύ μεγάλο. Παραδείγματος χάρη, οι πωλήσεις κινητών τηλεφώνων μίας εταιρείας σε μία περιοχή
μπορεί να εξαρτάται από το μέγεθος του πληθυσμού, το κατά κεφαλήν εισόδημα, το ποσοστό του πληθυσμού
συγκεκριμένης ηλικιακής ομάδας, το ποσοστό των οικογενειών με παιδιά στο σπίτι, κτλ. Για την επιλογή των
ανεξάρτητων μεταβλητών λαμβάνονται υπόψη η σημασία της υποψήφιας μεταβλητής για το υπό μελέτη φαινόμενο, καθώς και ο βαθμός που η συγκεκριμένη μεταβλητή επιδρά στη μείωση του σκεδασμού της Y , αφού
προηγουμένως ληφθεί υπόψη η επίδραση των άλλων μεταβλητών που ήδη έχουν επιλεγεί ως ανεξάρτητες
μεταβλητές του μοντέλου. H επιλογή των ανεξάρτητων μεταβλητών οδηγεί και στην επιλογή της συναρτησιακής μορφής του μοντέλου παλινδρόμησης.
Στον τομέα αυτό, ο Ερευνητής έχει στη διάθεσή του τεχνικές που αναφέρονται ως Κριτήρια Επιλογής Μοντέλου (Model Selection Criteria) και του επιτρέπουν να κάνει την καταλληλότερη επιλογή ανάλογα με τους
σκοπούς που έχει θέσει.
Η ανάλυση παλινδρόμησης επιτρέπει στον Ερευνητή είτε να περιγράψει (description) ένα φαινόμενο ή μία
διεργασία είτε να ελέγξει (control) ένα φαινόμενο είτε να κάνει προβλέψεις (predictions) αναφορικά με κάποιο φαινόμενο. Τα προαναφερθέντα αποτελούν τους κύριους σκοπούς που εξυπηρετεί η ανάλυση παλινδρόμησης. Σημειώνεται δε, ότι σε πολλές περιπτώσεις η μελέτη ενός μοντέλου παλινδρόμησης μπορεί να στοχεύει
και σε συνδυασμούς των παραπάνω κύριων σκοπών.
Παράδειγμα 2.2. Για ένα δείγμα 5 ατόμων καταγράφονται τα ετήσια έσοδα (Y ), ο αριθμός ετών εκπαίδευσης
(X1 ) και η ηλικία (X2 ) του καθενός. Τα δεδομένα xi1 , xi2 , yi , δίνονται στον Πίνακα 2.2.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
11
Πίνακας 2.2: Τιμές 5 παρατηρήσεων (xi1 , xi2 , yi )
#
X1
X2
Y
1
6
28
10
2
12
40
20
3
10
32
17
4
8
36
12
5
9
34
11
Ο σκοπός του Παραδείγματος 2.2 είναι περιγραφικός, αφού επιδιώκεται η περιγραφή της (εξαρτημένης) μεταβλητής Y με τη βοήθεια κάποιων ανεξάρτητων μεταβλητών.
Παράδειγμα 2.3. Το μοντέλο παλινδρόμησης, που βασίζεται στα δεδομένα 67 αντιπροσωπειών μίας χρηματοοικονομικής εταιρείας, περιλαμβάνει το άμεσο κόστος λειτουργίας για όλο το έτος, ως την εξαρτημένη μεταβλητή Y ,
και τέσσερις ανεξάρτητες μεταβλητές: μέσο μέγεθος εκκρεμών δανείων, αριθμός εκκρεμών δανείων, αριθμός νέων
αιτήσεων για δανειοδότηση και κώδικας μισθολογικής κλίμακας.
Ο σκοπός του Παραδείγματος 2.3 είναι ο έλεγχος που επιδιώκει η διοίκηση της εταιρείας με στόχο τον καθορισμό κριτηρίων κόστους της κάθε αντιπροσωπείας.
Παράδειγμα 2.4. Τα παρακάτω δεδομένα έχουν εξαχθεί από ένα πολύ μεγαλύτερο σύνολο δεδομένων και δίνουν
τον βαθμό Y στο G.C.E. test (άριστα το 1000), τον βαθμό X1 στα υποχρεωτικά μέρη του G.C.E. (άριστα το 200)
και τον βαθμό X2 στο S.C.E.L. test (άριστα το 100) το οποίο δόθηκε σε προγενέστερο χρόνο.
Πίνακας 2.3: Τιμές 15 παρατηρήσεων (xi1 , xi2 , yi )
#
X1
X2
Y
1
111
68
476
2
92
46
457
3
90
50
540
4
107
59
551
5
98
50
575
6
150
66
698
11
130
57
634
7
118
54
545
12
118
51
637
8
110
51
574
13
91
44
390
9
117
59
645
14
118
61
562
10
94
97
556
15
109
66
560
Ο σκοπός του Παραδείγματος 2.4 είναι η δυνατότητα πρόβλεψης της βαθμολογίας στο G.C.E. test με βάση
τις βαθμολογίες στο υποχρεωτικό μέρος του G.C.E. και στο S.C.E.L. test.
Σε πολλές περιπτώσεις, η μελέτη ενός μοντέλου παλινδρόμησης μπορεί να στοχεύει και σε συνδυασμούς των
κύριων σκοπών που αναφέρθηκαν πιο πάνω. Για παράδειγμα, από τη στιγμή που θα κατασκευαστεί ένα μοντέλο για τα ετήσια έσοδα (Παράδειγμα 2.2), αυτό μπορεί να χρησιμοποιηθεί για να εκτιμηθούν τα ετήσια
έσοδα ατόμου συγκεκριμένης ηλικίας με συγκεκριμένα έτη σπουδών. Σχετικά με το Παράδειγμα 2.1, η γνώση
του μοντέλου παλινδρόμησης επιτρέπει την εκτίμηση των εργατοωρών που απαιτούνται για την παραγωγή
συγκεκριμένου αριθμού ανταλλακτικών. Επιπλέον, και αφού η παραγωγή ολοκληρωθεί, μπορούν να συγκριθούν οι εργατοώρες που τελικά απαιτήθηκαν με αυτές που εκτιμήθηκε ότι απαιτούνται για σκοπούς καθαρά
διοικητικού ελέγχου.
12
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
2.3 Απλό γραμμικό μοντέλο και προϋποθέσεις
Η κύρια διαφορά μεταξύ ενός στοχαστικού και ενός αιτιοκρατικού μοντέλου (προτύπου), είναι ότι τα συμπεράσματα που διατυπώνονται στην περίπτωση του στοχαστικού μοντέλου λαμβάνουν υπόψη τους την αβεβαιότητα, τα σφάλματα ή αλλιώς την τυχαιότητα που υπάρχει στο υπό μελέτη φαινόμενο. Τα σφάλματα αυτά,
ως τυχαία, θα πρέπει να έχουν μία κατανομή. Αυτό συνεπάγεται ότι η Y θα μεταβάλλεται (τυχαία) ανάλογα
με τις τιμές της X, και άρα θα αποτελεί και αυτή, όπως και τα σφάλματα, μία τυχαία μεταβλητή και ως τέτοια
θα πρέπει να έχει μία κατανομή. Κατ’ αυτόν τον τρόπο, η Στατιστική εισέρχεται στη μελέτη ώστε να παίξει τον
δικό της καθοριστικό ρόλο.
Υποθέσεις για την τυχαία μεταβλητή ϵ:
1. έχει σταθερή μέση τιμή (E(ϵ) = 0) και σταθερή διασπορά σ 2 , δηλαδή υπάρχει ομοσκεδαστικότητα
(V ar(ϵ) = E(ϵ2 ) = σ 2 ),
2. για τυχαίο δείγμα ϵ1 , ϵ2 , ..., ϵn , τα σφάλματα είναι μεταξύ τους ασυσχέτιστα ανά δύο, δηλαδή cov(ϵi , ϵj )i̸=j =
0 και
3. (προαιρετική) ακολουθεί την Κανονική κατανομή με μέση τιμή και διασπορά όπως στην Υπόθεση 1.
Οι παραπάνω υποθέσεις μπορούν να συνοψιστούν ως εξής:
i.i.d.
ϵi ∼ N (0, σ 2 ),
i = 1, ..., n.
Ως συνέπεια των προαναφερθεισών υποθέσεων και για την περίπτωση του απλού γραμμικού μοντέλου παλινδρόμησης όπως αυτό παρουσιάζεται στη σχέση (2.2), προκύπτει ότι:
i.i.d.
Y ≡ Y |X = x ∼ N (β0 + β1 x, σ 2 ),
(2.3)
αφού η Y αποτελεί: (1) συνάρτηση της τυχαίας μεταβλητής ϵ και (2) δεσμευμένη τυχαία μεταβλητή ως προς
X = x.
Σχήμα 2.5: Το απλό γραμμικό μοντέλο παλινδρόμησης
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
13
Ο προφανής στόχος του Ερευνητή είναι ο προσδιορισμός των εκτιμητών, έστω αυτοί βˆ0 , βˆ1 και σ̂ 2 , των παραμέτρων β0 , β1 και σ 2 αντίστοιχα, ώστε στη συνέχεια να είναι δυνατή η αξιοποίηση του μοντέλου, π.χ. για
σκοπούς πρόβλεψης. Προφανώς, οι εν λόγω εκτιμήσεις θα γίνουν με τη βοήθεια διαθέσιμων παρατηρήσεων
έστω (x1 , y1 ), (x2 , y2 ), ..., (xn , yn ).
Αναδιατυπώνοντας τη σχέση (2.2) με τη βοήθεια των διαθέσιμων παρατηρήσεων, έχουμε:
yi = β0 + β1 xi + ϵi ,
i = 1, ..., n.
Διαθέτοντας τα βˆ0 και βˆ1 , είναι δυνατόν για οποιαδήποτε τιμή της X να προσεγγιστεί (εκτιμηθεί) η τιμή της
Y μέσω της σχέσης:
ŷi = βˆ0 + βˆ1 xi ,
(2.4)
για τα διαθέσιμα δεδομένα x1 , ..., xn , καθώς και να προβλεφθεί η τιμή της μεταβλητής απόκρισης για οποιαδήποτε άλλη εύλογη τιμή xh της ανεξάρτητης μεταβλητής X, από τη σχέση:
ŷh = βˆ0 + βˆ1 xh .
Η πιο πάνω σχέση ονομάζεται εκτιμήτρια συνάρτηση (ή ευθεία) παλινδρόμησης (estimated regression
function) και αποτελεί εκτίμηση/προσέγγιση εκείνης της συνάρτησης που περιγράφει με τον ιδανικότερο
τρόπο (με βάση το κριτήριο/μέθοδο που έχει επιλεγεί για τον προσδιορισμό των εκτιμητών), τη συμπεριφορά των δεδομένων.
Όσον αφορά το σ̂ 2 , αυτό θα χρησιμοποιηθεί ώστε να διαπιστωθεί ο βαθμός ορθότητας (ακρίβειας) της εκτίμησης της μεταβλητής απόκρισης Y και κατ’ επέκταση των εκτιμητριών των παραμέτρων β0 και β1 .
Αφού στην πιο πάνω σχέση τα σφάλματα ϵi είναι μη παρατηρήσιμα, είναι αναμενόμενο η ποσότητα β̂0 + β̂1 xi
να μην ισούται με την παρατηρηθείσα τιμή yi που αντιστοιχεί στην τιμή xi της ανεξάρτητης μεταβλητής Xi ,
αλλά με μία τιμή που αναμένεται να είναι αρκετά κοντά στο yi και η οποία συμβολίζεται, όπως δηλώνεται και
στην ίδια τη σχέση, με ŷi . Έτσι προκύπτουν οι διαφορές:
ε̂i = yi − ŷi = β0 − β̂0 + β1 − β̂1 xi ,
i = 1, ..., n,
(2.5)
που ονομάζονται κατάλοιπα (residuals)και αντιπροσωπεύουν ένα είδος εκτίμησης ή προσέγγισης των (μη
παρατηρούμενων) σφαλμάτων ϵi τα οποία είναι μη παρατηρήσιμα, i = 1, ..., n (για τις ιδιότητές του, δείτε
το Θεώρημα 2.2).
Πέρα από την εύρεση του κατάλληλου μοντέλου στο οποίο καταλήγει ο Ερευνητής μέσω των τεχνικών και
των μεθόδων της Στατιστικής, θα χρειαστεί να ληφθούν υπόψη και τα ακόλουθα:
α) Ένα στατιστικό μοντέλο συνήθως περιλαμβάνει σημαντικές παραμέτρους που παίζουν καθοριστικό ρόλο.
Ο προσδιορισμός του ζητούμενου μοντέλου είναι ταυτόσημος με την εκτίμηση των εν λόγω παραμέτρων. Σε κάθε υπό εξέταση φαινόμενο, ο Ερευνητής δύναται να θεωρήσει κάποιες από τις παραμέτρους ως «άμεσου ενδιαφέροντος», ενώ κάποιες άλλες όχι. Οι παράμετροι οι οποίες δεν θεωρούνται
«άμεσου ενδιαφέροντος» αναφέρονται ως οχληρές (nuisance parameters).
β) To στατιστικό μοντέλο ενδέχεται να επιδέχεται αναθεώρηση.
Πολλές φορές οι κατάλληλες πληροφορίες δεν είναι διαθέσιμες, και ως αποτέλεσμα η εύρεση του κατάλληλου μοντέλου καθίσταται μία απαιτητική διαδικασία, αφού ο Ερευνητής μπορεί να ξεκινήσει με
κάποιο αρχικό - λογικό μοντέλο, αλλά στη συνέχεια να προβεί σε τροποποιήσεις αν διαπιστωθεί ότι
η ορθότητα του μοντέλου είναι επισφαλής. Βέβαια υπάρχουν περιπτώσεις όπου θεωρητικά αποτελέσματα ή προτέρα εμπειρία καθιστούν την εύρεση του μοντέλου μία «εύκολη υπόθεση».
14
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
2.4 Εκτιμητές ελαχίστων τετραγώνων
Έχοντας n ζεύγη παρατηρήσεων (x1 , y1 ), (x2 , y2 ), ..., (xn , yn ), και θεωρώντας ότι το γραμμικό μοντέλο
παλινδρόμησης (2.2) είναι κατάλληλο για να εκφράσει τη σχέση μεταξύ των μεταβλητών Y και X, είναι
δυνατόν, με τη χρήση της Μεθόδου Ελαχίστων Τετραγώνων (Least Squares Method), να υπολογιστούν οι
λεγόμενοι Συνήθεις Εκτιμητές Ελαχίστων Τετραγώνων (ΕΕΤ, Ordinary Least Squares (OLS) Estimators)
β̂0 και β̂1 των άγνωστων παραμέτρων (συντελεστών παλινδρόμησης) β0 και β1 . Στο Σχήμα 2.6 δίνονται τα
δεδομένα (xi , yi ), η συνάρτηση παλινδρόμησης E (Yi ) = β0 + β1 xi , καθώς και οι αποκλίσεις των παραχωρηθεισών τιμών yi από τις αναμενόμενες (από τη συνάρτηση παλινδρόμησης) τιμές E (Yi ).
Σχήμα 2.6: Σφάλματα (αποστάσεις) μεταξύ παρατηρήσεων και ευθείας παλινδρόμησης
Σε ό,τι ακολουθεί θεωρούμε ότι πληρούνται οι Υποθέσεις 1 και 2 της Ενότητας 2.3.
Πρόταση 2.1. Οι εκτιμήτριες ελαχίστων τετραγώνων (ΕΕΤ) των παραμέτρων β0 και β1 του μοντέλου (2.2),
δίνονται από τις σχέσεις:
Pn
β̂1 =
i=1 xi yi −
Pn
i=1
όπου:
• x̄ =
• ȳ =
Pn
i=1
xi
i=1
n
yi
x2i −
Pn
y
xi
i=1 i
Pn n 2
( i=1 xi )
n
i=1
και β̂0 = ȳ − β̂1 x̄,
(2.6)
και
n
Pn
Pn
.
Απόδειξη Πρότασης 2.1. Έστω Q(·) η ποσότητα (quantity) που αντιπροσωπεύει το άθροισμα των τετραγωνικών σφαλμάτων, η οποία περιλαμβάνει ταυτόχρονα τα β0 και β1 :
Q(β0 , β1 ) =
n
X
i=1
ϵ2i =
n
X
i=1
(yi − E(Yi ))2 =
n
X
(yi − (β0 + β1 xi ))2 .
(2.7)
i=1
Για την ελαχιστοποίηση της σχέσης (2.7) ως προς β0 και β1 , παραγωγίζουμε, αντίστοιχα:
n
n
n
X
X
X
∂Q(β0 , β1 )
= −2 (yi − (β0 + β1 xi )) = −2
yi + 2 (β0 + β1 xi ),
∂β0
i=1
i=1
i=1
και
(2.8)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
n
n
n
X
X
X
∂Q(β0 , β1 )
= −2
xi (yi − (β0 + β1 xi )) = −2
xi y i + 2
xi (β0 + β1 xi ).
∂β1
i=1
i=1
i=1
15
(2.9)
Θέτοντας τις σχέσεις (2.8) και (2.9) ίσες με το μηδέν, και λύνοντάς τες ως προς yi , καταλήγουμε στις κανονικές
εξισώσεις (normal equations):
n
X
yi =
n
X
i=1
n
X
(β0 + β1 xi ) = nβ0 + β1
n
X
i=1
xi y i =
i=1
n
X
xi
(2.10)
i=1
xi (β0 + β1 xi ) = β0
i=1
n
X
xi + β1
i=1
n
X
x2i .
(2.11)
i=1
Πολλαπλασιάζοντας τη σχέση (2.10) με x̄ και αφαιρώντας την από τη σχέση (2.11), έχουμε:
n
X
Pn
Pn
xi y i −
i=1
i=1
xi
n
i=1
yi
= β1
" n
X
x2i
−
Pn
(
i=1
Sxy
≡
Sxx
Pn
i=1
xi y i −
Pn
i=1
Pn
=
#
n
i=1
⇔ β̂1 =
xi )2
i=1 (xi − x̄)(yi −
Pn
2
i=1 (xi − x̄)
ȳ)
Pn
Pn
xi
y
i=1 i
n
Pn
( i=1 xi )2
n
i=1
x2i −
Pn
(xi − x̄)yi
.
2
i=1 (xi − x̄)
= Pi=1
n
Λύνοντας τη σχέση (2.10) ως προς β0 , προκύπτει ότι:
β̂0 = ȳ − β̂1 x̄.
Μένει να δειχτεί ότι η ποσότητα Q(β0 , β1 ), λαμβάνει ελάχιστο στο σημείο (β̂0 , β̂1 ). Για να συμβεί αυτό, θα πρέπει
ο πίνακας H των δεύτερων μερικών παραγώγων της Q, να είναι θετικά ορισμένος (δηλαδή x′ Qx > 0, ∀x ∈ Rn ).
Οπότε, αρκεί να δειχθεί ότι (ν.δ.ό.) η ορίζουσα του πίνακα H είναι θετική:
|H| =
∂ 2 Q(β0 ,β1 )
∂β02
∂ 2 Q(β0 ,β1 )
∂β0 ∂β1
2n
=
∂ 2 Q(β0 ,β1 )
∂β1 ∂β0
∂ 2 Q(β0 ,β1 )
∂β12
(β̂0 ,β̂1 )
2
Pn
i=1
2
xi 2
Pn
i=1
Pn
i=1
xi
= 4n
x2i
n
X
(xi − x̄)2 ,
i=1
το οποίο είναι πάντα θετικό και συνεπώς, λαμβάνουμε ελάχιστο στο σημείο (β̂0 , β̂1 ).
Οι εκτιμητές β̂0 και β̂1 ονομάζονται εκτιμητές ελαχίστων τετραγώνων (ΕΕΤ) των παραμέτρων β0 και β1 ,
αντίστοιχα και ερμηνεύονται ως εξής:
• β̂0 : Εκτιμά τη μέση (αναμενόμενη) τιμή της , όταν η X = 0 (με την προϋπόθεση ότι η τιμή X = 0
περιλαμβανόταν μεταξύ των παρατηρήσεων βάσει των οποίων προσδιορίστηκε η εκτιμήτρια ευθεία
παλινδρόμησης).
• β̂1 : Εκτιμά τη μεταβολή της μέσης τιμής της για κάθε μοναδιαία αύξηση της τιμής της x.
16
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Παράδειγμα 2.5. Για το γραμμικό μοντέλο του Παραδείγματος 2.1 και με τη βοήθεια των τύπων της (2.6),
προκύπτει ότι:
β̂1 = 2 και β̂0 = 10.
Ως εκ τούτου, η εκτιμώμενη συνάρτηση παλινδρόμησης είναι η ακόλουθη:
ŷi = 10 + 2xi ,
i = 1, ..., 10.
Έστω ότι ενδιαφερόμαστε για τον μέσο αριθμό εργατοωρών που απαιτούνται για την παραγωγή x0 = 55 ανταλλακτικών. Τότε, η εκτιμήτρια ποσότητα ισούται με:
ŷ0 = 10 + 2 · 55 = 120.
Η τιμή ŷi που αντιστοιχεί στην τιμή της ανεξάρτητης μεταβλητής X = xi των δεδομένων, υπολογίζεται από την
εκτιμήτρια συνάρτηση παλινδρόμησης και ονομάζεται εκτιμώμενη τιμή (fitted value) της εξαρτημένης μεταβλητής
Y.
Πρόταση 2.2. Οι ΕΕΤ γράφονται ως γραμμικοί συνδυασμοί των παρατηρήσεων yi :
β̂1 =
n
X
ki yi
(2.12)
i=1
β̂0 =
n X
1
n
i=1
− ki x̄ yi ,
(2.13)
−x̄
όπου ki = Pn xi(x
2.
i −x̄)
i=1
Απόδειξη Πρότασης 2.2. Παρατηρούμε ότι:
n
X
(xi − x̄)(yi − ȳ) =
Pn
i=1 (xi
− x̄) =
(xi − x̄)yi −
Pn
i=1
n
X
(xi − x̄)ȳ
i=1
i=1
i=1
Όμως,
n
X
xi − nx̄ = 0. Άρα,
n
X
(xi − x̄)(yi − ȳ) =
i=1
n
X
(xi − x̄)yi .
i=1
Κατά συνέπεια, η εκτιμήτρια β̂1 παίρνει τη μορφή:
β̂1 =
n
X
i=1
!
n
X
(xi − x̄)
y
=
ki y i .
Pn
i
2
i=1 (xi − x̄)
i=1
Ομοίως, και η απόδειξη για το β̂0 .
Πρόταση 2.3. Οι τυχαίες μεταβλητές (τ.μ.) Ȳ = ȳ και β̂1 είναι μεταξύ τους ασυσχέτιστες, δηλαδή:
Cov(ȳ, β̂1 ) = 0.
(2.14)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
17
Απόδειξη Πρότασης 2.3.
P
n
i=1
Cov(ȳ, β̂1 ) = Cov 
n

n
yi X
,
kj yj 
j=1
n X
n
n
X
1X
1
=
kj Cov(Yi , Yj ) =
ki V ar(Yi )
n i=1 j=1
i=1 n
P
σ 2 ni=1 (xi − x̄)
=
= 0.
P
n ni=1 (xi − x̄)2
Πρόταση 2.4. Βασιζόμενοι στις Υποθέσεις 1 και 2 (Ενότητα 2.3), για τα σφάλματα ισχύει ότι:
σ2
2
i=1 (xi − x̄)
& V ar(β̂1 ) = Pn
E(β̂1 ) = β1
E(β̂0 ) = β0
& V ar(β̂0 ) = σ
(2.15)
1
x̄2
+ Pn
2
n
i=1 (xi − x̄)
2
!
(2.16)
σ2
Cov(β̂0 , β̂1 ) = −x̄ Pn
.
2
i=1 (xi − x̄)
Απόδειξη Πρότασης 2.4. Από τους ορισμούς της μέσης τιμής και της διασποράς, για το β̂1 έχουμε:
n
X
E(β̂1 ) = E
!
ki yi =
=
Pn
i=1 (xi
Pn
=
β1 (
n
X
n
X
i=1
!
xi − x̄
(β0 + β1 xi )
Pn
2
i=1 (xi − x̄)
P
− x̄) + β1 ni=1 (xi − x̄)xi
Pn
2
i=1 (xi − x̄)
i=1 (xi
V ar(β̂1 ) = V ar
ki E(Yi ) =
i=1
i=1
β0
n
X
P
P
n
2
− x̄)xi − ni=1 (xi − x̄)x̄)
i=1 (xi − x̄)
=
β
= β1 .
Pn
1 Pn
2
2
i=1 (xi − x̄)
i=1 (xi − x̄)
!
ki yi =
i=1
n
X
ki2 V ar(Yi ) =
i=1
n
X
i=1
xi − x̄
Pn
2
i=1 (xi − x̄)
Pn
(xi − x̄)2 2
σ2
σ
=
= Pni=1
.
P
n
2
( i=1 (xi − x̄)2 )2
i=1 (xi − x̄)
Αντιστοίχως για το β̂0 έχουμε:
E(β̂0 ) = E
n X
1
i=1
n
!
− ki x̄ yi =
n X
1
i=1
n
− ki x̄ E(Yi )
!2
σ2
18
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
=
n
X
i=1
= β0
!
1
xi − x̄
− Pn
x̄ (β0 + β1 xi )
2
n
i=1 (xi − x̄)
n
X
i=1
!
!
n
X
xi − x̄
xi − x̄
1
1
− Pn
−
x̄
+
β
x̄ xi
P
1
n
2
2
n
i=1 (xi − x̄)
i=1 (xi − x̄)
i=1 n
Pn
! !
P
n
i=1 (xi − x̄)xi −
i=1 (xi − x̄)x̄
x̄
Pn
2
i=1 (xi − x̄)
= β0 + β1 x̄ −
= β0 + β1 (x̄ − x̄) = β0 .
V ar(β̂0 ) = V ar
n X
1
n
i=1
=
n
X
i=1
=
n
X
i=1
!
− ki x̄ yi =
=σ
n
i=1
− ki x̄
2
V ar(Yi )
! !2
1
xi − x̄
x̄
− Pn
2
n
i=1 (xi − x̄)
σ2
!
2x̄(xi − x̄)
x̄2 (xi − x̄)2
1
2
−
+
P
P
n
2 σ
n
2
2
2
n
( i=1 (xi − x̄) )
i=1 (xi − x̄)
P
2
n X
1
1 x̄2 ni=1 (xi − x̄)2
− P
n ( ni=1 (xi − x̄)2 )2
!
!
=σ
2
1
x̄2
− Pn
.
2
n
i=1 (xi − x̄)
Τέλος, για τη συνδιασπορά των β̂0 και β̂1 έχουμε:
Cov β̂0 , β̂1 = Cov ȳ − β̂1 x̄, β̂1
= Cov ȳ, β̂1 − Cov β̂1 x̄, β̂1
από Πρόταση 2.3
====
−x̄Cov β̂1 , β̂1
= −x̄V ar β̂1
σ2
.
2
i=1 (xi − x̄)
= −x̄ Pn
Από τις σχέσεις (2.15) και (2.16) γίνεται αντιληπτό ότι τα β̂0 και β̂1 αποτελούν αμερόληπτες εκτιμήσεις των
β0 και β1 , αντίστοιχα. Παράλληλα, παρατηρούμε από την Πρόταση 2.4 ότι:
β̂0 + β̂1 x = β0 + β1 x ≡ E(Y )
(2.17)
έτσι ώστε η τυχαία μεταβλητή β̂0 + β̂1 x να αποτελεί αμερόληπτη εκτιμήτρια της μέσης τιμής της μεταβλητής
απόκρισης y:
\
E
(Y ) = β̂0 + β̂1 x ≡ ŷ.
(2.18)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
19
2.5 Το θεώρημα Gauss-Markov
Οι ΕΕΤ β̂0 και β̂1 είναι οι καλύτεροι γραμμικοί αμερόληπτοι εκτιμητές των β0 και β1 , αντίστοιχα, βάσει του
θεωρήματος Gauss − M arkov το οποίο ακολουθεί.
Θεώρημα 2.1 (Gauss-Markov [21]). Κάτω από τις Υποθέσεις 1 και 2, οι ΕΕΤ β̂0 και β̂1 είναι οι Καλύτερες
Γραμμικά Αμερόληπτες Εκτιμήσεις (BLUE–Βest Linear Unbiased Estimators) των συντελεστών παλινδρόμησης
β0 και β1 αντίστοιχα, του μοντέλου παλινδρόμησης (2.2).
Απόδειξη Θεωρήματος 2.1. Από την Πρόταση 2.4 γνωρίζουμε ότι το β̂1 αποτελεί αμερόληπτη εκτιμήτρια του
β1 . Θα δείξουμε ότι (θ.δ.ό.) ο β̂1 έχει τη μικρότερη διασπορά μεταξύ όλων των γραμμικών αμερόληπτων εκτιμητριών της μορφής:
β̃1 =
n
X
ci yi .
i=1
Αρχικώς, πρέπει ν.δ.ό. το β̃1 αποτελεί αμερόληπτη εκτιμήτρια του συντελεστή παλινδρόμησης β1 :
n
X
E(β̃1 ) = E
!
ci y i =
i=1
=
n
X
n
X
ci E(Yi )
i=1
ci (β0 + β1 xi ) = β0
i=1
n
X
ci + β 1
i=1
n
X
ci x i ≡ β 1 .
i=1
Για να ισχύει η παραπάνω σχέση θα πρέπει:
n
X
ci = 0
και
n
X
ci xi = 1.
i=1
i=1
−x̄
Έστω ci = ki + di , i = 1, ..., n, όπου ki = Pn xi(x
2.
i −x̄)
i=1
Όσον αφορά τη διασπορά του β̃1 :
V ar(β̃1 ) = V ar
n
X
!
ci yi = V ar
i=1
= V ar
n
X
n
X
!
ki yi + V ar
= V ar(β̂1 ) +
= V ar(β̂1 ) +
n
X
i=1
i=1
!
di yi + 2Cov
i=1
n
X
n
X
ki y i ,
ki di Cov(Yi , Yi )
i=1
n
X
n
X
i=1
d2i V ar(Yi ) + 2
d2i σ 2 + 2
n
X
ki y i +
i=1
n
X
i=1
Η ποσότητα
(ki + di )yi = V ar
i=1
i=1
Pn
!
ki di σ 2 .
i=1
ki di = 0 (γιατί;).
Άρα,
V ar(β̃1 ) = V ar(β̂1 ) +
n
X
i=1
d2i σ 2
n
X
i=1
n
X
i=1
!
di y i
!
di y i
20
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
και επειδή
Pn
i=1
d2i σ 2 ≥ 0 καταλήγουμε ότι:
V ar(β̂1 ) ≤ V ar(β̃1 ).
Η ίδια απόδειξη ισχύει και για το β̂0 .
Μία από τις συνηθέστερες υποθέσεις σχετικά με το γραμμικό μοντέλο παλινδρόμησης, είναι αυτή σύμφωνα
με την οποία τα σφάλματα ϵ1 , ..., ϵn , είναι τ.μ. που ακολουθούν την κανονική κατανομή με μέση τιμή 0 και
διασπορά σ 2 . Η υπόθεση της κανονικότητας δικαιολογείται στις περισσότερες των περιπτώσεων, αφού τα
σφάλματα αντιπροσωπεύουν συνήθως είτε σφάλματα μετρήσεων (measurement errors) είτε την επίδραση
παραγόντων/μεταβλητών που δεν περιλαμβάνονται στο μοντέλο αλλά επηρεάζουν την εξαρτημένη μεταβλητή ανεξάρτητα από τη μεταβλητή (ή μεταβλητές) X του μοντέλου. Κατά συνέπεια, τείνουν να συμμορφώνονται με το κεντρικό οριακό θεώρημα, έτσι ώστε η κατανομή τους να προσεγγίζει ασυμπτωτικά την κανονική.
Το γεγονός ότι για το μοντέλο (2.2) τα ϵi , i = 1, ..., n, είναι ασυσχέτιστες τ.μ. σε συνδυασμό με την υπόθεση της κανονικότητας, οδηγεί στην ανεξαρτησία των ϵi .
Ως επακόλουθο της Υπόθεσης 3 της κανονικότητας των ϵi , οδηγούμαστε στο ότι:
i.i.d.
Yi ∼ N β0 + β1 xi , σ 2 ,
i = 1, ..., n,
(2.19)
& V ar(Yi ) = σ 2 .
(2.20)
από όπου προκύπτει ότι για κάθε i έχουμε ότι:
E(Yi ) = β0 + β1 xi
Με δεδομένη την υπόθεση της κανονικότητας, μπορούμε να υπολογίσουμε εκ νέου τις εκτιμήτριες των β0 , β1
και σ 2 , αυτή τη φορά με τη μέθοδο της μεγίστης πιθανοφάνειας. Λόγω της (2.19), η συνάρτηση πιθανοφάνειας δίνεται από τον τύπο:
L(β0 , β1 , σ 2 ) =
1
(2πσ 2 )
e− 2σ2
n/2
1
Pn
i=1
(yi −β0 −β1 xi )2
.
(2.21)
Για τον προσδιορισμό των εκτιμητριών μεγίστης πιθανοφάνειας (ΕΜΠ, MLE) των β0 , β1 και σ 2 απαιτείται
η μεγιστοποίηση της L ή ισοδύναμα η μεγιστοποίηση της συνάρτησης lnL, δηλαδή:
n
n
1 X
n
L(β0 , β1 , σ 2 ) = − ln2π − ln2σ 2 − 2
(yi − β0 − β1 xi )2 .
2
2
2σ i=1
(2.22)
Θέτοντας τις πρώτες μερικές παραγώγους της (2.22) ίσες με το 0, και αντικαθιστώντας τα β0 , β1 και σ 2 με
τις αντίστοιχες εκτιμήτριες β̂0 , β̂1 και σ̂ 2 , παίρνουμε τις σχέσεις:
n X
yi − β̂0 − β̂1 xi = 0
(2.23)
i=1
n
X
xi yi − β̂0 − β̂1 xi = 0
(2.24)
i=1
n X
i=1
yi − β̂0 − β̂1 xi
2
= nσ̂ 2 .
(2.25)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
21
Παρατηρούμε ότι οι σχέσεις (2.23) και (2.24) ταυτίζονται με τις κανονικές εξισώσεις (2.10) και (2.11) με
αποτέλεσμα οι ΕΜΠ β̂0 και β̂1 να ταυτίζονται με τους ΕΕΤ όπως αυτοί δίνονται από τη σχέση (2.6). Τέλος,
αντικαθιστώντας τη σχέση (2.5) στη σχέση (2.23) και αξιοποιώντας τη σχέση (2.18) καταλήγουμε στον
ΕΜΠ της παραμέτρου σ̂ 2 :
Pn
2
i=1 ϵ̂i
σ̂ 2 =
n
Pn
i=1
=
(yi − ŷi )2
≡
n
Pn
i=1
2
\
yi − E
(Yi )
n
.
(2.26)
Οι ΕΜΠ β̂0 και β̂1 έχουν τις ίδιες ιδιότητες με τους ΕΕΤ καθώς, όπως προαναφέρθηκε, ταυτίζονται. Σημειώνεται ότι ο ΕΜΠ σ̂ 2 είναι μεροληπτική εκτιμήτρια (biased) και γι’ αυτό για την εκτίμηση του σ 2 προτιμάται/συστήνεται η αμερόληπτη εκτιμήτρια MSE (βλ. Ενότητα 2.6, Πρόταση 2.6), η οποία δίνεται από τη
σχέση:
2
Pn
\
Pn
P
2
y
−
E
(Y
)
n
i
i
i=1
ϵ̂2
(yi − ŷi )
M SE = i=1 i = i=1
≡
.
(2.27)
n−2
n−2
n−2
2.6 Πίνακας ανάλυσης διακύμανσης (ANOVA)
Έχοντας προσαρμόσει το μοντέλο στα υπό εξέταση δεδομένα, ο Ερευνητής ενδιαφέρεται να εξετάσει εάν η
μεταβλητότητα (ο σκεδασμός, η διασπορά) των τιμών της εξαρτημένης μεταβλητής ερμηνεύεται επαρκώς
(δηλαδή στατιστικώς σημαντικά) από τη μεταβλητότητα που «συνοδεύει» το προτεινόμενο μοντέλο παλινδρόμησης. Τον σκοπό αυτό εξυπηρετεί η Ανάλυση Διακύμανσης (Analysis of Variance) η οποία μελετά
την Ολική Μεταβλητότητα (Ολικό Άθροισμα Τετραγώνων, SSTO–Sum of Squares Total) ως συνάρτηση δύο συνιστωσών: (1) της Μεταβλητότητας που οφείλεται στην Παλινδρόμηση (Άθροισμα Τετραγώνων Παλινδρόμησης, SSR–Sum of Squares due to Regression (SSR)) (δηλαδή την μεταβλητότητα
των δεδομένων που έχει επιτύχει να δικαιολογήσει το προτεινόμενο μοντέλο) και (2) της Μεταβλητότητας
που οφείλεται στα Σφάλματα (Άθροισμα Τετραγώνων των Σφαλμάτων, SSE–Sum of Squares Error)
(δηλαδή τη μεταβλητότητα που αν και ενυπάρχει στα δεδομένα, δεν δύναται το προτεινόμενο μοντέλο να
δικαιολογήσει-εξηγήσει). Είναι αυτονόητο ότι όσο μικρότερη είναι η τιμή του SSE τόσο καλύτερο είναι το
προτεινόμενο μοντέλο. Στην ιδανική (θεωρητική) περίπτωση που SSE ≡ 0, η απλή γραμμική παλινδρόμηση αποτελεί το τέλειο μοντέλο.
Τα παραπάνω μπορούν να εκφραστούν ως:
SST O = SSR + SSE,
(2.28)
όπου:
• SSR =
• SSE =
Pn
i=1 (ŷi
Pn
− ȳ)2 = β̂12
2
i=1 ϵ̂i =
• SST O = Syy =
Pn
i=1 (xi
Pn
2
i=1 (yi − ŷi ) =
Pn
i=1 (yi
− ȳ)2 =
− x̄)2 = β̂12 Sxx ∼ σ 2 χ21 ,
Pn
Pn
i=1
i=1
yi − β̂0 − β̂1 xi
2
∼ σ 2 χ2n−2 και
yi2 − nȳ 2 ∼ σ 2 χ2n−1 .
Παρατηρούμε ότι κάθε άθροισμα τετραγώνων διαιρεμένο με την ποσότητα σ 2 , αποτελεί τ.μ. από την κατανομή χ2 , αφού πρόκειται για άθροισμα τυποποιημένων κανονικών τ.μ. που έχουν υψωθεί στο τετράγωνο. Οι
βαθμοί ελευθερίας (β.ε.) προκύπτουν αν σε κάθε περίπτωση ληφθεί υπόψη ο αριθμός των εμπλεκόμενων εκτιμητριών. Άρα, οι β.ε. των SSE και SST O είναι n − 2 και n − 1 αντίστοιχα, αφού στην πρώτη περίπτωση
χάνονται 2 β.ε. λόγω της εκτίμησης των δύο συντελεστών παλινδρόμησης, ενώ στη δεύτερη χάνεται μόνο ένας
β.ε. λόγω της εκτιμήτριας ȳ. Η αθροιστική σχέση SST O = SSR + SSE ισχύει κατ’ αντιστοιχία και για
22
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
τους β.ε., με αποτέλεσμα η ποσότητα SSR να έχει αναγκαστικά 1 β.ε.
Διαιρώντας τα SSR και SSE με τους αντίστοιχους βαθμούς ελευθερίας (1 και n − 2), προκύπτει το Μέσο
Άθροισμα Τετραγώνων της Παλινδρόμησης (MSR–Mean Square due to Regression) και το Μέσο Άθροισμα Τετραγώνων των Σφαλμάτων (M SE–Mean Squared Error), αντίστοιχα:
P
n
SSE
ϵ̂2
και M SE =
= i=1 i .
n−2
n−2
SSR
M SR =
1
(2.29)
Πρόταση 2.5 (Θεώρημα Cochran [16]). Οι ποσότητες SSR, SSE και SST O αποτελούν ανεξάρτητες τυχαίες μεταβλητές, καθεμία από τις οποίες διαιρεμένη με τους αντίστοιχους β.ε. ακολουθεί τη χ2 κατανομή.
Ως συνέπεια της προηγούμενης πρότασης έχουμε την ελεγχοσυνάρτηση:
M SR
F =
=
M SE
SSR
1
SSE
n−2
=
χ21
1
χ2n−2
n−2
= F1,n−2 = t2n−2 ,
(2.30)
η οποία αξιοποιείται για τον έλεγχο:
H0 : β1 = 0
H1 : β1 ̸= 0,
vs
με την H0 να απορρίπτεται εάν F > F1,n−2;α .
Ο Πίνακας 2.4 συνοψίζει τα παραπάνω μέσω του λεγόμενου Πίνακα ANOVA.
Πίνακας 2.4: Πίνακας ANOVA Απλής Γραμμικής Παλινδρόμησης
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Παλινδρόμηση
1
SSR
M SR
M SR H0
∼
M SE
Σφάλμα
n−2
SSE
M SE
–
Ολική
n−1
SST O
–
–
F
Άθροισμα
Τετραγώνων
F1,n−2
Πρόταση 2.6. Το M SE αποτελεί αμερόληπτη εκτιμήτρια της διασποράς σ 2 των σφαλμάτων, δηλαδή:
E(M SE) = σ 2 .
Απόδειξη Πρότασης 2.6.
E(SSE) = E
n
X
!
(yi − ŷi )2 =
i=1
=
n X
n X
E(yi − ŷi )2
i=1
2 V ar(yi − ŷi ) + E(yi − ŷi )
i=1
=
n
X
i=1
(V ar(yi − ŷi )) =
n X
i=1
V ar(yi − (β̂0 + β̂1 xi ))
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
=
n X
23
V ar(yi − (ȳ − β̂1 x̄ + β̂1 xi ))
i=1
=
n X
V ar(yi − ȳ − β̂1 (xi − x̄))
i=1
=
n X
V ar(yi − ȳ) + V ar(β̂1 (xi − x̄)) − 2Cov(yi − ȳ, β̂1 (xi − x̄))
i=1
=
n X
V ar(yi − ȳ) + V ar(β̂1 )(xi − x̄)2 − 2Cov((yi − ȳ)(xi − x̄), β̂1 )
i=1
=
n
X
V ar(yi − ȳ) + V ar(β̂1 )
i=1
=
n
X
n
X
n
X
(xi − x̄) − 2Cov
2
i=1
!
(yi − ȳ)(xi − x̄), β̂1
i=1
(V ar(yi ) + V ar(ȳ) − 2Cov(yi , ȳ)) + V ar(β̂1 )
i=1
n
X
(xi − x̄)2
i=1
− 2Cov β̂1
n
X
!
(xi − x̄) , β̂1
2
i=1
=
n
X
i=1
σ2
− 2Cov yi ,
σ +
n
2
− 2V ar(β̂1 )
n
X
Pn
i=1
yi
!!
+ V ar(β̂1 )
n
n
X
(xi − x̄)2
i=1
(xi − x̄)2
i=1
=
n
X
i=1
=
n
X
i=1
Άρα,
σ2
σ +
− 2Cov yi ,
n
2
σ2
σ2
−2
σ +
n
n
2
Pn
i=1
n
yi
!!
− V ar(β̂1 )
n
X
(xi − x̄)2
i=1
!
− σ 2 = (n − 1)σ 2 − σ 2 = (n − 2)σ 2 .
E(SSE) = (n − 2)σ 2 ⇔ E(M SE) = σ 2 .
Θεώρημα 2.2. Έστω το γραμμικό μοντέλο παλινδρόμησης yi = β0 +β1 xi +ϵi , i = 1, ..., n, και η αντίστοιχη
εκτιμήτρια συνάρτηση παλινδρόμησης ŷi = β̂0 + β̂1 xi , i = 1, ..., n. Τότε:
1.
Pn
i=1 ϵ̂i
= 0.
24
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
2.
3.
4.
Pn
i=1 ϵ̂i xi
Pn
i=1 ϵ̂i ŷi
Pn
i=1
= 0.
= 0.
yi =
Pn
i=1
ŷi .
5. Το SSE είναι ελάχιστο.
6. Το κέντρο βάρους των δεδομένων (x̄, ȳ) αποτελεί πάντοτε σημείο της εκτιμήτριας συνάρτησης παλινδρόμησης.
Απόδειξη Θεωρήματος 2.2.
1.
Pn
i=1 ϵˆi
Pn
=
i=1 (yi
− ŷi ) =
Pn
i=1 (yi
− β̂0 − β̂1 xi ) =
Pn
i=1
yi − nβ̂0 − β̂1
Pn
i=1
xi = 0 (βλ.
(2.23)).
2.
Pn
i=1 ϵ̂i xi
=
Pn
i=1 (yi
Pn
− β̂0 − β̂1 xi )xi =
i=1
xi yi − β̂0
Pn
i=1
xi − β̂1
Pn
i=1
x2i = 0 (βλ. (2.24)).
3. Αφήνεται ως άσκηση.
4.
Pn
i=1 ŷi =
Pn
i=1
β̂0 + β̂1 xi = nβ̂0 + β̂1
Pn
i=1
xi =
Pn
i=1
yi (βλ. (2.10)).
5. Σύμφωνα με τη μέθοδο ελαχίστων τετραγώνων, οι εκτιμήτριες β̂0 και β̂1 των συντελεστών παλινδρόμησης
β0 και β1 , αντίστοιχα, είναι εκείνες οι τιμές για τις οποίες η ποσότητα
Q(β0 , β1 ) =
n
X
ϵ2i ,
i=1
ελαχιστοποιείται. Άρα:
minQ(β0 , β1 ) =
β0 ,β1
n
X
(yi − β̂0 − β̂1 xi )2 .
i=1
6. Θέτοντας στην εκτιμήτρια συνάρτηση παλινδρόμησης xi = x̄, και χρησιμοποιώντας τον τύπο του β̂0 από
τη σχέση (2.6), έχουμε:
ŷ = β̂0 + β̂1 x̄ = (ȳ − β̂1 x̄) + β̂1 x̄ = ȳ.
Άρα, το (x̄, ȳ) είναι σημείο της εκτιμήτριας συνάρτησης παλινδρόμησης.
2.7 Συντελεστής προσδιορισμού R2 και συντελεστής γραμμικής συσχέτισης
Ένα πρόβλημα μοντελοποίησης δύναται να προσεγγιστεί μέσω μίας πληθώρας υποψήφιων μοντέλων. Θα
πρέπει λοιπόν, να αναζητηθεί κατάλληλη ποσότητα η οποία να δύναται να ποσοτικοποιήσει τον βαθμό καταλληλότητας κάθε προτεινόμενου μοντέλου. Μία τέτοια ποσότητα αποτελεί ο Συντελεστής Προσδιορισμού
R2 (Coefficient of Determination), ο οποίος ορίζεται ως:
R2 =
SSR
SSE
=1−
,
SST O
SST O
0 ≤ R2 ≤ 1,
(2.31)
− x̄)2
.
− ȳ)2
(2.32)
που από τους τύπους των SSR και SST O ισούται με:
2
R =
Sxx
β̂12
Syy
Pn
=
β̂12
i=1 (xi
Pn
i=1 (yi
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
25
Το R2 ερμηνεύεται ως το ποσοστό (%) της μεταβλητότητας της εξαρτημένης μεταβλητής Y που επεξηγείται
από το προτεινόμενο μοντέλο παλινδρόμησης. Ειδικά για την περίπτωση της απλής γραμμικής παλινδρόμησης, μπορεί να ειπωθεί ότι το R2 μετρά το πόσο ισχυρή είναι η γραμμική σχέση μεταξύ των δύο εμπλεκόμενων
μεταβλητών X και Y . Τιμές πλησίον του ένα (100%) υποδηλώνουν ισχυρή γραμμική εξάρτηση μεταξύ της
X και της Y , ενώ τιμές πλησίον του μηδενός (0%) υποδηλώνουν ασθενή γραμμική εξάρτηση μεταξύ των δύο
και κατ’ επέκταση ακαταλληλότητα του προτεινομένου μοντέλου γραμμικής παλινδρόμησης. Η μορφή της
πιο πάνω σχέσης επιβεβαιώνει ότι σχεδόν μηδενικές τιμές του SSE ισοδυναμούν με τιμές του R2 πλησίον
του 1 και κατά συνέπεια, με ισχυρή γραμμική σχέση και άρα καταλληλότητα του προτεινομένου μοντέλου.
Με άλλα λόγια, το μοντέλο έχει καταφέρει να δικαιολογήσει ένα πολύ μεγάλο ποσοστό της μεταβλητότητας
των δεδομένων, με αποτέλεσμα το SSE να είναι αριθμητικά ασήμαντο και το μοντέλο να παρουσιάζει υψηλό
βαθμό καταλληλότητας.
Είναι προφανές ότι η μελέτη της γραμμικής σχέσης που μπορεί να συνδέει δύο μεταβλητές X και Y παρουσιάζει ιδιαίτερο ενδιαφέρον, αφού αυτή μπορεί εύκολα να μελετηθεί μέσω μίας απλής συναρτησιακής σχέσης
(μιας ευθείας). Είναι συχνό το φαινόμενο ο Ερευνητής να ενδιαφέρεται για τη σχέση που ενδεχομένως συνδέει δύο μεταβλητές, όπως παραδείγματος χάρη, τις μεταβλητές που αφορούν τα έσοδα και τα έξοδα μίας
επιχείρησης ή εκείνες που αφορούν την αύξηση (ή τη μείωση) της τιμής μίας μεταβλητής και τον αντίκτυπο
που αυτή έχει στη βελτιστοποίηση (ή ακόμα και στη μεγιστοποίηση) της αποδοτικότητας μίας διεργασίας.
Έτσι, το πρώτο και βασικότερο ερώτημα που καλείται να απαντήσει ο Ερευνητής είναι το πώς θα μετρήσει
τον βαθμό (την ένταση, το μέγεθος) της (γραμμικής) σχέσης μεταξύ των X και Y . Αν μία τέτοια σχέση
είναι αρκετά ισχυρή, τότε η μελέτη της σχέσης (2.1) είναι αναγκαία. Ο Πίνακας 2.5 δίνει 17 ζεύγη τιμών
(x1 , y1 ), (x2 , y2 ), ..., (x17 , y17 ) για δύο μεταβλητές X και Y , ενώ η γραφική τους παράσταση (Διάγραμμα
Διασποράς, Σκεδασμογράφημα) δίνεται στο Σχήμα 2.7 από όπου φαίνεται ότι υπάρχει αρκετά ισχυρή γραμμική σχέση μεταξύ των X και Y , και άρα ενδείκνυνται η εφαρμογή και μελέτη της απλής γραμμικής παλινδρόμησης.
Πίνακας 2.5: Τιμές 17 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
6
229.9
146.3
12
168
136
1
93.5
91.3
7
59
53
13
323
259
2
171
133
8
91
80
14
302
250
3
192.4
155.4
9
70
60
15
284
227
4
206.4
180.6
10
82
76
16
239
177
5
279
241.8
11
146
116
17
311
248
26
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Σχήμα 2.7: Διάγραμμα διασποράς Πίνακα 2.5
Στην πράξη, για τον προσδιορισμό του βαθμού γραμμικής σχέσης χρησιμοποιείται ο συντελεστής r του οποίου
ο ορισμός, για ένα σύνολο n παρατηρήσεων (xi , yi ), δίνεται ακολούθως.
Ορισμός 2.1. Ο δειγματικός συντελεστής γραμμικής συσχέτισης (sample correlation coefficient) συμβολίζεται
με r και είναι η ποσότητα που μετρά την ισχύ (τον βαθμό, το μέγεθος, την ένταση) της γραμμικής σχέσης μεταξύ
δύο μεταβλητών X και Y με βάση ένα σύνολο n παρατηρήσεων (xi , yi ):
Sxy
q
r=√
,
Sxx · Syy
−1 ≤ r ≤ 1,
(2.33)
όπου:
• Sxy =
• Sxx =
• Syy =
Pn
i=1 (xi
Pn
i=1 (xi
Pn
i=1 (yi
− x̄)(yi − ȳ) =
− x̄)2 =
− ȳ)2 =
Pn
i=1
Pn
i=1
Pn
i=1
xi yi − nx̄ȳ,
x2i − nx̄2 και
yi2 − nȳ 2 = SST O.
Ο συντελεστής της σχέσης (2.33) ονομάζεται συντελεστής γραμμικής συσχέτισης κατά Pearson (Pearson’s correlation coefficient) και αποτελεί φυσικό (δειγματικό) εκτιμητή (natural estimator) του αντίστοιχου πληθυσμιακού (θεωρητικού) συντελεστή γραμμικής συσχέτισης, ο οποίος για δύο (τυχαίες) μεταβλητές, έστω x
και y, ορίζεται ως:
Cov(X, Y )
ρ= q
, −1 ≤ ρ ≤ 1,
V ar(X)V ar(Y )
όπου:
• Cov(X, Y ) = E(X − µX )(Y − µY ),
µX = E(X),
µY = E(Y ),
• V ar(X) = E(X 2 ) − µ2X και
• V ar(Y ) = E(Y 2 ) − µ2Y .
Για το ρ ισχύουν τα εξής:
1. Αν ρ = +1 τότε υπάρχει πλήρης θετική γραμμική σχέση μεταξύ των X και Y .
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
27
2. Αν ρ = −1 τότε υπάρχει πλήρης αρνητική γραμμική σχέση μεταξύ των X και Y .
3. Αν ρ = 0 τότε δεν υπάρχει γραμμική σχέση μεταξύ των X και Y .
4. Τιμές του ρ πλησίον του +1 ή του −1 δηλώνουν ισχυρή γραμμική σχέση, ενώ τιμές πλησίον του 0
ασθενή έως ανύπαρκτη γραμμική σχέση.
Στην απλή γραμμική παλινδρόμηση και για τη σχέση (2.31), ισχύει ότι:
√
r ≡ R2 ,
αφού λαμβάνοντας υπόψη τους ορισμούς των r και SSR, ισχύει η σχέση:
Sxy
= SSR.
Sxx
Παράδειγμα 2.6. Να υπολογιστεί ο δειγματικός συντελεστής γραμμικής συσχέτισης για τις παρατηρήσεις: (xi , yi ) =
(2, 5), (1, 3), (5, 6), (0, 2).
Λύση
Στον Πίνακα 2.6 υπολογίζονται όλες οι ποσότητες που συντελούν στον προσδιορισμό του r.
Πίνακας 2.6: Υπολογισμός ποσοτήτων για τον προσδιορισμό του r
#
xi
yi
xi − x̄
yi − ȳ
(xi − x̄)2
(yi − ȳ)2
(xi − x̄)(yi − ȳ)
1
2
5
0
1
0
1
0
2
1
3
−1
−1
1
1
1
3
5
6
3
2
9
4
6
4
0
2
−2
−2
4
4
4
Αθροίσματα
x̄ = 2
ȳ = 4
0
0
Sxx = 14
Syy = 10
Sxy = 11
Άρα:
11
√ = 0.93,
14 · 10
τιμή που υποδηλώνει ισχυρότατη γραμμική σχέση μεταξύ των δύο μεταβλητών.
r=√
Ο δειγματικός συντελεστής γραμμικής συσχέτισης R μπορεί να αξιοποιηθεί για την εφαρμογή του ελέγχου:
H0 : ρ = ρ∗
vs H1 : ρ ̸= ρ∗ .
Η κατάλληλη ελεγχοσυνάρτηση είναι η ακόλουθη:
=
1
2
log
1+r
1−r
− 12 log
q
1+ρ∗
1−ρ∗
1
n−3
προσεγγιστικά
∼ N (0, 1) .
Στην ειδική περίπτωση του ελέγχου για απουσία συσχέτισης (δηλαδή για ρ∗ = 0), τότε:
H0 : ρ = 0
η (2.34) μετατρέπεται σε:
s
T =r
vs
H1 : ρ ̸= 0
n − 2 H0
∼ tn−2 .
1 − r2
(2.34)
28
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
2.8 Έλεγχος υποθέσεων, διαστήματα εμπιστοσύνης και πρόβλεψη
2.8.1 Έλεγχος υποθέσεων
Έστω βi , i = 0, 1, οι συντελεστές παλινδρόμησης του μοντέλου yi = β0 + β1 xi + ϵi . Δύο είναι οι έλεγχοι
που συνήθως απασχολούν τον Ερευνητή:
• Δίπλευροι Έλεγχοι (Two-Sided Tests):
H0 : βi = βi∗
vs
H1 : βi ̸= βi∗ ,
i = 0, 1.
• Μονόπλευροι Έλεγχοι (One-Sided Tests):
και
H0 : βi ≥ βi∗
vs
H1 : βi < βi∗ ,
i = 0, 1
H0 : βi ≤ βi∗
vs
H1 : βi > βi∗ ,
i = 0, 1
όπου βi∗ ∈ R δοθείσα τιμή. Σημειώνεται ότι αν και οι πιο πάνω έλεγχοι παρουσιάζουν γενικό ενδιαφέρον,
κυριότερος από την πλευρά της γραμμικής παλινδρόμησης, είναι ο έλεγχος:
H0 : β1 = 0
H1 : β1 ̸= 0,
vs
αφού η αποδοχή της H1 υποδηλώνει την ύπαρξη γραμμικότητας μεταξύ των Y και X και άρα την καταλληλότητα του μοντέλου της γραμμικής παλινδρόμησης. Από την άλλη, η αποδοχή της μηδενικής υπόθεσης H0
καταδεικνύει ότι ο συντελεστής της μεταβλητής X είναι μηδέν (δηλαδή η κλίση της ευθείας είναι μηδέν) και
άρα δεν υφίσταται γραμμική σχέση μεταξύ των Y και X.
i.i.d.
Πρόταση 2.7. Αν Yi ∼ N (β0 + β1 xi , σ 2 ) (δηλαδή υπό την Υπόθεση 3 της κανονικότητας), τότε οι ποσότητες β̂0 και β̂1 ακολουθούν κανονική κατανομή ως γραμμικές συναρτήσεις (από Πρόταση 2.2) ανεξάρτητων
κανονικών τ.μ.:
!
σ2
β̂1 ∼ N β1 , Pn
(2.35)
2
i=1 (xi − x̄)
β̂0 ∼ N β0 , σ
2
1
x̄2
+ Pn
2
n
i=1 (xi − x̄)
!!
.
(2.36)
Στην περίπτωση όπου το σ 2 είναι άγνωστο, τότε αυτό αντικαθίσταται από την αμερόληπτη εκτιμήτρια M SE
(από Πρόταση 2.6), και έτσι η διασπορά των βˆ1 και β̂0 εκτιμάται από τις ποσότητες:
V\
ar(β̂1 ) = Pn
M SE
2
i=1 (xi − x̄)
και
V\
ar(β̂0 ) = M SE
!
1
x̄2
+ Pn
,
2
n
i=1 (xi − x̄)
αντίστοιχα, ενώ η συνδιασπορά τους από την ποσότητα:
M SE
\
Cov(
β̂0 , β̂1 ) = −x̄ Pn
.
2
i=1 (xi − x̄)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
29
Θεώρημα 2.3. Για την εφαρμογή ενός από τους ελέγχους:
≤
H0 : βi ≥ βi∗
=
>
vs H1 : βi < βi∗ , i = 0, 1,
̸=
χρησιμοποιείται η Στατιστική Συνάρτηση Ελέγχου (Ελεγχοσυνάρτηση, ΣΣΕ):
t(β̂i ) =
r
όπου se(β̂i ) =
V\
ar(β̂i ),
β̂i − βi∗
se(β̂i )
H0
∼ tn−2 ,
i = 0, 1,
(2.37)
i = 0, 1.
Στον Πίνακα 2.7 παρουσιάζεται η περιοχή (χωρίο) απόρριψης της H0 ανάλογα με τη μορφή της H1 όπου
tn−2;α αποτελεί το 100(1 − α)% ποσοστημόριο της κατανομής t, με n − 2 β.ε. Οι β.ε. είναι n − 2 για κάθε
έλεγχο του Θεωρήματος 2.3, διότι χάνονται 2 β.ε. όταν το σ 2 εκτιμάται από το M SE, μιας και το τελευταίο
εμπεριέχει τους 2 ΕΕΤ των β0 και β1 , αντίστοιχα.
Πίνακας 2.7: Χωρία απόρριψης της μηδενικής υπόθεσης για τους συντελεστές παλινδρόμησης
Μορφή H1
Απόρριψη H0
H1 : βi < βi∗
t(β̂i ) < −tn−2;α
H1 : βi > βi∗
t(β̂i ) > tn−2;α
H1 : βi ̸= βi∗
t(β̂i ) > tn−2;α/2
Όσον αφορά τον έλεγχο στατιστικής σημαντικότητας του συντελεστή βi , αυτός ορίζεται ως:
H0 : βi = 0
vs
H1 : βi ̸= 0, i = 0, 1,
με ΣΣΕ την (2.37), θέτοντας βi∗ = 0, και περιοχή απόρριψης της H0 την t(β̂i ) > tn−2;α/2 .
Σημείωση: Ο έλεγχος της στατιστικής σημαντικότητας του συντελεστή β1 δύναται να διενεργηθεί είτε μέσω
της σχέσης (2.37) είτε μέσω της (2.30), κάνοντας χρήση φυσικά της αντίστοιχης κρίσιμης περιοχής. Προσοχή! Το προαναφερθέν ισχύει μόνο στο πλαίσιο της Απλής Γραμμικής Παλινδρόμησης.
2.8.2 Διαστήματα εμπιστοσύνης
2.8.2.1 Διάστημα εμπιστοσύνης για τους συντελεστές παλινδρόμησης
Βασιζόμενοι στο Θεώρημα 2.3, το Διάστημα Εμπιστοσύνης (Δ.Ε., confidence interval) με συντελεστή εμπιστοσύνης 1 − α ή αλλιώς το 100(1 − α)% Δ.Ε. για το βi , i = 0, 1, δίνεται από τον τύπο:
β̂i ± tn−2;α/2 se β̂i ,
(2.38)
r
όπου se(β̂i ) =
V\
ar(β̂i ), i = 0, 1.
Σημείωση: Ένας έλεγχος που οδηγεί στην απόρριψη της υπόθεσης βi = 0, δεν συνεπάγεται αναγκαστικά τη
σχέση αιτίου-αποτελέσματος μεταξύ των X και Y , γιατί οι μεταβλητές αυτές μπορεί να επηρεάζονται ταυτόχρονα από μία τρίτη μεταβλητή η οποία δεν περιλαμβάνεται στο μοντέλο.
30
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Οι έλεγχοι υποθέσεων και τα Δ.Ε. που διατυπώθηκαν παραπάνω, βασίζονται στην υπόθεση της κανονικότητας των yi . Παρά ταύτα, ακόμα και μεγάλες αποκλίσεις από την υπόθεση της κανονικότητας δεν επηρεάζουν
τα συμπεράσματα (2.35), (2.36) και το Θεώρημα 2.3, αρκεί το μέγεθος του δείγματος να είναι ικανοποιητικά
μεγάλο. Τέλος, οι τιμές της κατανομής t που χρησιμοποιούνται στη στατιστική συμπερασματολογία μπορούν
να αντικατασταθούν από τις αντίστοιχες τιμές της τυπικής κανονικής κατανομής, όταν το μέγεθος του δείγματος είναι αρκετά μεγάλο (n > 29).
2.8.2.2 Διάστημα εμπιστοσύνης για τη συνάρτηση παλινδρόμησης
Στην ανάλυση παλινδρόμησης πολλές φορές μας ενδιαφέρει η εκτίμηση της μέσης τιμής της Y για κάποια
συγκεκριμένη τιμή της X. Έστω xh η συγκεκριμένη αυτή τιμή η οποία μπορεί να είναι μία από τις τιμές της
X στο δείγμα, μπορεί όμως να είναι και μία τιμή πέρα από το εύρος των τιμών αυτής. Στην τελευταία αυτή
περίπτωση χρειάζεται ιδιαίτερη προσοχή γιατί εάν η τιμή xh απέχει υπερβολικά από τις τιμές του δείγματος,
μπορεί το μοντέλο παλινδρόμησης να μην είναι πλέον ικανοποιητικό. Η ζητούμενη μέση τιμή της Yh = yh
για X = xh δίνεται από τη σχέση:
E(yh ) = β0 + β1 xh ,
(2.39)
ενώ η αντίστοιχη εκτιμήτριά της από τη σχέση:
ŷh = β̂0 + β̂1 xh .
(2.40)
Θεώρημα 2.4. Έστω το μοντέλο:
yi = β0 + β1 xi + ϵi ,
i = 1, ..., n.
(2.41)
Η κατανομή της Ŷh = ŷh είναι:
ŷh ∼ N E(yh ), σ
2
1
(xh − x̄)2
+ Pn
2
n
i=1 (xi − x̄)
!!
.
(2.42)
Απόδειξη Θεωρήματος 2.4. Από την Πρόταση 2.2 γνωρίζουμε ότι οι ΕΕΤ β̂0 και β̂1 , εκφράζονται ως γραμμικοί συνδυασμοί των yi . Από τη μορφή της σχέσης (2.40) φαίνεται ότι και το ŷh μπορεί να γραφτεί ως γραμμικός
συνδυασμός των yi , οπότε ακολουθεί την ίδια κατανομή με τα yi , δηλαδή την κανονική κατανομή.
Επιπλέον:
E (ŷh ) = E β̂0 + β̂1 xh = β0 + β1 xh = E(Yh ).
(2.43)
Τέλος, χρησιμοποιώντας τον ορισμό του β̂0 , την Πρόταση 2.3 και το Θεώρημα 2.2 έχουμε:
V ar (ŷh ) = V ar ȳ + β̂1 (xh − x̄) = V ar (ȳ) + (xh − x̄)2 V ar β̂1
=
σ2
σ2
2
+ Pn
2 (xh − x̄)
n
(x
−
x̄)
i
i=1
!
=σ
2
1
(xh − x̄)2
+ Pn
2 .
n
(x
−
x̄)
i
i=1
(2.44)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
31
Αντικαθιστώντας στην (2.44) το σ 2 με την αμερόληπτη εκτιμήτρια σ̂ 2 = M SE, προκύπτει η εκτιμήτρια
της V ar (ŷh ):
!
(xh − x̄)2
1
\
+ Pn
V ar (ŷh ) = M SE
(2.45)
2 .
n
i=1 (xi − x̄)
Θεώρημα 2.5. Έστω το μοντέλο (2.4) και η εκτιμήτρια ŷh . Τότε:
ŷh − E(yh )
t(ŷh ) = q
∼ tn−2 .
V\
ar (ŷh )
(2.46)
Με βάση το Θεώρημα 2.5, ένα 100(1 − α)% Δ.Ε. για τη E(yh ) είναι το ακόλουθο:
r
ŷh ± tn−2,a/2 V \
ar (ŷh ).
(2.47)
2.8.2.3 Διάστημα εμπιστοσύνης για την πρόβλεψη νέων παρατηρήσεων
Έστω το πρόβλημα της πρόβλεψης μίας νέας παρατήρησης y που αντιστοιχεί σε μία τιμή xh της X. Ως γνωστόν, η μέση τιμή της κατανομής της Yh = yh για την τιμή X = xh , μπορεί να αντικατασταθεί από την
ποσότητα ŷh . Το ŷh αποτελεί όχι μόνο εκτιμήτρια της μέσης τιμής αλλά (λόγω ελλείψεως άλλης) και εκτιμήτρια κάθε νέας παρατήρησης που αντιστοιχεί στην xh . Η κατασκευή ενός διαστήματος στην περίπτωση
αυτή, είναι ιδιαίτερα πολύπλοκη και ουσιαστικά διαφέρει από την κατασκευή διαστημάτων εμπιστοσύνης,
όπως αυτή μας είναι γνωστή. Αυτό οφείλεται στο γεγονός ότι η ποσότητα που μας ενδιαφέρει δεν είναι μία
άγνωστη παράμετρος αλλά είναι η τιμή που μπορεί να πάρει μία τυχαία μεταβλητή. Έτσι λοιπόν, ο Ερευνητής
θα πρέπει να λάβει υπόψη του τόσο την απόκλιση που οφείλεται στη θέση της ίδιας της κατανομής της y, όσο
και την απόκλιση των τιμών της ίδιας της κατανομής.
Παρακάτω, δίνεται (χωρίς απόδειξη) ο τύπος του 100(1−α)% Διαστήματος Πρόβλεψης (Δ.Π., Prediction
Interval) για μία νέα παρατήρηση yh που αντιστοιχεί σε μία τιμή xh της x:
r
ŷh ± tn−2,a/2 V \
ar (ŷh∗ ),
όπου V \
ar (ŷh∗ ) = M SE 1 +
1
n
+
2
Pn(xh −x̄)
i=1
(xi −x̄)2
(2.48)
.
Υπάρχουν περιπτώσεις όπου είναι αναγκαίος ο προσδιορισμός ενός από κοινού χωρίου εμπιστοσύνης (confidence region) για τις παραμέτρους β0 και β1 του γραμμικού μοντέλου παλινδρόμησης. Το πιο κάτω θεώρημα,
το οποίο ισχύει και για γενικά μοντέλα παλινδρόμησης, δίνει ένα χωρίο εμπιστοσύνης το οποίο περιλαμβάνει
τους συντελεστές β0 και β1 με πιθανότητα 1 − α.
Θεώρημα 2.6. Έστω το γραμμικό μοντέλο παλινδρόμησης (2.2). Ένα 100(1 − α)% χωρίο εμπιστοσύνης για
τις παραμέτρους β0 και β1 είναι το:
n β̂0 − β0
2
+2
Pn
i=1 xi
β̂0 − β0
2σ̂ 2
β̂1 − β1 +
Pn
2
i=1 xi
β̂1 − β1
2
≤ F2,n−2;α/2
(2.49)
ενώ το όριο του χωρίου αυτού δίνεται από τον ίδιο τύπο με ισότητα αντί για ανισότητα.
Για τον προσδιορισμό του ορίου του χωρίου εμπιστοσύνης, δίνονται τιμές είτε στο β0 είτε στο β1 και προσδιορίζονται οι τιμές της άλλης παραμέτρου.
Επίσης, είναι εφικτή η κατασκευή Δ.Ε. που έχουν μαζί (από κοινού) επίπεδο εμπιστοσύνης 1 − α (ή αντίστοιχα από κοινού, σφάλμα ίσο με α). Τα διαστήματα αυτά είναι γνωστά ως από κοινού Δ.Ε. Bonferroni
32
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
(Bonferroni joint confidence intervals). Έστω ότι είναι επιθυμητή η κατασκευή m διαστημάτων εμπιστοσύνης για m παραμέτρους με επίπεδο εμπιστοσύνης τουλάχιστον 1 − α. Τα διαστήματα αυτά κατασκευάζονται
α
με βάση τα γνωστά «απλά» Δ.Ε., με τη διαφορά ότι το σφάλμα του καθενός ισούται με m
.
Για το γραμμικό μοντέλο παλινδρόμησης από τον τύπο (2.38) τα από κοινού Δ.Ε. Bonferroni για τα β0 καιβ1 ,
δηλαδή για m = 2, είναι:
β̂i ± tn−2;α/4 se β̂i , i = 0, 1.
(2.50)
Άσκηση Αυτοαξιολόγησης
Για τη μελέτη ενός απλού γραμμικού μοντέλου παλινδρόμησης, αξιοποιώντας το ίδιο
ακριβώς σύνολο δεδομένων, ο Ερευνητής Α κατέληξε στο συμπέρασμα ότι η κλίση της
ευθείας είναι μηδέν, ενώ ο Ερευνητής Β ότι είναι διάφορη του μηδενός. Πώς μπορεί να
συμβαίνει αυτό; Εξηγήστε.
2.9 Εφαρμογές στην R
1. Έστω τα ζεύγη παρατηρήσεων του Πίνακα 2.8.
Πίνακας 2.8: Τιμές 11 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
6
0
8
1
−5
1
7
1
9
2
−4
5
8
2
13
3
−3
4
9
3
14
4
−2
7
10
4
13
5
−1
10
11
5
18
Θεωρώντας το μοντέλο:
yi = β0 + β1 xi + ϵi ,
i = 1, ..., 11,
i. Ποιοι οι ΕΕΤ των β0 και β1 και ποια η εκτιμήτρια συνάρτηση παλινδρόμησης;
ii. Να δοθεί η τιμή της αμερόληπτης εκτιμήτριας της διασποράς των σφαλμάτων.
iii. Να βρεθούν οι διασπορές των εκτιμώμενων συντελεστών παλινδρόμησης β̂0 και β̂1 , καθώς και
η μεταξύ τους συνδιασπορά.
iv. Να εφαρμοστεί ο έλεγχος:
H0 : β1 = 1.5 vs
H1 : β1 ̸= 1.5.
(α = 5%)
v. Να γίνει το διάγραμμα διασποράς προσαρμόζοντας παράλληλα την εκτιμώμενη ευθεία παλινδρόμησης του ερωτήματος (i).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
33
vi. Να υπολογιστεί ένα 95% Δ.Ε. για τη μέση τιμή της εξαρτημένης μεταβλητής Y0 , εάν X =
x0 = 8.
Ȫ
Λύση
Για την εισαγωγή των δεδομένων στην R, θα πρέπει να γίνει χρήση της εντολής read_xlsx
[readxl].
Εισαγωγή δεδομένων & δημιουργία μεταβλητών
library(readxl) #Φόρτωση πακέτου readxl
data <‐ read_xlsx('ch2ex1.xlsx') #Εισαγωγή δεδομένων από αρχείο τύπου
.xlsx
#Εξαγωγή των X και Y μέσα από τη μεταβλητή data
X <‐ data$X
Y <‐ data$Y
i. Για την εύρεση της εκτιμήτριας συνάρτησης παλινδρόμησης, θα γίνει χρήση της εντολής lm
[stats]. Όσον αφορά τα χαρακτηριστικά του μοντέλου (εκτιμήσεις συντελεστών, τυπικά σφάλματα, κτλ.), αυτά προκύπτουν με χρήση της εντολής summary [base].
Δημιουργία απλού γραμμικού μοντέλου & συντελεστές
slm <‐ lm(Y ~ X) #Δημιουργία απλού γραμμικού μοντέλου
summary(slm) #Εξαγωγή χαρακτηριστικών μοντέλου (εκτιμήσεις
συντελεστών, p‐values κτλ.)
> summary(slm)
Call:
lm(formula = Y ~ X)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept)
9.273
0.463
20.02 9.0e‐09
X
1.436
0.146
9.81 4.2e‐06
Residual standard error: 1.54 on 9 degrees of freedom
Multiple R‐squared: 0.914,
Adjusted R‐squared: 0.905
F‐statistic: 96.2 on 1 and 9 DF, p‐value: 4.21e‐06
Από τη στήλη “Estimate” προκύπτει ότι το εκτιμώμενο μοντέλο είναι το ακόλουθο:
ŷi = 9.273 + 1.436xi ,
i = 1, ..., 11.
ii. Στη μεταβλητή slm περιέχεται όλη η πληροφορία που αφορά το εκτιμώμενο μοντέλο παλινδρόμησης. Άρα, εφαρμόζοντας την εντολή anova [stats] στη μεταβλητή slm, προκύπτει ο
Πίνακας ANOVA.
Πίνακας ANOVA
ANOVA <‐ anova(slm) #Δημιουργία πίνακα ANOVA
ANOVA
34
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
> ANOVA
Analysis of Variance Table
Response: Y
Df Sum Sq Mean Sq F value Pr(>F)
X
1 226.9
226.9
96.2 4.2e‐06
Residuals 9
21.2
2.4
Η αμερόληπτη εκτιμήτρια της διασποράς (MSE)βρίσκεται στη γραμμή “ Residuals” και τη
στήλη “Mean Sq”. Άρα M SE = 2.4.
iii. Εφαρμόζοντας την εντολή vcov [stats] στη μεταβλητή slm, θα προκύψει ο πίνακας διασποράς-συνδιασποράς.
Διακυμάνσεις - συνδιακυμάνσεις συντελεστών
var.covar.coeffs <‐ vcov(slm) #Δημιουργία πίνακα
διασποράς‐συνδιασποράς των β̂i , i = 0, 1
var.covar.coeffs
> var.covar.coeffs
(Intercept)
X
(Intercept) 2.1451e‐01 ‐5.7445e‐18
X
‐5.7445e‐18 2.1451e‐02
Είναι προφανές ότι τα στοιχεία της κύριας διαγωνίου του παραπάνω πίνακα, αποτελούν τις διασπορές των β̂0 και β̂1 , αντίστοιχα, ενώ τα στοιχεία εκτός διαγωνίου αποτελούν τις συνδιασπορές.
Έτσι:
• V ar β̂0 = 0.21451.
• V ar β̂1 = 0.021451.
• Cov β̂0 , β̂1 = −5.7445e−18 ≃ 0.
iv. Για τον έλεγχο της H0 : β1 = 1.5, θα πρέπει να κατασκευαστεί η κατάλληλη ΣΣΕ:
t β̂1 =
με κρίσιμη περιοχή t β̂1
β̂1 − 1.5
s.e. β̂1
H0
∼ tn−2 ,
> tn−2;α/2 .
Για τη ΣΣΕ θα πρέπει να γίνει εξαγωγή του συντελεστή β̂1 μέσα από τη μεταβλητή slm, με
χρήση της εντολής slm$coefficients[2]. Όσο για την εύρεση του t9;0.025 , αυτό θα γίνει
μέσω της εντολής qt [stats].
Έλεγχος υπόθεσης β1 =1.5
t.beta1.hat <‐ (slm$coefficients[2] ‐ 1.5) /
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
35
sqrt(var.covar.coeffs[2,2]) #Δημιουργία σ.σ.ε.
t.beta1.hat
qt(.975, slm$df.residual) #Υπολογισμός t9;0.025
> t.beta1.hat
X
‐0.43449
> qt(.975, slm$df.residual)
2.2622
Αφού,
t β̂1 = 0.43449 < 2.2622 = t9;0.025 ,
δεν απορρίπτεται η H0 , και άρα β1 = 1.5 (α = 5%).
v. Για τη δημιουργία του διαγράμματος διασποράς, γίνεται χρήση των εντολών plot, par και
arrows, ενώ για την προσαρμογή της εκτιμώμενης ευθείας παλινδρόμησης, γίνεται χρήση της
εντολής abline. Όλες οι προαναφερθείσες εντολές περιέχονται στο πακέτο [graphics].
Δημιουργία διαγράμματος διασποράς & προσαρμογή εκτιμώμενης ευθείας παλινδρόμησης
plot(
X,
Y,
col = "red3",
lwd = 4,
pch = 19,
xlab = "X",
ylab = "Y",
main = "Y vs X",
bty = "L",
cex.lab = 1.1,
cex.axis = 1.1
) #Δημιουργία διαγράμματος διασποράς μεταξύ x και y
abline(slm) #Προσαρμογή ευθείας παλινδρόμησης
u <‐ par("usr")
arrows(u[1], u[3], u[2], u[3], code = 2, xpd = TRUE)
arrows(u[1], u[3], u[1], u[4], code = 2, xpd = TRUE)
36
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Σχήμα 2.8: Διάγραμμα διασποράς μεταξύ X και Y με προσαρμογή της εκτιμώμενης ευθείας παλινδρόμησης
vi. Γενικά, το διάστημα εμπιστοσύνης που αφορά την E(Yh ) προκύπτει έπειτα από κατάλληλη χρήση
της εντολής predict [stats]. Θα πρέπει να δοθεί ιδιαίτερη προσοχή στα ορίσματα της εντολής, καθώς:
• το όρισμα newdata δέχεται μεταβλητές αυστηρώς σε data.frame μορφή,
• για να προκύψει το Δ.Ε. πρέπει στο όρισμα interval να γραφεί το confidence.
Κατασκευή 95% Δ.E. για την E(Y0 ) όταν X0 = x0 = 8
X.h <‐ data.frame(X = 8) #Ορισμός Xh
predict(slm,
newdata = X.h,
interval = 'confidence',
level = .95) #Kατασκευή 95% Δ.Ε. της E (Xh )
> predict(slm,
+
newdata = X.h,
+
interval = 'confidence ',
+
level = .95)
fit
lwr
upr
1 20.764 17.914 23.614
Ένα 95% Δ.Ε. για την E(Y0 ), όταν x0 = 8, είναι το ακόλουθο:
[17.914, 23.614] .
2. Τα αποτελέσματα που παρουσιάζονται στον Πίνακα 2.9 αντιπροσωπεύουν 6 μετρήσεις (σε διαφορετικές μέρες την καθεμία) της ημερήσιας δόσης εφεδρίνης (X) (σε γραμμάρια) και τον αριθμό των
καρδιακών παλμών (Y ) (σε λεπτά) ενός ασθενούς.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
37
Πίνακας 2.9: Τιμές 6 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
1
1
52
2
2
70
3
3
78
4
4
89
5
5
100
6
6
115
i. Να προσαρμοστεί κατάλληλο μοντέλο παλινδρόμησης και να ερμηνευτούν οι τιμές των παραμέτρων.
ii. Να ελεγχθεί η στατιστική σημαντικότητα του μοντέλου (α = 2%).
iii. Ποιο το ποσοστό της μεταβλητότητας της Y που επεξηγείται από την παλινδρόμηση; Ποιος ο
βαθμός γραμμικής συσχέτισης μεταξύ των X και Y ;
iv. Να εφαρμοστεί ο έλεγχος:
H0 : βi = 0
vs
H1 : βi ̸= 0,
i = 0, 1.
(α = 2%)
v. Να υπολογιστεί και να ερμηνευτεί ένα 98% Δ.Ε. για τον συντελεστή β1 .
vi. Να υπολογιστεί ένα 98% Δ.Π. για την εξαρτημένη μεταβλητή Y0 , εάν X0 = x0 = 7. Στη
συνέχεια, να κατασκευαστεί το διάγραμμα του ζητούμενου Δ.Π.
Ȫ
Λύση
Αρχικά εισάγουμε τα δεδομένα στην R και κωδικοποιούμε καταλλήλως τις μεταβλητές.
Εισαγωγή δεδομένων & δημιουργία μεταβλητών
library(readxl)
data<‐read_xlsx('ch2ex2.xlsx')
X <‐ data$X
Y <‐ data$Y
i. Υπάρχουν περιπτώσεις, όπως στο εν λόγω ερώτημα, που μας ενδιαφέρει η εξαγωγή των συντελεστών παλινδρόμησης, χωρίς καμία επιπλέον πληροφορία. Κάτι τέτοιο καθίσταται εφικτό με
χρήση της εντολής slm$coefficients.
Δημιουργία απλού γραμμικού μοντέλου & εξαγωγή συντελεστών
slm <‐ lm(Y ~ X)
coeffs <‐ slm$coefficients
coeffs
38
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
> coeffs
(Intercept)
42.400
X
11.886
Το ζητούμενο εκτιμώμενο μοντέλο δίνεται από τη σχέση:
ŷi = 42.4 + 11.886xi ,
i = 1, ..., 6.
Ερμηνεία συντελεστών παλινδρόμησης:
• β̂0 : Οι μέσοι καρδιακοί παλμοί/λεπτό ενός ασθενούς θα είναι 42.4, εάν δεν του χορηγηθεί
η ημερήσια δόση εφεδρίνης (δηλαδή για xi = 0).
• β̂1 : Οι μέσοι καρδιακοί παλμοί/λεπτό ενός ασθενούς θα αυξηθούν κατά 11.886, εάν η ημερήσια δόση εφεδρίνης αυξηθεί κατά 1 γραμμάριο (δηλαδή 54.286 για xi = 1, 66.172 για
xi = 2, κτλ.).
ii. Η εντολή summary παρέχει μία πληθώρα πληροφοριών σχετικά με το εξεταζόμενο μοντέλο. Ανάμεσα σε αυτές βρίσκεται και το ποσοστό της μεταβλητότητας της y που επεξηγείται από την
παλινδρόμηση (R2 ).
Εύρεση συντελεστή προσδιορισμού R2
summary(slm)
> summary(slm)
Call:
lm(formula = Y ~ X)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept)
42.400
2.363
17.9 5.7e‐05
X
11.886
0.607
19.6 4.0e‐05
Residual standard error: 2.54 on 4 degrees of freedom
Multiple R‐squared: 0.99,
Adjusted R‐squared: 0.987
F‐statistic: 384 on 1 and 4 DF, p‐value: 4.01e‐05
Η τιμή του R2 δίνεται από το “Multiple R‐squared”, και άρα το ποσοστό της μεταβλητότητας των μέσων καρδιακών παλμών/λεπτό που επεξηγείται από την παλινδρόμηση, είναι 98.97%.
Όσο για τον συντελεστή γραμμικής συσχέτισης, αυτός ισούται με τη ρίζα του συντελεστή προσδιορισμού με πρόσημο όμοιο με αυτό του β̂1 (βλ. (2.32)). Έτσι, προκύπτει ότι:
r=
√
0.99 = 0.995.
iii. Θέλουμε να εφαρμόσουμε τον έλεγχο:
H0 : β1 = 0
vs
H1 : β1 ̸= 0.
Ως γνωστόν, ο έλεγχος του παραπάνω ισχυρισμού, ο οποίος αφορά τη στατιστική σημαντικότητα του απλού γραμμικού μοντέλου παλινδρόμησης, διενεργείται μέσω του F − test που δίνεται από τον πίνακα ANOVA (βλ. Πρόταση 2.5).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
39
Πίνακας ANOVA
ANOVA <‐ anova(slm)
ANOVA
> ANOVA
Analysis of Variance Table
Response: Y
Df Sum Sq Mean Sq F value Pr(>F)
X
1
2472
2472
384 4e‐05
Residuals 4
26
6
Εφόσον η p-value (“Pr(>F)”) = 4−05 ≃ 0 του F − test είναι (πολύ) μικρότερη του επιπέδου
σημαντικότητας α = 2%, η H0 απορρίπτεται, και άρα το μοντέλο είναι στατιστικά σημαντικό.
iv. Η υπόθεση που ζητείται να ελεγχθεί στο ερώτημα αυτό, αφορά τη στατιστική σημαντικότητα
του κάθε συντελεστή παλινδρόμησης βi , i = 0, 1, ξεχωριστά. Για τη διενέργεια του ελέγχου
αυτού, θα γίνει χρήση του t − test.
Από τα αποτελέσματα του πίνακα στο ερώτημα ii, η p-value (“Pr(>|t|)”) του t − test για τα
β0 και β1 (5.7e−05 ≃ 0 και 4e−05 ≃ 0, αντίστοιχα), είναι μικρότερη του επιπέδου σημαντικότητας α = 2%, με αποτέλεσμα η H0 να απορρίπτεται και άρα οι συντελεστές παλινδρόμησης
β0 και β1 να είναι στατιστικά σημαντικοί.
v. Η εφαρμογή της εντολής confint [stats] πάνω στη μεταβλητή slm, θα δώσει το ζητούμενο
98% Δ.Ε. για τον συντελεστή β1 .
Κατασκευή 98% Δ.Ε. για το β1
confint(slm, level = .98)
> confint(slm, parm = c(2), level = .98)
1 %
99 %
X
9.6122 14.159
Ένα 98% Δ.Ε. για το β1 είναι το ακόλουθο:
[9.6122, 14.159] .
Υπάρχει 98% βεβαιότητα ότι η πραγματική τιμή του συντελεστή β1 κυμαίνεται από 9.6122 έως
14.159.
vi. Όπως και στο ερώτημα vi της προηγούμενης εφαρμογής, έτσι και εδώ για τον υπολογισμό του
98% Δ.Π. για το Y0 θα γίνει χρήση της εντολής predict. Η μόνη ουσιαστική διαφοροποίηση
έγκειται στο όρισμα interval όπου πλέον θα πρέπει να γραφεί το prediction (βλ. (2.48)).
Κατασκευή 98% Δ.Π. για το Y0 όταν X0 = 7
X.h <‐ data.frame(X = 7)
predict(slm,
40
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
newdata = X.h,
interval = 'prediction',
level = .98)
> predict(slm,
+
newdata = X.h,
+
interval = 'prediction ',
+
level = .98)
fit
lwr
upr
1 125.6 112.61 138.59
Ένα 98% Δ.Π. για το y0 , όταν x0 = 7 είναι το ακόλουθο:
[112.61, 138.59] .
Για την κατασκευή του διαγράμματος του 98% Δ.Π. θα γίνει χρήση των εντολών plot, points,
polygon, abline και lines, οι οποίες διατίθενται μέσω του πακέτου [graphics].
Διάγραμμα 98% Δ.Π. για το Y0 όταν X0 = 7
mygrey <‐ rgb(.2, .2, .2, alpha = .1, maxColorValue = 1) #Δημιουργία
διάφανου γκρι
n <‐ NROW(Y) #Ορισμός μεγέθους δείγματος
MSE <‐ ANOVA$`Mean Sq`[2] #Εξαγωγή M SE από πίνακα ANOVA
se.Y.h.hat <‐ sqrt(MSE * (1 + (1s/ n) + (X.h$X ‐ mean(X)) ^ 2 / sum((X
2
(x
−x̄)
1
∗
h
‐ mean(X)) ^ 2))) #se (ŷh ) =
M SE 1 + n + Pn (x −x̄)2
i=1
i
X.new <‐ c(X, X.h$X) #Προσθήκη της xh = 7 στις αρχικές 6 τιμές της X
Y.h.hat <‐ coeffs[1] + coeffs[2] * X.new #Υπολογισμός των
ŷi , i = 1, ..., 6 με προσθήκη της τιμής του ŷh∗ στην τελευταία θέση
upper.bound <‐ Y.h.hat + qt(.99, n ‐ 2) * se.Y.h.hat #Υπολογισμός άνω
ορίου 98% Δ.Π.
lower.bound <‐ Y.h.hat ‐ qt(.99, n ‐ 2) * se.Y.h.hat #Υπολογισμός κάτω
ορίου 98% Δ.Π.
plot(
X,
Y,
col = "red3",
lwd = 4,
pch = 19,
xlab = "Ημερήσια δόση εφεδρίνης (γραμμάρια)",
ylab = "Αριθμός καρδιακών παλμών (λεπτό)",
main = " 98% Διάστημα πρόβλεψης για το y0 όταν x0=7",
bty = "L",
cex.lab = 1.1,
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
cex.axis = 1.1,
ylim = c(min(lower.bound), max(upper.bound)),
xlim = c(min(X.new), max(X.new))
)
points(
X = X.h$X,
Y = Y.h.hat[X.h$X],
col = '#2F5C9D',
lwd = 4,
pch = 19
) #Προσθήκη ŷh∗ πάνω στο διάγραμμα διασποράς
abline(slm, lwd = 2)
polygon(
c(rev(X.new), X.new),
c(
rev(lower.bound),
upper.bound),
col = mygrey,
border = NA
) #Δημιουργία γκρι σκιαγράφησης 98% Δ.Π.
lines(upper.bound,
col = '#2F5C9D',
lty = 2,
lwd = 2) #Δημιουργία μπλέ διακεκομμένης άνω ορίου 98% Δ.Π.
lines(lower.bound,
col = '#2F5C9D',
lty = 2,
lwd = 2) #Δημιουργία μπλέ διακεκομμένης κάτω ορίου 98% Δ.Π.
legend(
"topleft",
legend = c("Παρατηρήσεις", "Πρόβλεψη"),
col = c("red3", "#2F5C9D"),
bty = "n",
lwd = 2,
pt.cex = 2,
cex = 1.2,
pch = c(20, 20),
lty = c(NA, NA),
text.col = "black",
horiz = F
)
u <‐ par("usr")
arrows(u[1], u[3], u[2], u[3], code = 2, xpd = TRUE)
arrows(u[1], u[3], u[1], u[4], code = 2, xpd = TRUE)
41
42
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Σχήμα 2.9: 98% Δ.Π. για το Y0 όταν x0 = 7
2.10 Άλυτες ασκήσεις
1. Έστω το μοντέλο:
yi = β0∗ + β1 (xi − x̄) + ϵi ,
όπου β0∗ = β0 + β1 x̄.
Να προσδιοριστούν οι ΕΕΤ του μοντέλου.
−x̄
2. Να αποδειχτεί ότι η ποσότητα ki = Pn xi(x
ικανοποιεί τις εξής ιδιότητες:
−x̄)2
i.
ii.
iii.
i
i=1
Pn
i=1
ki = 0,
i=1
ki xi = 1,
i=1
ki2 =
Pn
Pn
Pn
i=1 (xi
− x̄)−2 .
3. Να αποδειχτεί το Θεώρημα 2.3.
Υπόδειξη: Η απόδειξη βασίζεται στον ορισμό της κατανομής Student t η οποία προκύπτει ως το πηλίκο δύο
ανεξάρτητων τυχαίων μεταβλητών με αυτήν στον αριθμητή να αφορά μία τυποποιημένη κανονική τ.μ. και αυτή
στον παρονομαστή μία χ2 τ.μ.
4. Να αποδειχτεί το Θεώρημα 2.5.
5. Να αποδειχτεί ότι:
β̂0 =
n X
1
i=1
n
− ki x̄ yi ,
−x̄
όπου ki = Pn xi(x
2.
i −x̄)
i=1
6. Να δειχτεί ότι:
n
X
i=1
(yi − ŷi ) =
2
n
X
i=1
(yi − ȳ) −
2
(
Pn
i=1 (xi − x̄)(yi −
Pn
2
i=1 (xi − x̄)
ȳ))2
= Syy −
Sxy
.
Sxx
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
43
7. Έστω το γραμμικό μοντέλο παλινδρόμησης:
yi = β0 + ϵi .
Να υπολογιστεί ο ΕΕΤ του β0 και να δειχτεί ότι είναι αμερόληπτος.
8. Έστω το μοντέλο παλινδρόμησης:
yi = β1 xi + ϵi .
i. Να βρεθεί ο ΕΕΤ του β1 .
i.i.d.
ii. Έστω ότι ϵi ∼ N (0, σ 2 ), με σ 2 > 0 άγνωστο. Να 
δοθείη συνάρτηση πιθανοφάνειας για ένα
β1
 
τυχαίο δείγμα μεγέθους n, και να βρεθεί ο ΕΜΠ του  .
σ2
iii. Να δειχτεί ότι ο ΕΜΠ που βρέθηκε στο ερώτημα ii είναι αμερόληπτος.
9. Για το γραμμικό μοντέλο παλινδρόμησης:
ŷi = 14.4 + 0.975xi ,
βρέθηκε ο κάτωθι Πίνακας ANOVA από τον οποίο λείπουν έξι τιμές.
Πίνακας 2.10: Ημιτελής Πίνακας ANOVA Άσκησης 9
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Άθροισμα
F
Τετραγώνων
4772451.7
Παλινδρόμηση
50871.9
Σφάλμα
Ολική
Μέσο
17
–
–
–
i. Να συμπληρωθεί ο Πίνακας ANOVA.
ii. Να ελεγχθεί η στατιστική σημαντικότητα της παλινδρόμησης (α = 5%).
iii. Να ελεγχθεί η στατιστική σημαντικότητα του συντελεστή β1 με βάση:
α. την t-ελεγχοσυνάρτηση,
β. το διάστημα εμπιστοσύνης,
σε α = 5%.
iv. Να ελεγχθεί η υπόθεση H0 : β1 = 1 (α = 5%).
v. Να υπολογιστεί η V\
ar(β̂1 ).
10. Ο Πίνακας 2.11 δίνει το κόστος λειτουργίας Y (σε $) και τον αριθμό των ετών λειτουργίας X, 10
ομοειδών μηχανών:
44
ΑΠΛΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Πίνακας 2.11: Τιμές 10 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
1
4
148
2
2
128
3
3
133
4
5
154
5
2
118
6
3
145
7
4
143
8
5
159
9
4
142
10
3
127
i. Να προσδιοριστεί η εκτιμήτρια συνάρτηση παλινδρόμησης και να εκτιμηθούν οι τυπικές αποκλίσεις των εκτιμητών των αντίστοιχων συντελεστών.
ii. Να εκτιμηθεί το κόστος λειτουργίας μίας μηχανής που εργάζεται 10 χρόνια.
11. Έστω τα δεδομένα του Πίνακα 2.12:
Πίνακας 2.12: Τιμές 10 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
1
12
2
2
13
2
3
13
3
4
14
3
5
15
4
6
15
4
7
14
5
8
16
5
9
17
6
10
18
6
i. Να υπολογιστούν τα β̂0 και β̂1 , καθώς και οι εκτιμητές των διασπορών τους.
ii. Να υπολογιστεί τα 98% Δ.Ε. για τα β0 και β1 , αντίστοιχα.
iii. Να ελεγχθεί η στατιστική σημαντικότητα του συντελεστή β1 (α = 5%).
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Βόντα, Φ., & Καραγρηγορίου, Α. (2012). Εφαρμοσμένη στατιστική ανάλυση & στοιχεία πιθανοτήτων.
Αθήνα: Εκδόσεις Παρασκήνιο.
[2] Δαμιανού, Χ., & Κούτρας, Μ. (1998). Εισαγωγή στη στατιστική, Μέρος ΙΙ. Αθήνα: Εκδόσεις Συμμετρία.
[3] Καλαματιανού, Α.Γ. (1997). Εφαρμοσμένη ανάλυση παλινδρόμησης. Αθήνα: Εκδόσεις Παπαζήσης.
[4] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση M initab και R
(2η έκδ.). Αθήνα: Συμεών.
[5] Κουτρουβέλης, Ι.Α. (2015). Εφαρμοσμένες πιθανότητες και στατιστική για μηχανικούς και θετικούς επιστήμονες. Αθήνα: Εκδόσεις Gotsis.
[6] Κουτρουβέλης, Ι.Α. (2000). Προηγμένα εργαλεία και μέθοδοι για τον έλεγχο της ποιότητας, Τόμος Β,
Σχεδιασμός και Ανάλυση Πειραμάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήμιο.
[7] Κολυβά-Μαχαίρα, Φ., & Μπόρα-Σέντα, Ε. (1995). Στατιστική, θεωρία και εφαρμογές. Θεσσαλονίκη:
Εκδόσεις Ζήτη.
[8] Κουνιάς, Σ., Κολυβά-Μαχαίρα, Φ., Μπαγιάτης, Γ., & Μπόρα-Σέντα, Ε. (1985). Εισαγωγή στη στατιστική. Θεσσαλονίκη: Εκτύπωση Γιαχούδη-Γιαπούλη Ο.Ε.
[9] Κούτρας, Μ.Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[10] Μπόρα-Σέντα, Ε., & Μωυσιάδης, Χ. (1990). Εφαρμοσμένη στατιστική. Θεσσαλονίκη: Εκδόσεις Ζήτη.
[11] Ντζούφρας, Ι., & Καρλής, Δ. (2015). Εισαγωγή στον προγραμματισμό και στη στατιστική ανάλυση με R [Προπτυχιακό εγχειρίδιο]. Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις.
http://hdl.handle.net/11419/2601
[12] Παπαδόπουλος, Γ.Κ. (2015). Εισαγωγή στις πιθανότητες και τη στατιστική. Αθήνα: Εκδόσεις Gutenberg.
[13] Παπαϊωάννου, Τ., & Λουκάς, Σ. (2002). Εισαγωγή στη στατιστική. Αθήνα: Εκδόσεις Σταμούλη Α. Ε.
46
ΒΙΒΛΙΟΓΡΑΦΙΑ
[14] Φερεντίνος, Κ., Ζωγράφος, Κ., & Παπαϊωάννου, Τ. (2020). Εκτιμητική και έλεγχος υποθέσεων. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[15] Φουσκάκης, Δ. (2021). Ανάλυση δεδομένων με χρήση της R (2η έκδ.). Αθήνα: Εκδόσεις Τσότρας.
[16] Cochran, W.G. (1934). The Distribution of quadratic forms in a normal system, with applications
to the analysis of covariance. Mathematical Proceedings of the Cambridge Philosophical Society, 30(2),
178-191.
[17] Draper, R.D., & Smith, H. (1998). Applied regression analysis (3rd ed.). Wiley-Interscience.
[18] Field, A. (2021). Μία περιπέτεια στη στατιστική (Ε. Γάκη, Χ. Παρπούλα & Η. Σαντουρίδης, Επιμ.).
Αθήνα: Εκδόσεις Προπομπός.
[19] Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R (1st ed.). Sage Ltd.
[20] Galton, F. (1886). Regression towards mediocrity in hereditary stature. The Journal of the Anthropological Institute of Great Britain and Ireland, 15, 246-263.
[21] Gauss, C.F. (1821, 1823, 1826). Theoria combinationis observationum erroribus minimis obnoxiae. Parts 1, 2 and suppl. Werke, 4, 1-108.
ΚΕΦΑΛΑΙΟ 3
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει το βασικό πρότυπο πολλαπλής παλινδρόμησης συμπεριλαμβανομένων της εκτίμησης και του ελέγχου υποθέσεων των εμπλεκόμενων παραμέτρων, των
προϋποθέσεων που πρέπει να πληρούνται για την αξιοποίησή του, και της εφαρμογής του, με τη
χρήση στατιστικών πακέτων.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση των προηγούμενων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• ορίζει και να εφαρμόζει το πολλαπλό μοντέλο παλινδρόμησης, και να κατανοεί τις προϋποθέσεις
που πρέπει να πληρούνται για την εφαρμογή του,
• μπορεί να προβεί στην εκτίμηση των αναγκαίων παραμέτρων συμπεριλαμβανομένων της κατασκευής διαστημάτων εμπιστοσύνης και διεξαγωγής ελέγχων υποθέσεων,
• κατασκευάζει τον κατάλληλο πίνακα ανάλυσης διακύμανσης και να υπολογίζει τον προσαρμοσμένο συντελεστή προσδιορισμού,
• εφαρμόζει το πρότυπο πολλαπλής παλινδρόμησης με τη χρήση στατιστικών πακέτων.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
48
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
3.1 Εισαγωγή
Στα Παραδείγματα 2.1, 2.3 και 2.4 είχε γίνει αναφορά σε περιπτώσεις όπου η μεταβλητή Y εξαρτόταν από
περισσότερες από μία ανεξάρτητες μεταβλητές. Η περιοχή της Στατιστικής που ασχολείται με τη μελέτη τέτοιων περιπτώσεων είναι η ανάλυση πολλαπλής παλινδρόμησης (multiple regression analysis). Η τεχνική
αυτή αποτελεί ένα από τα πιο διαδεδομένα στατιστικά εργαλεία. Συνήθως, ο μελετητής επιθυμεί να διερευνήσει ποιες και πόσες μεταβλητές από ένα σύνολο πιθανών ανεξάρτητων μεταβλητών, επηρεάζουν την εξαρτημένη μεταβλητή Y . Το πρόβλημα αυτό είναι ένα από τα δυσκολότερα της Στατιστικής και σχεδόν πάντα
απαιτεί τη χρήση υπολογιστικών πακέτων, όπως είναι η R, το Minitab και το SPSS. Στο κεφάλαιο αυτό θα συζητηθούν διάφορα πολλαπλά μοντέλα (πρότυπα) παλινδρόμησης, γενικεύοντας τη θεωρία που αναπτύχθηκε
προηγουμένως για την περίπτωση της απλής γραμμικής παλινδρόμησης.
3.2 Πολλαπλό γραμμικό μοντέλο και προϋποθέσεις
Όταν δύο ανεξάρτητες μεταβλητές X1 και X2 επηρεάζουν την εξαρτημένη μεταβλητή Y , το πρότυπο:
y = β0 + β1 x1 + β2 x2 + ϵ,
(3.1)
ονομάζεται πολλαπλό γραμμικό μοντέλο παλινδρόμησης πρώτης τάξης δύο ανεξάρτητων μεταβλητών, όπου
yi οι τιμές της εξαρτημένης μεταβλητής Y , x1 και x2 οι τιμές των ανεξάρτητων μεταβλητών X1 και X2 , β0 ,
β1 και β2 οι συντελεστές παλινδρόμησης και ϵi τα σφάλματα με E (ϵi ) = 0 και V ar (ϵi ) = σ 2 .
Στην περίπτωση αυτή, η συνάρτηση παλινδρόμησης είναι:
E(Y ) = β0 + β1 x1 + β2 x2 ,
(3.2)
η οποία συχνά αναφέρεται και ως επιφάνεια παλινδρόμησης, αφού η γραφική της παράσταση είναι ένα επίπεδο
(βλ. Σχήμα 3.1). Τα σφάλματα, όπως και στην περίπτωση της απλής γραμμικής παλινδρόμησης, αντιπροσωπεύουν την κάθετη απόσταση της παρατήρησης από τη συνάρτηση παλινδρόμησης:
ϵ = y − E (Y ) .
(3.3)
Η παράμετρος β0 αντιπροσωπεύει το σημείο όπου το επίπεδο (3.2) τέμνει τον Y −άξονα (όταν δηλαδή x1 =
0 και x2 = 0). Το β1 αντιπροσωπεύει τη μεταβολή της μέσης τιμής της Y , για κάθε μοναδιαία αύξηση της
X1 , όταν η X2 διατηρείται σταθερή. Ανάλογη είναι και η ερμηνεία της παραμέτρου β2 . Όταν η επίδραση της
μίας ανεξάρτητης μεταβλητής πάνω στη μέση τιμή της Y δεν εξαρτάται από την τιμή της άλλης, λέμε ότι οι
δύο ανεξάρτητες μεταβλητές έχουν προσθετικές επιδράσεις (additive effects) ή ότι δεν αλληλεπιδρούν πάνω
στη μέση τιμή της Y . Στην περίπτωση αυτή, τα β1 και β2 ονομάζονται συντελεστές μερικής παλινδρόμησης
(partial regression coefficients).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
49
Σχήμα 3.1: Πολλαπλό μοντέλο παλινδρόμησης με 2 ανεξάρτητες μεταβλητές
Γενικεύοντας, και θεωρώντας ότι τα σφάλματα ακολουθούν την κανονική κατανομή, ορίζουμε το γενικό γραμμικό μοντέλο παλινδρόμησης (general linear regression model) τάξης p (p ≤ n), όπου p το πλήθος των
συντελεστών παλινδρόμησης ως εξής:
yi = β0 + β1 xi1 + β2 xi2 + ... + βp−1 xip−1 + ϵi ,
i = 1, ..., n,
(3.4)
όπου yi οι τιμές της εξαρτημένης μεταβλητής Y , xi1 , xi2 , ..., xip−1 οι τιμές των ανεξάρτητων μεταβλητών
X1 , X2 , ..., Xp−1 , β0 , β1 , ..., βp−1 οι συντελεστές παλινδρόμησης και ϵi ανεξάρτητες τυχαίες μεταβλητές.
Όπως στην περίπτωση του απλού γραμμικού μοντέλου, έτσι και στο πολλαπλό, θα πρέπει: (1) μεταξύ της
εξαρτημένης μεταβλητής Y και της κάθε επεξηγηματικής μεταβλητής X να υφίσταται ισχυρή γραμμική
σχέση και (2) τα σφάλματα ϵi να είναι μεταξύ τους ασυσχέτιστα (ανά δύο) και να προέρχονται από κανονική κατανομή με μέση τιμή 0 και σταθερή διασπορά σ 2 .
Η συνάρτηση παλινδρόμησης για το μοντέλο (3.4) είναι:
E (Yi ) = β0 + β1 xi1 + β2 xi2 + ... + βp−1 xip−1 .
(3.5)
Είναι προφανές ότι τα Yi , εξαρτώμενα από τα ϵi , είναι ανεξάρτητες τυχαίες μεταβλητές από κανονική κατανομή
με:
E (Yi ) =
p−1
X
βk xik , xi0 ≡ 1, ∀i
και V ar (Yi ) = σ 2 .
(3.6)
k=0
Με τη χρήση πινάκων και διανυσμάτων, το μοντέλο (3.4) γράφεται ως εξής:







ϵ1
β0
1 x11 · · · x1p−1
y1
  


 
1 x21 · · · x2p−1   β1   ϵ2 
 y2 

  
 .  = .
..
.. 
...
.
 .  +  . 
 . 
.
 . 
.
.   ..   .. 
yn
ϵn
1 xn1 · · · xnp−1 βp−1
(3.7)
50
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
⇔ y∼ = X β∼ + ∼ϵ ,
n×1
όπου:
n×p
p×1

!
ϵ ∼ Nn
∼
0∼ , σ 2 In
n×1
n×1
(3.8)
n×1
και

y∼ ∼ Nn  X β∼ , σ 2 In  .
n×1
n×p
(3.9)
p×1
Κάτω από την ομπρέλα του γενικού μοντέλου (3.4), περιλαμβάνονται πολλές περιπτώσεις προτύπων παλινδρόμησης, όπως:
Α. Πολυωνυμικά μοντέλα παλινδρόμησης
Το μη γραμμικό μοντέλο:
yi = β0 + β1 xi + β2 x2i + ... + β3 x3i + ϵi ,
i = 1, ..., n,
(3.10)
είναι ειδική περίπτωση του μοντέλου (3.4), αφού θέτοντας xi1 = xi , xi2 = x2i και xi3 = x3i , προκύπτει το
(3.4) με p = 4.
Β. Μοντέλα μετασχηματισμών
Το μοντέλο:
log zi = β0 + β1 xi1 + β2 xi2 + β3 xi3 + ϵi ,
i = 1, ..., n,
(3.11)
αποτελεί ειδική περίπτωση του μοντέλου (3.4), αφού ο μετασχηματισμός yi = log zi οδηγεί στο (3.4) με
p = 4.
Γ. Μοντέλα με αλληλεπιδράσεις
Έστω το μοντέλο:
yi = β0 + β1 xi1 + β2 xi2 + β3 xi1 xi2 + ϵi ,
i = 1, ..., n.
(3.12)
Τέτοιου είδους μοντέλα χρησιμοποιούνται όταν οι ανεξάρτητες μεταβλητές αλληλεπιδρούν (interact) πάνω
στη μεταβλητή Y . Ο όρος β3 xi1 xi2 ονομάζεται όρος αλληλεπίδρασης (interaction term). Είναι σημαντικό
να τονιστεί ότι η σημασία των β1 και β2 δεν είναι η ίδια με αυτή που είχαν στο μοντέλο (3.1). Διατηρώντας
τη x2 σταθερή, η συνάρτηση παλινδρόμησης του μοντέλου (3.12) γράφεται στη μορφή:
E (Yi ) = (β0 + β2 xi2 ) + (β1 + β3 xi2 ) xi1 ,
(3.13)
έτσι ώστε η κλίση της συνάρτησης παλινδρόμησης, που θα αντιπροσωπεύει τη μεταβολή της μέσης τιμής της
Y για κάθε μοναδιαία αύξηση της x1 , όταν η x2 διατηρείται σταθερή, είναι:
β1 + β3 xi2 .
(3.14)
Ανάλογα, μία μοναδιαία αύξηση της x2 , όταν η x1 διατηρείται σταθερή, επιφέρει μεταβολή της μέσης τιμής
της Y ίση με:
β2 + β3 xi1 .
(3.15)
Παρ’ όλα αυτά, το μοντέλο (3.12) αποτελεί ειδική περίπτωση του μοντέλου (3.4), για xi3 = xi1 xi2 και
p = 4.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
51
Δ. Μοντέλα συνδυασμών
Ακόμα και μοντέλα που συνδυάζουν όλες τις προηγούμενες περιπτώσεις, αποτελούν ειδικές μορφές του μοντέλου (3.4). Για παράδειγμα, το πολυωνυμικό μοντέλο με αλληλεπίδραση:
exp (zi ) = β0 + β1 xi1 + β2 x2i1 + β3 xi2 + β4 x2i2 + β5 xi1 xi2 + ϵi ,
i = 1, ..., n,
(3.16)
περιγράφεται από το γενικό μοντέλο (3.4) με exp (xi ) = yi , xi2 = x2i1 , xi3 = xi2 , xi4 = x2i2 , xi5 =
xi1 xi2 και p = 6.
3.3 Εκτιμητές ελαχίστων τετραγώνων
Για την εύρεση των εκτιμητών ελαχίστων τετραγώνων β̂∼ του β∼ , αρκεί η ελαχιστοποίηση της ακόλουθης ποσότητας:
min Q β∼ = min ∼ϵ′∼ϵ.
(3.17)
β∼
β∼
Άρα,
Q β∼ = ∼ϵ′∼ϵ = y∼ − Xβ∼
′ y∼ − Xβ∼ = y∼′ − β∼ ′ X′
y∼ − Xβ∼
y∼′ Xβ∼ =β∼ ′ X′ y∼
= y∼ y∼ − y∼ Xβ∼ − β∼ X y∼ + β∼ X Xβ∼ ==== y∼′ y∼ − 2β∼ ′ X′ y∼ + β∼ ′ X′ Xβ∼ .
′
′
′
′
′
′
Παραγωγίζοντας την ποσότητα Q β∼ ως προς β∼ , και θέτοντάς την ίση με το 0:
dQ β∼
= −2X′ y∼ + 2X′ Xβ∼ = 0
dβ∼
⇔ X′ Xβ∼ = X′ y∼.
(3.18)
Από τις εξισώσεις (3.18), οι οποίες καλούνται κανονικές (ή εκτιμητικές), και με την προϋπόθεση ότι det (X′ X) ̸=
0, προκύπτει ότι:
−1
β̂∼ = (X′ X) X′ y∼.
(3.19)
Το ίδιο ισχύει και για την εκτιμήτρια συνάρτηση παλινδρόμησης που ισούται με:
ŷ∼ = Xβ̂∼ .
(3.20)
ϵ̂ = y∼ − ŷ∼.
(3.21)
Τέλος, τα κατάλοιπα δίνονται από τη σχέση:
∼
Πρόταση 3.1. Για το πολλαπλό γραμμικό μοντέλο της (3.8), ο ΕΕΤ β̂∼ και τα σφάλματα ∼ϵ̂ είναι μεταξύ τους
ανεξάρτητα.
Απόδειξη Πρότασης 3.1. Έστω y∼ ∼ Nn Xβ∼ , σ 2 In .
h
−1
Cov β̂∼ , ∼ϵ̂ = Cov (X′ X)
X′ y∼, (In − H) y∼
i
52
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
−1
= (X′ X)
(In −H) συμμετρικός
====
′
2
X′ Cov y∼, y∼ (In − H)′
= σ (X X)
−1
(X′ X)
−1
X′ V ar y∼ (In − H)
′
X (In − H)
X′ (In −H)=0
====
0.
Έως εδώ, έχουμε καταφέρει να δείξουμε ότι τα β̂∼ και ∼ϵ̂ είναι μεταξύ τους ασυσχέτιστα. Για την επίτευξη της ανεξαρτησίας, θα πρέπει να γίνει χρήση ενός μετέπειτα Θεωρήματος (Θεώρημα 3.3) από όπου θα ειπωθεί/αποδειχτεί
ότι οι ΕΕΤ β̂∼ ακολουθούν την κανονική κατανομή. Τελικώς, αφού οι β̂∼ και ∼ϵ̂ αποτελούν ασυσχέτιστες κανονικές
τυχαίες μεταβλητές, θα είναι μεταξύ τους και ανεξάρτητες.
Πρόταση 3.2. Η εκτιμήτρια β̂∼ είναι αμερόληπτη για την παράμετρο β∼ , δηλαδή:
E β̂∼ = β∼ ,
ενώ ο πίνακας διασποράς-συνδιασποράς του β̂∼ ισούται με:








V ar β̂0
Cov β̂0 , β̂1








· · · Cov β̂0 , β̂p−1
· · · Cov β̂1 , β̂p−1
V ar β̂∼ =
..
..
.
.
V ar β̂p−1
Cov β̂p−1 , β̂0 Cov β̂p−1 , β̂1 · · ·
Cov β̂1 , β̂0
..
.
−1
= σ 2 (X′ X)
V ar β̂1
..
.
.
(3.22)
Στην περίπτωση που στη σχέση (3.22) το σ 2 είναι άγνωστο, τότε η εκτιμήτρια του V ar β̂∼ ισούται με:
\
−1
V ar β̂∼ = M SE (X′ X) .
(3.23)
Απόδειξη Πρότασης 3.2.
h
−1
E β̂∼ = E (X′ X)
h
−1
V ar β̂∼ = V ar (X′ X)
i
−1
X′ y∼ = (X′ X)
i
−1
X′ y∼ = (X′ X)
X′ E y∼ = (X′ X)
h
XV ar y∼
−1
−1
(X′ X)
X′ Xβ∼ = β∼ .
i′
−1
X′ = σ 2 (X′ X)
.
3.4 Πίνακας ανάλυσης διακύμανσης (ANOVA)
Έστω ότι θέλουμε να εφαρμόσουμε τον έλεγχο:
H0 : β1 = β2 = ... = βp−1 = 0
vs
H1 :
Τουλάχιστον ένα από τα βi ,
i = 1, ..., p − 1, διαφορετικό του 0,
(3.24)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
53
ο οποίος αποτελεί γενίκευση εκείνου της Ενότητας 2.6 και εξετάζει αν όλα τα βi (πλην του σταθερού όρου β0 )
ισούνται ή όχι, με το μηδέν. Αν όλα είναι μηδέν, τότε η διερευνώμενη σχέση μεταξύ Y και Xi , i = 1, ..., p, δεν
υφίσταται. Αντίθετα, αν έστω και ένας συντελεστής είναι διάφορος του μηδενός, τότε υφίσταται (τουλάχιστον
σε έναν βαθμό) σχέση μεταξύ Y και Xi , i = 1, ..., p .
Χρησιμοποιώντας τώρα τα στοιχεία της Ενότητας 2.6 και τις σχέσεις (2.28) και (2.29) που δίνουν τα αθροίσματα SST O, SSR, SSE, και τα μέσα αθροίσματα τετραγώνων M SR και M SE, ο έλεγχος (3.24) μπορεί
να διενεργηθεί μέσω του πιο κάτω πίνακα ANOVA.
Πίνακας 3.1: Πίνακας ANOVA Πολλαπλής Γραμμικής Παλινδρόμησης
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Παλινδρόμηση
p−1
SSR =
β̂ X′ y − nȲ 2
M SR =
SSR
p−1
SSE =
′
y ′ y − β̂ X′ y
M SE =
SSE
n−p
∼
Σφάλμα
n−p
n−1
Τετραγώνων
M SR H0
∼
M SE
Fp−1,n−p
∼
∼ ∼
Ολική
F
Άθροισμα
∼
–
∼
SST O =
y ′ y − nȲ 2
–
–
∼ ∼
Η H0 απορρίπτεται εάν F > Fp−1,n−p;α . Ουσιαστικά, απόρριψη της H0 συνεπάγεται μη στατιστική σημαντικότητα του υπό εξέταση μοντέλου στο δοθέν επίπεδο σημαντικότητας α.
Παρατηρούμε ότι αν στον παραπάνω Πίνακα ANOVA θέσουμε p = 2, τότε προκύπτει ο Πίνακας ANOVA
(Πίνακας 2.4) της απλής γραμμικής παλινδρόμησης.
Θεώρημα 3.1. Όταν η μηδενική υπόθεση του ελέγχου (3.24) ισχύει, η κατανομή της ελεγχοσυνάρτησης F =
M SR
είναι η Fp−1,n−p .
M SE
Πρόταση 3.3. Έστω το πολλαπλό γραμμικό μοντέλο παλινδρόμησης:
y∼ = X β∼ + ∼ϵ ,
(3.25)
E (M SE) = σ 2 .
(3.26)
n×p
n×1
τάξης p και ∼ϵ ∼ (0∼, σ 2 In ). Τότε:
p×1
n×1
Απόδειξη Πρότασης 3.3.
h
−1
ϵ̂ = y∼ − ŷ∼ = y∼ − Xβ̂∼ = y∼ − X (X′ X)
∼
i
h
−1
X′ y∼ = In − X (X′ X)
i
X′ y∼
= (In − H) y∼.
h
SSE = ϵ̂∼′∼ϵ̂ = (In − H) y∼
= y∼′ (In − H) y∼.
i′ h
i
(In − H) y∼ = y∼′ (In − H)′ (In − H) y∼
54
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
h
i
′
E (SSE) = E y∼′ (In − H) y∼ = tr (In − H) σ 2 + Xβ∼ (In − H) Xβ∼
= σ 2 tr (In − H) + β∼ ′ X′ (In − H) Xβ∼
(In −H)X=0
====
σ 2 [tr (In ) − tr (H)]
= σ 2 (n − p) .
Επομένως:
E (SSE) = σ 2 (n − p) ⇔ E (M SE) = σ 2 .
Αξίζει να παρατηρήσουμε ότι οι β.ε. του SSE είναι n − p, αφού από τον τύπο του, όπως αυτός αποτυπώνεται
από τον Πίνακα ANOVA (Πίνακας 3.1), εμπλέκονται p συντελεστές παλινδρόμησης που χρήζουν εκτίμησης.
3.5 Το θεώρημα Gauss-Markov
Θεώρημα 3.2. Έστω το πολλαπλό γραμμικό μοντέλο της (3.25). Τότε ο ΕΕΤ β̂∼ είναι BLUE του β∼ .
∗
Απόδειξη Θεωρήματος 3.2. Έστω β̂∼ ένας άλλος γραμμικός αμερόληπτος εκτιμητής του β∼ τέτοιος ώστε:
h
∗
β̂∼ = (X′ X)
−1
i
X′ + C y∼,
όπου C ένας kxn μη-μηδενικός πίνακας.
− Γραμμικότητα
∗
Ο β̂∼ είναι γραμμικός εκτιμητής εκ κατασκευής.
− Αμεροληψία
Θέλουμε να δείξουμε ότι:
∗
E β̂∼
= β∼ .
Άρα:
∗
E β̂∼
=E
h
h
−1
(X′ X)
−1
= (X′ X)
i h
−1
X′ + C y∼ = (X′ X)
i
−1
X′ + C Xβ∼ = (X′ X)
= β∼ + CXβ∼ = (Ip + CX) β∼ .
∗
Για να είναι ο β̂∼ αμερόληπτος εκτιμητής του β∼ , θα πρέπει CX = 0.
− Ελάχιστη Διασπορά
Θέλουμε να δείξουμε ότι:
∗
V ar β̂∼
≤ V ar β∼ .
i
X′ + C E y∼
X′ Xβ∼ + CXβ∼
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
55
Έτσι:
∗
V ar β̂∼
= V ar
h
h
(X′ X)
i X′ + C y∼
i
h
−1
X′ + C V ar y∼
−1
X′ + C σ 2 X (X′ X)
= (X′ X)
h
−1
= (X′ X)
h
i
−1
= σ 2 (X′ X)
−1
−1
−1
σ 2 (X′ X)
====
−1
−1
X′ + C
+ C′
+ (X′ X)
−1
i′
i
X′ C′
+ CC′ ]
h
X′ C′ =CX=0
h
X′ X (X′ X)
+ CX (X′ X)
(X′ X)
i
−1
+ CC′ = σ 2 (X′ X)
+ σ 2 CC′ .
Από την Πρόταση 3.2 γνωρίζουμε ότι:
V ar β̂∼ = σ 2 (X′ X)
Επομένως:
∗
V ar β̂∼
−1
.
= V ar β̂∼ + σ 2 CC′ > V ar β̂∼ .
Θεώρημα 3.3. Αν y∼ ακολουθεί τη n-διάσταση κανονική κατανομή Nn Xβ∼ , σ 2 In , όπου X είναι ένας nxp
πίνακας τάξης p (p ≤ n), τότε:
1. β̂∼ ∼ Np β∼ , σ 2 (X′ X)−1 ,
2.
β̂∼ −β∼
′
X′ X
β̂∼ −β∼
σ2
∼ χ2p ,
3. Ο ΕΕΤ του β∼ , β̂∼ και το SSE είναι μεταξύ τους ανεξάρτητα,
4.
SSE
σ2
∼ χ2n−p .
Απόδειξη Θεωρήματος 3.3.
(3.19):
1. Ο εκτιμητής β̂∼ αποτελεί γραμμικό συνδυασμό του y∼, καθώς από τη σχέση
−1
β̂∼ = (X′ X)
X′ y∼ = Ky∼,
όπου K = (X′ X)−1 X′ .
Εφόσον ο πίνακας K είναι πλήρους βαθμίδας, ισχύει ότι:
h
−1
rank (K) = rank (KK′ ) = rank (X′ X)
h
−1
= rank (X′ X)
i
= p.
−1
X′ X (X′ X)
i
56
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Επιπλέον, αφού y∼ ∼ Nn Xβ∼ , σ 2 In τότε:
β̂∼ = Ky∼ ∼ Np KXβ∼ , Kσ 2 K′
ως γραμμικός συνδυασμός ανεξάρτητων κανονικών τ.μ.:
• KX = (X′ X)−1 X′ Xβ∼ = β∼ .
• Kσ 2 K′ = σ 2 (X′ X)−1 X′ X (X′ X)−1 = σ 2 (X′ X)−1 .
Τελικά,
β̂∼ ∼ Np β∼ , σ 2 (X′ X)
−1
.
2. Εφαρμόζοντας τυποποίηση στο (1) του Θεωρήματος 3.3 και στη συνέχεια υψώνοντας στο τετράγωνο,
έχουμε:


β̂∼ − β∼ (X′ X)1/2
σ
2
Τετραγωνική Μορφή

====
′
β̂∼ − β∼ X′ X β̂∼ − β∼
σ2
.
3. Γενικά, αν C ένας m × p πίνακας σταθερών, D ένας p × p συμμετρικός πίνακας σταθερών και η y∼ ∼
Np µ
, Σ , τότε οι ποσότητες Cy∼ και y∼′ Dy∼ είναι μεταξύ τους ανεξάρτητες αν και μόνο αν CΣD = 0.
∼
Επιπλέον, από την Απόδειξη Πρότασης 3.3 γνωρίζουμε ότι:
SSE = ∼ϵ̂′∼ϵ̂ = y∼′ (In − H) y∼.
Τέλος:
Θέτοντας:
−1
β̂∼ = (X′ X)
−1
C = (X′ X)
X′
X′ y∼.
και D = (In − H)
και υπό την προϋπόθεση ότι y∼ ∼ Nn Xβ∼ , σ 2 In , προκύπτει:
−1
CΣD = σ 2 (X′ X)
X′ (In − H) = 0.
(3.27)
Άρα, τα β̂∼ και SSE είναι ανεξάρτητα.
, σ 2 Ip ,
4. Γενικά, αν D ένας p × p συμμετρικός πίνακας σταθερών με rank (D) = r και y∼ ∼ Np µ
∼
τότε:
!
′
y∼′ Dy∼
µ
Dµ
2
∼
∼
∼ χr
,
(3.28)
σ2
2σ 2
αν και μόνο αν ο D είναι ταυτοδύναμος (δηλαδή D2 = D).
Επειδή ο In − H είναι και αυτός ταυτοδύναμος, έχουμε:
rank (In − H) = tr (In − H) = tr (In ) − tr (H) = n − p.
Άρα, από τη σχέση (3.28), και υπό την προϋπόθεση ότι y∼ ∼ Nn Xβ∼ , σ 2 In :
y∼′ (In − H) y∼
σ2

′

(In − H) Xβ∼ 
 Xβ
∼
∼ χ2n−p 
.
2σ 2
Επειδή όμως (In − H) X = 0, τελικά:
y∼′ (In − H) y∼
σ2
∼ χ2n−p .
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
57
3.6 Εκτιμήτριες μεγίστης πιθανοφάνειας
Έστω το πολλαπλό γραμμικό μοντέλο:
y∼ = X β∼ + ∼ϵ ,
n×p
n×1
n×1
p×1
με rank (X) = p.
Μπορεί η τεχνική των ελαχίστων τετραγώνων να μην προϋποθέτει την πρότερη γνώση της κατανομής των
σφαλμάτων, παρ’ όλα αυτά θα πρέπει να υπάρχει γνώση αυτής όταν πρόκειται για οποιουδήποτε τύπου στατιστική συμπερασματολογία (έλεγχος υποθέσεων, Δ.Ε., κλπ.). Ως εκ τούτου, υποθέτουμε ότι:
!
ϵ ∼ Nn
∼
nx1
2
0∼ , σ In
(3.29)
nx1
και κατ’ επέκταση:


y∼ ∼ Nn  X β∼ , σ 2 In  .
n×p
nx1
p×1
Βάσει της υπόθεσης (3.29), είναι εφικτή η εύρεση των εκτιμητών μεγίστης πιθανοφάνειας (ΕΜΠ) των β∼ και
σ 2 , αντίστοιχα.
Στοχεύουμε στη μεγιστοποίηση της πιθανοφάνειας:
L β∼ , σ
2
=
1
(2πσ 2 )n/2
e
−
1
′
2σ 2 ∼ ∼
(ϵ ϵ) = 2πσ 2
−n/2 − 1
2σ 2
e
h
y∼−Xβ∼
′ y∼−Xβ∼
i
.
Λογαριθμίζοντας την παραπάνω πιθανοφάνεια έχουμε:
log L β∼ , σ
2
′ 1 n
2
= − log 2πσ − 2 y∼ − Xβ∼ y∼ − Xβ∼ .
2
2σ
− Για τον ΕΜΠ του β∼
d log L β∼ , σ 2
dβ∼
′ d
n
1 2
=0
=
− log 2πσ − 2 y∼ − Xβ∼ y∼ − Xβ∼
dβ∼
2
2σ
⇔ −2X′ y∼ + 2X′ Xβ∼ = 0
−1
⇔ β̂∼ = (X′ X)
X′ y∼.
Άρα, ο ΕΜΠ και ο ΕΕΤ του β∼ ταυτίζονται.
− Για τον ΕΜΠ του σ 2
d log L β∼ , σ 2
dσ 2
′ 1 d
n
2
= 2 − log 2πσ − 2 y∼ − Xβ∼ y∼ − Xβ∼
=0
dσ
2
2σ
58
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
′ n
1 2
⇔ − log 2σ + 2 y∼ − Xβ∼ y∼ − Xβ∼ = 0
2
2σ
⇔ σ̃ 2 =
y∼ − Xβ∼
′ y∼ − Xβ∼
n
=
SSE
.
n
O ΕΜΠ σ̃ 2 , σε αντίθεση με τον ΕΕΤ σ̂ 2 = M SE, δεν αποτελεί αμερόληπτη εκτίμηση του σ 2 .
3.7 Προσαρμοσμένος συντελεστής προσδιορισμού και συντελεστής μερικού προσδιορισμού
Όπως στην απλή, έτσι και στην πολλαπλή γραμμική παλινδρόμηση, μπορεί να γίνει χρήση του συντελεστή
προσδιορισμού R2 (2.31) για τον χαρακτηρισμό της καταλληλότητας του υπό εξέταση μοντέλου. Όμως, ο
εν λόγω συντελεστής έχει ένα σημαντικό μειονέκτημα. Όσο προστίθενται ανεξάρτητες μεταβλητές στο μοντέλο, είτε είναι στατιστικώς σημαντικές είτε όχι, η τιμή του R2 αυξάνεται. Για τον λόγο αυτό, στην περίπτωση
του πολλαπλού γραμμικού μοντέλου είθισται να γίνεται χρήση του προσαρμοσμένου (adjusted) συντελεστή
2
προσδιορισμού Radj
ο οποίος δίνεται από τη σχέση:
2
Radj
=1−
n−1
(1 − R2 ).
n−p−1
2
είναι εκ κατασκευής ανθεκτικός απέναντι στην προσθήκη
Όπως υπονοείται από την παραπάνω σχέση, ο Radj
μεταβλητών που δεν συνεισφέρουν σημαντικά στην αύξηση της επεξηγηματικής ικανότητας του μοντέλου.
Αυτό επιτυγχάνεται μέσω της στάθμισης του κλασικού R2 από το πλήθος p των ανεξάρτητων μεταβλητών.
Για περισσότερες πληροφορίες σχετικά με τον προσαρμοσμένο συντελεστή προσδιορισμού, ο αναγνώστης
παραπέμπεται στην Ενότητα 5.5.
Ο συντελεστής μερικού προσδιορισμού (coefficient of partial determination), σε αντίθεση με τον συντελεστή προσδιορισμού (2.31), αντιπροσωπεύει το ποσοστό της μείωσης της διακύμανσης της μεταβλητής Y
που επιτυγχάνεται με την εισδοχή μιας νέας ανεξάρτητης μεταβλητής X στο μοντέλο παλινδρόμησης, όταν
όλες οι άλλες βρίσκονται ήδη στο μοντέλο.
Για τον ορισμό θα χρησιμοποιηθεί το πρότυπο:
yi = β0 + β1 xi1 + β2 xi2 + β3 xi3 + ϵi ,
i = 1, ..., n.
Ο συντελεστής μερικού προσδιορισμού που αντιπροσωπεύει τη μείωση της διακύμανσης της Y που οφείλεται
στη μεταβλητή X3 , όταν οι μεταβλητές X1 και X2 βρίσκονται ήδη στο μοντέλο, ισούται με:
rY2 3.12 =
SSR (X3 |X1 , X2 )
.
SSE (X1 , X2 )
(3.30)
Ανάλογα, μπορούν να οριστούν οι παρακάτω συντελεστές μερικού προσδιορισμού:
rY2 1.23 =
SSR (X1 |X2 , X3 )
SSE (X2 , X3 )
(3.31)
rY2 2.13 =
SSR (X2 |X1 , X3 )
.
SSE (X1 , X3 )
(3.32)
και
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
59
Ο συντελεστής μερικού προσδιορισμού μεταξύ των Y και X2 , όταν η X1 βρίσκεται ήδη στο μοντέλο, ισούται
με:
SSR (X2 |X1 )
(3.33)
rY2 2.1 =
,
SSE (X1 )
ενώ εκείνος μεταξύ των Y και X1 , όταν η X2 βρίσκεται ήδη στο μοντέλο ισούται με:
rY2 1.2 =
SSR (X1 |X2 )
.
SSE (X2 )
(3.34)
Κατ’ αντιστοιχία με τον συντελεστή συσχέτισης, η προσημασμένη (signed) τετραγωνική ρίζα του συντελεστή
μερικού προσδιορισμού ονομάζεται συντελεστής μερικής συσχέτισης (coefficient of partial correlation).
3.8 Έλεγχος υποθέσεων, διαστήματα εμπιστοσύνης και πρόβλεψη
Θεώρημα 3.4. Για το μοντέλο (3.4) και την εκτιμήτρια β̂∼ που δίνεται από τη σχέση (3.19), προκύπτει:
t β̂i =
όπου se β̂i =
r
β̂i − βi∗
se β̂i
∼ tn−p ,
i = 0, 1, ..., p − 1,
(3.35)
\
\
V ar β̂i το διαγώνιο (i + 1, i + 1) στοιχείο του πίνακα V ar β̂∼ .
Με βάση το προηγούμενο Θεώρημα, ένα 100(1 − α)% Δ.Ε. για την παράμετρο βi είναι το:
β̂i ± tn−p,a/2 se β̂i
(3.36)
ενώ οι έλεγχοι υποθέσεων, αναφορικά με το βi , της μορφής:
≤
H0 : βi ≥ βi∗
=
>
H1 : βi < βi∗ , i = 0, 1, ..., p − 1,
̸=
vs
βασίζονται στην ελεγχοσυνάρτηση:
t β̂i =
β̂i − βi∗
se β̂i
H0
∼ tn−p ,
i = 0, 1, ..., p − 1,
(3.37)
όπου βi∗ είναι η οριακή τιμή του ελέγχου.
Στον Πίνακα 3.2 παρουσιάζεται η περιοχή (χωρίο) απόρριψης της H0 ανάλογα με τη μορφή της H1 , όπου
tn−p;α αποτελεί το 100(1 − α)% ποσοστημόριο της κατανομής t με n − p βαθμούς ελευθερίας. Οι β.ε. είναι
n − p για κάθε έλεγχο του Θεωρήματος 3.4, διότι χάνονται p το πλήθος β.ε. όταν το σ 2 εκτιμάται από το
M SE, αφού το τελευταίο εμπεριέχει τους p ΕΕΤ των β∼ .
Πίνακας 3.2: Χωρία απόρριψης της μηδενικής υπόθεσης για τους συντελεστές παλινδρόμησης
Μορφή H1
Απόρριψη H0
H1 : βi < βi∗
t(β̂i ) < −tn−p;α
H1 : βi > βi∗
t(β̂i ) > tn−p;α
H1 : βi ̸= βi∗
t(β̂i ) > tn−p;α/2
60
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
Όσον αφορά τον έλεγχο στατιστικής σημαντικότητας του συντελεστή βi , αυτός ορίζεται ως:
H0 : βi = 0
vs
H1 : βi ̸= 0, i = 0, 1, ..., p − 1,
με ΣΣΕ τη σχέση (3.37), θέτοντας βi∗ = 0, και περιοχή απόρριψης της H0 την t(β̂i ) > tn−p;α/2 .
Γενικεύοντας τον τύπο (2.50) των από κοινού διαστημάτων εμπιστοσύνης Bonferroni:
β̂i ± tn−2,a/2m se β̂i ,
(3.38)
όπου m(≤ p) ο αριθμός των παραμέτρων για τις οποίες ζητείται η κατασκευή από κοινού διαστημάτων εμπιστοσύνης.
Αν στη σχέση (3.38) το m είναι μεγάλο, τότε τα προκύπτοντα διαστήματα θα είναι μεγάλου εύρους, καθιστώντας τις όποιες εκτιμήσεις πρακτικά ανούσιες. Ως εκ τούτου, η χρήση των 100 (1 − α) % από κοινού
Δ.Ε. Bonferroni συνιστάται στις περιπτώσεις όπου το m είναι σχετικά μικρό.
Όπως στην απλή, έτσι και στην πολλαπλή γραμμική παλινδρόμηση, είναι εφικτή η εκτίμηση της συνάρτησης
παλινδρόμησης για κάποια τιμή Xh = (Xh1 , Xh2 , ..., Xhp−1 ) των μεταβλητών X1 , X2 , ..., Xp−1 , όπως
και η εκτίμηση της Y για κάθε νέα παρατήρηση Xh . Τα αντίστοιχα διαστήματα εμπιστοσύνης και πρόβλεψης,
που αποτελούν γενίκευση των τύπων (2.47) και (2.48), είναι:
Ŷh ± tn−p,a/2 se Ŷh
και Ŷh ± tn−p,a/2 se Ŷh∗ ,
όπου:
• Ŷh = Xh′ β̂∼ ,
\
• V ar Ŷh = M SE Xh′ (X′ X)−1 Xh και
\
• V ar Ŷh∗ = M SE 1 + Xh′ (X′ X)−1 Xh .
Άσκηση Αυτοαξιολόγησης
Αν στη μελέτη ενός πολλαπλού γραμμικού μοντέλου παλινδρόμησης έχει θεωρηθεί ως
επίπεδο σημαντικότητας το α = 5%, και για μία ανεξάρτητη μεταβλητή η p-value που
προέκυψε είναι 6%, ποια θα ήταν η «ασφαλέστερη» απόφαση ως προς την απόρριψη ή μη
της υπόθεσης στατιστικής σημαντικότητάς της;
3.9 Εφαρμογές στην R
1. Θεωρώντας το μοντέλο:
yi = β0 + β1 xi1 + β2 xi2 + ϵi ,
και τα δεδομένα του Πίνακα 3.3:
i = 1, ..., 6,
(3.39)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
61
Πίνακας 3.3: Τιμές 6 παρατηρήσεων (xi1 , xi2 , yi )
#
X1
X2
Y
1
7
33
42
2
4
41
33
3
16
7
75
4
3
49
28
5
21
5
91
6
8
31
55
i. Να κατασκευαστεί το τριδιάστατο διάγραμμα διασποράς (σκεδασμογράφημα) μεταξύ των μεταβλητών X1 , X2 και Y .
ii. Να υπολογιστούν τα β̂∼ , ∼ϵ̂, SSE, SSR και V ar β̂∼ .
iii. Να εκτιμηθεί η τιμή Ŷh , όταν X1 = 10 και X2 = 30.
iv. Να υπολογιστεί το V ar Ŷh , όταν X1 = 10 και X2 = 30.
Ȫ
Λύση
Ξεκινάμε με τη συνήθη εισαγωγή των δεδομένων στην R.
Εισαγωγή δεδομένων & δημιουργία μεταβλητών
library(readxl)
data <‐ read_xlsx('ch3ex1.xlsx')
X1 <‐ data$X1
X2 <‐ data$X2
Y <‐ data$Y
i. Είναι διαθέσιμη μία πληθώρα πακέτων για την κατασκευή τριδιάστατων διαγραμμάτων διασποράς στην R (π.χ. [scatterplot3d], [rgl], [Rcmdr], [plotly], [plot3D]). Εμείς θα κάνουμε
χρήση του πακέτου [plotly] και συγκεκριμένα της εντολής που παρέχεται μέσω αυτού, plot_ly.
Κατασκευή τριδιάστατου διαγράμματος διασποράς
library(plotly) #Φόρτωση πακέτου plotly
fig <‐ plot_ly(
data,
x = ~ X1,
y = ~ Y,
z = ~ X2,
marker = list(
color = ~ Y,
colorscale = c('#FFE1A1', '#683531'),
62
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
showscale = TRUE
)
)
fig <‐ fig %>% add_markers()
fig <‐ fig %>% layout(
scene = list(
xaxis = list(title = 'X1'),
yaxis = list(title = 'Y'),
zaxis = list(title = 'X2')
),
annotations = list(
x = 1,
y = 0.5,
text = 'Y',
xref = 'paper',
yref = 'paper',
showarrow = FALSE
)
)
fig
Για την εμφάνιση του (διαδραστικού) σχήματος, όπως αυτό προκύπτει από την εκτέλεση του
παραπάνω κώδικα, πατήστε εδώ.
ii. Εισάγουμε στη μεταβλητή multlm το πολλαπλό γραμμικό μοντέλο παλινδρόμησης και έπειτα
εξάγουμε από αυτή τους συντελεστές μέσω της εντολής multlm$coefficients.
Δημιουργία πολλαπλού γραμμικού μοντέλου & εξαγωγή συντελεστών
multlm <‐ lm(Y ~ X1 + X2)
multlm$coefficients
> multlm$coefficients
(Intercept)
X1
33.93210
2.78476
X2
‐0.26442




β̂
33.9321
 0




β̂∼ = β̂1  =  2.78476  .
−0.26442
β̂2
Ο υπολογισμός του V ar β̂∼ θα γίνει μέσω της εφαρμογής της εντολής vcov [stats] πάνω
στη μεταβλητή multlm.
Εύρεση πίνακα διασποράς-συνδιασποράς των β̂
∼
var.covar.coeffs <‐ vcov(multlm)
var.covar.coeffs
> var.covar.coeffs
(Intercept)
X1
X2
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
(Intercept)
X1
X2
63
715.471 ‐34.15892 ‐13.59494
‐34.159
1.66167
0.64407
‐13.595
0.64407
0.26247


\
\
\
V
ar
β̂
Cov
β̂
,
β̂
Cov
β̂
,
β̂
0
0
1
0
2 



\


\
\
\
V ar β̂∼ = Cov β̂1 , β̂0
V ar β̂1
Cov β̂1 , β̂2 




\
\
\
Cov β̂2 , β̂0 Cov β̂2 , β̂1
V ar β̂2


715.471 −34.159 −13.595

= −34.159 1.66167 0.64407 
.
−13.595 0.64407 0.26247
Για τα SSE και SSR, χρειάζεται να γίνει άθροιση των επιμέρους SSEs, αφού η εντολή anova
δίνει το SSE για καθεμία από τις ανεξάρτητες μεταβλητές του μοντέλου.
Εύρεση SSR & SSE
ANOVA <‐ anova(multlm)
ANOVA
SSE <‐ sum(ANOVA$`Sum Sq`[1:2]) #Άθροισμα 2 πρώτων στοιχείων στήλης
Sum Sq πίνακα ANOVA
SSE
> ANOVA
Analysis of Variance Table
Response: Y
Df Sum Sq Mean Sq F value Pr(>F)
X1
1
3004
3004 145.20 0.0012
X2
1
6
6
0.27 0.6414
Residuals 3
62
21
> sum(ANOVA$ `Sum Sq`[1:2])
[1] 3010
SSR = 3004 + 6 = 3010
και SSE = 62.
iii. Στο ερώτημα αυτό καλούμαστε να υπολογίσουμε την ποσότητα:
Ŷh = Xh′ β̂∼ .
Επειδή πρόκειται για πολλαπλασιασμό μεταξύ πινάκων/διανυσμάτων, θέλει ιδιαίτερη προσοχή
αφού πρέπει να γίνει χρήση του συμβόλου %*% αντί του *.
Δημιουργία Xh και υπολογισμός Ŷh
X.h <‐ c(1, 10, 30)
Y.h.hat <‐ t(X.h) %*% multlm$coefficients
Y.h.hat
64
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
> Y.h.hat
[,1]
[1,] 53.847
Ŷh = 53.847.
iv. Ο συνδυασμός των αποτελεσμάτων στα ερωτήματα (ii) και (iii), θα οδηγήσουν στο ζητούμενο.
Για τον υπολογισμό του Xh′ θα γίνει χρήση της εντολής t [base] πάνω στη μεταβλητή X.h.
\
Υπολογισμός Var Ŷh
MSE <‐ ANOVA$`Mean Sq`[3]
var.Y.h.hat <‐ MSE * (t(X.h) %*% var.covar.coeffs
!
\
′ \
%*% X.h) #V ar Ŷh = M SE Xh V ar β̂ Xh
∼
var.Y.h.hat
> var.Y.h.hat
[,1]
[1,] 112.24
\
V ar Ŷh = 112.24.
2. Στον Πίνακα 3.4 δίνονται οι τιμές των μεταβλητών:
Y = Μηνιαία Ποσότητα Ατμού μιας Μηχανής (kg/h),
X1 = Αριθμός Ημερών που η Μηχανή Εργάστηκε ανά Μήνα,
X2 = Μέση Μηνιαία Θερμοκρασία σε βαθμούς Fahrenheit.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
65
Πίνακας 3.4: Τιμές 25 παρατηρήσεων (xi1 , xi2 , yi )
#
X1
X2
Y
1
20
35.3
10.98
14
19
39.1
9.57
2
20
29.7
11.13
15
23
46.8
10.94
3
23
30.8
12.51
16
20
48.5
9.58
4
20
58.8
8.40
17
22
59.3
10.09
5
21
61.4
9.27
18
22
70
8.11
6
22
71.3
8.73
19
11
70
6.83
7
11
74.4
6.36
20
23
74.5
8.88
8
23
76.7
8.50
21
20
72.1
7.68
9
21
70.7
7.82
22
21
58.1
8.47
10
20
57.5
9.14
23
20
44.6
8.86
11
20
46.4
8.24
24
20
33.4
10.36
12
21
28.9
12.19
25
22
28.6
11.08
13
21
28.1
11.88
i. Να προσαρμοστεί κατάλληλο μοντέλο γραμμικής παλινδρόμησης και να ερμηνευτούν οι τιμές
των συντελεστών.
ii. Να εξεταστεί η στατιστική σημαντικότητα του προσαρμοσμένου μοντέλου βάσει της ΣΣΕ (α =
1%).
iii. Ποιο το ποσοστό της μεταβλητότητας της Y που επεξηγείται από την παλινδρόμηση;
iv. Να εξεταστεί η στατιστική σημαντικότητα των συντελεστών βi , i = 0, 1, 2, βάσει των 99%
Δ.Ε.
v. Να υπολογιστούν τα 99% Δ.Ε. Bonferroni των β1 και β2 , αντίστοιχα.
vi. Να υπολογιστεί ένα 99% Δ.Π. για την Yh , όταν Xh1 = 15 και Xh2 = 41.
Ȫ
Λύση
Εισαγωγή δεδομένων & δημιουργία μεταβλητών
library(readxl)
data <‐ read_xlsx('ch3ex1.xlsx')
X1 <‐ data$X1
X2 <‐ data$X2
Y <‐ data$Y
66
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
i. Προσαρμόζουμε καταλλήλως το ζητούμενο πολλαπλό γραμμικό μοντέλο παλινδρόμησης.
Δημιουργία πολλαπλού γραμμικού μοντέλου & εξαγωγή συντελεστών
multlm <‐ lm(Y ~ X1 + X2)
summary(multlm)
> summary(multlm)
Call:
lm(formula = Y ~ X1 + X2)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept)
9.1269
1.1028
8.28 3.3e‐08
X1
0.2028
0.0458
4.43 0.00021
X2
‐0.0724
0.0080
‐9.05 7.2e‐09
Residual standard error: 0.662 on 22 degrees of freedom
Multiple R‐squared: 0.849,
Adjusted R‐squared: 0.835
F‐statistic: 61.9 on 2 and 22 DF, p‐value: 9.23e‐10
Το εκτιμώμενο μοντέλο δίνεται από τη σχέση:
ŷi = 0.1269 + 0.2028xi1 − 0.0724xi2 ,
i = 1, ..., 25.
Ερμηνεία συντελεστών παλινδρόμησης:
• β̂0 : Η μέση εκτιμώμενη μηνιαία ποσότητα ατμού μιας μηχανής, ανέρχεται στα 0.1269 kg/h,
εάν ο αριθμός των ημερών που η μηχανή εργάστηκε ανά μήνα είναι 0 και ταυτόχρονα η μέση
μηνιαία θερμοκρασία είναι 0o F.
• β̂1 : Η μέση εκτιμώμενη μηνιαία ποσότητα ατμού μιας μηχανής θα αυξηθεί κατά 0.2028
kg/h, εάν ο αριθμός των ημερών που η μηχανή εργάστηκε ανά μήνα αυξηθεί κατά μία ημέρα
και παράλληλα η μέση μηνιαία θερμοκρασία παραμείνει σταθερή.
• β̂2 : Η μέση εκτιμώμενη μηνιαία ποσότητα ατμού μιας μηχανής θα μειωθεί κατά 0.0724
kg/h, εάν η μέση μηνιαία θερμοκρασία αυξηθεί κατά 1o F και παράλληλα ο αριθμός των
ημερών που η μηχανή εργάστηκε ανά μήνα παραμείνει σταθερός.
ii. Στο ερώτημα αυτό, καλούμαστε να εφαρμόσουμε έλεγχο σημαντικότητας της παλινδρόμησης
(του μοντέλου) βάσει της F ΣΣΕ.
H0 : β1 = β2 = 0
vs
H1 : Τουλάχιστον ένα από τα βi , i = 1, 2, διάφορο του 0.
Για τον λόγο αυτό, θα πρέπει να βρεθεί ο πίνακας ANOVA. Τέλος, για τη διενέργεια του ελέγχου,
θα πρέπει να υπολογιστεί και το αντίστοιχο F -ποσοστιαίο σημείο (qf [stats]).
Εύρεση πίνακα ANOVA
ANOVA <‐ anova(multlm)
ANOVA
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
67
F.value <‐ sum(ANOVA$`F value`[1:2])
F.value
df1 <‐ sum(ANOVA$Df[1:2]) #p‐1
df2 <‐ ANOVA$Df[3] #n‐p
qf(.99, df1 , df2) #Υπολογισμός F2,22;0.01
> ANOVA
Analysis of Variance Table
Response: Y
Df Sum Sq Mean Sq F value Pr(>F)
X1
1
18.3
18.3
41.9 1.6e‐06
X2
1
35.8
35.8
81.9 7.2e‐09
Residuals 22
9.6
0.4
> F.value
[1] 123.81
> qf(.99, df1 , df2)
[1] 5.719
Η τιμή της F ΣΣΕ προκύπτει από την άθροιση των στοιχείων της στήλης «F value». Τελικά,
αφού:
F = 41.9 + 81.9 = 123.81 > 5.719 = F2,22;0.01 ,
απορρίπτεται η H0 και άρα η παλινδρόμηση είναι στατιστικά σημαντική (α = 1%).
iii. Από το ερώτημα (ii), προκύπτει ότι το:
R2 =
SSR
18.3 + 35.8
=
= 0.849 = 84.9%
SST O
18.3 + 35.8 + 9.6
της μεταβλητότητας της Y επεξηγείται από την παλινδρόμηση (το μοντέλο, δηλαδή τις μεταβλητές X1 και X2 ).
iv. Θέλουμε να εφαρμόσουμε τον έλεγχο:
H0 : βi = 0
vs
H1 : βi ̸= 0, i = 0, 1, 2.
Κατασκευή 99% Δ.Ε. για τα βi , i = 0, 1, 2
confint(multlm, level = .99)
> confint(multlm, level = .99)
0.5 %
99.5 %
(Intercept) 6.018359 12.235412
X1
0.073808 0.331823
X2
‐0.094941 ‐0.049845
Ακολουθούν τα 99% Δ.Ε. για τα βi i = 0, 1, 2:
68
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
• για το β0 :
[6.018359, 12.235412],
• για το β1 :
[0.073808, 0.331823],
• για το β2 :
[−0.094941, −0.049845].
Παρατηρούμε ότι σε κανένα από τα παραπάνω Δ.Ε. δεν εμπεριέχεται η υπό εξέταση τιμή (0).
Άρα, η H0 απορρίπτεται και έτσι τα βi , i = 0, 1, 2 είναι στατιστικά σημαντικά (α = 1%).
v. Τα 100(1 − α)% Δ.Ε. Bonferroni υπολογίζονται όπως και τα κλασικά Δ.Ε. μέσω της εντολής
α
confint. Η μόνη διαφορά έγκειται στο όρισμα level όπου θα πρέπει να τεθεί ίσο με 1‐ m
α
όχι 1‐ 2m
. Για τη συγκεκριμένη εφαρμογή το m ισούται με 2.
και
Κατασκευή 99% από κοινού Δ.Ε. Bonferroni για τα β1 & β2
confint(multlm, parm = c(2, 3), level = (1 ‐ 0.01 / 2))#Η παράμετρος
parm=c(2,3) εξαναγκάζει την εντολή confint να εμφανίσει μόνο τα
Δ.Ε. που αφορούν τις παραμέτρους 2 και 3 του υπό εξέταση μοντέλου
> confint(multlm, parm = c(2, 3), level = (1 ‐ 0.01 / 2))
0.25 %
99.75 %
X1 0.060074 0.345557
X2 ‐0.097342 ‐0.047444
Τα 99% από κοινού Δ.Ε. Bonferroni για τα βi , i = 1, 2 είναι τα εξής:
• για το β1 :
[0.060074, 0.345557],
• για το β2 :
[−0.097342, −0.047444].
vi. Ακολουθεί ο κώδικας υλοποίησης του εν λόγω ερωτήματος.
Κατασκευή 99% Δ.Π. για το Yh όταν Xh1 = 15 & Xh2 = 41
X.h <‐ data.frame(X1 = 15, X2 = 41)
predict(multlm,
newdata = X.h,
interval = 'prediction',
level = .99)
> predict(multlm,
+
newdata = X.h,
+
interval = 'prediction ',
+
level = .99)
fit
lwr
upr
1 9.201 7.1477 11.254
Ένα 99% Δ.Π. για το Yh , όταν Xh1 = 15 και Xh2 = 41, είναι το ακόλουθο:
[7.1477, 11.254].
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
69
3.10 Άλυτες ασκήσεις
1. Έστω το γραμμικό μοντέλο παλινδρόμησης y∼ = X β∼ + ∼ϵ και η αντίστοιχη εκτιμήτρια συνάρn×1
n×p
n×1
p×1
τηση παλινδρόμησης ŷ∼ = X β̂∼ .
n×p
n×1
p×1
Να δειχτεί ότι:
i.
ii.
iii.
Pn
i=1 ϵ̂i
Pn
= 0,
i=1 ϵ̂i xij
Pn
i=1 ϵ̂i ŷi
= 0, j = 1, ..., p − 1,
= 0.
2. Με τη βοήθεια κατάλληλου/ων μετασχηματισμού/ών, να γραφεί καθένα από τα παρακάτω μοντέλα
στη μορφή (3.4):
i. yi = β0 exp (β1 xi1 + ϵi ),
ii. yi = [1 + exp (β1 xi1 + ϵi )]−1 και
iii. yi = β0 + β1 xi1 + β2 log10 xi2 + β3 x2i1 + ϵi .
3. Να αποδειχτεί το Θεώρημα 3.1.
4. Έστω το μοντέλο:
yi = β0 exp (β1 xi1 + β2 xi2 + ϵi ) ,
i = 1, ..., n,
i.i.d
όπου ϵi ∼ (0, σ 2 ).
i. Να προσδιοριστούν οι ΕΕΤ των παραμέτρων β1 και β2 .
i.i.d
ii. Αν ϵi ∼ N (0, σ 2 ), να δοθεί η συνάρτηση πιθανοφάνειας και να βρεθούν οι ΕΜΠ των β1 και
β2 , αντίστοιχα.
5. Έστω τα δεδομένα του Πίνακα 3.5:
Πίνακας 3.5: Τιμές 11 παρατηρήσεων (xi1 , xi2 , yi )
#
X1
X2
Y
1
1
8
6
7
5
0
2
2
4
2
8
8
10
−12
−4
3
9
−8
1
9
2
4
10
4
11
−10
0
10
7
−2
−3
5
3
6
5
11
6
−4
5
6
8
−6
3
Θεωρώντας το μοντέλο:
yi = β0 + β1 xi1 + β2 xi2 + ϵi ,
και κάνοντας χρήση της R:
i = 1, ..., 11,
70
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
i. Να υπολογιστούν οι ΕΕΤ του μοντέλου.
ii. Να εξεταστεί η στατιστική σημαντικότητα της παλινδρόμησης (α = 5%).
iii. Ποιο το ποσοστό της μεταβλητότητας της εξαρτημένης μεταβλητής Y που επεξηγείται από την
παλινδρόμηση;
iv. Να υπολογιστούν οι διασπορές των β̂1 και β̂2 .
v. Να εκτιμηθεί η διασπορά μιας νέας παρατήρησης Yh για την οποία X1 = 3 και X2 = 5.
Δίνεται ότι:


4.3705 −0.8495 −0.4086

0.0822 
X′ X = −0.8495 0.169
.
−0.4086 0.0822
0.0422
6. Έστω τα δεδομένα του Πίνακα 3.6:
Πίνακας 3.6: Τιμές 8 παρατηρήσεων (xi1 , xi2 , yi )
Αν
P8
i=1
P8
i=1
#
X1
X2
Y
1
38
47.5
66
2
41
21.3
43
3
34
36.5
36
4
35
18
23
yi2 = 8911.76,
P8
xi2 yi = 6954.7 και
i=1
x2i1 = 9488,
P8
i=1
5
31
29.5
22
6
34
14.2
14
7
29
21
32
8
32
10
7.6
P8
i=1
x2i1 = 5979.08,
P8
i=1
xi1 yi = 8049.2,
xi1 xi2 = 6875.6, τότε:
i. Να υπολογιστούν οι ΕΕΤ του μοντέλου:
yi = β0 + β1 xi1 + β2 xi2 + ϵi ,
i = 1, ..., 8.
ii. Να υπολογιστεί ο πίνακας ANOVA και να διενεργηθεί ο έλεγχος σημαντικότητας της παλινδρόμησης (α = 5%).
iii. Ποιο το ποσοστό της μεταβλητότητας της εξαρτημένης μεταβλητής Y που επεξηγείται από την
παλινδρόμηση;
7. Σώμα ρίχνεται κατακόρυφα και διανύει σε χρόνο t απόσταση Y με E(Yt ) = β1 t + β2 t2 . Τα δεδομένα
δίνονται στον Πίνακα 3.7:
Πίνακας 3.7: Τιμές 5 ζευγών παρατηρήσεων (t, yi )
#
t
Y
1
1
6
2
1.5
14
3
2
21
4
2.5
33
5
3
48
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
71
i. Να προσδιοριστούν οι ΕΕΤ των παραμέτρων β1 και β2 .
ii. Να ελεγχθεί η υπόθεση H1 : β1 ̸= 0 (α = 5%).
8. Έστω τα δεδομένα του Πίνακα 3.8:
Πίνακας 3.8: Τιμές 16 παρατηρήσεων (xi1 , xi2 , yi )
#
X1
X2
Y
1
4
2
64
2
4
4
73
3
4
2
61
4
4
4
76
5
6
2
72
6
6
4
80
7
6
2
71
8
6
4
83
13
10
2
88
9
8
2
83
14
10
4
95
10
8
4
89
15
10
2
94
11
8
2
86
16
10
4
100
12
8
4
93
και το μοντέλο:
yi = β0 + β1 xi1 + β2 xi2 + ϵi ,
i = 1, ..., 16.
Κάνοντας χρήση της R:
i. να γίνει το τριδιάστατο διάγραμμα διασποράς (σκεδασμογράφημα),
ii. να προσαρμόσετε κατάλληλο μοντέλο παλινδρόμησης και να ερμηνεύσετε τις τιμές των παραμέτρων,
iii. να ελεγχθεί η στατιστική σημαντικότητα του μοντέλου (α = 5%),
iv. να υπολογιστούν τα 95% Δ.Ε. Bonferroni των β1 και β2 , αντίστοιχα.
72
ΠΟΛΛΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Βόντα, Φ., & Καραγρηγορίου, Α. (2012). Εφαρμοσμένη στατιστική ανάλυση & στοιχεία πιθανοτήτων.
Αθήνα: Εκδόσεις Παρασκήνιο.
[2] Δαμιανού, Χ., & Κούτρας, Μ. (1998). Εισαγωγή στη στατιστική, Μέρος ΙΙ. Αθήνα: Εκδόσεις Συμμετρία.
[3] Καλαματιανού, Α.Γ. (1997). Εφαρμοσμένη ανάλυση παλινδρόμησης. Αθήνα: Εκδόσεις Παπαζήσης.
[4] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση Minitab και R
(2η έκδ.). Αθήνα: Συμεών.
[5] Κουτρουβέλης, Ι.Α. (2015). Εφαρμοσμένες πιθανότητες και στατιστική για μηχανικούς και θετικούς επιστήμονες. Αθήνα: Εκδόσεις Gotsis.
[6] Κουτρουβέλης, Ι.Α. (2000). Προηγμένα εργαλεία και μέθοδοι για τον έλεγχο της ποιότητας, Τόμος Β,
Σχεδιασμός και Ανάλυση Πειραμάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήμιο.
[7] Κολυβά-Μαχαίρα, Φ., & Μπόρα-Σέντα, Ε. (1995). Στατιστική, θεωρία και εφαρμογές. Θεσσαλονίκη:
Εκδόσεις Ζήτη.
[8] Κουνιάς, Σ., Κολυβά-Μαχαίρα, Φ., Μπαγιάτης, Γ., & Μπόρα-Σέντα, Ε. (1985). Εισαγωγή στη στατιστική. Θεσσαλονίκη: Εκτύπωση Γιαχούδη-Γιαπούλη Ο.Ε.
[9] Κούτρας, Μ.Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[10] Μπόρα-Σέντα, Ε., & Μωυσιάδης, Χ. (1990). Εφαρμοσμένη στατιστική, Θεσσαλονίκη: Εκδόσεις Ζήτη.
[11] Ντζούφρας, Ι., & Καρλής, Δ. (2015). Εισαγωγή στον προγραμματισμό και στη στατιστική ανάλυση με R [Προπτυχιακό εγχειρίδιο]. Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις.
http://hdl.handle.net/11419/2601
[12] Παπαδόπουλος, Γ.Κ. (2015). Εισαγωγή στις πιθανότητες και τη στατιστική. Αθήνα: Εκδόσεις Gutenberg.
[13] Παπαϊωάννου, Τ., & Λουκάς, Σ. (2002). Εισαγωγή στη στατιστική. Αθήνα: Εκδόσεις Σταμούλη Α. Ε.
74
ΒΙΒΛΙΟΓΡΑΦΙΑ
[14] Φερεντίνος, Κ., Ζωγράφος, Κ., & Παπαϊωάννου, Τ. (2020). Εκτιμητική και έλεγχος υποθέσεων. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[15] Φουσκάκης, Δ. (2021). Ανάλυση δεδομένων με χρήση της R (2η έκδ.). Αθήνα: Εκδόσεις Τσότρας.
[16] Draper, R.D., & Smith, H. (1998). Applied regression analysis (3rd ed.). Wiley-Interscience.
[17] Field, A. (2021). Μία περιπέτεια στη στατιστική (Ε. Γάκη, Χ. Παρπούλα & Η. Σαντουρίδης, Επιμ.).
Αθήνα: Εκδόσεις Προπομπός.
[18] Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R (1st ed.). Sage Ltd.
ΚΕΦΑΛΑΙΟ 4
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ
ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει τη διερεύνηση των προϋποθέσεων για την εφαρμογή του προτύπου παλινδρόμησης, μέσω της ανάλυσης καταλοίπων, αξιοποιώντας τόσο γραφικές όσο και
στατιστικές μεθόδους και τεχνικές.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση των προηγουμένων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• διερευνά την καταλληλότητα του μοντέλου παλινδρόμησης μέσω της ανάλυσης καταλοίπων,
• διερευνά τις προϋποθέσεις των προτύπων παλινδρόμησης, με γραφικές και στατιστικές τεχνικές
και μεθόδους,
• δύναται να επιλέγει κατάλληλους μετασχηματισμούς για την αντιμετώπιση παραβίασης των
προϋποθέσεων του προτύπου παλινδρόμησης,
• διεκπεραιώνει την ανάλυση καταλοίπων με τη χρήση στατιστικών πακέτων.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
76
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
4.1 Εισαγωγή
Όταν ένα μοντέλο παλινδρόμησης επιλέγεται για την περιγραφή κάποιου φαινομένου, συνήθως δεν είναι γνωστό από πριν αν αυτό είναι το καταλληλότερο. Όπως φαίνεται από τον ορισμό του γραμμικού μοντέλου παλινδρόμησης (2.2), θα πρέπει κάποιες προϋποθέσεις να ικανοποιούνται ώστε αυτό να θεωρείται κατάλληλο:
1. Η γραμμική σχέση μεταξύ των μεταβλητών X και Y είναι ισχυρή.
2. Η διακύμανση της Y είναι σταθερή (ανεξάρτητη) για διάφορες τιμές της μεταβλητής X.
3. Τα σφάλματα είναι ανά δύο μεταξύ τους ανεξάρτητα.
4. Τα σφάλματα ακολουθούν την κανονική κατανομή.
Είναι πολύ σημαντικό, προτού γίνει η ανάλυση των δεδομένων και εξαχθούν τα οποιαδήποτε συμπεράσματα,
να διερευνηθεί η καταλληλότητα του μοντέλου που έχει επιλεγεί. Για τον σκοπό αυτό, μπορούν να χρησιμοποιηθούν διάφοροι στατιστικοί έλεγχοι, καθώς και διάφορες γραφικές μέθοδοι οι οποίες βασίζονται σε γραφικές
παραστάσεις των υπολοίπων ϵ̂i . Η μεθοδολογία των γραφικών αυτών μεθόδων είναι γνωστή ως ανάλυση των
καταλοίπων (residual analysis). Τα κατάλοιπα ϵ̂i = yi − ŷi μπορούν να θεωρηθούν σαν τα παρατηρηθέντα
σφάλματα, σε αντιδιαστολή με τα άγνωστα (πραγματικά) σφάλματα ϵi = Yi − (Yi ). Άρα, αν το μοντέλο
είναι κατάλληλο, τότε τα ϵ̂i θα πρέπει να αντανακλούν τις ιδιότητες των ϵi . Για τη μέση τιμή και τη διασπορά
των υπολοίπων, γνωρίζουμε ήδη ότι (Θεώρημα 2.2 και σχέση (2.27)):
Pn
Pn
i=1 ϵ̂i
n
και M SE =
2
i=1 ϵ̂i
n−2
.
(4.1)
Στην ανάλυση καταλοίπων γίνεται συχνά χρήση των τυποποιημένων καταλοίπων (standardized residuals),
που είναι της μορφής:
ϵ̂i
SRi =
.
(4.2)
se (ϵ̂i )
Θα πρέπει εδώ να αναφερθεί ότι τα κατάλοιπα (όπως και τα τυποποιημένα κατάλοιπα) είναι εξαρτημένες τυχαίες μεταβλητές.
Οι γραφικές μέθοδοι που περιγράφονται στο κεφάλαιο αυτό, δεν εφαρμόζονται μόνο στην περίπτωση των
γραμμικών μοντέλων παλινδρόμησης, αλλά σε όλα τα είδη στατιστικών μοντέλων.
4.2 Μη γραμμικότητα και μετασχηματισμοί
Το σκεδασμογράφημα αποτελεί μία πρώτη μέθοδο ελέγχου της γραμμικότητας μεταξύ των μεταβλητών X και
Y . Η γραφική όμως παράσταση, που βοηθά σημαντικά στη διερεύνηση της γραμμικότητας, είναι αυτή των
υπολοίπων ϵ̂i ως προς τις αντίστοιχες τιμές Xi της ανεξάρτητης μεταβλητής. Για να θεωρείται ικανοποιητικό
το γραμμικό μοντέλο παλινδρόμησης, θα πρέπει τα σημεία της γραφικής αυτής παράστασης να σχηματίζουν
ένα οριζόντιο πλαίσιο γύρω από το μηδέν (Σχήμα 4.1(α)). Αν πάλι τα σημεία αυτά αποκλίνουν από το μηδέν
με έναν συστηματικό τρόπο, τότε το γραμμικό μοντέλο δεν θεωρείται κατάλληλο. Στο Σχήμα 4.1(β) παρουσιάζεται μία περίπτωση όπου τα υπόλοιπα για μικρές τιμές του X, είναι αρνητικά, στη συνέχεια γίνονται θετικά και καταλήγουν για μεγάλες τιμές X, πάλι αρνητικά. Μία τέτοιου είδους μορφή οδηγεί στο συμπέρασμα
ότι θα πρέπει να χρησιμοποιηθεί ένα μη γραμμικό μοντέλο.
Για την αντιμετώπιση του προβλήματος της μη γραμμικότητας, μπορούν να χρησιμοποιηθούν πιο πολύπλοκα
μοντέλα, όπως το πολυωνυμικό:
yi = β0 + β1 xi + β2 x2i + ϵi
(4.3)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
ή το εκθετικό:
yi = β0 β1γxi +ϵi
77
(4.4)
ή μπορεί να γίνει κάποιος μετασχηματισμός δεδομένων.
(α)
(β)
Σχήμα 4.1: Γραφική διερεύνηση γραμμικότητας
Επιπλέον, συχνά απλοί μετασχηματισμοί είτε της μεταβλητής X, είτε της Y , είτε και των δύο, βοηθούν ώστε
μία μη γραμμική σχέση μεταξύ των X και Y να μετατραπεί σε γραμμική. Οι πιο συνήθεις μετασχηματισμοί
είναι:
√
Y ′ = Y , Y ′ = logY και Y ′ = Y −1 .
(4.5)
Είθισται μετά από έναν τέτοιο μετασχηματισμό, τα «νέα» ζεύγη τιμών (Xi , Yi′ ) να μπορούν να προσαρμοστούν σε ένα γραμμικό μοντέλο παλινδρόμησης.
Οι εκτιμήτριες των συντελεστών παλινδρόμησης του μοντέλου:
yi′ = β0 + β1 xi + ϵi ,
(4.6)
υπολογίζονται από τους συνήθεις τύπους (2.6) με yi′ και ȳi′ , αντί για yi και ȳi .
4.3 Έλεγχος κανονικότητας των σφαλμάτων
Υπάρχουν ποικίλες τεχνικές για τον έλεγχο: (1) της κανονικότητας των σφαλμάτων, όπως ο Πίνακας Συχνοτήτων (Frequency Table), το Probability-Probability Διάγραμμα Πιθανότητας (P-P Plot), το QuantileQuantile Διάγραμμα Πιθανότητας (Q-Q Plot) και το Ιστόγραμμα (Histogram), οι οποίες εφαρμόζονται στα
κατάλοιπα ή (συνηθέστερα) στα τυποποιημένα κατάλοιπα SRi και (2) του κατά πόσο το 68% (95%) περίπου των τυποποιημένων καταλοίπων βρίσκεται στο διάστημα [−1, 1]([−2, 2]). Στο πλαίσιο ενός Κανονικού
Διαγράμματος Πιθανότητας (Normal Probability Plot), μπορεί να χρησιμοποιηθεί ακόμα και ο δειγματικός
συντελεστής συσχετίσεως r (2.33) για τον έλεγχο της κανονικότητας. Συγκεκριμένα, αν το r είναι τουλάχιστον 90%, μπορεί να θεωρηθεί ότι ικανοποιείται η υπόθεση της κανονικότητας.
Εκτός όμως των προαναφερθεισών γραφικών τεχνικών ελέγχου της κανονικότητας, υπάρχουν και στατιστικοί
έλεγχοι, συχνά αναφερόμενοι ως έλεγχοι καλής προσαρμογής, οι οποίοι στοχεύουν στην εύρεση της (άγνωστης)
κατανομής από την οποία προήλθε το υπό εξέταση τυχαίο δείγμα.
78
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
4.3.1 Ο έλεγχος Kolmogorov-Smirnov για ένα δείγμα
Ο έλεγχος των Kolmogorov-Smirnov (K-S) [13], χρησιμοποιείται κατά κόρον τόσο στην Ανάλυση Παλινδρόμησης όσο και στην Ανάλυση Διακύμανσης για τη διερεύνηση της υπόθεσης της κανονικότητας των σφαλμάτων.
Ορισμός 4.1. Έστω X1 , ..., Xn τυχαίο δείγμα. Η εμπειρική συνάρτηση κατανομής ορίζεται ως:
Pn
i=1 I{Xi ≤x}
Sn (x) =
n
x ∈ R.
,
Η εμπειρική συνάρτηση κατανομής (empirical distribution function) αποτελεί έναν χρήσιμο εκτιμητή της
άγνωστης κατανομής, έστω Fn (x), των παρατηρήσεων Xi , i = 1, ..., n, καθώς:
Pn
i=1 I{Xi ≤x}
Yi =I{Xi ≤x}
Pn
Yi
→ E (Y1 ) = 0 · P (Y1 = 0)
n→+∞
n
n
+ 1 · P (Y1 = 1) = P (Y1 = 1) = P (X1 ≤ x) = F (x) , ∀x.
Sn (x) =
====
i=1
Έστω ότι θέλουμε να εφαρμόσουμε τον έλεγχο:
H0 : Fn (x) = Fn∗ (x)
vs H1 : Fn (x) ̸= Fn∗ (x) .
Ορισμός 4.2. Ο έλεγχος K-S ορίζεται ως η μέγιστη (κάθετη) απόσταση (Dn ) μεταξύ της εμπειρικής συνάρτησης
κατανομής (Sn (x)) και της υπό εξέταση κατανομής (Fn∗ (x)):
Dn = sup |Sn (x) − Fn∗ (x)| .
(4.7)
x∈R
Σε αυτό το σημείο, ίσως αναλογιστεί κανείς ότι το κριτήριο αυτό έχει ένα σοβαρό μειονέκτημα: η κατανομή
της Dn θα πρέπει να εξαρτάται από την Fn∗ (x) και επομένως, θα πρέπει να βρούμε την κατανομή της Dn
για κάθε διαφορετική κατανομή Fn∗ (x). Κάτι τέτοιο όμως δεν ισχύει, αφού η κατανομή της στατιστικής συνάρτησης Dn δεν εξαρτάται από την Fn∗ (x), γεγονός που μας δίνει τη δυνατότητα να χρησιμοποιήσουμε το
κριτήριο αυτό οποιαδήποτε και αν είναι η κατανομή από την οποία προέρχεται το δείγμα (υπό την H0 ).
Πράγματι, έστω ότι αναζητούμε μία απλούστερη έκφραση της τ.μ. Dn ώστε να υπολογίζεται εύκολα από το
τυχαίο δείγμα X1 , ..., Xn αλλά και ταυτόχρονα η εξάρτησή της από τα Xi να είναι περισσότερο ευδιάκριτη.
Έστω x(1) , ..., x(n) οι διατεταγμένες τιμές των X1 , ..., Xn με x(1) < ... < x(n) . Η εμπειρική συνάρτηση
κατανομής θα έχει την ακόλουθη μορφή:



0,




1

,


n
x < x(1)
x(1) ≤ x < x(2)
2
Sn (x) = n , x(2) ≤ x < x(3) .


..



.



1,
(4.8)
x(n) ≤ x
h
Παρατηρούμε ότι η (4.8) είναι σταθερή στα διαστήματα x(i−1) , x(i) ενώ παρουσιάζει άλματα ύψους n1
στα σημεία x(1) , ..., x(n) . Εφόσον η Fn∗ είναι αύξουσα συνάρτηση, η μέγιστη τιμή της Sn (x) − Fn∗ (x) θα
λαμβάνεται πάνω σε κάποιο από τα σημεία x(1) , ..., x(n) , δηλαδή:
Dn+ = sup {Sn (x) − Fn∗ (x)} = max
x∈R
i=1,...,n
n
Sn x(i) − Fn∗ x(i)
o
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
= max
i=1,...,n
i
− Fn∗ x(i) ≥ 0.
n
Όμοια, για τη μέγιστη τιμή της Fn∗ (x) − Sn (x):
Dn− = sup {Fn∗ (x) − Sn (x)} = max
(4.9)
= max
i=1,...,n
Fn∗
x(i)
i−1
−
n
Άρα, βάσει των (4.9) και (4.10):
n
i=1,...,n
x∈R
79
Fn∗ x(i) − Sn x−
(i)
≥ 0.
o
(4.10)
n
Dn = sup {|Sn (x) − Fn∗ (x)|} = max Dn+ , Dn−
o
x∈R
= max
i=1,...,n
i
i−1
− Fn∗ x(i) , Fn∗ x(i) −
n
n
≥ 0.
Παρατηρούμε λοιπόν ότι Fn∗ (xi ) ∼ U (0, 1), και ως εκ τούτου οι τ.μ. Fn∗ x(i) , μπορεί να θεωρηθεί ότι
αποτελούν ένα διατεταγμένο δείγμα από την ομοιόμορφη κατανομή στο (0, 1). Συνεπώς, οποιαδήποτε και
αν είναι η Fn∗ , η Dn δεν επηρεάζεται από αυτή.
i.i.d.
Παραπάνω, εξετάστηκε ο έλεγχος της υπόθεσης H0 : Fn (x) = Fn∗ (x), όπου η Fn∗ (x) ήταν πλήρως
καθορισμένη. Όμως, συνηθέστερη είναι η περίπτωση όπου η οικογένεια στην οποία ανήκει η Fn∗ (x) είναι
γνωστή και οι αντίστοιχες παράμετροι θ άγνωστες (π.χ. κανονική με άγνωστα µ, σ 2 ). Στην περίπτωση αυτή,
συνήθως εκτιμούμε τις παραμέτρους θ από τα δεδομένα και χρησιμοποιούμε την ίδια στατιστική συνάρτηση:
Dn θ̂ = sup
n
x∈R
Sn (x) − Fn∗ x; θ̂
o
.
(4.11)
Η H0 απορρίπτεται εάν Dn > Dn (α), όπου Dn (α) τιμή που προκύπτει από ειδικό πίνακα ποσοστιαίων
σημείων (βλ. Πίνακα Β.10).
Όπως ίσως έχει γίνει ήδη αντιληπτό, για να μπορέσει να εφαρμοστεί ο έλεγχος K-S, η υπό εξέταση κατανομή
θα πρέπει να είναι πλήρως ορισμένη, υπό την έννοια ότι οι άγνωστες παράμετροι θ θα πρέπει να αντικατασταθούν από τις αντίστοιχες εκτιμήσεις τους θ̂.
4.3.1.1 Ο έλεγχος Κανονικότητας του Lilliefors
Ο Lilliefors[10] πρότεινε μία τροποποίηση του K-S ελέγχου για τη διερεύνηση του εάν οι τιμές ενός δείγματος προέρχονται από έναν κανονικά κατανεμημένο πληθυσμό.
Έστω X1 , ..., Xn τυχαίο δείγμα από N (µ, σ 2 ). Εφαρμόζοντας τυποποίηση στα Xi = P
xi , i = 1, ..., n,
n
x
2
i=1 i
και
αντικαθιστώντας
τα
µ
και
σ
με
τις
αντίστοιχες
αμερόληπτες
εκτιμήσεις
τους
x̄
=
και s2 =
n
P
n
(x −x̄)
i=1 i
n−1
έχουμε:
xi − x̄
∼ N (0, 1) .
s
Θέλουμε να διερευνήσουμε την ακόλουθη υπόθεση:
zi =
H0 : Fn (z) = Φ(z) vs
H1 : Fn (z) ̸= Φ(z),
80
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
όπου Φ η αθροιστική συνάρτηση κατανομής της τυποποιημένης κανονικής κατανομής.
Η ΣΣΕ κατά Lilliefors ορίζεται ως:
Ln = sup {|Sn (z) − Φ (z)|} .
z∈R
Και σε αυτή την περίπτωση η H0 απορρίπτεται, εάν Ln > Ln (α), όπου η τιμή Ln (α) προκύπτει από ειδικό
πίνακα ποσοστιαίων σημείων.
Βήματα υλοποίησης ελέγχου κανονικότητας K-S/Lilliefors για τα ϵ̂i
1. Υπολογίζουμε τα κατάλοιπα ϵ̂i και τα κατατάσσουμε σε κλάσεις.
2. Για κάθε κλάση, υπολογίζουμε τις συχνότητες, τις αθροιστικές συχνότητες, καθώς και τις αθροιστικές
σχετικές συχνότητες.
3. Υπολογίζουμε τις τυποποιημένες κανονικές τιμές SRi που αντιστοιχούν στα ανώτατα όρια κάθε κλάσης, και κατ’ επέκταση τις αντίστοιχες πιθανότητες F (SRi ).
4. Τέλος, υπολογίζουμε το Dn /Ln και ελέγχουμε αν η προκύπτουσα τιμή βρίσκεται εντός της κρίσιμης
περιοχής ή όχι.
4.3.2 Ο έλεγχος Anderson-Darling για ένα δείγμα
Ένας ακόμη δημοφιλής έλεγχος καλής προσαρμογής ενός τυχαίου δείγματος σε μία συνεχή θεωρητική κατανομή, είναι αυτός των Anderson-Darling (A-D) [5].
Έστω ο έλεγχος:
H0 : Fn (x) = Fn∗ (x)
Η ΣΣΕ κατά A-D ορίζεται ως:
vs
H1 : Fn (x) ̸= Fn∗ (x) .
(4.12)
A2 = − (n + S) ,
όπου:
• S=
1
n
Pn
i=1
[(2i − 1) (log F (xi ) + log (1 − F (xn+1−i )))] και
• F η αθροιστική συνάρτηση κατανομής.
Η κρίσιμη περιοχή του ελέγχου της (4.12) είναι η ακόλουθη:
!
b1
b0
A > cα = α 1 + + 2 ,
n
n
2
όπου τα α, b0 και b1 δίνονται από ειδικό πίνακα.
Βήματα υλοποίησης ελέγχου κανονικότητας A-D για τα ϵ̂i
1. Υπολογίζουμε τα κατάλοιπα ϵ̂i και τα διατάσσουμε κατά αύξουσα σειρά.
2. Εφαρμόζουμε τυποποίηση στα ϵ̂(i) ώστε να προκύψουν
οι τυποποιημένες
κανονικές
τιμές SR(i) . Βάσει
αυτών, δίνονται οι αντίστοιχες πιθανότητες F SR(i) και F SR(n+1−i) .
3. Υπολογίζουμε τις τιμές log F SR(i) , log 1 − F SR(n+1−i)
και S.
4. Τέλος, υπολογίζουμε το A2 και ελέγχουμε αν η προκύπτουσα τιμή βρίσκεται εντός της κρίσιμης περιοχής ή όχι.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
81
4.3.3 Ο έλεγχος Shapiro-Wilk για ένα δείγμα
Ο τελευταίος έλεγχος καλής προσαρμογής που θα αναλυθεί στο κεφάλαιο αυτό, είναι αυτός των Shapiro-Wilk
(S-W) [12], ο οποίος σε αντίθεση με τους ελέγχους K-S και A-D, αφορά αποκλειστικά τον έλεγχο της κανονικότητας των τιμών του τυχαίου δείγματος.
Ο έλεγχος ενδιαφέροντος είναι ο ακόλουθος:
H0 :
Η κατανομή των υπό εξέταση
δεδομένων είναι η κανονική.
vs
H1 :
Η κατανομή των υπό εξέταση
δεδομένων δεν είναι η κανονική.
(4.13)
Η ΣΣΕ της (4.13) υπολογίζεται ως εξής:
hP
n
W =
i=1 αi ϵ̂(n+1−i) − ϵ̂(i)
Pn
i=1
2
ϵ̂(i) − ϵ̂¯
i2
,
όπου:
• (α1 , ..., αn ) =
m′ V −1
,m
(m′ V −1 V −1 m)1/2
= (m1 , ..., mn )′ ,
με mi οι αναμενόμενες των διατεταγμένων παρατηρήσεων και V ο πίνακας συνδιακύμανσής τους. Θα πρέπει
να σημειωθεί ότι οι τιμές (α1 , ..., αn ) επιλέγονται με βάση το μέγεθος του δείγματος μέσω του S-W πίνακα
συντελεστών.
Βήματα υλοποίησης ελέγχου κανονικότητας S-W για τα ϵ̂
1. Υπολογίζουμε τα κατάλοιπα ϵ̂i και τα διατάσσουμε κατά αύξουσα σειρά.
2. Υπολογίζουμε τις διαφορές των διατεταγμένων καταλοίπων ϵ̂(n+1−i) − ϵ̂(i) .
3. Τέλος, υπολογίζουμε το W και βάσει αυτού την p-value. Το τελευταίο, το συγκρίνουμε με το αντίστοιχο επίπεδο σημαντικότητας α, ώστε να αποφανθούμε υπέρ ή κατά της H0 .
4.3.4 Ακραίες τιμές
Μικρές αποκλίσεις από την υπόθεση της κανονικότητας των σφαλμάτων δεν θεωρούνται γενικά ανησυχητικές. Παρόλα αυτά, είναι αρκετά σύνηθες κάποια παρατήρηση Yi να είναι αρκετά απομακρυσμένη από τις
υπόλοιπες. Κάτι τέτοιο μπορεί να φανεί καθαρά από τη γραφική παράσταση των SRi ως προς X (ή των ϵ̂i ως
προς X). Η τιμή Yi που αντιστοιχεί στο απομακρυσμένο αυτό σημείο ονομάζεται ακραία τιμή (outlier) και
δηλώνει ότι η παρατήρηση αυτή δεν «μοιάζει» με τις υπόλοιπες. Η πρώτη εκτίμηση είναι ότι η ακραία τιμή
οφείλεται σε κάποιο σφάλμα μέτρησης, και συνεπώς θα πρέπει να αγνοηθεί. Γενικά όμως, δεν συστήνεται η
απομάκρυνση μιας ακραίας τιμής από τα δεδομένα, εκτός εάν έχει εξακριβωθεί ότι οφείλεται σε υπολογιστικό
λάθος, λάθος αντιγραφής ή κακή λειτουργία του οργάνου μέτρησης. Αν όμως όλα αυτά δεν αληθεύουν ή δεν
μπορούν να επιβεβαιωθούν, τότε η ακραία τιμή μπορεί να προσφέρει σημαντικές πληροφορίες για το υπό μελέτη φαινόμενο που οι άλλες παρατηρήσεις δεν μπορούν να προσφέρουν, αφού θεωρούνται «φυσιολογικές».
4.4 Έλεγχος ανεξαρτησίας των σφαλμάτων
Η έλλειψη ανεξαρτησίας συνήθως παρουσιάζεται σε οικονομικές εφαρμογές όπου οι παρατηρήσεις συλλέγονται σε τακτά χρονικά διαστήματα. Για τον έλεγχο ανεξαρτησίας απαιτείται η γραφική παράσταση των ϵ̂i με
82
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
τον χρόνο t, έστω και αν αυτός δεν συμπεριλαμβάνεται στο μοντέλο. Όταν τα σφάλματα είναι ανεξάρτητα
παρουσιάζουν μία λίγο-πολύ τυχαία διασπορά γύρω από το μηδέν (Σχήμα 4.2(α)).
(α)
(β)
Σχήμα 4.2: Γραφική διερεύνηση ανεξαρτησίας
Στο Σχήμα 4.2(β) παρουσιάζεται μία περίπτωση όπου στα πρώτα στάδια της μελέτης (για μικρές τιμές του
t) τα υπόλοιπα είναι αρνητικά, ενώ σε επόμενα στάδια (για μεγάλες τιμές του t) είναι θετικά. Μία γραφική
παράστασης αυτής της μορφής δηλώνει την ύπαρξη γραμμικής επίδρασης του χρόνου, οπότε θα πρέπει ο όρος
β2 t να συμπεριληφθεί στο μοντέλο.
4.5 Έλεγχος ομοσκεδαστικότητας των σφαλμάτων
Η γραφική παράσταση των ϵ̂i ως προς τις τιμές xi της μεταβλητής X μπορεί να χρησιμοποιηθεί για τη διερεύνηση της σταθερότητας της διασποράς. Για να ικανοποιείται η υπόθεση αυτή, η μορφή της γραφικής παράστασης θα πρέπει να είναι αυτή που παρουσιάζεται στο Σχήμα 4.1(α). Σε πολλές εφαρμογές στη Διοικητική
Επιστήμη, στα Οικονομικά και στις Βιολογικές Επιστήμες η υπόθεση της σταθερής διασποράς δεν ικανοποιείται. Στις περιπτώσεις αυτές η πιο συνήθης μορφή της γραφικής παράστασης των ϵ̂i ως προς τα xi , είναι
αυτή του Σχήματος 4.3 όπου η διασπορά αυξάνεται με το X.
Εάν το μοντέλο που έχει επιλεγεί είναι είτε μη γραμμικό είτε ένα πολλαπλό μοντέλο παλινδρόμησης, μπορεί να χρησιμοποιηθεί για τον έλεγχο της σταθερής διασποράς η γραφική παράσταση των ϵ̂i με τα ŷi ή των
SRi με τα xi . Η μελέτη των παραστάσεων αυτών είναι ίδια με αυτή των παραστάσεων μεταξύ ϵ̂i και xi .
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
83
Σχήμα 4.3: Γραφική διερεύνηση ομοσκεδαστικότητας
Η ιδιότητα της σταθερής διασποράς αναφέρεται με τον όρο ομοσκεδαστικότητα (homoskedasticity) και είναι
απαραίτητη προϋπόθεση για τη χρήση της μεθόδου ελαχίστων τετραγώνων. Η περίπτωση της μη σταθερής
διασποράς αναφέρεται με τον όρο ετεροσκεδαστικότητα
(heteroskedasticity) και αντιμετωπίζεται συνήθως
√
με έναν μετασχηματισμό της μορφής Y ′ = Y .
4.6
F έλεγχος έλλειψης καλής προσαρμογής
Ο F έλεγχος έλλειψης καλής προσαρμογής (Lack-of-Fit) που θα διατυπωθεί στην ενότητα αυτή, είναι ένας
έλεγχος από αυτούς που χρησιμοποιούνται για τον έλεγχο της καταλληλότητας του μοντέλου. Ο έλεγχος
αυτός, που μπορεί να χρησιμοποιηθεί για οποιαδήποτε μοντέλα, απαιτεί επαναληπτικές παρατηρήσεις (replicates) για μία ή περισσότερες τιμές της ανεξάρτητης μεταβλητής X.
Έστω X = xj , j = 1, ..., c, η j-τιμή της μεταβλητής X για την οποία γίνονται οι μετρήσεις. Έστω επίσης yij η i-τιμή της μεταβλητής Y , όταν X = xj , i = 1, ..., nj . Τέλος, έστω ȳj η δειγματική μέση τιμή των
yij , i = 1, ..., nj , όταν X = xj , δηλαδή:
Pnj
ȳj =
i=1
yij
nj
.
(4.14)
Όπως είναι φανερό, ο συνολικός αριθμός παρατηρήσεων είναι:
n=
c
X
nj .
(4.15)
j=1
Το άθροισμα των τετραγωνικών αποκλίσεων των παρατηρήσεων yij από τη δειγματική μέση τιμή ȳj όταν
X = xj , ισούται με:
nj
X
(yij − ȳj )2 .
(4.16)
i=1
Αθροίζοντας τα πιο πάνω αθροίσματα για όλες τις τιμές xj , προκύπτει η ποσότητα:
SSP E =
nj
c X
X
(yij − ȳj )2 ,
(4.17)
j=1 i=1
η οποία αντιπροσωπεύει το άθροισμα τετραγώνων του καθαρού σφάλματος (Sum of Squares of Pure Error).
84
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Αφού οι βαθμοί ελευθερίας που αντιστοιχούν στην (4.16) είναι nj − 1, οι συνολικοί βαθμοί που αντιστοιχούν
στην ποσότητα SSP E είναι:
c
X
(nj − 1) = n − c.
(4.18)
j=1
Θα πρέπει να σημειωθεί ότι αν για κάποια τιμή X = xm υπάρχει μόνο μία τιμή της Y , Y1m , τότε Y1m = Ȳm ,
και κατά συνέπεια, η παρατήρηση αυτή δεν συνεισφέρει στο SSP E.
Με τη βοήθεια των σχέσεων (4.17) και (4.18) το μέσο τετράγωνο καθαρού σφάλματος δίνεται από τον τύπο:
M SP E =
SSP E
.
n−c
(4.19)
Θεώρημα 4.1. Έστω ένα γραμμικό μοντέλο παλινδρόμησης και ένα σύνολο δεδομένων με επαναληπτικές μετρήσεις. Τότε, το άθροισμα των τετραγωνικών σφαλμάτων δίνεται από τον τύπο:
SSE = SSP E + SSLF,
(4.20)
P
όπου SSLF = cj=1 nj (ȳj − ŷj )2 , ŷj η εκτιμώμενη τιμή όταν X = xj , ενώ τα yj και SSP E δίνονται από
τις σχέσεις (4.14) και (4.17).
Απόδειξη Θεωρήματος 4.1. Ως γνωστόν, το άθροισμα τετραγώνων των σφαλμάτων δίνεται από τον τύπο:
SSE =
nj
c X
X
(yij − ŷj )2 .
(4.21)
j=1 i=1
Προσθαφαιρώντας τον όρο ȳj :
SSE =
nj
c X
X
[(yij − ȳj ) + (ȳj − ŷj )]2
j=1 i=1
=
nj
c X
X
(yij − ȳj )2 + 2
nj
c X
X
(yij − ȳj )2 +
j=1 i=1
αφού
Pnj
i=1
(yij − ȳj ) (yij − ŷj ) +
j=1 i=1
j=1 i=1
=
nj
c X
X
c
X
nj
c X
X
(yij − ŷj )2
j=1 i=1
nj (Yij − ŷj )2 ,
j=1
(yij − ȳj ) = 0.
Ο όρος SSLF ονομάζεται Άθροισμα Τετραγώνων λόγω Έλλειψης Προσαρμογής (Sum of Squares due to
Lack-of-Fit) και οι βαθμοί ελευθερίας του είναι:
c − p = (β.ε. SSE − β.ε. SSP E),
(4.22)
όπου p ο αριθμός των συντελεστών παλινδρόμησης.
Το αντίστοιχο μέσο τετράγωνο λόγω έλλειψης προσαρμογής δίνεται από τη σχέση:
M SLF =
SSLF
.
c−p
(4.23)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
85
Πόρισμα 4.1. Για την περίπτωση του γραμμικού μοντέλου παλινδρόμησης έχουμε:
Pc
E (M SP E) = σ
2
και E (M SLF ) = σ
j=1
2
nj [E (Yj ) − (β0 + β1 xj )]2
c−2
(4.24)
όπου E (Yj ) η μέση τιμή της μεταβλητής Y όταν X = xj .
Είναι φανερό από το προηγούμενο πόρισμα ότι, αν το μοντέλο που έχει χρησιμοποιηθεί είναι πράγματι γραμμικό, τότε:
E (Yj ) ≡ β0 + β1x j,
E (M SE) ≡ E (M SP E)
και E (M SLF ) = 0.
Σε αντίθετη περίπτωση:
E (M SLF ) > E (M SP E) .
Κατά συνέπεια, μία κατάλληλη ελεγχοσυνάρτηση για τον έλεγχο έλλειψης προσαρμογής είναι η:
F =
M SLF
.
M SP E
Έστω ο έλεγχος:
H0 : E (Y ) = β0 + β1 X (γραμμικότητα) vs H1 : E (Y ) ̸= β0 + β1 X (μη γραμμικότητα)
Η στατιστική συνάρτηση ελέγχου ορίζεται ως:
F =
M SLF H0
∼ Fc−2,n−c ,
M SP E
(4.25)
με κρίσιμη περιοχή F > Fc−2,n−c,α .
Εάν η H0 γίνει αποδεκτή, για την εκτίμηση του σ 2 εγκαταλείπουμε το M SP E και επανερχόμαστε στο
M SE.
Παράδειγμα 4.1. Έντεκα υποκαταστήματα μιας τράπεζας προσφέρουν στους υποψήφιους πελάτες τους τη δυνατότητα να ανοίξουν τραπεζικούς λογαριασμούς με προκαθορισμένο ελάχιστο ποσό κατάθεσης (διαφορετικό για
κάθε υποκατάστημα), με αντάλλαγμα κάποιο δώρο. Στον Πίνακα 4.1 δίνονται οι τιμές των μεταβλητών X (Ελάχιστο
Ποσό Κατάθεσης) και Y (Αριθμός Νέων Λογαριασμών). Να ελεγχΘεί η καταλληλότητα του γραμμικού μοντέλου
παλινδρόμησης (α = 1%).
Πίνακας 4.1: Τιμές 11 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
1
125
160
7
75
42
2
100
112
8
175
124
3
200
124
9
125
150
4
75
28
10
200
104
5
150
152
11
100
136
6
175
156
86
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Λύση
Είναι εύκολο να δειχτεί ότι η συνάρτηση παλινδρόμησης ισούται με:
Ŷi = 50.7225 + 0.4867Xi .
Γράφοντας τα δεδομένα στη μορφή του Πίνακα 4.2:
Πίνακας 4.2: Τιμές 10 ζευγών παρατηρήσεων (xi , yi )
#
X1 = 75
X2 = 100
X3 = 125
X4 = 150
X5 = 175
X6 = 200
1
28
112
160
152
156
124
2
42
136
150
−
124
104
Ȳj
35
124
155
152
140
114
έχουμε c = 6, nj = 3, j = 1, ..., 6, SSP E = 1148 και SSLF = 13593.6. Έτσι, ο προκύπτων πίνακας
ANOVA είναι ο ακόλουθος:
Πίνακας 4.3: Πίνακας ANOVA
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
SS
MS
Παλινδρόμηση
1
SSR = 5141.4
5141.4
Σφάλμα
9
SSE = 14741.6
1638
Έλλειψη Προσαρμογής
4
SSLF = 13593.6
3398.4
Καθαρό Σφάλμα
5
SSP E = 1148
229.6
Ολική
10
SST O = 19883
−
Άρα, η ελεγχοσυνάρτηση (4.25) ισούται με:
F = 14.8 > F4,5,0.01 = 11.4,
και άρα, απορρίπτεται η H0 .
Στο Σχήμα 4.4 αποτυπώνονται οι όροι που συνθέτουν το υπόλοιπο (κατάλοιπο) της πρώτης παρατήρησης, ϵ̂1 =
160 − 112 = 48.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
87
Σχήμα 4.4: Συνιστώσες σφάλματος - Απλό γραμμικό μοντέλο
4.7 Box-Cox μετασχηματισμοί
Είναι σύνηθες φαινόμενο τουλάχιστον μία από τις υποθέσεις της παλινδρόμησης (γραμμικότητα, κανονικότητα, κλπ.) να μην πληρείται. Σε τέτοιες περιπτώσεις, συνηθίζεται να πραγματοποιείται ο μετασχηματισμός
των δεδομένων, με σκοπό την εξομάλυνση (ή ακόμα και την εξάλειψη) των αποκλίσεων από τις υποθέσεις. Η
οικογένεια μετασχηματισμών των Box − Cox [6] αποτελεί μία από τις δημοφιλέστερες τεχνικές μετασχηματισμού δεδομένων:
 λ
 yi −1 ,
εάν λ ̸= 0
(λ)
yi =  λ
,
(4.26)
log(yi ), εάν λ = 0
όπου yi οι τιμές της εξαρτημένης μεταβλητής Y και λ ρυθμιστική παράμετρος η οποία συνήθως κυμαίνεται
στο διάστημα [−5, 5]. Ως λ επιλέγεται εκείνη η τιμή για την οποία το μέσο τετραγωνικό σφάλμα γίνεται
ελάχιστο (ή δίνει την καλύτερη προσέγγιση της καμπάνας της κανονικής κατανομής ή μεγιστοποιεί την (log) πιθανοφάνεια). Ανάλογα με την τιμή του, προκύπτει και ένας διαφορετικός μετασχηματισμός (βλ. Πίνακα
4.4).
Πίνακας 4.4: Συνήθεις μετασχηματισμοί Box − Cox
Τιμή λ
Μετασχηματισμός
−2
1/yi2
−1
1/yi
√
1/ yi
−0.5
0
0.5
log(yi )
√
yi
1
yi
2
yi2
88
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Είναι προφανές ότι στην περίπτωση όπου λ = 0, εάν υπάρχουν μηδενικές παρατηρήσεις yi , ο μετασχηματισμός log(yi ) δεν μπορεί να εφαρμοστεί σε αυτές. Γενικά, ο πιο πάνω μετασχηματισμός απαιτεί οι παρατηρήσεις να είναι θετικές, κάτι που υποχρέωσε τους Box & Cox να προτείνουν έναν δεύτερο μετασχηματισμό που
μπορεί να χρησιμοποιηθεί για y ∈ R:
(λ)
yi
=

 (yi +λ2 )λ1 −1 ,
εάν λ1 =
̸ 0
,
εάν λ1 = 0
i + λ2 ),
λ
log(y
(4.27)
′
όπου λ = (λ1 , λ2 ) και yi + λ2 > 0. Η τιμή του λ2 επιλέγεται από τον Ερευνητή κατά τέτοιο τρόπο ώστε
όταν προστεθεί σε καθεμία μία παρατήρηση yi , η νέα παρατήρηση yi + λ2 να είναι θετική για κάθε i.
Ένα σύνηθες φαινόμενο που παρατηρείται στην πράξη είναι να υφίσταται κάποιου είδους συναρτησιακή σχέση
μεταξύ τυπικής απόκλισης (σ) και μέσης τιμής (µ). Μία τέτοια συνάρτηση είναι η πολυωνυμική, δηλαδή:
σ = aµb
ή ισοδύναμα:
log(σ) = log(a) + b log(µ),
που αξιοποιώντας τις αντίστοιχες δειγματικές ποσότητες παίρνει τη μορφή:
√
M SE = log(a) + b log(ȳ).
log
Παρατηρούμε ότι η πιο πάνω εξίσωση αντιπροσωπεύει μία παλινδρόμηση και εάν η εκτιμήτρια b̂ του συντελεστή b είναι τέτοια που να μην μπορεί να απορριφθεί η υπόθεση H0 : b = 0, τότε υφίσταται η πιο συναρτησιακή
σχέση.
4.8 Επηρεάζουσες παρατηρήσεις
Είναι συχνό φαινόμενο η προσθήκη (αφαίρεση) δύο ή περισσότερων παρατηρήσεων από το δείγμα, να οδηγεί σε σημαντικές αλλαγές, όσον αφορά την τιμή των συντελεστών του μοντέλου παλινδρόμησης. Τέτοιου
είδους παρατηρήσεις ονομάζονται επηρεάζουσες. Γενικά, η ύπαρξη επηρεαζουσών παρατηρήσεων θεωρείται
ανεπιθύμητη, καθώς θέλουμε ένα μοντέλο παλινδρόμησης που να μην εξαρτάται από τις τιμές ενός μικρού
αριθμού παρατηρήσεων, αλλά όλες οι παρατηρήσεις να συνεισφέρουν, όσο γίνεται, το ίδιο στον υπολογισμό
των συντελεστών.
Συνήθεις τεχνικές ανίχνευσης επηρεαζουσών παρατηρήσεων
Η έννοια της μόχλευσης (leverage) βασίζεται στον πιο κάτω ορισμό:
hij =
1 (xi − x̄) (xj − x̄)
+ Pn
2 .
n
i=1 (xi − x̄)
(4.28)
Θέτοντας i = j, οδηγούμαστε στην ποσότητα:
hii =
(xi − x̄)2
1
+ Pn
2
n
i=1 (xi − x̄)
(4.29)
από όπου διαπιστώνεται ότι αν η παρατήρηση xi ταυτίζεται με τον δειγματικό μέσο ή έστω είναι πολύ κοντά
σε αυτόν, τότε hii = 1/n. Όσο όμως η παρατήρηση xi απομακρύνεται από τον δειγματικό μέσο, τόσο αυξάνεται η τιμή της μόχλευσης hii . Η ποσότητα hii αντιπροσωπεύει τον βαθμό επηρεασμού ή επίδρασης στην
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
89
παλινδρόμηση της παρατήρησης xi .
Ιδιότητες μόχλευσης
1. ϵ̂i = yi − ŷi = β0 + β1 xi + ϵi − ȳ − β̂1 x̄ + β̂1 xi ,
2. ȳ = β0 + β1 x̄ + ϵ̄,
3. ŷi − ȳ = β1 (xi − x̄) + (ϵi − ϵ̄).
Έτσι ώστε:
Pn
j=1
β̂1 =
(xj − x̄) (yj − ȳ)
Pn
i=1
(xi − x̄)
2
Pn
= β1 + Pj=1
n
i=1
ϵ̂i = β1 − β̂1 (xi − x̄) + (ϵi − ϵ̄) = ϵi −
"
n
X
j=1
⇒ ϵ̂i = ϵi −
n
X
(xj − x̄) ϵj
(xi − x̄)2
#
(xj − x̄) (yj − ȳ) 1
ϵj
Pn
2 +
n
i=1 (xi − x̄)
hij ϵj
(4.30)
j=1
και:

V ar (ŷi ) = V ar 
n X
1
j=1
=
n X
1
j=1
n
n
− kj x̄ yj +

kj yj xi 
i=1
2
+ kj (xi − x̄)
n
X

σ2 = 
n
X

1
kj2 (xi − x̄)2  σ 2
+
n j=1
= hii σ 2 < σ 2 .
Συμπερασματικά, όσο πιο κοντά είναι η xi στις υπόλοιπες x, τόσο πιο μικρή είναι η μεταβλητότητα της εκτίμησης ŷi , δηλαδή της εκτιμώμενης τιμής της yi που αντιστοιχεί στο συγκεκριμένο xi . Και αντίστροφα, όσο
πιο μακριά είναι η xi από τις υπόλοιπες x, τόσο πιο μεγάλη η μεταβλητότητα της εκτίμησης.
2
Η ελάχιστη μεταβλητότητα είναι σn . Γενικά,
n
1X
p
hii = .
n i=1
n
(4.31)
Είναι προφανές ότι στην περίπτωση της απλής γραμμικής παλινδρόμησης, η σχέση (4.31) ισούται με n2 .
Οι παρακάτω πρόσθετες ιδιότητες μπορούν εύκολα να επιβεβαιωθούν:
•
P
j̸=i
• h2ii ≤
•
Pn
i=1
hij = 1 − hii ,
Pn
j=1
h2ij = hii ,
hii = p.
90
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Τιμές του hii μεγαλύτερες από το διπλάσιο της τιμής p/n, υποδηλώνουν ότι η αντίστοιχη i-παρατήρηση είναι
επηρεάζουσα (επηρεάζει σημαντικά την παλινδρόμηση).
Εναλλακτικά της μόχλευσης μπορεί να γίνει χρήση της απόστασης Cook ή των διαφορών των εκτιμητών παλινδρόμησης με ή χωρίς μία συγκεκριμένη κάθε φορά παρατήρηση (DfBeta(s)). Για τη μελέτη των επηρεαζουσών τιμών συχνά γίνεται χρήση τόσο των κλασικών:
ϵ̂i = yi − ŷi ≡ ϵi −
n
X
ϵj hij .
j=1
όσο και των τυποποιημένων SRi ή studentized (SRi∗ ) καταλοίπων. Τα τελευταία ορίζονται ως:
ϵ̂i
SRi∗ = √
.
σ̂ 1 − hii
(4.32)
Στη σχέση (4.32), εάν το μέγεθος του δείγματος τείνει στο άπειρο (n → +∞), τότε η τιμή του hii θα
πλησιάζει το μηδέν. Σε αυτή την περίπτωση, τα προκύπτοντα κατάλοιπα:
SRisemi =
ϵ̂i
,
σ̂
καλούνται ημι-studentized (semi-studentized residuals).
Άσκηση Αυτοαξιολόγησης
Εξηγήστε τη διαφορά μεταξύ των εννοιών σφάλμα (ή διαταρακτικός όρος) και κατάλοιπο.
4.9 Συνέπειες παραβίασης προϋποθέσεων παλινδρόμησης
Αποτελεί σύνηθες φαινόμενο τουλάχιστον μία από τις βασικές προϋποθέσεις της παλινδρόμησης (γραμμικότητα,
κανονικότητα, ομοσκεδαστικότητα, ανεξαρτησία) να μην πληρείται. Η παραβίασή τους ενδέχεται να έχει σοβαρές συνέπειες, αν και στις περισσότερες περιπτώσεις μπορεί να υπάρχει τρόπος αντιμετώπισης (ή έστω
περιορισμού) του προβλήματος. Στην ενότητα αυτή, γίνεται σύντομη αναφορά στις κύριες συνέπειες και σε
κάποιες τεχνικές αντιμετώπισης των παραβιάσεων.
Παραβίαση γραμμικότητας
Αν παραβιάζεται η υπόθεση της γραμμικότητας, τότε ο Ερευνητής μπορεί να εξετάσει αν υπάρχει κατάλληλος
μετασχηματισμός μέσω του οποίου μία μη γραμμική σχέση να μπορεί να αναχθεί σε γραμμική (βλ. Ενότητα
4.2). Αν αυτό δεν επιτευχθεί, τότε η μελέτη και προσαρμογή μη γραμμικών προτύπων, όπως π.χ. αυτών του
Κεφαλαίου 11, αποτελεί μονόδρομο.
Η χρήση ενός γραμμικού μοντέλου για τη μελέτη μίας μη γραμμικής σχέσης οδηγεί σε λανθασμένη ερμηνεία
των (εκτιμητών των) παραμέτρων, λανθασμένες προβλέψεις και λανθασμένες εκτιμήσεις κυρίως των τυπικών
σφαλμάτων με αντίκτυπο στους ελέγχους υποθέσεων και στα διαστήματα εμπιστοσύνης.
Παραβίαση ομοσκεδαστικότητας και ανεξαρτησίας
Αν δεν ικανοποιείται είτε η υπόθεση της ομοσκεδαστικότητας είτε η υπόθεση της ανεξαρτησίας είτε και οι
δύο, τότε μεταξύ των επιλογών του Ερευνητή, είναι:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
91
1. η αξιοποίηση γενικευμένων ή σταθμισμένων εκτιμητών ελαχίστων τετραγώνων (βλ. Ενότητα 6.3),
2. η προσθήκη πρόσθετων όρων/μεταβλητών στο πρότυπο (βλ. Ενότητα 4.4),
3. ένας κατάλληλος μετασχηματισμός της μεταβλητής απόκρισης (π.χ. η τετραγωνική ρίζα ή ο αντίστροφος όταν η μεταβλητή απόκρισης παίρνει μεγάλες τιμές ή ο λογάριθμος όταν η μεταβλητή απόκρισης
παίρνει τιμές κοντά στο μηδέν - βλ. Ενότητα 4.5).
Η κύρια συνέπεια της ετεροσκεδαστικότητας και της (αυτο)συσχέτισης είναι η εσφαλμένη εκτίμηση (συνήθως
υποεκτίμηση, μεροληψία ή/και ασυνέπεια) της διασποράς και του τυπικού σφάλματος των εκτιμητών των
παραμέτρων του προτύπου, με αποτέλεσμα τους μη αξιόπιστους ελέγχους υποθέσεων και τα μη αξιόπιστα
διαστήματα εμπιστοσύνης. Σημειώνεται ότι οι εκτιμητές των συντελεστών του προτύπου είναι αμερόληπτοι,
αλλά στην περίπτωση της αυτοσυσχέτισης ενδέχεται να είναι ασυνεπείς. Για περισσότερες λεπτομέρειες ο αναγνώστης παραπέμπεται στους Chaterjee & Hadi [7] και Rawlings [11].
Παραβίαση κανονικότητας
Μικρές αποκλίσεις από την υπόθεση της κανονικότητας των καταλοίπων γενικά, δεν θεωρούνται προβληματικές. Για την περίπτωση μεγάλων αποκλίσεων, ο Ερευνητής συνήθως καταφεύγει σε έναν μετασχηματισμό
των τιμών της μεταβλητής απόκρισης. Η μορφή του ιστογράμματος των καταλοίπων συχνά αποτελεί χρήσιμο εργαλείο αφού μπορεί να υποδείξει κάποιον κατάλληλο μετασχηματισμό. Ενδεικτικά αναφέρουμε ότι οι
μετασχηματισμοί του λογαρίθμου και της ρίζας εξυπηρετούν τις περιπτώσεις όπου το ιστόγραμμα παρουσιάζει λοξότητα. Εναλλακτικά, είναι διαθέσιμος ο μετασχηματισμός των Box-Cox[6] (βλ. Ενότητα 4.7).
Οι κύριες συνέπειες της παραβίασης της κανονικότητας περιλαμβάνουν ελέγχους υποθέσεων που δεν είναι
αξιόπιστοι και διαστήματα εμπιστοσύνης που δεν είναι έγκυρα. Στην περίπτωση που το μέγεθος του δείγματος είναι ικανοποιητικά μεγάλο αν και προσεγγιστικά (λόγω του ΚΟΘ) ισχύει η κανονικότητα, αναμένεται
οι p-values να είναι προσεγγιστικές και άρα μη ακριβείς.
Πολυσυγγραμμικότητα
Κλείνοντας θα αναφερθούμε στην περίπτωση της ενδοσυσχέτισης ή πολυσυγγραμμικότητας, δηλαδή της
ύπαρξης εξάρτησης μεταξύ των εμπλεκόμενων (ανεξάρτητων) μεταβλητών. Το φαινόμενο αυτό συχνά δεν
επιτρέπει την εύρεση εκτιμητριών, αλλά ακόμα και αν αυτό είναι εφικτό, οι διασπορές τους λαμβάνουν υπερβολικά μεγάλες τιμές. Η πολυσυγγραμμικότητα μπορεί να αντιμετωπιστεί με μία σειρά τεχνικών όπως είναι
η ανάλυση κύριων συνιστωσών και η τεχνική της ραχοειδούς παλινδρόμησης (βλ. Ενότητες 6.4 και 6.5).
4.10 Εφαρμογές στην R
1. Έστω τα δεδομένα της Εφαρμογής 2, Ενότητα 2.9.
i. Να εφαρμοστούν κατάλληλοι έλεγχοι κανονικότητας, ανεξαρτησίας και ομοσκεδαστικότητας
των σφαλμάτων (α = 5%).
ii. Να κατασκευαστεί κατάλληλο πρόγραμμα (κώδικας) το οποίο να ανιχνεύει την ύπαρξη ή μη
επηρεαζουσών παρατηρήσεων.
- Εάν υπάρχουν, να τυπώνεται το μήνυμα:
“Η παρατήρηση X [θέση παρατήρησης] είναι επηρεάζουσα.”
- Εάν δεν υπάρχουν, να τυπώνεται το μήνυμα:
“Δεν βρέθηκαν επηρεάζουσες παρατηρήσεις.”
92
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Ȫ
Λύση
i. Αφού εισαχθούν τα δεδομένα και προσαρμοστεί το απλό γραμμικό μοντέλο, γίνεται εξαγωγή των
καταλοίπων.
Εξαγωγή καταλοίπων από το προσαρμοσμένο μοντέλο slm
res.slm <‐ slm$residuals
-Κανονικότητα
Θέλουμε να εφαρμόσουμε τον ακόλουθο έλεγχο:
H0 :
Η κατανομή των σφαλμάτων του
μοντέλου είναι κανονική.
vs
H1 :
Η κατανομή των σφαλμάτων του
μοντέλου δεν είναι κανονική.
Ο παραπάνω έλεγχος θα εφαρμοστεί στα κατάλοιπα μέσω των τεχνικών Kolmogorov-Smirnov
(ks.test [stats]) και Shapiro-Wilk (shapiro.test [stats]). Σε περίπτωση που επιθυμούμε την εφαρμογή του ελέγχου Anderson-Darling, τότε θα πρέπει να γίνει χρήση της εντολής
ad.test [nortest]. Στο εν λόγω παράδειγμα, δεν γίνεται εφαρμογή του τελευταίου, αφού για
να λειτουργήσει θα πρέπει να διαθέτουμε τουλάχιστον 7 παρατηρήσεις.
Εφαρμογή K − S & S − W tests
ks.test(res.slm, "pnorm") #Με το όρισμα "pnorm" ζητάμε από την εντολή
ks.test να διενεργήσει έλεγχο κανονικότητας. Αν μας ενδιέφερε π.χ.
ο έλεγχος της Γάμμα κατανομής, τότε ως όρισμα θα έπρεπε να μπει το
"pgamma"
shapiro.test(res.slm)
> ks.test(res.slm, "pnorm")
One‐sample Kolmogorov ‐Smirnov test
data: res.slm
D = 0.327, p‐value = 0.45
alternative hypothesis: two‐sided
> shapiro.test(res.slm)
Shapiro ‐Wilk normality test
data: res.slm
W = 0.925, p‐value = 0.55
Τόσο στο K − S test όσο και στο S − W , η τιμή της p-value είναι (πολύ) μεγαλύτερη του
επιλεγμένου επιπέδου σημαντικότητας α = 5% με αποτέλεσμα να μην μπορεί να απορριφθεί η
υπόθεση ότι η κατανομή των σφαλμάτων του μοντέλου είναι η κανονική.
-Ανεξαρτησία
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
93
Θέλουμε να εφαρμόσουμε τον έλεγχο:
H0 : Ανεξαρτησία σφαλμάτων vs
H1 : Εξάρτηση σφαλμάτων.
Για τον έλεγχο της ανεξαρτησίας των σφαλμάτων θα κατασκευαστεί το διάγραμμα διασποράς
μεταξύ του χρόνου t, t ∈ {1, ..., 6}, και των καταλοίπων ϵ̂i , i = 1, ..., 6.
Κατασκευή διαγράμματος διασποράς μεταξύ t και ϵ̂i
plot(
res.slm,
col = "red3",
lwd = 4,
pch = 19,
xlab = "t",
ylab = "Κατάλοιπα",
main = "Κατάλοιπα vs t",
bty = "L",
cex.lab = 1.1,
cex.axis = 1.1,
ylim = c(‐6, 6)
)
abline(h = 0, lwd = 2)
u <‐ par("usr")
arrows(u[1], u[3], u[2], u[3], code = 2, xpd = TRUE)
arrows(u[1], u[3], u[1], u[4], code = 2, xpd = TRUE)
Σχήμα 4.5: Γραφική διερεύνηση ανεξαρτησίας
Από το Σχήμα 4.5 παρατηρούμε ότι καθώς ο χρόνος αυξάνεται, οι τιμές των καταλοίπων κινούνται τυχαία γύρω από το μηδέν. Βάσει αυτού, δεν απορρίπτουμε την H0 και άρα τα σφάλματα
94
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
είναι μεταξύ τους ανεξάρτητα.
-Ομοσκεδαστικότητα
Θέλουμε να εφαρμόσουμε τον έλεγχο:
H0 : Ομοσκεδαστικότητα σφαλμάτων
vs
H1 : Ετεροσκεδαστικότητα σφαλμάτων.
Για τον έλεγχο της ομοσκεδαστικότητας των σφαλμάτων θα κατασκευαστεί το διάγραμμα διασποράς μεταξύ των studentized καταλοίπων ϵ̂∗i και των εκτιμώμενων τιμών Ŷi , i = 1, ..., 6.
Για τον υπολογισμό των ϵ̂∗i θα γίνει χρήση της εντολής studres [MASS] πάνω στη μεταβλητή
slm. Όσο για τα Ŷi , θα πρέπει να εξαχθούν μέσα από τη μεταβλητή slm, με χρήση της εντολής
slm$fitted.values.
Υπολογισμός ϵ̂∗i & Ŷi
library(MASS)
stud.res.slm <‐ studres(slm)
Y.hat <‐ slm$fitted.values
Σειρά έχει το διάγραμμα διασποράς μεταξύ των Ŷi και ϵ̂∗i .
Δημιουργία διαγράμματος διασποράς μεταξύ των Ŷi & ϵ̂∗i
plot(
Y.hat,
stud.res.slm,
col = "red3",
lwd = 4,
pch = 19,
xlab = "Εκτιμώμενες τιμές",
ylab = "Studentized κατάλοιπα",
main = "Studentized κατάλοιπα vs Εκτιμώμενες τιμές",
bty = "L",
cex.lab = 1.1,
cex.axis = 1.1
)
abline(h = 1.4,
lty = 2,
lwd = 2,
col = "#2F5C9D"
)#Άνω διακεκομμένη
abline(
h = ‐2.4,
lty = 2,
lwd = 2,
col = "#2F5C9D"
) #Κάτω διακεκομμένη
symbols(
66.171,
3.542160,
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
95
circles = 1.6,
add = T,
inches = F,
fg = "#2F5C9D",
lwd = 2
) #Κύκλος γύρω από το ακραίο κατάλοιπο
arrows(72,
2.8,
67.3,
3.35,
code = 2,
xpd = TRUE,
lwd = 2) #Βέλος που δείχνει τον παραπάνω κύκλο
u <‐ par("usr")
arrows(u[1], u[3], u[2], u[3], code = 2, xpd = TRUE)
arrows(u[1], u[3], u[1], u[4], code = 2, xpd = TRUE)
Σχήμα 4.6: Γραφική διερεύνηση ομοσκεδαστικότητας
Από το Σχήμα 4.6 παρατηρούμε ότι κατά μήκος των εκτιμώμενων τιμών, οι αποστάσεις των
καταλοίπων παραμένουν (σχεδόν) σταθερές. Αυτό καθίσταται περαιτέρω εμφανές από το ότι η
πλειονότητα των καταλοίπων μπορεί να περιοριστεί εντός δύο παράλληλων ευθειών. Βασιζόμενοι στα προαναφερθέντα, αποδεχόμαστε την H0 , και άρα υποθέτουμε ότι μεταξύ των σφαλμάτων
υπάρχει ομοσκεδαστικότητα.
Προσοχή! Υπάρχει ένα κατάλοιπο το οποίο φαίνεται να αποκλίνει σημαντικά, συγκριτικά με
τα υπόλοιπα. Το γεγονός αυτό χρήζει ιδιαίτερης προσοχής, αφού μπορεί να δημιουργήσει πρόβλημα μη σταθερής διασποράς (ετεροσκεδαστικότητας).
96
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
ii. Για την αντιμετώπιση αυτού το ερωτήματος χρειαζόμαστε:
• μία μεταβλητή η οποία να περιέχει τα διαγώνια στοιχεία του πίνακα H,
• μία μεταβλητή η οποία να περιέχει την τιμή της ποσότητας ποσότητα 2p
,
n
• μία μεταβλητή «ελέγχου» του εάν υπάρχουν ή όχι επηρεάζουσες παρατηρήσεις.
Τέλος, για την εκτύπωση του εκάστοτε μηνύματος θα γίνει χρήση της εντολής cat [base]
(εναλλακτικά print [base]), ενώ για την εύρεση της θέσης που βρίσκεται η επηρεάζουσα παρατήρηση, της εντολής match [base].
Κώδικας ανίχνευσης επηρεαζουσών παρατηρήσεων
hii <‐ lm.influence(slm)$hat #Διαγώνια στοιχεία πίνακα H
threshold <‐ (2 * sum(hii)) / NROW(hii) # 2p
n
check <‐ 0 #Μεταβλητή η οποία εάν στο τέλος του κώδικα παραμείνει 0
τότε δεν υπάρχουν επηρεάζουσες παρατηρήσεις
for (i in 1:NROW(hii)) {
if (hii[i] > threshold) {
cat("Η παρατήρηση X[",
match(hii[i], hii),
"] είναι επηρεάζουσα.\n\n",
sep = "") #Η ποσότητα "\n" χρησιμοποιείται για την αλλαγή γραμμής
σε μία πρόταση
check <‐ 1
}
}
if (check == 0) {
cat("Δεν βρέθηκαν επηρεάζουσες παρατηρήσεις.\n")
}
Βάσει των παραπάνω, προκύπτει ότι στο δείγμα δεν υπάρχουν επηρεάζουσες παρατηρήσεις.
Σχόλιο: Για τον έλεγχο της ορθής λειτουργίας του κώδικα που παρουσιάστηκε στο εν λόγω ερώτημα, θέτουμε ως όρισμα στη μεταβλητή threshold την ποσότητα sum(hii) / NROW(hii)
(δλδ., h/n) και επαναλαμβάνουμε τη διαδικασία.
2. Έστω τα δεδομένα του Πίνακα 4.5.
Πίνακας 4.5: Τιμές 9 παρατηρήσεων (xi1 , xi2 , yi )
#
X1
X2
Y
1
7.909
0.00135803
1022
6
7.791
0.364067
281
2
6.983
0.0122243
1141
7
8.217
0.190094
346
3
7.8
0.103029
640
8
8.49
0.0921516
406
4
7.655
0.190094
257
9
8.668
0.184614
347
5
7.48
0.27709
269
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
97
Έπειτα από προσαρμογή κατάλληλου πολλαπλού γραμμικού μοντέλου παλινδρόμησης, προέκυψε ότι η υπόθεση της κανονικότητας των σφαλμάτων δεν πληρείται (να επαληθευτεί). Αφού
εφαρμοστεί κατάλληλος Box-Cox μετασχηματισμός στις τιμές της εξαρτημένης μεταβλητής Y ,
να εξεταστεί εάν το πρόβλημα της μη-κανονικότητας των σφαλμάτων διορθώθηκε (α = 1%).
Ȫ
Λύση
Εισάγουμε τα δεδομένα και δημιουργούμε το πολλαπλό γραμμικό μοντέλο παλινδρόμησης το
οποίο θα χρειαστούμε στη συνέχεια για την εύρεση του κατάλληλου Box-Cox μετασχηματισμού.
Εισαγωγή δεδομένων και δημιουργία πολλαπλού γραμμικού μοντέλου παλινδρόμησης
library(readxl)
data <‐ read_xlsx('ch4ex2.xlsx')
X1 <‐ data$X1
X2 <‐ data$X2
Y <‐ data$Y
multlm <‐ lm(Y ~ X1 + X2)
Το προκύπτον μοντέλο είναι το εξής:
ŷi = 2817 − 246xi1 − 2256xi2 ,
i = 1, ..., 9.
Η εφαρμογή του μετασχηματισμού της σχέσης (4.26) προϋποθέτει την εύρεση του κατάλληλου λ. Για τον σκοπό αυτό θα γίνει χρήση της εντολής boxcox [MASS] στο πολλαπλό γραμμικό
μοντέλο multlm.
Εύρεση κατάλληλου λ και εφαρμογή Box-Cox μετασχηματισμού
library(MASS)
bc <‐ boxcox(multlm)
lambda <‐ bc$x[which.max(bc$y)] #Εύρεση της τιμής του λ η οποία
μεγιστοποιεί την πιθανοφάνεια
lambda
if (lambda == 0) {
y.lambda <‐ log(Y)
} else {
y.lambda <‐ (Y ^ lambda ‐ 1) / lambda
}
> lambda
[1] ‐0.58586
Αφού η τιμή του λ είναι διάφορη του μηδενός, ο μετασχηματισμός που εφαρμόστηκε είναι ο
ακόλουθος:
yi−0.58586 − 1
(−0.58586)
, i = 1, ..., 9.
yi
=
−0.58586
98
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Στο Σχήμα 4.7 απεικονίζεται η συμπεριφορά της log - πιθανοφάνειας με βάση διάφορες τιμές
του λ. Όπως παρατηρούμε, η τιμή του λ που μεγιστοποιεί τη log - πιθανοφάνεια είναι η προαναφερθείσα, −0.58586.
Σχήμα 4.7: Συμπεριφορά log - πιθανοφάνειας για διάφορες τιμές του λ
Τέλος, δημιουργούμε το νέο πολλαπλό γραμμικό μοντέλο που βασίζεται στις μετασχηματισμένες
τιμές και εφαρμόζουμε το K − S test για τον έλεγχο της κανονικότητας των σφαλμάτων.
(−0.58586)
Δημιουργία πολλαπλού γραμμικού μοντέλου βάσει των μετασχηματισμένων τιμών Yi
κανονικότητας των σφαλμάτων
και έλεγχος
multlm.bc <‐ lm(y.lambda ~ X1 + X2)
ks.test(multlm.bc$residuals, "pnorm")
> ks.test(multlm.bc$residuals , "pnorm")
One‐sample Kolmogorov ‐Smirnov test
data: multlm.bc$residuals
D = 0.496, p‐value = 0.014
alternative hypothesis: two‐sided
Το νέο πολλαπλό γραμμικό μοντέλο έχει ως εξής:
(−0.58586)
yi
= 1.71479 − 0.00523xi1 − 0.1065xi2 ,
i = 1, ..., 9.
Όσον αφορά τον έλεγχο της κανονικότητας των σφαλμάτων, φαίνεται ότι (οριακά) πληρείται,
αφού η p-value (0.014) του ελέγχου είναι μεγαλύτερη του α = 1%.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
99
4.11 Άλυτες ασκήσεις
1. Να αποδειχτεί το Πόρισμα 4.1.
2. Έστω το εκθετικό μοντέλο παλινδρόμησης:
yi = β0 exp(β1 xi +ϵi ) , 1, ..., n.
i. Να προσδιοριστεί η εκτιμήτρια συνάρτηση παλινδρόμησης:
ŷi = β̂0 exp(β̂1 xi ) .
ii. Αφού εφαρμοστεί κατάλληλος μετασχηματισμός, ώστε το παραπάνω μοντέλο να μετατραπεί σε
γραμμικό, να βρεθούν οι γενικοί τύποι των ΕΕΤ του νέου μοντέλου.
3. Να αποδειχτεί ότι:
SSLF =
c
X
nj (ȳj − ŷj )2 .
j=1
4. Να δειχτεί ότι:
E (M SP E) = σ 2 .
5. Έστω τα δεδομένα του Πίνακα 4.6, όπου X = Ηλικία και Y = Διαστολική Πίεση.
Πίνακας 4.6: Τιμές 8 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
1
5
63
2
8
67
3
11
74
4
7
64
5
13
75
6
12
69
7
12
90
8
6
60
Κάνοντας χρήση της R:
i. Να προσαρμόσετε κατάλληλο μοντέλο παλινδρόμησης και να ερμηνεύσετε τις τιμές των παραμέτρων.
ii. Να γίνει η γραφική παράσταση των ϵ̂i και xi . Ποια συμπεράσματα προκύπτουν;
iii. Να επαναληφθούν τα ερωτήματα (i) και (ii), αφού γίνει παράλειψη του ζεύγους παρατηρήσεων
(x7 , y7 ). Ποια συμπεράσματα προκύπτουν αναφορικά με το εν λόγω ζεύγος;
iv. Να υπολογιστεί ένα 99% διάστημα πρόβλεψης για μία νέα παρατήρηση y0 που αντιστοιχεί στην
τιμή x0 = 12. Βρίσκεται η παρατήρηση y0 στο Δ.Π.; Ποια συμπεράσματα προκύπτουν;
6. Έστω τα δεδομένα του Πίνακα 4.7, όπου X = # των μηχανών που επισκευάστηκαν από τον iκατασκευαστή, και Y = ο συνολικός χρόνος (σε λεπτά) επισκευής.
100
ΔΙΑΓΝΩΣΤΙΚΟΙ ΕΛΕΓΧΟΙ ΠΡΟΫΠΟΘΕΣΕΩΝ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Πίνακας 4.7: Τιμές 18 ζευγών παρατηρήσεων (xi , yi )
P
#
X
Y
1
7
97
2
6
86
3
5
78
4
1
10
5
5
75
6
4
62
7
7
101
13
2
25
8
3
39
14
5
71
9
4
53
15
7
105
10
2
33
16
1
17
11
8
118
17
4
49
12
5
65
18
5
68
P
2
18
Αν i=1
= (yi − ȳ)2 = 16504, 18
i=1 = (xi − x̄) = 74.5,
1098,
SSR = 16182.6 και SSE = 321.4:
P18
i=1
= (yi − ȳ) (xi − x̄) =
i. Να προσδιοριστούν τα SSP E και SSLF και να κατασκευαστεί ο πίνακας ANOVA.
ii. Να γίνει ο έλεγχος έλλειψης προσαρμογής (α = 1%).
iii. Να προσδιοριστεί (προσεγγιστικά) η p-value του ελέγχου του ερωτήματος (ii).
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Καλαματιανού, Α.Γ. (1997). Εφαρμοσμένη ανάλυση παλινδρόμησης. Αθήνα: Εκδόσεις Παπαζήσης.
[2] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση M initab και R
(2η έκδ.). Αθήνα: Συμεών.
[3] Κούτρας Μ.Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα: Εκδόσεις Σταμούλη Α. Ε.
[4] Μπόρα-Σέντα, Ε., & Μωυσιάδης, Χ. (1990). Εφαρμοσμένη στατιστική, Θεσσαλονίκη: Εκδόσεις Ζήτη.
[5] Anderson, T.W., & Darling, D.A. (1954). A test of goodness-of-fit. Journal of the American Statistical
Association, 49, 765-769.
[6] Box, G.E.P., & Cox, D.R. (1964). An analysis of transformations. Journal of the Royal Statistical Society, Series B, 26(2), 211-252.
[7] Chatterjee S., & Hadi, A.S. (2012). Regression analysis by example (5th ed.). J. Wiley and Sons.
[8] Draper, R.D., & Smith, H. (1998). Applied regression analysis (3rd ed.). Wiley-Interscience.
[9] Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R (1st Edition). Sage Ltd.
[10] Lilliefors, H.W. (1967). On the Kolmogorov-Smirnov test for normality with mean and variance
unknown. Journal of the American Statistical Association, 62(318), 399-402.
[11] Rawlings, J.O., Pantula, S.G., & Dickey, D. A. (2001). Applied regression analysis: A research tool (2nd
ed.). Springer.
[12] Shapiro, S.S., & Wilk, M.B. (1965). An analysis of variance test for normality (complete samples).
Biometrika, 52(3-4), 591-611.
[13] Smirnov, N.V. (1939). Estimate of deviation between empirical distribution functions in two independent samples. (Russian). Moscow University Mathematics Bulletin, 2(2), 3-16.
102
ΒΙΒΛΙΟΓΡΑΦΙΑ
ΚΕΦΑΛΑΙΟ 5
ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΜΟΝΤΕΛΩΝ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει τα δημοφιλέστερα κριτήρια επιλογής μοντέλων και τον τρόπο
αξιοποίησής τους, με σκοπό την επιλογή του καταλληλότερου (ιδανικότερου) προτύπου παλινδρόμησης.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση των προηγουμένων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• αναγνωρίζει και να κατανοεί τον βασικό μηχανισμό λειτουργίας κλασικών κριτηρίων για την
επιλογή μοντέλων,
• εφαρμόζει τις κατάλληλες τεχνικές για την επιλογή του καταλληλότερου (ιδανικού) προτύπου,
• εφαρμόζει τα κριτήρια επιλογής μοντέλων με τη χρήση στατιστικών πακέτων.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
104
ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΜΟΝΤΕΛΩΝ
5.1 Εισαγωγή
Το κεφάλαιο αυτό αποσκοπεί σε μία περιορισμένης έκτασης αναφορά σε μία από τις πιο ενδιαφέρουσες περιοχές της Στατιστικής Επιστήμης, την Επιλογή Μοντέλων.
Στα περισσότερα επιστημονικά πεδία δεν υπάρχουν προκαθορισμένα μοντέλα που θα μπορούσαν να χρησιμοποιηθούν για την περιγραφή ενός φαινομένου. Στις περιπτώσεις αυτές, ο μελετητής υποχρεούται να ακολουθήσει μία σωστή στρατηγική για την κατασκευή του μοντέλου (model building strategy) ενδιαφέροντος. Συνήθως, συγκεντρώνεται ένας μεγάλος αριθμός ανεξάρτητων μεταβλητών οι οποίες πιθανολογείται ότι έχουν
θέση στο υπό κατασκευή μοντέλο. Στη συνέχεια, κάποιες από αυτές απομακρύνονται από το σύνολο των πιθανών ανεξάρτητων μεταβλητών είτε διότι τελικά δεν είναι στατιστικά σημαντικές είτε διότι οι μετρήσεις τους
εμπεριέχουν υπερβολικά σφάλματα, είτε διότι δεν είναι δυνατό να μετρηθούν. Παρόλα αυτά, ο αριθμός των
μεταβλητών που απομένουν συνεχίζει να είναι αρκετά μεγάλος, γεγονός που δεν είναι ιδιαίτερα επιθυμητό.
Ο μελετητής επιδιώκει πάντοτε την κατασκευή ενός ικανοποιητικού μοντέλου με περιορισμένο αριθμό ανεξάρτητων μεταβλητών, δηλαδή ενός μοντέλου που να είναι ευέλικτο και ταυτόχρονα κατανοητό. Για τον λόγο
αυτό, στο επόμενο στάδιο της κατασκευής, επιδιώκεται η επιλογή περιορισμένου αριθμού ιδανικών ανεξάρτητων μεταβλητών. Η επιλογή ενός τέτοιου υποσυνόλου μεταβλητών εξαρτάται πάντοτε από τους σκοπούς
της μελέτης, με αποτέλεσμα να μην υπάρχει μοναδικό υποσύνολο μεταβλητών που να χαρακτηρίζεται ως το
καταλληλότερο. Ένα μοντέλο που κατασκευάζεται για την περιγραφή ενός προβλήματος, μπορεί να διαφέρει
από ένα μοντέλο, για το ίδιο φαινόμενο, που κατασκευάζεται για σκοπούς πρόβλεψης.
Στην ενότητα αυτή, τα κριτήρια επιλογής που θα διατυπωθούν ερευνούν όλα τα δυνατά μοντέλα παλινδρόμησης που μπορεί να προκύψουν με βάση τις υπάρχουσες μεταβλητές και επιλέγουν το καταλληλότερο. Επειδή
τα κριτήρια επιλογής έχουν διαφορετική (στατιστική) βάση και έχουν προταθεί για να εξυπηρετήσουν διαφορετικούς σκοπούς, τα μοντέλα στα οποία καταλήγουν, τις περισσότερες φορές, είναι διαφορετικά.
Έστω ότι το σύνολο όλων των υποψήφιων ανεξάρτητων μεταβλητών X είναι P − 1. Επίσης, υποθέτουμε
ότι όλα τα μοντέλα παλινδρόμησης περιλαμβάνουν τον συντελεστή β0 , έτσι ώστε το μοντέλο που περιλαμβάνει όλες τις μεταβλητές να έχει συνολικά P συντελεστές, ενώ εκείνο που δεν περιλαμβάνει καμία να έχει έναν
συντελεστή (το β0 ).
Ο αριθμός των X σε ένα υποσύνολο μεταβλητών συμβολίζεται με p − 1, ενώ το αντίστοιχο μοντέλο περιλαμβάνει p συντελεστές. Στόχος του Ερευνητή είναι η μελέτη όλων των πιθανών μοντέλων, δηλαδή για
όλα τα δυνατά p, και η επιλογή του καταλληλότερου.
Τέλος, είναι επιθυμητό το μέγεθος των παρατηρήσεων να είναι ικανοποιητικά μεγαλύτερο από P (n > P ).
5.2 Κριτήριο Rp2
Το κριτήριο Rp2 υπολογίζει τον συντελεστή προσδιορισμού ο οποίος προκύπτει από τη σχέση:
SSRp
SSEp
=1−
,
(5.1)
SST O
SST O
για καθένα από τα πιθανά μοντέλα παλινδρόμησης με p συντελεστές και θεωρητικά, επιλέγεται εκείνο για
το οποίο το κριτήριο μεγιστοποιείται. Ως γνωστόν, η εισδοχή μίας νέας μεταβλητής στο μοντέλο αυξάνει το
SSR και κατά συνέπεια, την τιμή του κριτηρίου, με αποτέλεσμα το κριτήριο να λαμβάνει τη μέγιστη τιμή του,
όταν όλες οι P − 1 μεταβλητές εισαχθούν στο μοντέλο. Στην πράξη, ο μελετητής επιλέγει ως καταλληλότερο
μοντέλο, το «σημείο» εκείνο, δηλαδή εκείνο το p, όπου η προσθήκη μίας ή περισσότερων νέων μεταβλητών
οδηγεί σε αμελητέα αύξηση του Rp2 .
Rp2 =
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
105
5.3 Κριτήρια F P Ep και AICp
Τα κριτήρια F P E και AIC προτάθηκαν από τον Akaike [5, 6] και δίνονται από τους τύπους:
(n + p)M SEp
F P Ep ≡ Jp =
=
n
και
!
n+p
SSEp
×
n−p
n
AICp = −2 log L̂ + 2p,
(5.2)
(5.3)
όπου n το μέγεθος του δείγματος και L̂ η εκτιμώμενη πιθανοφάνεια του μοντέλου που περιλαμβάνει p συντελεστές. Και στις δύο προαναφερθείσες περιπτώσεις, επιλέγεται εκείνο το μοντέλο, δηλαδή εκείνο το p, που
ελαχιστοποιεί το κριτήριο. Αξίζει να σημειωθεί ότι ο δεύτερος όρος στο κριτήριο AIC, αυξάνεται όσο αυξάνεται η τιμή του p και υπ΄ αυτή την έννοια, αντιπροσωπεύει μία «ποινή» για την περίπτωση μοντέλων
μεγάλης διάστασης (δηλαδή με μεγάλο αριθμό ανεξάρτητων μεταβλητών).
5.4 Κριτήριο BICp
To κριτήριο BIC (εναλλακτικά SIC) προτάθηκε από τον Schwarz το 1978 [14] με στόχο την αποφυγή
του φαινομένου της υπερπροσαρμογής του εκάστοτε μοντέλου στα υπό εξέταση δεδομένα. Η φιλοσοφία του
κριτηρίου βασίζεται σε εκείνη του AIC και η κύρια διαφορά τους έγκειται στην προσέγγιση της «ποινής»
στο μοντέλο:
BICp = −2 log L̂ + p log (n) .
(5.4)
Το μοντέλο που επιλέγεται είναι αυτό που έχει τη μικρότερη τιμή BICp .
Άσκηση Αυτοαξιολόγησης
Να προσδιοριστεί η απλοποιημένη μορφή των κριτηρίων AIC και BIC, στην περίπτωση
που ο Ερευνητής έχει στη διάθεσή του ένα δείγμα μεγέθους n από την κανονική κατανομή,
με μέση τιμή µ και διασπορά σ 2 όπου και τα δύο είναι άγνωστα και πρέπει να εκτιμηθούν
από τα διαθέσιμα δεδομένα.
5.5 Εναλλακτικά κριτήρια αξιολόγησης
2
5.5.1 Κριτήριο M SEp ή Radj,p
Επειδή ο συντελεστής προσδιορισμού είναι μία μη φθίνουσα συνάρτηση του p, και επιπλέον δε, λαμβάνει
υπόψη του τον αριθμό των συντελεστών στο μοντέλο, έχει προταθεί ως εναλλακτικό κριτήριο επιλογής, ο
προσαρμοσμένος συντελεστής προσδιορισμού (adjusted coefficient of determination):
2
Radj,p
n−1
=1−
n−p
!
SSEp
M SEp
=1−
.
SST O
SST O/ (n − 1)
(5.5)
2
. Από τη σχέση (5.5) είναι φανερό
Το μοντέλο που επιλέγεται είναι αυτό που μεγιστοποιεί το κριτήριο Radj,p
2
ότι η μεγιστοποίηση του Radj,p ισοδυναμεί με ελαχιστοποίησή του μέσω αθροίσματος σφαλμάτων M SEp .
Έτσι, το κριτήριο:
SSEp
M SEp =
.
(5.6)
n−p
2
αποτελεί ένα ακόμα κριτήριο επιλογής, το οποίο όμως είναι ουσιαστικά ισοδύναμο με το Radj,p
.
106
ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΜΟΝΤΕΛΩΝ
5.5.2 Κριτήριο Cp
Έστω M SE (X1 , ..., XP −1 ) το μέσο άθροισμα σφαλμάτων του μοντέλου που περιλαμβάνει και τις P − 1
πιθανές ανεξάρτητες μεταβλητές. Το κριτήριο Cp , προτάθηκε το 1964 από τον Mallows [10] και δίνεται από
τον τύπο:
SSEp
Cp ≡
+ 2p − n
(5.7)
M SE (X1 , ..., XP −1 )
και το μοντέλο που τελικά επιλέγεται είναι εκείνο για το οποίο η πιο πάνω ποσότητα ελαχιστοποιείται.
Πέρα από τα κριτήρια πληροφορίας που παρουσιάστηκαν στις προηγούμενες υποενότητες, υπάρχουν πολλά
ακόμα τα οποία έχουν προταθεί τα τελευταία σαράντα χρόνια. Από το 1980 και μετά, έχουν γίνει αρκετές μελέτες αναφορικά με τις ασυμπτωτικές ιδιότητες διαφόρων κριτηρίων επιλογής, όπως είναι η συνέπεια (consistency) και η ασυμπτωτική αποδοτικότητα (asymptotic efficiency). O ενδιαφερόμενος αναγνώστης μπορεί
να ανατρέξει στις πηγές [13] - [11] για περισσότερες πληροφορίες.
Άσκηση Αυτοαξιολόγησης
Να εξεταστεί αν και υπό ποιες προϋποθέσεις ο συντελεστής προσδορισμού Rp2 ταυτίζεται με
2
τον προσαρμοσμένο συντελεστή προσδιορισμού Radj,p
.
5.6 Εφαρμογές στην R
1. Έστω τα δεδομένα της Εφαρμογής 1 του Κεφαλαίου 3 και τα μοντέλα:
yi = β0 + β1 xi1 + ϵi
και
yi∗ = β0∗ + β1∗ xi2 + ϵ∗i ,
όπου:
Y = Μηνιαία Ποσότητα Ατμού μίας Μηχανής (kg/h),
X1 = Αριθμός Ημερών που η Μηχανή Εργάστηκε ανά Μήνα,
X2 = Μέση Μηνιαία Θερμοκρασία σε βαθμούς Fahrenheit.
i. Για καθένα από τα εξεταζόμενα μοντέλα, να βρεθούν οι εκτιμήσεις των συντελεστών παλινδρόμησης, καθώς και να ελεγχθεί η στατιστική σημαντικότητα των μοντέλων (α = 5%).
ii. Για καθένα από τα εξεταζόμενα μοντέλα, να βρεθούν οι εκτιμήσεις των συντελεστών παλινδρόμησης, καθώς και να ελεγχθεί η στατιστική σημαντικότητα των μοντέλων (α = 5%).
ii. Να υπολογιστούν τα AIC και BIC, και στη συνέχεια να επιλεχθεί το καταλληλότερο μοντέλο.
Ȫ
Λύση
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
107
Εισαγωγή δεδομένων & δημιουργία μεταβλητών
library(readxl)
data <‐ read_xlsx('ch3ex1.xlsx')
X1 <‐ data$X1
X2 <‐ data$X2
Y <‐ data$Y
i. Προσαρμόζουμε καταλλήλως τα δύο γραμμικά μοντέλα παλινδρόμησης και ελέγχουμε τη στατιστική σημαντικότητα του καθενός.
Δημιουργία πρώτου απλού γραμμικού μοντέλου & εξαγωγή συντελεστών
slm.1 <‐ lm(Y ~ X1)
summary(slm.1)
> summary(slm.1)
Call:
lm(formula = Y ~ X1)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept)
20.236
3.038
6.66 0.00264
X1
3.434
0.257
13.33 0.00018
Residual standard error: 4.11 on 4 degrees of freedom
Multiple R‐squared: 0.978,
Adjusted R‐squared: 0.972
F‐statistic: 178 on 1 and 4 DF, p‐value: 0.000183
Η μορφή του πρώτου εκτιμώμενου μοντέλου είναι η ακόλουθη:
ŷi = 20.236 + 3.434xi1 .
Με βάση την τιμή του p‐value (≃ 0 < 5% = α) του F ελέγχου, το πρώτο μοντέλο παλινδρόμησης είναι στατιστικά σημαντικό.
Δημιουργία δεύτερου απλού γραμμικού μοντέλου & εξαγωγή συντελεστών
slm.2 <‐ lm(Y ~ X2)
summary(slm.2)
> summary(slm.2)
Call:
lm(formula = Y ~ X2)
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept)
91.179
5.042
18.08 5.5e‐05
X2
‐1.344
0.157
‐8.57
0.001
Residual standard error: 6.3 on 4 degrees of freedom
Multiple R‐squared: 0.948,
Adjusted R‐squared: 0.935
F‐statistic: 73.5 on 1 and 4 DF, p‐value: 0.00102
108
ΚΡΙΤΗΡΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΜΟΝΤΕΛΩΝ
Η μορφή του δεύτερου εκτιμώμενου μοντέλου είναι η ακόλουθη:
ŷi∗ = 91.179 − 1.344xi2
Με βάση την τιμή του p‐value (≃ 0.001 < 5% = α) του F ελέγχου, το δεύτερο μοντέλο
παλινδρόμησης είναι και αυτό στατιστικά σημαντικό.
ii. Στο προηγούμενο ερώτημα, και τα δύο εξεταζόμενα μοντέλα βρέθηκαν στατιστικά σημαντικά.
Το ερώτημα που τίθεται πλέον είναι «Ποιο από τα δύο μοντέλα προσεγγίζει με μεγαλύτερη ακρίβεια το υπό εξέταση πρόβλημα;» Στο ερώτημα αυτό, καλούμαστε να επιλέξουμε το καταλληλότερο μοντέλο βάσει των κριτηρίων πληροφορίας AIC και BIC (και όχι μέσω του R2 ). Για
τον σκοπό αυτό, θα γίνει χρήση των εντολών AIC και BIC (και τα δύο προσφέρονται μέσω του
πακέτου [stats]) πάνω στα μοντέλα slm.1 και slm.2.
Τιμές AIC και BIC των δύο υπό εξέταση μοντέλων
AIC(slm.1, slm.2)
BIC(slm.1, slm.2)
Από τον Πίνακα 5.1 παρατηρούμε ότι το δεύτερο μοντέλο εμφανίζει τιμές, τόσο για το AIC όσο
και για το BIC, ελαφρώς χαμηλότερες από αυτές του πρώτου.
Πίνακας 5.1: Τιμές AIC και BIC μοντέλων slm.1 και slm.2
Μοντέλο
AIC
BIC
slm.1
37.557
42.676
slm.2
36.932
42.052
Βάσει των παραπάνω, το επιλεγόμενο μοντέλο, τόσο σε όρους AIC όσο και σε όρους BIC, είναι
εκείνο που θεωρεί ως ανεξάρτητη μεταβλητή τη μέση μηνιαία θερμοκρασία (slm.2).
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Καλαματιανού, Α.Γ. (1997). Εφαρμοσμένη ανάλυση παλινδρόμησης. Αθήνα: Εκδόσεις Παπαζήσης.
[2] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση M initab και R
(2η έκδ.). Αθήνα: Συμεών.
[3] Κούτρας Μ.Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα: Εκδόσεις Σταμούλη Α. Ε.
[4] Μπόρα-Σέντα, Ε., & Μωυσιάδης, Χ. (1990). Εφαρμοσμένη στατιστική, Θεσσαλονίκη: Εκδόσεις Ζήτη.
[5] Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic
Control, 19, 716-723.
[6] Akaike, H. (1969). Fitting autoregressive models for prediction. Annals of the Institute of Statistical
Mathematics, 21, 243-247.
[7] Draper, R.D., & Smith, H. (1998). Applied regression analysis (3rd ed.). Wiley-Interscience.
[8] Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R (1st ed.). Sage Ltd.
[9] Konishi, S., & Kitagawa, G. (1996). Generalised information criteria in model selection. Biometrika,
83, 875-890.
[10] Mallows, C.L. (1964). Choosing variables in a linear regression: a graphical aid. Manhattan, Kansas:
Presented at the Central Regional Meeting of the Institute of Mathematical Statistics.
[11] Mantalos, P., Mattheou, K., & Karagrigoriou, A. (2010). Forecasting ARMA models: a comparative
study of information criteria focusing on MDIC. Journal of Statistical Computation and Simulation,
80(1), 61-73.
[12] Mattheou, K., Lee, S., & Karagrigoriou, A. (2009). A model selection criterion based on the BHHJ
measure of divergence. Journal of Statistical Planning and Inference, 139(2), 228-235.
[13] Sakamoto, Y., Ishiguro, M., & Kitagawa, G. (1986). Akaike information criterion statistics. Dordrecht:
D. Reidel.
[14] Schwarz, G.E. (1978). Estimating the dimension of a model. Annals of Statistics, 6(2), 461-464.
ΚΕΦΑΛΑΙΟ 6
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει ειδικά θέματα στην ανάλυση παλινδρόμησης όπως την πολυσυγγραμμικότητα, την αξιοποίηση κατηγορικών μεταβλητών και τη συνεισφορά μεταβλητών σε
μοντέλα όπου προϋπάρχουν άλλες μεταβλητές.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση των προηγουμένων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• κατανοεί το πρόβλημα της πολυσυγγραμμικότητας και τον αντίκτυπο που έχει στην ανάλυση
παλινδρόμησης,
• εφαρμόζει κατάλληλες μεθόδους για τη μερική τουλάχιστον αντιμετώπιση του φαινομένου της
πολυσυγγραμμικότητας,
• αξιολογεί τη συνεισφορά νέων συμμεταβλητών όταν αυτές υπεισέρχονται σε μοντέλα όπου προϋπάρχουν άλλες μεταβλητές,
• διαχειρίζεται και να αξιοποιεί κατηγορικές μεταβλητές με τη χρήση ψευδομεταβλητών.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
112
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
6.1 Έξτρα (ή διαδοχικά) αθροίσματα τετραγώνων
Ένα έξτρα (ή διαδοχικό) άθροισμα τετραγώνων μετρά τη μείωση (ή την αύξηση) του αθροίσματος τετραγωνικών σφαλμάτων SSE (αθροίσματος τετραγώνων λόγω παλινδρόμησης SSR) όταν μία επιπλέον μεταβλητή X υπεισέρχεται στο μοντέλο παλινδρόμησης. Τα έξτρα αθροίσματα τετραγώνων (extra (or sequential)
sum of squares) επιτρέπουν τη μελέτη ελέγχων αναφορικά με κάποιους μόνο από τους συντελεστές παλινδρόμησης. Για τις ανάγκες του κεφαλαίου αυτού, απαιτείται κάποια διαφοροποίηση στους συμβολισμούς των
αθροισμάτων τετραγώνων. Συγκεκριμένα, το άθροισμα τετραγώνων λόγω παλινδρόμησης ενός μοντέλου με
k ανεξάρτητες μεταβλητές X1 , ..., Xk , θα συμβολίζεται με SSR (X1 , ..., Xk ), ενώ το αντίστοιχο άθροισμα
τετραγωνικών σφαλμάτων με SSE (X1 , ..., Xk ). Για την καλύτερη κατανόηση των έξτρα αθροισμάτων τετραγώνων, ο ορισμός τους θα δοθεί μέσω του Παραδείγματος 6.1 το οποίο βασίζεται στα δεδομένα του Hubert
Woods και συνεργατών, όπως αυτά δημοσιεύτηκαν το 1932 στο περιοδικό Industrial and Engineering Chemistry [14, 7].
Παράδειγμα 6.1. Τα δεδομένα που δίνονται στον Πίνακα 6.1 αποτελούνται από τέσσερις ανεξάρτητες μεταβλητές X1 , X2 , X3 και X4 , και την εξαρτημένη μεταβλητή Y . Οι ανεξάρτητες μεταβλητές αντιπροσωπεύουν την
ποσότητα τεσσάρων χημικών ενώσεων (tricalcium aluminate, tricalcium silicate, tetracalcium alumino ferrite
και dicalcium silicate) που περιλαμβάνονται στη σύνθεση του τσιμέντου του Portland, ΗΠΑ, ενώ η εξαρτημένη
μεταβλητή αντιπροσωπεύει την αναπτυσσόμενη θερμότητα σε ένα γραμμάριο τσιμέντου.
Πίνακας 6.1: Τιμές 13 παρατηρήσεων (xi1 , xi2 , xi3 , xi4 , yi )
#
X1
X2
X3
X4
Y
1
7
26
6
60
78.5
8
1
31
22
44
72.5
2
1
29
15
52
74.3
9
2
54
18
22
93.1
3
11
56
8
20
104.3
10
21
47
4
26
115.9
4
11
31
8
47
87.6
11
1
40
23
34
83.8
5
7
52
6
33
95.9
12
11
66
9
12
113.3
6
11
55
9
22
109.2
13
10
68
8
12
109.4
7
3
71
17
6
102.7
Για την εξαρτημένη μεταβλητή προκύπτει ότι ȳ = 95.4 και SST O =
Πίνακας 6.2 δίνει τις τιμές των SSR και SSE που αφορούν τα μοντέλα:
Α. yi = β0 + β1 x1i + ϵi
Β. yi = β0 + β2 x2i + ϵi
Γ. yi = β0 + β1 x1i + β2 x2i + ϵi
Δ. yi = β0 + β1 x1i + β2 x2i + β3 x3i + ϵi
Ε. yi = β0 + β1 x1i + β2 x2i + β3 x3i + β4 x4i + ϵi
P13
i=1
(yi − ȳ)2 = 2705.12. Ο
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
113
Πίνακας 6.2: Τιμές SSR και SSE μοντέλων Α έως Ε
Μοντέλο
Ανεξάρτητες
Μεταβλητές
SSR
SSE
Α
X1
1446.11
1259.01
Β
X2
1801
904.12
Γ
X1 , X 2
2647.66
57.46
Δ
X1 , X 2 , X 3
2657.44
47.68
Ε
X1 , X 2 , X 3 , X 4
2657.77
47.35
Από τον Πίνακα 6.2 φαίνεται ότι SSR (X1 , X2 ) = 2647.66 και SSR (X1 ) = 1446.11. Η διαφορά των
δύο αυτών ποσοτήτων ονομάζεται έξτρα άθροισμα τετραγώνων:
SSR (X2 |X1 ) = SSR (X1 , X2 ) − SSR (X1 ) = SSE (X1 ) − SSE (X1 , X2 ) .
(6.1)
Με βάση τη σχέση (6.1) και τα αποτελέσματα του Πίνακα 6.2, SSR (X2 |X1 ) = 1201.55. Η μείωση που
παρατηρείται στο άθροισμα των τετραγωνικών σφαλμάτων ή αντίστοιχα η αύξηση του αθροίσματος τετραγώνων
λόγω παλινδρόμησης, οφείλεται στο γεγονός ότι η μεταβλητή X2 υπεισέρχεται στο μοντέλο στο οποίο ήδη υπάρχει
η μεταβλητή X1 . Ο συμβολισμός SSR (X2 |X1 ) αντανακλά αυτήν ακριβώς την επιπλέον (έξτρα) μείωση του
αθροίσματος των τετραγωνικών σφαλμάτων εξαιτίας της X2 , δεδομένου ότι η X1 υπάρχει ήδη στο μοντέλο.
Αξίζει να παρατηρηθεί ότι το έξτρα άθροισμα τετραγώνων SSR (X1 |X2 ) είναι μικρότερο από το SSR (X2 |X1 ).
Αυτό οφείλεται στο γεγονός ότι η X2 μπορεί να δικαιολογήσει από μόνη της ένα μεγαλύτερο ποσοστό της συνολικής διακύμανσης, από ότι η X1 .
Η εισδοχή μίας τρίτης μεταβλητής X3 στο μοντέλο όπου ήδη υπάρχουν οι μεταβλητές X1 και X2 , οδηγεί στο
ακόλουθο έξτρα άθροισμα τετραγώνων:
SSR (X3 |X1 , X2 ) = SSR (X1 , X2 , X3 ) − SSR (X1 , X2 ) .
(6.2)
Επίσης, είναι εφικτός ο προσδιορισμός έξτρα αθροισμάτων τετραγώνων, εξαιτίας της εισδοχής περισσότερων
της μίας, νέων ανεξάρτητων μεταβλητών. Για παράδειγμα, η εισδοχή των μεταβλητών X3 και X4 στο μοντέλο όπου ήδη υπάρχουν οι μεταβλητές X1 και X2 , οδηγεί σε αύξηση του αθροίσματος τετραγώνων λόγω
παλινδρόμησης ίση με:
SSR (X3 , X4 |X1 , X2 ) = SSR (X1 , X2 , X3 , X4 ) − SSR (X1 , X2 )
= SSE (X1 , X2 ) − SSE (X1 , X2 , X3 , X4 ) .
(6.3)
Από το παραπάνω παράδειγμα είναι φανερό ότι το άθροισμα τετραγώνων λόγω παλινδρόμησης μπορεί να
διασπαστεί σε επιμέρους αθροίσματα τετραγώνων που το καθένα αποτελεί ένα έξτρα άθροισμα τετραγώνων.
Το άθροισμα τετραγώνων λόγω παλινδρόμησης ενός μοντέλου με δύο ανεξάρτητες μεταβλητές X1 και X2 ,
μπορεί να διασπαστεί κατά δύο τρόπους:
SSR (X1 , X2 ) = SSR (X1 ) + SSR (X2 |X1 )
και
SSR (X1 , X2 ) = SSR (X2 ) + SSR (X1 |X2 ) .
114
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Γενικά, για ένα μοντέλο με k ανεξάρτητες μεταβλητές, η ποσότητα SSR (X1 , ..., Xk ) μπορεί να διασπαστεί
σε έξτρα αθροίσματα τετραγώνων κατά k! διαφορετικούς τρόπους.
Οι βαθμοί ελευθερίας, που αντιστοιχούν σε ένα έξτρα άθροισμα τετραγώνων, ισούνται με τον αριθμό των
ανεξάρτητων μεταβλητών στις οποίες οφείλεται αυτή η έξτρα μείωση στο άθροισμα των τετραγωνικών σφαλμάτων.
Παράδειγμα 6.2. Για τα δεδομένα του Παραδείγματος 6.1 ο Πίνακας ANOVA με διάσπαση του SSR είναι ο
ακόλουθος:
Πίνακας 6.3: Πίνακας ANOVA − Έξτρα αθροίσματα τετραγώνων
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Μέσο
Άθροισμα
Τετραγώνων
Παλινδρόμηση
X1
X2 |X1
X3 |X1 , X2
X4 |X1 , X2 , X3
4
1
1
1
1
SSR (X1 , X2 , X3 , X4 ) = 2657.77
SSR (X1 ) = 1446.11
SSR (X2 |X1 ) = 1201.78
SSR (X3 |X1 , X2 ) = 9.78
SSR (X4 |X1 , X2 , X3 ) = 0.33
664.44
1446.11
1201.55
9.78
0.33
Σφάλμα
8
SSE (X1 , X2 , X3 , X4 ) = 47.35
5.92
Ολική
12
SST O = 2705.12
−
Τα μέσα αθροίσματα τετραγώνων (MS) που αντιστοιχούν στα έξτρα αθροίσματα τετραγώνων ορίζονται με τον
συνήθη τρόπο. Για παράδειγμα, στον παραπάνω Πίνακα ANOVA:
M SR (X3 |X1 , X2 ) =
SSR (X3 |X1 , X2 )
= 9.78.
1
(6.4)
6.2 Έλεγχοι υποθέσεων
Θεώρημα 6.1. Έστω το γενικό γραμμικό μοντέλο παλινδρόμησης:
yi = β0 + β1 xi1 + β2 xi2 + ... + βp−1 xip−1 + ϵi ,
i = 1, ..., n,
(6.5)
Η ελεγχοσυνάρτηση για τον έλεγχο:
H0 :
β1 = β2 ... = βq = 0,
1≤q ≤p−1
vs
H1 :
Τουλάχιστον ένα από τα βi ,
i = 1, ..., q, διαφορετικό του 0,
(6.6)
δίνεται από τη σχέση:
F =
=
SSR (X1 , ..., Xq |Xq+1 , ..., Xp−1 ) /q
SSE (X1 , ..., Xp−1 ) /(n − p)
M SR (X1 , ..., Xq |Xq+1 , ..., Xp−1 )
.
M SE (X1 , ..., Xp−1 )
(6.7)
115
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
Απόδειξη Θεωρήματος 6.1. Έστω ότι p = 2 και q = 1. Στην περίπτωση αυτή, το μοντέλο (6.5) γίνεται:
yi = β0 + β1 xi + ϵi ,
i = 1, ..., n,
και η υπόθεση (6.6) μετατρέπεται σε:
H0 : β1 = 0
vs
H1 : β1 ̸= 0.
(6.8)
Για τον έλεγχο αυτό είναι γνωστό ότι η κατάλληλη ελεγχοσυνάρτηση είναι η:
F =
SSR/1
(SST O − SSE)/1
M SR
=
=
.
M SE
SSE/(n − 2)
SSE/(n − 2)
(6.9)
Είναι φανερό ότι η υπόθεση (6.8) είναι ισοδύναμη με την:
H0 : yi = β0 + ϵi
vs
H1 : yi = β0 + β1 xi + ϵi .
Για το μοντέλο της μηδενικής υπόθεσης, η εκτιμήτρια ελαχίστων τετραγώνων είναι ο ȳ (Κεφάλαιο 2, Άσκηση
7). Κατά συνέπεια, το άθροισμα τετραγωνικών σφαλμάτων του μοντέλου της H0 , που ονομάζεται περιορισμένο
μοντέλο (reduced model), είναι:
SSE (.) =
n X
i=1
yi − β̂0
2
=
n
X
(yi − ȳ)2 ≡ SST O,
i=1
όπου το SSE (.) δηλώνει ότι δεν υπάρχουν ανεξάρτητες μεταβλητές στο μοντέλο.
Από την άλλη πλευρά, το SSE του πλήρους μοντέλου (full model) της H1 είναι:
SSE (X1 ) ≡ SSE,
(6.10)
με αποτέλεσμα ο αριθμητής της (6.9) να γράφεται στη μορφή:
SST O − SSE
SSE (.) − SSE (X1 )
SSR
=
=
,
1
1
1
(6.11)
όπου οι βαθμοί ελευθερίας αντιπροσωπεύουν τον αριθμό των ανεξάρτητων μεταβλητών που περιλαμβάνονται στο
πλήρες μοντέλο, αλλά όχι στο περιορισμένο.
Λαμβάνοντας υπόψη τις σχέσεις (6.1), (6.10) και (6.11), η ελεγχοσυνάρτηση (6.9) παίρνει τη μορφή:
F =
M SR (X1 |.)
SSR (X1 |.) /1
=
,
SSE (X1 ) /(n − 2)
M SE (X1 )
(6.12)
από όπου φαίνεται ότι η ποσότητα SSR είναι το έξτρα άθροισμα τετραγώνων που αντιπροσωπεύει την αύξηση του
αθροίσματος τετραγώνων λόγω παλινδρόμησης, η οποία οφείλεται στην εισδοχή της επιπλέον μεταβλητής X1 στο
μοντέλο όπου δεν υπάρχει καμία ανεξάρτητη μεταβλητή.
Η γενίκευση του παραπάνω Θεωρήματος για το γενικό γραμμικό μοντέλο παλινδρόμησης, είναι αυτονόητη
και μπορεί να γίνει προς τρεις κατευθύνσεις:
Α Περίπτωση: Για τον έλεγχο του κατά πόσο ένας συγκεκριμένος συντελεστής παλινδρόμησης, έστω βk ,
ισούται με το μηδέν:
H0 : βk = 0 vs H1 : βk ̸= 0,
(6.13)
116
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
με ελεγχοσυνάρτηση:
F =
=
SSR (Xk |X1 , ..., Xk−1 , ..., Xp−1 ) /1
SSE (X1 , ..., Xp−1 ) /(n − p)
M SR (Xk |X1 , ..., Xk−1 , ..., Xp−1 )
.
M SE (X1 , ..., Xp−1 )
(6.14)
Β Περίπτωση: Για τον έλεγχο του κατά πόσο οι συντελεστές παλινδρόμησης, από τον βq , q > 1 και μετά,
ισούνται με το μηδέν:
H0 : βq = ... = βp−1 = 0
vs H1 :
Τουλάχιστον ένα από τα βi της H0
i = q, ..., p − 1, διαφορετικό του 0,
(6.15)
με ελεγχοσυνάρτηση:
F =
=
SSR (Xq , ..., Xp−1 |X1 , ..., Xq−1 ) / (p − q)
SSE (X1 , ..., Xp−1 ) /(n − p)
M SR (Xq , ..., Xp−1 |X1 , ..., Xq−1 )
.
M SE (X1 , ..., Xp−1 )
(6.16)
Γ Περίπτωση: Για τον έλεγχο του κατά πόσο όλοι οι συντελεστές παλινδρόμησης ισούνται με το μηδέν (βλ.
σχέση (3.24)) :
H0 : β1 = ... = βp−1 = 0
vs H1 :
Τουλάχιστον ένα από ταβi ,
i = 1, ..., p − 1, διαφορετικό του 0,
(6.17)
με ελεγχοσυνάρτηση:
F =
=
SSR (X1 , ..., Xp−1 |.) / (p − 1)
SSE (X1 , ..., Xp−1 ) /(n − p)
M SR (X1 , ..., Xp−1 |.)
.
M SE (X1 , ..., Xp−1 )
(6.18)
Σημείωση: Για τον υπολογισμό έξτρα αθροισμάτων τετραγώνων της μορφής:
SSR (Xq , ..., Xr |X1 , ..., Xq−1 ), q < r ≤ p − 1, μπορεί να γίνει χρήση του τύπου:
SSR (Xq , ..., Xr |X1 , ..., Xq−1 ) =
r
X
SSR (Xj |X1 , ..., Xj−1 ) .
(6.19)
j=q
Παράδειγμα 6.3. Για τα δεδομένα του Παραδείγματος 6.1, και βάσει των αποτελεσμάτων του Παραδείγματος
6.2, να γίνει ο έλεγχος των ακόλουθων υποθέσεων, θεωρώντας ως μοντέλο το Ε (Πίνακας 6.2):
α) H0 : β4 = 0
vs
β) H0 : β3 = β4 = 0
H1 : β4 ̸= 0,
vs
H1 :
γ) H0 : β1 = β2 = β3 = β4 = 0
To πολύ ένα από τα βi ,
i = 3, 4, διαφορετικό του 0,
vs
H1 :
Τουλάχιστον ένα από τα βi ,
i = 1, ..., 4, διαφορετικό του 0.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
117
Για τον έλεγχο (α), από τη σχέση (6.14), η κατάλληλη ελεγχοσυνάρτηση είναι η:
F =
SSR (X4 |X1 , X2 , X3 ) /1
SSE (X1 , ..., X4 ) /8
=
SSR (X1 , X2 , X3 , X4 ) − SSR (X1 , X2 , X3 )
M SE (X1 , ..., X4 )
=
2657.77 − 2657.44
= 0.0557.
5.92
Από τους F -πίνακες, προκύπτει F1,8;0.05 = 5.32 και άρα, η μηδενική υπόθεση δεν απορρίπτεται σε επίπεδο σημαντικότητας α = 5%.
Για τον έλεγχο (β), από τις σχέσεις (6.16) και (6.19), η κατάλληλη ελεγχοσυνάρτηση είναι η:
F =
SSR (X3 , X4 |X1 , X2 ) /(4 − 2)
SSE (X1 , ..., X4 ) /8
=
[SSR (X3 |X1 , X2 ) + SSR (X4 |X1 , X2 , X3 )] /2
M SE (X1 , ..., X4 )
=
(9.78 − 0.33) /2
= 0.854.
5.92
Από τους F -πίνακες, προκύπτει F2,8;0.05 = 4.46 και άρα, η μηδενική υπόθεση δεν απορρίπτεται σε επίπεδο σημαντικότητας α = 5%.
Για τον έλεγχο (γ), από τη σχέση (6.18) η κατάλληλη ελεγχοσυνάρτηση είναι η:
F =
SSR (X1 , X2 , X3 , X4 |.) /(5 − 1)
SSE (X1 , ..., X4 ) /8
=
SSR (X1 , X2 , X3 , X4 |.) /4
M SE (X1 , ..., X4 )
=
2657.77/4
= 112.23.
5.92
Από τους F -πίνακες, προκύπτει F4,8;0.05 = 3.84 και άρα, η μηδενική υπόθεση απορρίπτεται σε επίπεδο σημαντικότητα α = 5%.
6.3 Εκτιμητές σταθμισμένων ελαχίστων τετραγώνων
Όπως ειπώθηκε προηγουμένως, η περίπτωση της μη σταθερής διασποράς αναφέρεται με τον όρο ετεροσκεδαστικότητα. Όταν όλες οι υπόλοιπες συνθήκες της γραμμικής παλινδρόμησης ισχύουν, οι εκτιμήτριες που
προκύπτουν με τη μέθοδο των ελαχίστων τετραγώνων είναι μεν αμερόληπτες και συνεπείς, αλλά δεν έχουν
την ελάχιστη διασπορά. Η διακύμανση των εκτιμητριών είναι ιδιαίτερα μεγάλη, εξαιτίας του φαινομένου της
118
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
ετεροσκεδαστικότητας. Για τον περιορισμό της διακύμανσης, χρησιμοποιείται μία εναλλακτική μέθοδος ελαχίστων τετραγώνων, με βάρη. Στόχος είναι η ελαχιστοποίηση της ποσότητας:
n
X
Qω =
ωi (yi − β0 − β1 xi )2 ,
(6.20)
i=1
όπου ωi είναι το βάρος της i-παρατήρησης. Συγκεκριμένα, αν σi2 η διασπορά της παρατήρησης i, το βάρος
ωi είναι ίσο με:
1
ωi = 2 ,
(6.21)
σi
ώστε οι παρατηρήσεις με μεγάλη διακύμανση να έχουν μικρότερο βάρος, ενώ εκείνες με μικρή διακύμανση να
έχουν μεγαλύτερο. Αν πάλι, η διακύμανση μεταβάλλεται με έναν συστηματικό τρόπο σε σχέση με τη μεταβλητή
X = xi , τότε δεν είναι (συνήθως) δύσκολο να προσδιοριστεί η σχέση αυτή. Αν για παράδειγμα, σi2 = x2i ,
τότε ωi = x12 . Οι εκτιμήτριες ελαχίστων τετραγώνων με βάρη για τους συντελεστές παλινδρόμησης, είναι οι
i
τιμές που ελαχιστοποιούν το κριτήριο Qω και δίνονται από τις σχέσεις:
Pn
β̂1 =
i=1
ωi xi yi −
Pn
2
i=1 ωi xi
Pn
i=1
ωi xi
Pn
Pn
i=1
−
Pn
2
ωx
( P
i=1 i i )
n
i=1
Pn
ωi yi
ω
i=1 i
και β̂0 =
i=1
Pn
ωi yi − β̂1
Pn
i=1 ωi
i=1
ωi xi
.
(6.22)
ωi
6.4 Πολυσυγγραμμικότητα
Στις περισσότερες εφαρμογές στη Διοικητική Επιστήμη, τα Οικονομικά και τις Κοινωνικοπολιτικές Επιστήμες, οι ανεξάρτητες μεταβλητές είναι συσχετισμένες είτε μεταξύ τους είτε με άλλες ανεξάρτητες μεταβλητές
που επιδρούν μεν στην εξαρτημένη μεταβλητή Y αλλά δεν περιλαμβάνονται στο μοντέλο παλινδρόμησης. Το
φαινόμενο της συσχέτισης μεταξύ των ανεξάρτητων μεταβλητών, αναφέρεται με τον όρο ενδοσυσχέτιση (intercorrelation) ή πολυσυγγραμμικότητα (multicollinearity), και συνήθως παρεμποδίζει τον μελετητή από
το να διερευνήσει διάφορα θέματα, όπως το πόσο στατιστικά σημαντική είναι η επίδραση μίας ανεξάρτητης
μεταβλητής σε σχέση με μία άλλη ή το κατά πόσο μία ανεξάρτητη μεταβλητή θα πρέπει να απομακρυνθεί από
ένα μοντέλο ως μη στατιστικά σημαντική. Είναι όμως γεγονός ότι οι εκτιμήτριες των συντελεστών παλινδρόμησης έχουν ιδιαίτερα μεγάλες διακυμάνσεις, με αποτέλεσμα ο μελετητής να οδηγείται σε όχι και τόσο ακριβή
συμπεράσματα αναφορικά με τις πραγματικές τιμές των συντελεστών παλινδρόμησης.
Για να διαπιστωθεί το μέγεθος της πολυσυγγραμμικότητας σε ένα σύνολο ανεξάρτητων μεταβλητών X1 , X2 , ..., Xp−1 ,
μπορεί να προσδιοριστεί ο πίνακας συσχέτισης (correlation matrix) των X:

rXX =
1
r12
..
.





r12
1
..
.
rp−11 rp−12

· · · r1p−1
· · · r2p−1 

.. 
...
,
. 
···
1
(6.23)
όπου rij είναι ο δειγματικός συντελεστής συσχέτισης με βάση τις n μετρήσεις των ανεξάρτητων μεταβλητών
Xi = (X1i = x1i , ..., Xni = xni ) και Xj = (X1j = x1j , ..., Xnj = xnj ), που δίνεται από τη σχέση (βλ.
σχέση (2.33) για τον συντελεστή μεταξύ X και Y ):
Pn
rij = qP
n
m=1
(xmi − x̄i ) (xmj − x̄j )
2
m=1 (Xmi − x̄i )
Pn
2
m=1 (xmj − x̄j )
.
(6.24)
Ο πίνακας συσχέτισης (6.23) είναι συμμετρικός, αφού rij = rji . Τιμές των rij κοντά στο μηδέν δηλώνουν
ότι οι μεταβλητές Xi και Xj είναι ασυσχέτιστες, ενώ κοντά στο 1 ή το −1 δηλώνουν ισχυρή συσχέτιση των
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
119
αντίστοιχων μεταβλητών. Πρέπει να τονιστεί ότι ακόμα και αν ο πίνακας (6.23) είναι ίσος με τον ταυτοτικό,
δεν σημαίνει απαραίτητα ότι δεν υφίσταται το φαινόμενο της πολυσυγγραμμικότητας, αφού κάποιες ανεξάρτητες μεταβλητές μπορεί να σχετίζονται όχι με μία, αλλά με ομάδες άλλων ανεξάρτητων μεταβλητών.
Θα πρέπει να τονιστεί ότι το πρόβλημα της πολυσυγγραμμικότητας δεν είναι δυνατόν να εξαλειφθεί πλήρως. Παρόλα αυτά, υπάρχουν διάφορες τεχνικές οι οποίες μπορούν να το περιορίσουν σε έναν ικανοποιητικό
βαθμό. Ανάμεσα σε αυτές βρίσκεται η ανάλυση κυρίων συνιστωσών (principal components analysis)[11],
όπου οι ανεξάρτητες μεταβλητές X1 , ..., Xp−1 μετασχηματίζονται σε νέες, έστω Z1 , ..., Zp−1 , οι οποίες είναι
μεταξύ τους ασυσχέτιστες και ορθογώνιες ανά δύο.
Μία ακόμα ευρέως χρησιμοποιούμενη τεχνική αντιμετώπισης της πολυσυγγραμμικότητας, είναι εκείνη της
ραχοειδούς παλινδρόμησης (ridge regression) [8]. Στην εν λόγω μέθοδο, στον ΕΕΤ β̂∼ , του β∼ , ο πίνακας
(X′ X)−1 αντικαθίσταται από τον πίνακα [(X′ X) + λIp ]−1 , με αποτέλεσμα οι εκτιμήσεις των συντελεστών
παλινδρόμησης β∼ να δίνονται από τη σχέση:
β̂∼
ridge
= [(X′ X) + λIp ]
−1
X′ y.
Το λ αποτελεί ρυθμιστική παράμετρο και επιλέγεται με τέτοιο τρόπο ώστε αφενός μεν το μέσο τετραγωνικό
σφάλμα των εκτιμητών β̂∼
να είναι μικρότερο από αυτό των β̂∼ , αφετέρου δε, ο βαθμός συσχέτισης μεταξύ
ridge
των ανεξάρτητων μεταβλητών Xi να είναι ο μικρότερος δυνατός. Για περισσότερες πληροφορίες ο αναγνώστης παραπέμπεται στις εργασίες [9] και [10].
6.5 Συντελεστής διόγκωσης της διακύμανσης (VIF)
Ανά τα χρόνια, έχει προταθεί μία πληθώρα τεχνικών για την ποσοτικοποίηση του βαθμού πολυσυγγραμμικότητας που συνοδεύει τις ανεξάρτητες μεταβλητές του υπό εξέταση μοντέλου [10, 13]. Ανάμεσά τους, ο
Συντελεστής Διόγκωσης της Διακύμανσης (VIF-Variance Inflation Factor), ο οποίος αποτελεί την πλέον
χρησιμοποιούμενη τεχνική και ορίζεται ως:
V IFj =
1
,
1 − Rj2
V IFj ≥ 1,
j = 1, ..., p − 1.
(6.25)
Για τον υπολογισμό του V IFj ακολουθούμε την εξής διαδικασία:
Βήμα 1: Επιλέγουμε την j-ανεξάρτητη μεταβλητή, έστω Xj , για την οποία θέλουμε να υπολογίσουμε
τον δείκτη V IFj και την αφαιρούμε από το υπό εξέταση μοντέλο.
Βήμα 2: Υπολογίζουμε το R2 = Rj2 του μοντέλου, το οποίο θεωρεί ως εξαρτημένη μεταβλητή την
Xj και ως ανεξάρτητες μεταβλητές τις υπόλοιπες Xi,i̸=j , i = 1, ..., n.
Βήμα 3: Υπολογίζουμε τη σχέση (6.25) και:
- Αν V IFj ≥ c, τότε η υπό εξέταση Xj μπορεί να δημιουργεί πρόβλημα πολυσυγγραμμικότητας.
- Αν V IFj < c, τότε η υπό εξέταση Xj δεν φαίνεται να δημιουργεί πρόβλημα πολυσυγγραμμικότητας.
Όσον αφορά την τιμή του c, αυτή συνήθως είναι μία εκ των 4, 5 ή 10, με την τελευταία να αποτελεί τη συνηθέστερη επιλογή. Είναι προφανές ότι όσο μικρότερη η τιμή του c τόσο πιο αυστηροί
είμαστε απέναντι στο εάν η j-ανεξάρτητη μεταβλητή μπορεί να δημιουργεί πρόβλημα πολυσυγγραμμικότητας.
120
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Μια ενδιαφέρουσα πληροφορία για το V IFj είναι ότι η προέλευσή του παραμένει...άγνωστη! Για περισσότερες πληροφορίες, ο ενδιαφερόμενος αναγνώστης παραπέμπεται στη βιβλιογραφική αναφορά [12].
6.6 Ψευδομεταβλητές
Στο γενικό γραμμικό μοντέλο (3.4), ενώ η εξαρτημένη μεταβλητή Y είναι απαραίτητο να λαμβάνει τιμές στο
R, δεν ισχύει το ίδιο και για τις ανεξάρτητες μεταβλητές Xi . Πολλές φορές, μπορεί μία (ή περισσότερες) από
τις Xi να είναι κατηγορικής (categorical) φύσεως (φύλο, θρήσκευμα, οικογενειακή κατάσταση, κλπ.). Σε τέτοιες περιπτώσεις για να μπορέσει να ελεγχθεί αν υπάρχουν ουσιαστικές (στατιστικά σημαντικές) διαφορές
ανάμεσα στις κατηγορίες των κατηγορικών μεταβλητών, απαιτείται η δημιουργία των λεγόμενων ψευδομεταβλητών (dummy variables). Από τις διάφορες οικογένειες ψευδομεταβλητών, θα αναλύσουμε αυτή των
δείκτριων μεταβλητών (indicator variables).
Έστω Ψ μία κατηγορική μεταβλητή με κατηγορίες. Οι δείκτριες μεταβλητές ορίζονται ως:
Ψd =

1,
εάν Ψ = d
,
0,
αλλιώς
d = 1, ..., I.
(6.26)
Βάσει της σχέσης (6.26), αν η xi λάβει την τιμή 1, τότε η παρατήρηση ανήκει στην d κατηγορία, ενώ αν λάP
βει την τιμή 0 δεν ανήκει στην d ομάδα. Είναι προφανές ότι Id=1 ψd = 1, γεγονός που καθιστά αδύνατη
την εισαγωγή και των I δείκτριων μεταβλητών στο εκάστοτε μοντέλο παλινδρόμησης, παρά μόνο των I − 1.
Αυτό συμβαίνει γιατί αν κανείς συμπεριλάβει και τις I-δείκτριες μεταβλητές μέσα στο μοντέλο, τότε θα βρεθεί αντιμέτωπος με το πρόβλημα της πολυσυγγραμμικότητας. Συγκεκριμένα, θα προκύψει det (X′ X′ ) = 0
που σημαίνει ότι ο πίνακας (X′ X) είναι ιδιάζων (μη αντιστρέψιμος) και άρα δεν είναι δυνατή η εύρεση των
ΕΕΤ, οι οποίοι, σύμφωνα με τη σχέση (3.19), απαιτούν τη χρήση του πίνακα (X′ X′ )−1 .
Έστω το απλό γραμμικό μοντέλο:
yi = β0 + β1 xi + γ1 ψd + ϵi ,
i = 1, ..., n.
(6.27)
Αν ψd = 1, τότε:
yi = (β0 + γ1 ) + β1 xi + ϵi ,
(6.28)
yi = β0 + β1 xi + ϵi .
(6.29)
ενώ αν ψd = 0, τότε:
Όπως γίνεται αντιληπτό από τις σχέσεις (6.28) και (6.29), η ψευδομεταβλητή επηρεάζει μόνο τον σταθερό
όρο του μοντέλου.
Όσον αφορά την ερμηνεία του συντελεστή παλινδρόμησης γ1 της σχέσης (6.27), χρειάζεται ιδιαίτερη προσοχή, καθώς εκφράζει τη διαφορά στην τιμή της Y μεταξύ ενός υποκειμένου που ανήκει στην d κατηγορία και
ενός που δεν ανήκει στην d κατηγορία, όταν X = 0.
Παράδειγμα 6.4. Έστω ότι μία εταιρεία επιθυμεί τη διερεύνηση του κατά πόσο το ύψος του μισθού (σε €) ενός εργαζομένου επηρεάζεται από την ηλικία (X) και το φύλο (Ψ). Το μοντέλο που περιγράφει το παραπάνω πρόβλημα
είναι το:
yi = β0 + β1 xi + γ1 ψd + ϵi , i = 1, ..., n,
όπου:

1,
εάν ο εργαζόμενος είναι άνδρας,
Ψd = ψd = 
0, εάν ο εργαζόμενος είναι γυναίκα.
(6.30)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
121
Το αντίστοιχο εκτιμώμενο μοντέλο δίνεται από τη σχέση:
ŷi = β̂0 + β̂1 xi + γ̂1 ψd ,
i = 1, ..., n.
Ερμηνεία συντελεστή β̂1 : Ο μέσος μισθός ενός εργαζομένου θα μεταβληθεί κατά β̂1 € αν η ηλικία αυξηθεί κατά ένα
έτος, κρατώντας τη μεταβλητή φύλο σταθερή.
Ερμηνεία συντελεστή γ̂1 : Η διαφορά του μέσου μισθού ενός εργαζομένου ανέρχεται στα γ̂1 €, ανάλογα με το αν
είναι άνδρας ή γυναίκα. Δηλαδή, ενώ ο μέσος μισθός ενός άνδρα ηλικίας ω ανέρχεται κατά μέσο όρο στα (β̂0 +
γ̂1 ) + β̂1 ω ευρώ, o μισθός μίας γυναίκας ίδιας ηλικίας ανέρχεται κατά μέσο όρο στα (β̂0 + β̂1 ω)€. Θα πρέπει να
σημειωθεί ότι αυτή η διαφορά της τάξης των γ̂1 € δεν είναι απαραίτητα υπέρ του άνδρα, καθώς αν γ̂1 < 0, τότε
μία γυναίκα ηλικίας ω θα έχει κατά μέσο όρο περισσότερες απολαβές από έναν άνδρα ίδιας ηλικίας.
Τέλος, είναι προφανές ότι εάν η σχέση (6.30) οριστεί ανάποδα, τότε οι τιμές των εκτιμητριών για τα β0 , β1 και γ1 ,
θα είναι διαφορετικές από τις β̂0 , β̂1 και γ̂1 .
6.7 Εφαρμογή στην R
1. Έστω τα δεδομένα του Πίνακα 6.1. Θεωρώντας το μοντέλο:
yi = β0 + β1 x1i + β2 x2i + β3 x3i + β4 x4i + ϵi ,
i = 1, ..., 13 :
i. Να υπολογιστούν οι πίνακες συσχέτισης και μερικής συσχέτισης.
ii. Να εφαρμοστεί ο έλεγχος: H0 : β3 = β4 = 0
vs
H1 :
Τουλάχιστον ένα από τα βi ,
,
i = 3, 4, διαφορετικό του 0,
σε επίπεδο σημαντικότητας α = 5%.
Ȫ
Λύση
Εισαγωγή δεδομένων & δημιουργία μεταβλητών
library(readxl)
data <‐ read_xlsx('ch6ex1.xlsx')
X1 <‐ data$X1
X2 <‐ data$X2
X3 <‐ data$X3
X4 <‐ data$X4
Y <‐ data$Y
i. Για την εύρεση του πίνακα συσχετίσεων μεταξύ των επεξηγηματικών μεταβλητών X1 , X2 , X3 , X4
και της εξαρτημένης μεταβλητής Y , θα γίνει χρήση της εντολής cor [stats]. Εκτός του συντελεστή γραμμικής συσχέτισης κατά Pearson, υπάρχουν και άλλες τεχνικές εύρεσης συσχέτισης,
όπως αυτές των Spearman και Kendall. Για τον λόγο αυτό, θα πρέπει να σιγουρευτούμε ότι στο
όρισμα method έχουμε εισάγει την τεχνική "pearson".
122
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
Δημιουργία πίνακα γραμμικών συσχετίσεων κατά Pearson
cor.matrix <‐ cor(cbind(X1, X2, X3, X4, Y), method = "pearson")
cor.matrix
> cor.matrix
X1
X2
X3
X4
Y
X1 1.00000 0.22858 ‐0.824134 ‐0.245445 0.73072
X2 0.22858 1.00000 ‐0.139242 ‐0.972955 0.81625
X3 ‐0.82413 ‐0.13924 1.000000 0.029537 ‐0.53467
X4 ‐0.24545 ‐0.97295 0.029537 1.000000 ‐0.82131
Y
0.73072 0.81625 ‐0.534671 ‐0.821305 1.00000
Όσον αφορά τις μερικές συσχετίσεις, αυτές θα εξαχθούν με εφαρμογή της εντολής pcor [ppcor]
πάνω στη μεταβλητή data (η οποία και περιέχει όλες τις μεταβλητές ενδιαφέροντος).
Δημιουργία πίνακα μερικών γραμμικών συσχετίσεων
library(ppcor)
partial.cor.matrix <‐ pcor(data)
partial.cor.matrix
> partial.cor.matrix
$estimate
X1
X2
X3
X4
Y
X1 1.00000 ‐0.88647 ‐0.821393 ‐0.726037 0.592933
X2 ‐0.88647 1.00000 ‐0.944294 ‐0.948480 0.241809
X3 ‐0.82139 ‐0.94429 1.000000 ‐0.958903 0.047686
X4 ‐0.72604 ‐0.94848 ‐0.958903 1.000000 ‐0.071648
Y
0.59293 0.24181 0.047686 ‐0.071648 1.000000
Θα πρέπει να σημειωθεί ότι σε αντίθεση με την εντολή cor, η pcor δίνει τη δυνατότητα εκτύπωσης και των p - values για τους σχετικούς ελέγχους στατιστικής σημαντικότητας για καθεμία
από τις μερικές συσχετίσεις.
ii. Στο ερώτημα αυτό, καλούμαστε να εξετάσουμε εάν οι συντελεστές παλινδρόμησης β3 και β4 αξίζει να συμπεριληφθούν μέσα στο μοντέλο. Λόγω του ότι η R δεν προσφέρει άμεσο τρόπο εφαρμογής του ελέγχου, θα πρέπει να κατασκευαστεί σχετικός κώδικας. Θέλουμε να υπολογίσουμε
την τιμή της ελεγχοσυνάρτησης:
F =
[SSR (X1 , X2 , X3 , X4 ) − SSR (X1 , X2 )] /2
.
M SE (X1 , X2 , X3 , X4 )
Για τον υπολογισμό της ποσότητας στον αριθμητή, χρειαζόμαστε:
• Την τιμή του SSR που αφορά το πλήρες (full) μοντέλο (SSR (X1 , X2 , X3 , X4 )), η
οποία θα εξαχθεί μέσω της εντολής anova.
• Την τιμή του SSR που αφορά το περιορισμένο (reduced) μοντέλο, δηλαδή το μοντέλο
κάτω από τη μηδενική υπόθεση (SSR (X1 , X2 )). Χρειαζόμαστε, λοιπόν, τα έξτρα αθροίσματα τετραγώνων τα οποία όμως δεν διατίθενται μέσω της εντολής anova. Αντ’ αυτού, θα
πρέπει να γίνει χρήση της εντολής Anova [car] πάνω στο πλήρες μοντέλο (multlm.full).
Όσο για τον παρονομαστή, αυτός θα υπολογιστεί μέσω της εντολής anova.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
123
Δημιουργία πρώτου απλού γραμμικού μοντέλου & εξαγωγή συντελεστών
multlm.full <‐ lm(Y ~ X1 + X2 + X3 + X4)
SSR.full <‐ sum(anova(multlm.full)$`Sum Sq`[1:4]) #
SSR (X1 , X2 , X3 , X4 )
library(car)
seq.ANOVA <‐ Anova(multlm.full, type = "II") # Εύρεση έξτρα
αθροισμάτων τετραγώνων
seq.ANOVA
> seq.ANOVA
Anova Table (Type II tests)
Response: Y
Sum Sq Df F value Pr(>F)
X1
26.0 1
4.34 0.071
X2
3.0 1
0.50 0.501
X3
0.1 1
0.02 0.896
X4
0.2 1
0.04 0.844
Residuals
47.9 8
Η ποσότητα SSR (X1 , X2 ) θα προκύψει αθροίζοντας τα δύο πρώτα στοιχεία της στήλης ``Sum
Sq'' του παραπάνω πίνακα.
Δημιουργία πρώτου απλού γραμμικού μοντέλου & εξαγωγή συντελεστών
SSR.reduced <‐ sum(seq.ANOVA$`Sum Sq`[1:2]) # SSR (X1 , X2 )
MSE.full <‐ anova(multlm.full)$`Mean Sq`[5] # M SE (X1 , X2 , X3 , X4 )
F <‐ ((SSR.full ‐ SSR.reduced) / 2) / MSE.full
F
qf(.95, 2, 8)
> F
[1] 220.54
> qf(.95, 2, 8)
[1] 4.459
Αφού,
F = 220.54 > 4.459 = F2,8;0.05 ,
απορρίπτεται η μηδενική υπόθεση σε επίπεδο σημαντικότητας α = 5%, και άρα, οι συντελεστές
παλινδρόμησης β3 και β4 είναι στατιστικά σημαντικοί.
124
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
6.8 Άλυτες ασκήσεις
1. Να δειχτεί ότι:
SSR (X1 , X2 , X3 , X4 ) = SSR (X1 ) + SSR (X2 , X3 |X1 ) + SSR (X4 |X1 , X2 , X3 ) .
2. Έστω ένα πολλαπλό μοντέλο παλινδρόμησης με 5 ανεξάρτητες μεταβλητές. Να δοθούν οι τύποι των
ελεγχοσυναρτήσεων για τους ακόλουθους ελέγχους:
i. β5 = 0 και
ii. β2 = β4 = 0.
3. Να δειχτεί ότι:
rY2 2.1 =
(rY 2 − r12 rY 1 )2
,
2
(1 − r12
) (1 − rY2 1 )
όπου rY i , i = 1, 2 ο συντελεστής συσχέτισης των Y και Xi .
4. Βάσει των δεδομένων του Πίνακα 3.6, να δοθεί ο πίνακας ANOVA με διάσπαση του SSR σε έξτρα
αθροίσματα τετραγώνων.
5. Έστω τα δεδομένα του Πίνακα 3.3:
i. Να δοθεί ο Πίνακας ANOVA με διάσπαση του SSR σε έξτρα αθροίσματα τετραγώνων.
ii. Αφού προσδιοριστεί η ποσότητα SSR (X1 |X2 ), να γίνει ο έλεγχος:
H0 : β1 = 0
vs
H1 : β1 ̸= 0,
με τη βοήθεια των έξτρα αθροισμάτων τετραγώνων (α = 5%).
6. Να δειχθεί ότι:
SSR (Xq , ..., Xr |X1 , ..., Xq−1 ) =
r
X
SSR (Xj |X1 , ..., Xj−1 ) ,
q < r ≤ p − 1.
j=q
7. Να επιβεβαιωθεί ότι οι τύποι της (6.22) αποτελούν τις τιμές που ελαχιστοποιούν το κριτήριο Qω και
να δοθούν οι κανονικές εξισώσεις.
8. Σε ένα ετεροσκεδαστικό μοντέλο ισχύει ότι σ 2 = kXi όπου k γνωστή σταθερά. Να χρησιμοποιηθεί
η μέθοδος ελαχίστων τετραγώνων με βάρη για τον προσδιορισμό των κανονικών εξισώσεων και των
τύπων β̂0 και β̂1 του γραμμικού μοντέλου παλινδρόμησης.
9. Έστω:
Pn
x̄ω =
ω i xi
n
i=1
Pn
και ȳω =
ωi yi
.
n
i=1
Να εκφραστεί το β̂1 , όπως αυτό δίνεται στη σχέση (6.22), ως συνάρτηση των αποκλίσεων xi − x̄ω
και yi − ȳω .
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
125
10. Έστω τα δεδομένα του Πίνακα 6.4:
Πίνακας 6.4: Τιμές 12 ζευγών παρατηρήσεων (xi , yi )
#
X
Y
1
16
77
2
14
70
3
22
85
4
10
350
5
14
62
6
17
70
7
10
52
8
13
63
9
19
88
10
12
57
11
18
81
12
11
54
Να βρεθούν τα β̂0 και β̂1 του γραμμικού μοντέλου με τη μέθοδο ελαχίστων τετραγώνων, με ωi = 1
και ωi = kx1 2 . Στη συνέχεια, να συγκριθούν οι διασπορές των εκτιμητριών στις δύο περιπτώσεις.
i
126
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΠΑΛΙΝΔΡΟΜΗΣΗΣ
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Καλαματιανού, Α.Γ. (1997). Εφαρμοσμένη ανάλυση παλινδρόμησης. Αθήνα: Εκδόσεις Παπαζήσης.
[2] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση M initab και R
(2η έκδ.). Αθήνα: Συμεών.
[3] Κούτρας Μ. Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[4] Μπόρα-Σέντα, Ε., & Μωυσιάδης, Χ. (1990). Εφαρμοσμένη στατιστική. Θεσσαλονίκη: Εκδόσεις Ζήτη.
[5] Draper, R. D., & Smith, H. (1998). Applied regression analysis (3rd ed.). Wiley-Interscience.
[6] Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R (1st ed.). Sage Ltd.
[7] Hald, A. (1952). Statistical theory with engineering applications. New York: Wiley.
[8] Hoerl, A.E., & Kennard, R.W. (1970). Ridge regression: biased estimation for nonorthogonal problems. Technometrics, 12(1), 55-67.
[9] Lindner, T., Puck, J., & Verbeke, A. (2020). Misconceptions about multicollinearity in international
business research: Identification, consequences, and remedies. Journal of International Business Studies, 51, 283-298.
[10] Ntotsis, K., Karagrigoriou, A., & Artemiou, A. (2021). Interdependency pattern recognition in
econometrics: A penalized regularizationa Antidote. Econometrics, 9, 44.
[11] Pearson, K.F.R.S. LIII. (1901). On lines and planes of closest fit to systems of points in space. The
London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 2(11), 559-72.
[12] Snee, R. (1981). Who invented the variance inflation factor? Snee Associates.
[13] Theil, H. (1971). Principles of econometrics. New York: John Wiley & Sons.
[14] Woods, H., Steinour, H.H., & Starke, H.R. (1932). Effect of composition of portland cement on
heat evolved during hardening. Industrial Engineering and Chemistry, 24, 1207-1214.
128
ΒΙΒΛΙΟΓΡΑΦΙΑ
ΚΕΦΑΛΑΙΟ 7
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει το βασικό πρότυπο διακύμανσης με έναν παράγοντα ενδιαφέροντος και μελετά τις επιδράσεις των επιπέδων του σε μία διεργασία ή μεταβλητή απόκρισης.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση βασικών εννοιών στατιστικής συμπερασματολογίας, με έμφαση στους ελέγχους για τη σύγκριση των μέσων δύο κανονικών πληθυσμών.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• αναγνωρίζει πειράματα με έναν παράγοντα ενδιαφέροντος και να χρησιμοποιεί τεχνικές σχεδιασμού πειραμάτων και ειδικότερα της μονοπαραγοντικής ανάλυσης διακύμανσης, προκειμένου
να εξετάζει την επίδραση των επιπέδων του, στη μεταβλητή απόκρισης,
• εντοπίζει το επίπεδο ή τα επίπεδα του παράγοντα ενδιαφέροντος που διαφέρουν σημαντικά από
τα υπόλοιπα, μέσω πολλαπλών συγκρίσεων,
• εξετάζει μέσω της ανάλυσης καταλοίπων, την ικανοποίηση ή μη των προϋποθέσεων για τη
χρήση και την εφαρμογή των σχετικών προτύπων,
• εφαρμόζει τη μονοπαραγοντική ανάλυση διακύμανσης με τη χρήση στατιστικών πακέτων.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
130
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
7.1 Εισαγωγή
Στα προηγούμενα Κεφάλαια τόσο η εξαρτημένη όσο και οι ανεξάρτητες μεταβλητές ήταν ποσοτικές. Στην
παρούσα ενότητα θα ασχοληθούμε με τυχαία πειράματα, όπου η μεν εξαρτημένη μεταβλητή είναι ποσοτική, οι
δε ανεξάρτητες μεταβλητές, που ενδεχομένως σχετίζονται και επηρεάζουν την εξαρτημένη μεταβλητή, είναι
ποιοτικές. Σημειώνεται ότι και οι ποσοτικές (συνεχείς) μεταβλητές μπορούν να αντιμετωπιστούν ως ποιοτικές
με κατάλληλη κατηγοριοποίηση. Παραδείγματα τέτοιων τυχαίων πειραμάτων συναντάμε συχνά σε διάφορους
κλάδους.
Παράδειγμα 7.1. Ένα από τα βασικά προβλήματα στον χώρο του Marketing είναι η αποτελεσματικότητα της
διαφήμισης και της τιμής ενός προϊόντος στις πωλήσεις που αντιπροσωπεύουν τη μεταβλητή απόκρισης Y . Οι δύο
μεταβλητές “τιμή” και “διαφήμιση” αποτελούν τους παράγοντες που απαιτείται να μελετηθούν είτε ξεχωριστά ο
καθένας είτε συνδυαστικά και οι δύο μαζί. Στην πρώτη περίπτωση, θα μπορούσε για παράδειγμα να εξεταστεί το
πρόβλημα π.χ. σε 3 διαφορετικά επίπεδα τιμών ενώ στη δεύτερη π.χ. σε 2 επίπεδα διαφήμισης (π.χ. 1 = διαφήμιση
στην τηλεόραση και 2 = διαφήμιση στο διαδίκτυο). Ο Ερευνητής θα μπορούσε να καταγράψει τις πωλήσεις σε
καθεμία από κάποιες περιοχές ή περιφέρειες είτε για τα 3 επίπεδα μόνο του πρώτου παράγοντα είτε για τα 2 επίπεδα μόνο του δεύτερου είτε για τους 6 συνδυασμούς που προκύπτουν από τα επίπεδα των δύο παραγόντων. Το
πρόβλημα μπορεί να γίνει ακόμα πιο πολύπλοκο αν μαζί με τους δύο παράγοντες κριθεί αναγκαία η διερεύνηση της
αλληλεπίδρασής τους στις πωλήσεις.
Παράδειγμα 7.2. Ένα από τα προβλήματα στον χώρο της Γεωργίας είναι η σύγκριση διαφόρων ποικιλιών κάποιου
είδους. Το πρόβλημα αντιμετωπίζεται με τον κατακερματισμό ενός τεμαχίου γης και την κατανομή των ποικιλιών
στα διάφορα τμήματα που προκύπτουν. Ανά ποικιλία και τμήμα γης (παράγοντες A και B) γίνεται η καταγραφή
της παραγωγής (μεταβλητή απόκρισης Y ) και εξάγονται τα συγκριτικά αποτελέσματα. Σημειώνεται ότι η παραγωγή ανά τμήμα και ποικιλία μπορεί να διαφέρει ακόμα και αν δεν παρατηρούνται διαφορές μεταξύ των ποικιλιών,
γιατί μπορεί να υπεισέρχονται στην παραγωγή και άλλοι παράγοντες που δεν έχουν περιληφθεί στη μελέτη, όπως
για παράδειγμα η εγγύτητα των τμημάτων γης σε νερό.
Παράδειγμα 7.3. Ένα από τα προβλήματα στον χώρο της Βιομηχανίας είναι η σύγκριση των προϊόντων που παράγουν διαφορετικές γραμμές παραγωγής ή/και διαφορετικοί χειριστές που αντιπροσωπεύουν δύο παράγοντες
ενδιαφέροντος A και B. Για τη μελέτη του προβλήματος θα μπορούσε ο Ερευνητής στο τέλος κάθε βάρδιας να επιλέξει ένα ή περισσότερα προϊόντα ανά γραμμή παραγωγής και να συγκρίνει την αξιοπιστία των προϊόντων ως προς
τις προβλεπόμενες προδιαγραφές (μεταβλητή απόκρισης Y ). Σημειώνεται ότι οι παρατηρήσεις ενδέχεται να διαφέρουν ακόμα και αν δεν διαφέρουν ως προς τις γραμμές παραγωγής, αφού θα μπορούσαν να παρεμβαίνουν άλλες
μεταβλητές που δεν έχουν περιληφθεί στη μελέτη. Τέτοιες μεταβλητές είναι συχνά οι κλιματολογικές (θερμοκρασία
και υγρασία), οι μηχανολογικές (συντήρηση και παλαιότητα μηχανών παραγωγής) κ.ά. Το πρόβλημα μπορεί να
γίνει πολυπλοκότερο αν εκτός από τις διαφορετικές γραμμές παραγωγής, ο Ερευνητής κρίνει ότι πρέπει να μελετηθούν και οι διαφορές στην παραγωγή που οφείλονται στους διαφορετικούς χειριστές ή ακόμα περισσότερο και
αυτές που οφείλονται στην αλληλεπίδραση μεταξύ γραμμών παραγωγής και χειριστών.
Και στα τρία προηγούμενα παραδείγματα ο Ερευνητής έχει στη διάθεσή του έναν αριθμό καταστάσεων ή
επιπέδων ή σταθμών (levels) για τουλάχιστον μία ανεξάρτητη μεταβλητή (παράγοντας, factor) που πρέπει
να μελετηθούν ως προς την επίδρασή τους στην εξαρτημένη μεταβλητή ή μεταβλητή απόκρισης (response,
yield) Y . Στόχος της μελέτης είναι η σύγκριση της απόδοσης των επιπέδων του ενός παράγοντα ή του συνδυασμού των επιπέδων των εμπλεκόμενων παραγόντων στη μεταβλητή απόκρισης Y, με βάση μία ή περισσότερες μετρήσεις ή παρατηρήσεις. Στους στόχους της μελέτης περιλαμβάνεται επίσης και η βελτίωση μιας
διεργασίας δοκιμάζοντας τιμές ελεγχόμενων μεταβλητών (παραγόντων) και βλέποντας την επίδρασή τους
στη μεταβλητή απόκρισης, με σκοπό τον εντοπισμό κατάλληλων τιμών που οδηγούν σε βελτιστοποίηση της
διεργασίας.
H τεχνική, η οποία χρησιμοποιείται για την ανάλυση τέτοιων πειραμάτων, είναι γνωστή με το όνομα Ανάλυση
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
131
Διακύμανσης (Analysis of Variance). Παρότι τέτοιου είδους προβλήματα είναι δυνατόν να αντιμετωπιστούν
με τις μεθόδους της πολλαπλής γραμμικής παλινδρόμησης με κατάλληλο πίνακα σχεδιασμού, συστήνεται η
χρήση της Ανάλυσης Διακύμανσης γιατί με τον τρόπο αυτό ερμηνεύεται καλύτερα η συνεισφορά του καθενός
από τους εμπλεκόμενους στο πείραμα παράγοντες.
Η περίπτωση της μελέτης των επιπέδων ενός μόνο παράγοντα ή του συνδυασμού των επιπέδων δύο παραγόντων, είναι στις περισσότερες περιπτώσεις εύκολο από πλευράς πειραματισμού να επιτευχθεί με την ανάλυση
διακύμανσης. Το πρόβλημα μπορεί όμως να γίνει ιδιαίτερα απαιτητικό ως προς τον πειραματισμό, αν είτε ο
αριθμός των επιπέδων είτε ο αριθμός των παραγόντων είναι αρκετά μεγάλος. Αν, για παράδειγμα, η μελέτη
αφορά 5 παράγοντες και ο καθένας έχει 2 διαφορετικά επίπεδα, τότε απαιτούνται 32 συνδυασμοί για την εκτέλεση του λεγόμενου Πλήρους Παραγοντικού Πειράματος, και αν για τον κάθε συνδυασμό επιθυμούμε 2 ή
3 επαναλήψεις, τότε ο Ερευνητής θα πρέπει να εκτελέσει 64 ή 96 πειράματα. Επιπρόσθετη πολυπλοκότητα
επιφέρει η διερεύνηση αλληλεπιδράσεων μεταξύ των εμπλεκόμενων παραγόντων. Τα προβλήματα αυτά αντιμετωπίζονται επιτυχώς με τη χρήση κατάλληλων πειραματικών σχεδιασμών που βασίζονται σε ένα κατάλληλα
επιλεγμένο υποσύνολο όλων των δυνατών συνδυασμών, περιορίζοντας πολύ και τον χρόνο και το κόστος του
πειράματος. Ιδιαίτερα χρήσιμες επιλογές, όταν δεν έχουμε πόρους για να εκτελέσουμε πλήρη παραγοντικά
πειράματα, αποτελούν τα Κλασματικά Παραγοντικά Πειράματα τα οποία βασίζονται στις μισές ή στο ένα
τέταρτο των συνδυασμών που θα απαιτούσε το Πλήρες Παραγοντικό Πείραμα.
Σημειώνεται ότι η ανάλυση διακύμανσης κατά έναν παράγοντα, η οποία αναφέρεται και ως Πλήρως Τυχαιοποιημένος Σχεδιασμός ή Πλήρως Τυχαιοποιημένο Σχέδιο (Completely Randomized Design), αποτελεί τη γενικευμένη μορφή της μεθόδου των ανεξάρτητων δειγμάτων για τη σύγκριση 2 πληθυσμών και ειδικότερα των
μέσων των 2 πληθυσμών. Στον σχεδιασμό αυτό εκτελούνται k μετρήσεις για καθένα από τα επίπεδα του υπό
εξέταση παράγοντα που πρόκειται να συγκριθούν.
Επίσης, αν η ανάλυση αφορά έναν παράγοντα και η μελέτη γίνεται σε ομάδες ή μεταβλητές πλαισίου (Blocks),
έχουμε τον Τυχαιοποιημένο Τμηματικό Σχεδιασμό ή Σχέδιο Τυχαιοποιημένων Πλήρων Ομάδων (Randomized
Block Design) ο οποίος αποτελεί τη γενίκευση για k πληθυσμούς, της δειγματοληψίας σε ζεύγη για τη
σύγκριση 2 πληθυσμών. Για το Παράδειγμα 7.3, η μελέτη θα μπορούσε να γίνει σε 3 διαφορετικά αντιδραστήρια που έχει διαθέσιμα η Βιομηχανία και μπορούν να παίξουν τον ρόλο των ομάδων, το ένα πεπαλαιωμένης
τεχνολογίας χωρίς να έχει συντηρηθεί τον τελευταίο χρόνο, το άλλο παλαιό μεν αλλά το οποίο έχει μόλις συντηρηθεί, ενώ το τρίτο είναι το νεώτερο, ως αντιδραστήριο τελευταίας τεχνολογίας.
7.2 Πλήρως Τυχαιοποιημένο Σχέδιο
Ο Πλήρως ή Απόλυτα Τυχαιοποιημένος Σχεδιασμός ή Πείραμα Πλήρους Τυχαιοποίησης (Completely Randomized Design) όπως αναφέρθηκε προηγουμένως, αποτελεί τη γενικευμένη μορφή της μεθόδου των ανεξάρτητων δειγμάτων για τη σύγκριση 2 πληθυσμών. Στην περίπτωση αυτή, ο Ερευνητής ενδιαφέρεται να μελετήσει τις διαφορές μεταξύ των k διαφορετικών επιπέδων μιας (συνήθως) ποιοτικής μεταβλητής (παράγοντας),
κάθε ένα από τα οποία μπορεί να θεωρηθεί, για σκοπούς στατιστικής ανάλυσης, ως ένας πληθυσμός ώστε
το πρόβλημα να μπορεί να θεωρηθεί ως πρόβλημα σύγκρισης μεταξύ k πληθυσμών, k ≥ 2. Η σύγκριση
βασίζεται αποκλειστικά στις μέσες τιμές των k πληθυσμών, δηλαδή στις μέσες τιμές που αντιστοιχούν στα
k διαφορετικά επίπεδα του εμπλεκόμενου παράγοντα. Με άλλα λόγια, το συγκεκριμένο πρόβλημα υποθέτει
(απαιτεί) ότι οι k πληθυσμοί είναι ίδιοι ως προς τα λοιπά χαρακτηριστικά τους (ίδια κατανομή, ίδια διασπορά
κλπ.) και έτσι το μόνο που μένει να διερευνηθεί είναι κατά πόσον έχουν και την ίδια μέση τιμή.
Στο σχέδιο αυτό επιλέγονται k ανεξάρτητα δείγματα, ένα από καθέναν από τους k πληθυσμούς που πρόκειται
να συγκριθούν. Αυτό είναι δυνατόν εφόσον οι πληθυσμοί είναι προκαθορισμένοι. Αν για παράδειγμα ζητείται
132
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
να μελετηθεί (και να συγκριθεί) η κατανάλωση ρεύματος κατοικιών με βάση 4 πληθυσμούς που αντιστοιχούν σε κατασκευές με 4 διαφορετικά πάχη (με cm) μόνωσης τοιχίων, τότε για ένα τέτοιο πρόβλημα, πρέπει να επιλεχτεί τυχαία αριθμός κατοικιών που εμπίπτουν (εκ κατασκευής) σε καθεμία από τις 4 κατηγορίες
(πληθυσμούς).
Πέρα από την πιο πάνω περίπτωση, υπάρχει ακόμα μία όπου η ανάθεση κάθε πειραματικής μονάδας σε έναν
πληθυσμό γίνεται με τρόπο τυχαίο. Έστω για παράδειγμα ότι ζητείται να συγκριθεί:
1. η μέση ποσότητα αλάτων στο νερό όταν εφαρμόζονται 4 διαφορετικές τεχνικές προσδιορισμού σε n
δείγματα νερού όπου ο Ερευνητής έχει τη δυνατότητα να αναθέσει με τρόπο τυχαίο την τεχνική (από
τις 4 διαθέσιμες) που θα χρησιμοποιηθεί για κάθε μέτρηση ή
2. η επίδραση 4 διαφορετικών επιπέδων (σταθμών) θερμοκρασίας στο αποτέλεσμα μιας χημικής αντίδρασης, όταν το πείραμα επαναλαμβάνεται n = 24 φορές με 6 επαναλήψεις ανά θερμοκρασία με
την κάθε αντίδραση να εκτελείται επιλέγοντας κάθε φορά, τυχαία, μία από τις 4 διαθέσιμες θερμοκρασίες, ώστε να έχουμε k = 4 ανεξάρτητα δείγματα (ένα για κάθε θερμοκρασία) με το καθένα να έχει
ni = 6, i = 1, 2, 3, 4 μετρήσεις.
Γενικά, έστω ότι απαιτείται τυχαίο δείγμα μεγέθους n. Η διαδικασία εκτέλεσης του πειράματος είναι η εξής:
η θεραπεία 1 (πληθυσμός 1) εφαρμόζεται σε n1 δειγματικές μονάδες, η θεραπεία 2 (πληθυσμός 2) σε n2
μονάδες,..., η θεραπεία k (πληθυσμός k) σε nk μονάδες. Στον Απόλυτα Τυχαιοποιημένο Σχεδιασμό, οι n1
δειγματικές μονάδες επιλέγονται τυχαία από το συνολικό δείγμα, οι n2 δειγματικές μονάδες επιλέγονται τυχαία από τις εναπομείνασες n − n1 μονάδες και συνεχίζοντας με τον ίδιο τρόπο η θεραπεία k εφαρμόζεται
στις τελευταίες εναπομείνασες δειγματικές μονάδες n − (n1 + n2 + ... + nk−1 ) = nk . Η τελευταία αυτή
σχέση δίνει τη συνθήκη που συνδέει όλα τα δειγματικά μεγέθη:
n = n1 + n2 + ... + nk−1 + nk .
Η ίδια σχέση ισχύει και στην κλασική περίπτωση όπου οι πληθυσμοί είναι προκαθορισμένοι.
Είναι φανερό ότι αν k = 2, τότε ο ανωτέρω σχεδιασμός ταυτίζεται με τη μέθοδο δύο ανεξάρτητων δειγμάτων για τη σύγκριση δύο πληθυσμών A και B. Έστω ότι Yij = yij είναι η j παρατήρηση της θεραπείας
i, i = 1, 2, ..., k και j = 1, 2, ..., ni . Ο Πίνακας 7.1 παρουσιάζει τα δεδομένα, τις μέσες τιμές και τα αθροίσματα τετραγώνων των k πληθυσμών του Απόλυτα Τυχαιοποιημένου Σχεδιασμού.
Πίνακας 7.1: Πίνακας Δεδομένων - Πλήρως Τυχαιοποιημένο Σχέδιο
Θεραπεία - Πληθυσμός
Παρατηρήσεις
Μέσος
1
y11 , y12 , ..., y1n1
ȳ1
2
..
.
y21 , y22 , ..., y2n2
..
.
ȳ2
..
.
k
yk1 , yk2 , ..., yknk
ȳk
Άθροισμα Τετραγώνων
Pn1
j=1
Pn2
j=1
Pnk
j=1
(y1j − ȳ1 )2
(y2j − ȳ2 )2
..
.
(y1j − ȳk )2
Ο δειγματικός ολικός μέσος δίνεται από τον τύπο:
Pk
ȳ.. =
Pni
j=1
i=1
n
yij
Pk
=
ni ȳi.
,
n
i=1
(7.1)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
όπου:
Pni
ȳi. =
j=1
133
yij
.
(7.2)
ni
Ο ολικός μέσος ȳ.. αντιπροσωπεύει τον δειγματικό μέσο όλων των παρατηρήσεων ανεξάρτητα από τον πληθυσμό στον οποίο ανήκουν.
Η προφανής ταυτότητα:
συνεπάγεται ότι:
yij = ȳ.. + (ȳi. − ȳ.. ) + (yij − ȳi. ) ,
yij − ȳ.. = (ȳi. − ȳ.. ) + (yij − ȳi. ) .
(7.3)
H πιο πάνω σχέση δείχνει ότι η απόκλιση της κάθε παρατήρησης yij από τον ολικό μέσο ȳ.. οφείλεται εν μέρει
στην απόκλιση του μέσου ȳi του πληθυσμού i από τον ολικό μέσο ȳ.. και εν μέρει στην απόκλιση της ίδιας της
παρατήρησης yij από τον μέσο του πληθυσμού από τον οποίο προέρχεται αυτή η παρατήρηση.
Τετραγωνίζοντας και τα δύο μέρη της σχέσης (7.3) και αθροίζοντας ως προς i και j, έχουμε:
ni
k X
X
i=1 j=1
(yij − ȳ.. )2 =
k
X
ni (ȳi. − ȳ.. )2 +
i=1
ni
k X
X
(yij − ȳi. )2 ,
(7.4)
i=1 j=1
όπου το διπλάσιο γινόμενο ισούται, όπως εύκολα μπορεί να δειχθεί, με το μηδέν.
Ορισμός 7.1. Για τον Απόλυτα Τυχαιοποιημένο Σχεδιασμό ορίζουμε τις εξής ποσότητες:
SST O =
ni
k X
X
(yij − ȳ.. )2
i=1 j=1
SST =
ni
k X
X
(yij − ȳi. )2
i=1 j=1
SSE =
k
X
ni (ȳi. − ȳ.. )2
i=1
όπου:
• SST O: ολική (total) μεταβλητότητα ή ολικό άθροισμα τετραγώνων,
• SST : μεταβλητότητα που οφείλεται (δηλαδή που μπορεί να δικαιολογηθεί) στις διαφορές μεταξύ των πληθυσμών/θεραπειών ή άθροισμα τετραγώνων των θεραπειών (treatments, T) και
• SSE: μεταβλητότητα που δεν μπορεί να δικαιολογηθεί από τις διαφορές των πληθυσμών, και άρα ως μη
εξηγήσιμη, οφείλεται στα σφάλματα (errors) και αναφέρεται ως άθροισμα τετραγώνων των σφαλμάτων ή
τετραγωνικών σφαλμάτων.
Χρησιμοποιώντας τον Ορισμό 7.1 η (7.4) μπορεί να γραφεί ως εξής:
SST O = SST + SSE.
Ορισμός 7.2.
1. Οι β.ε. του SST O είναι:
k
X
i=1
ni − 1 = n − 1
134
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
2. Οι β.ε. του SST είναι:
k−1
3. Οι β.ε. του SSE είναι:
k
X
ni − k = n − k
i=1
Οι παραπάνω β.ε. συνδέονται με τη σχέση:
β.ε. SST O = β.ε. SST + β.ε. SSE ⇒
n − 1 = (n − k) + (k − 1)
Ορισμός 7.3.
1. Το μέσο άθροισμα τετραγώνων των θεραπειών είναι:
M ST =
SST
.
k−1
2. Το μέσο άθροισμα τετραγώνων των σφαλμάτων είναι:
M SE =
SSE
.
n−k
Ο συνοπτικός Πίνακας της Ανάλυσης Διακύμανσης (ANOVA) δίνεται παρακάτω:
Πίνακας 7.2: Πίνακας ANOVA
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
k−1
SST
M ST =
SST
k−1
Σφάλμα
n−k
SSE
M SE =
SSE
n−k
Ολική
n−1
SST O
Άθροισμα
Τετραγώνων
−
7.3 Γραφική ανάλυση μέσων
Πριν προχωρήσουμε στη στατιστική ανάλυση με βάση τον Πίνακα Ανάλυσης Διασποράς, μπορούμε με γραφικό τρόπο να έχουμε μια πρώτη οπτική εικόνα, όσον αφορά τη σύγκριση των μέσων των k πληθυσμών. Δύο
πολύ απλές γραφικές παραστάσεις είναι το διάγραμμα κουκκίδων και το θηκόγραμμα. Το διάγραμμα κουκκίδων είναι ένα X - Y επίπεδο, με τον άξονα των X να αντιστοιχεί στα επίπεδα του παράγοντα (δηλαδή στους
πληθυσμούς) και με τον άξονα των Y να αντιστοιχεί στις τιμές της μεταβλητής απόκρισης (ανά πληθυσμό).
Το διάγραμμα επιτρέπει στον Ερευνητή να έχει μια πρώτη αρκετά σαφή εικόνα για το αν οι μέσοι φαίνεται να
είναι ίσοι ή όχι. Το κλασικό θηκόγραμμα της Περιγραφικής Στατιστικής αποτυπώνει μια παρεμφερή εικόνα
με αυτή του διαγράμματος κουκκίδων.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
135
Παράδειγμα 7.4. Έστω 4 γραμμές παραγωγής για τις οποίες χρειάζεται να ερευνηθεί κατά πόσον παράγουν στην
τιμή στόχο (βάρος σε gr) που έχει τεθεί για τα παραγόμενα προϊόντα. Τυχαίο δείγμα 6 προϊόντων επιλέγεται από
κάθε γραμμή παραγωγής και κάθε προϊόν ζυγίζεται. Τα δεδομένα φαίνονται στον Πίνακα 7.3.
Πίνακας 7.3: Παράδειγμα Σύγκρισης 4 γραμμών παραγωγής - Βασική Γραφική Ανάλυση Μέσων
Α
Β
Γ
Δ
2
1
5
2
1
3
4
3
3
2
4
5
1
3
4
5
1
4
3
4
2
4
2
5
Σχήμα 7.1: ANOVA Πρότυπο - Αντοχή
Το γράφημα των κουκκίδων αποτυπώνει ανάγλυφα την όποια σχέση των δειγμάτων και κατ’ επέκταση των
αντίστοιχων πληθυσμών, όσον αφορά τη σύγκριση των μέσων τιμών που έχουμε επιλέξει να καταγραφούν
(συνδεδεμένοι με μια καμπύλη) με τις τιμές (μετρήσεις) που έχουν παρατηρηθεί. Η εικόνα αυτή, αν και σε
κάποιο βαθμό είναι ασαφής, προϊδεάζει τον Ερευνητή για το εάν η όποια διαφορά που αποτυπώνεται στο γράφημα θα μπορούσε να είναι στατιστικώς σημαντική ή όχι.
Η γραφική ανάλυση είναι δυνατόν να εμπλουτιστεί με την Ανάλυση των Μέσων, η οποία αν και δεν δίνει τον
βαθμό της στατιστικής σημαντικότητας για τη σύγκριση των μέσων, δίνει το λεγόμενο Διάγραμμα Ανάλυσης
Μέσων (Analysis of Means Diagram), όπου (δηλαδή μεταξύ ποιων πληθυσμών) εντοπίζεται η όποια διαφορά μεταξύ των μέσων. Η μέθοδος βασίζεται στον υπολογισμό των δειγματικών μέσων των υπό εξέταση
επιπέδων του παράγοντα ενδιαφέροντος και τη σύγκρισή τους σε σχέση με τον δειγματικό μέσο όλων των
παρατηρήσεων ανεξαρτήτως επιπέδου (πληθυσμού), καθώς και των δειγματικών τυπικών αποκλίσεων ανά
επίπεδο. Έστω:
136
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
• ένας παράγοντας k επιπέδων/σταθμών,
• ȳ.. ο δειγματικός (ολικός) μέσος όλων των μετρήσεων ανεξαρτήτως επιπέδου,
• ȳi. ο δειγματικός μέσος των μετρήσεων του επιπέδου i,
• s2i η δειγματική διασπορά των μετρήσεων του επιπέδου i,
• s2p ο μέσος όρος των s2i , i = 1, ..., k: s2p = k −1
Pk
i=1
s2i .
Το διάγραμμα ανάλυσης μέσων αποτελείται από μία κεντρική γραμμή (Central Line, CL) και 2 όρια απόφασης, το άνω όριο απόφασης (upper decision limit, UDL) και το κάτω όριο απόφασης (lower decision limit,
LDL), τα οποία ορίζονται ως εξής:
• CL = ȳ..
q
• U DL = ȳ.. + hk,k(n−1);α
• LDL = ȳ.. − hk,k(n−1);α
q
k−1
nk
k−1
nk
όπου hk,k(n−1);α αντιπροσωπεύει το 100(1 − α)% ποσοστημόριο της στατιστικής συνάρτησης h που έχει
πινακοποιηθεί από τον Nelson ([24]) και η οποία δίνεται από τον τύπο:
h=
maxi |ȳi. − ȳ.. |
q
sp
k−1
nk
.
Το διάγραμμα ανάλυσης μέσων για το προηγούμενο παράδειγμα δίνεται από το παρακάτω Σχήμα (για α =
5%):
Σχήμα 7.2: ANOVA Πρότυπο - Αντοχή
7.4 Μονοπαραγοντική ανάλυση διακύμανσης
Οι δύο βασικές υποθέσεις στον Απόλυτα Τυχαιοποιημένο Σχεδιασμό είναι:
137
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
1. Οι παρατηρήσεις που προέρχονται από τον πληθυσμό (θεραπεία) i αποτελούν τυχαίο δείγμα από μία
κανονική κατανομή με μέσο µi και κοινή διασπορά σ 2 , δηλαδή N (µi , σ 2 ) , i = 1, 2, ..., k. Εναλλακτικά, μπορούμε να θεωρήσουμε έναν παράγοντα A με k επίπεδα.
2. Τα δείγματα είναι ανεξάρτητα.
Βάσει των ανωτέρω υποθέσεων, το μοντέλο για τη σύγκριση k πληθυσμών/θεραπειών είναι:
yij = µi + ϵij
= µ + αi + ϵij ,
i = 1, ..., k,
j = 1, ..., ni ,
(7.5)
i.i.d.
όπου µ ο ολικός μέσος, µi ο μέσος του i πληθυσμού, αi η επίδραση του i επιπέδου του παράγοντα και ϵij ∼
N (0, σ 2 ). Από τον τύπο του προτύπου είναι προφανές ότι:
αi + µ = µi ⇔ αi = µi − µ.
Η εναλλακτική γραφή του προτύπου με τη βοήθεια των παραμέτρων (επιδράσεων) αi , επιτρέπει να γίνουν
ευκολότερα κατανοητές και να περιγραφούν αποτελεσματικότερα οι επιδράσεις στις περιπτώσεις προτύπων
σταθερών και τυχαίων επιδράσεων.
7.4.1 Πρότυπο σταθερών επιδράσεων
Στην περίπτωση των σταθερών επιδράσεων, οι παράμετροι α1 , ..., αk είναι καθορισμένοι πραγματικοί αριθP
μοί, έτσι ώστε j nj αj = 0 είναι μια προϋπόθεση που επιτρέπει να υπολογίζονται μονοσήμαντα οι τιμές των
µ, α1 , ..., αk . Στην περίπτωση αυτή, και με βάση τα δεδομένα του προτύπου, ισχύει ότι:
E (Yij ) = E (µ + αi ) = µ + αi
& V ar (Yij ) = σ 2 .
7.4.1.1 Εκτίμηση και έλεγχος υποθέσεων
Eίναι εύκολο να διαπιστωθεί ότι οι δειγματικοί μέσοι, που ορίστηκαν στην προηγούμενη ενότητα, αποτελούν
ιδανικούς εκτιμητές των αντίστοιχων παραμέτρων. Έτσι, η εκτιμήτρια του ολικού μέσου µ είναι ο αντίστοιχος
δειγματικός ολικός μέσος:
1X
yij = ȳ.. ,
µ̂ =
n i,j
η εκτιμήτρια της μέσης τιμής µi , του πληθυσμού i, είναι ο αντίστοιχος δειγματικός μέσος του επιπέδου i:
µ̂i =
1 X
yij = ȳi. ,
ni j
ενώ η εκτιμήτρια της επίδρασης αi είναι:
α̂i = µ̂i − µ̂ = ȳi. − ȳ.. = ȳi.
Τέλος, η δειγματική διασπορά όλων των μετρήσεων (χωρίς δηλαδή να λαμβάνεται υπόψη ο πληθυσμός στον
οποίο ανήκει η μέτρηση) αποτελεί κατάλληλη εκτιμήτρια της διασποράς σ 2 :
σ̂ 2 = s2 =
1 X
(yij − ȳ.. )2 ≡ M SE
n − k i,j
όπου η διαίρεση έχει γίνει με την ποσότητα n − k, ώστε ο εκτιμητής που προκύπτει να έχει κάποιες καλές
θεωρητικές ιδιότητες (π.χ. αμεροληψία), που βέβαια έχει περιορισμένη σημασία όταν η τιμή του k είναι σημαντικά μικρότερη από το n.
138
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Έχοντας τους εκτιμητές των εμπλεκόμενων παραμέτρων, έχουμε τη δυνατότητα να εκτιμήσουμε (προβλέψουμε)
την οποιαδήποτε τιμή j της μεταβλητής απόκρισης για το επίπεδο i, με τρόπο προφανή:
ŷij = µ̂ + α̂i = µ̂i = ȳi. .
Η πιο πάνω ποσότητα ŷij αποτελεί εκτίμηση της yij , έτσι ώστε τα κατάλοιπα (residuals), δηλαδή οι αποστάσεις/αποκλίσεις μεταξύ παρατηρούμενων και εκτιμώμενων τιμών, να ορίζονται ως:
ϵ̂ij = yij − ŷij = yij − ȳi.
(7.6)
Η μηδενική (και η αντίστοιχη εναλλακτική) υπόθεση της μη ύπαρξης διαφοράς μεταξύ των μέσων των k
πληθυσμών, μπορεί να διατυπωθεί ως εξής:
H0 : µ1 = µ2 = ... = µk ≡ µ vs H1 : Όχι όλα τα µi , i = 1, ..., k, ίσα,
όπου µ ο ολικός μέσος, που κάτω από τη μηδενική υπόθεση αντιπροσωπεύει την κοινή μέση τιμή για όλα τα
επίπεδα, δηλαδή για όλους τους πληθυσμούς. Εναλλακτικά, η υπόθεση μπορεί να οριστεί με τη βοήθεια των
παραμέτρων αi που αντιπροσωπεύουν την επίδραση των επιπέδων i = 1, ..., k:
H0 : α1 = α2 = ... = αk = 0
vs H1 : Όχι όλα τα αi , i = 1, ..., k, ίσα με 0.
Γενικεύοντας το Θεώρημα Cochran (Πρόταση 2.5), η ελεγχοσυνάρτηση για τον έλεγχο της πιο πάνω H0
είναι η ακόλουθη:
SST
M ST
k−1 H0
F =
= SSE
∼ Fk−1,n−k ,
M SE
n−k
ενώ το χωρίο απόρριψης της H0 είναι το εξής:
F > Fk−1,n−k;α ,
όπου Fk−1,n−k;α το 100(1 − α)% ποσοστημόριο της κατανομής F με k − 1 και n − k βαθμούς ελευθερίας.
Ο Πίνακας Ανάλυσης Διασποράς της προηγούμενης ενότητας συμπληρώνεται και παίρνει τελικά τη μορφή:
Πίνακας 7.4: Πίνακας ANOVA
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
k−1
SST
M ST
Σφάλμα
n−k
SSE
M SE
–
Ολική
n−1
SST O
–
–
F
Άθροισμα
Τετραγώνων
M ST H0
∼
M SE
Fk−1,n−k
Από τα παραπάνω είναι προφανές ότι αν η μηδενική υπόθεση είναι αληθής, τότε το πρότυπο παίρνει τη μορφή:
yij = µ + ϵij
για κάθε επίπεδο i, που σημαίνει ότι δεν υπάρχει διαφοροποίηση μεταξύ των πληθυσμών, και άρα η συνολική
μεταβλητότητα των δεδομένων αποδίδεται αποκλειστικά σε τυχαία σφάλματα, και άρα οι πληθυσμοί δεν διαφέρουν μεταξύ τους. Αντίθετα, όταν η μηδενική υπόθεση δεν είναι αληθής, τότε κάποιες τουλάχιστον από τις
επιδράσεις αi δεν είναι μηδέν (κάποιες μπορεί να είναι, αλλά δεν είναι όλες) και όλοι οι πληθυσμοί δεν είναι
ίσοι.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
139
Παράδειγμα 7.5. Ο πιο κάτω πίνακας αφορά τα δεδομένα του Παραδείγματος 7.4, όπου έχουν συμπληρωθεί στην
τελευταία γραμμή οι σχετικοί εκτιμητές, όπου µ̂A = ȳ1. = 10/6 = 1.677, µ̂B = ȳ2. = 17/6 = 2.833,
µ̂Γ = ȳ3. = 22/6 = 3.667, µ̂∆ = ȳ4. = 24/6 = 4.000 οι εκτιμητές των μέσων των τεσσάρων πληθυσμών
(γραμμών παραγωγής) Α, Β, Γ και Δ. Τέλος, αθροίζοντας όλες τις μετρήσεις και διαιρώντας με το σύνολο των
μετρήσεων, έχουμε την εκτιμήτρια του ολικού μέσου µ: µ̂ = ȳ.. = 73/24. Ο Πίνακας ANOVA με τη χρήση του
Minitab δίνεται στη συνέχεια (Πίνακας 7.6).
Πίνακας 7.5: Παράδειγμα - Δεδομένα σύγκρισης 4 γραμμών παραγωγής
Α
Β
Γ
Δ
2
1
5
2
1
3
4
3
3
2
4
5
1
3
4
5
1
4
3
4
2
4
2
5
10/6
17/6
22/6
24/6
Πίνακας 7.6: Πίνακας ANOVA - Δεδομένα σύγκρισης 4 γραμμών παραγωγής
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
k−1=3
SST = 19.46
M ST = 6.486
Σφάλμα
n − k = 20
SSE = 23.5
M SE = 1.175
–
Ολική
n − 1 = 23
SST O = 42.96
–
–
F
Άθροισμα
Τετραγώνων
M ST
M SE
= 5.52
Είναι εύκολο να διαπιστωθεί ότι η p-value για τον έλεγχο:
H0 : α1 = α2 = ... = αk = 0
vs
H1 : Όχι όλα τα αi , i = 1, ..., k, ίσα με 0
που προκύπτει από την κατανομή F , με k − 1 = 3 και n − k = 20 β.ε., ισούται με 0.006. Με βάση αυτή την
τιμή, διαπιστώνεται ότι η μηδενική υπόθεση δεν γίνεται δεκτή (στα συνήθη επίπεδα εμπιστοσύνης 1%, 5% και
10%) και άρα οι μέσες τιμές στις τέσσερις γραμμές παραγωγής δεν είναι (όλες) ίσες. Γνωρίζοντας ήδη τους εκτιμητές των μέσων τιμών, βλέπουμε ότι οι γραμμές Α και Β έχουν σημαντικά χαμηλότερες τιμές (1.667 και 2.833)
από ότι οι γραμμές Γ και Δ (3.667 και 4). Λαμβάνοντας υπόψη τις τιμές αυτές, καθώς και ότι ο έλεγχος έδειξε
ότι δεν είναι όλοι οι μέσοι ίσοι, μπορούμε να υποθέσουμε ότι η γραμμή Α πρέπει να διαφέρει από τις άλλες, ενώ
οι γραμμές Γ και Δ φαίνονται να είναι αρκετά κοντά και ενδέχεται η παρατηρούμενη διαφορά τους να μην είναι
αρκετή ώστε να θεωρηθεί ως στατιστικώς σημαντική (σε αυτήν την περίπτωση ο Ερευνητής θα πρέπει να δεχτεί
ότι οι πραγματικές και άγνωστες τιμές των μέσων των γραμμών Γ και Δ, είναι ίσες). Στην περίπτωση που γίνεται
δεκτή η εναλλακτική υπόθεση, ο Ερευνητής μπορεί (και ενδείκνυται) να προχωρήσει σε Πολλαπλές Συγκρίσεις,
τις οποίες θα δούμε στη συνέχεια.
140
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Επίσης, θα πρέπει να σημειωθεί ότι η εκτιμήτρια της διασποράς σ 2 του προτύπου υπολογίζεται στον Πίνακα
ANOVA και ισούται με σ̂ 2 = M SE = 1.175 (η αμεροληψία έχει δειχθεί στην Πρόταση 2.6). Όσον αφορά
τη συνολική μεταβλητότητα του προβλήματος που ανέρχεται σε SST O = 42.96 μονάδες, διαπιστώνεται ότι η
μεταβλητότητα που παραμένει ανερμήνευτη είναι ίση με SSE = 23.5 μονάδες, που θεωρείται αρκετά μεγάλη
(αντιστοιχεί σε 50%+ της SST O). Ένα ενδεχόμενο που θα μπορούσε να ερευνήσει ο υπεύθυνος ποιότητας της
επιχείρησης, είναι πέρα από τη γραμμή παραγωγής, να υπάρχουν κι άλλοι παράγοντες που να παίζουν ρόλο (και άρα
να μπορούν να δικαιολογήσουν κάποιο ποσοστό από αυτή την ανερμήνευτη μεταβλητότητα), όπως η απασχόληση
διαφορετικών χειριστών στις 4 γραμμές παραγωγής, ο βαθμός παλαιότητας (π.χ. έτος κατασκευής και εφαρμοζόμενη τεχνολογία) και η συντηρησιμότητα των 4 μηχανών, οι διαφορετικές κλιματολογικές συνθήκες λειτουργίας
(θερμοκρασία και επίπεδο υγρασίας) ή ακόμα και η χρήση διαφορετικών πρώτων υλών στις 4 γραμμές.
Κλείνοντας αυτή την ενότητα, θα αναφερθούμε στο Kruskal-Wallis test, το οποίο χρησιμοποιείται όταν δεν
ικανοποιείται η πρώτη από τις βασικές υποθέσεις του Απόλυτα Τυχαιοποιημένου Σχεδιασμού, δηλαδή αυτή
της κανονικότητας. Στις περιπτώσεις που δεν είναι γνωστό ή δεν μπορεί να επιβεβαιωθεί ότι οι παρατηρήσεις
ακολουθούν κανονική κατανομή, μπορεί να χρησιμοποιηθεί ένας μη παραμετρικός έλεγχος, το Kruskal-Wallis
test για τον έλεγχο της ισότητας των μέσων. Η ελεγχοσυνάρτηση του ελέγχου είναι η:
k
X
12
Ri2
K −W =
− 3 (n + 1) ,
n (n + 1) i=1 ni
i = 1, ..., k,
(7.7)
όπου Ri = άθροισμα των τάξεων των παρατηρήσεων του i πληθυσμού.
Το χωρίο απόρριψης της υπόθεσης της ισότητας των μέσων, με βάση την ελεγχοσυνάρτηση στην (7.7), είναι
το εξής:
K − W ≥ χ2k−1;α ,
όπου χ2k−1;α το 100(1 − α)% ποσοστημόριο της χ2 κατανομής με k − 1 βαθμούς ελευθερίας (β.ε.). Η
μέθοδος Kruskal-Wallis αναπτύσσεται διεξοδικά στο Κεφάλαιο 10.
7.4.1.2 Διαστήματα εμπιστοσύνης
Εάν θέλουμε να κατασκευάσουμε ένα διάστημα εμπιστοσύνης για τη διαφορά των μέσων 2 από τους k πληθυσμούς, έστω i1 και i2 , μπορούμε να χρησιμοποιήσουμε τις πιο κάτω σχέσεις (από το Κεντρικό Οριακό Θεώρημα, ΚΟΘ) αναφορικά με τις τυχαίες μεταβλητές ȳi1 και ȳi2 που αντιπροσωπεύουν τους δειγματικούς
μέσους των ανεξάρτητων πληθυσμών i1 και i2 :
µ̂i1 = Ȳi1 . = ȳi1 . ∼ N µi1 , σ 2 /ni1
και
µ̂i2 = Ȳi2 . = ȳi2 . ∼ N µi2 , σ 2 /ni2 .
Κατά συνέπεια,
Z=
(ȳi1 . − ȳi2 . ) − (µi1 − µi2 )
q
∼ N (0, 1) .
σ n1i + n1i
1
(7.8)
2
Όμως, στην περίπτωση (η οποία είναι η συνηθέστερη) όπου το σ είναι άγνωστο, αντικαθίσταται στην (7.8)
αυτό, από τον (αμερόληπτο) εκτιμητή του (Πρόταση 2.6):
σ̂ = s =
√
s
M SE =
SSE
n−k
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
141
και έτσι η (7.8) μετατρέπεται σε:
T =
(ȳi1 . − ȳi2 . ) − (µi1 − µi2 )
q
∼ tn−k .
s n1i + n1i
1
(7.9)
2
Βασιζόμενοι στην (7.9) μπορούμε να προβούμε στη μελέτη υποθέσεων σχετικά με τη σύγκριση των δύο μέσων, δηλαδή για τη διαφορά µi1 − µi2 = δ με πιο κλασική τη μελέτη για δ = 0, δηλαδή της μηδενικής
υπόθεσης H0 : µi1 − µi2 = 0 κάτω από την οποία η (7.9) απλουστεύεται:
T =
(ȳi1 . − ȳi2 . ) − 0
q
∼ tn−k .
s n1i + n1i
1
2
Βασιζόμενοι στην (7.9), ένα 100(1 − α)% διάστημα εμπιστοσύνης για τη διαφορά των μέσων µi1 − µi2 ,
δίνεται από τον τύπο:
s
1
1
ȳi1 . − ȳi2 . ± tn−k;α/2 s
+
.
(7.10)
ni1 ni2
Τα πιο πάνω διαστήματα εμπιστοσύνης μπορούν να αξιοποιηθούν για τον έλεγχο της κλασικής υπόθεσης για
δ = 0, δηλαδή για να διερευνηθεί κατά πόσον οι μέσοι των δύο εμπλεκόμενων πληθυσμών (επιπέδων) είναι
ίσοι ή όχι:
H0 : µi1 − µi2 = δ = 0 ή H0 : µi1 = µi2 .
Συγκεκριμένα, αν για συγκεκριμένη τιμή του επιπέδου α, η τιμή μηδέν (0) περιλαμβάνεται στο αντίστοιχο
100(1 − α)% διάστημα εμπιστοσύνης, τότε οι δύο μέσοι είναι ίσοι, ενώ αν το μηδέν δεν περιλαμβάνεται τότε
οι μέσοι δεν είναι ίσοι για το συγκεκριμένο επίπεδο α.
Ο τύπος (7.10) ισχύει για οποιουσδήποτε δύο μέσους, οποιωνδήποτε δύο από τους k πληθυσμούς. Ας υποθέσουμε λοιπόν ότι έχουμε 3 πληθυσμούς, με μέσους µ1 , µ2 και µ3 , αντίστοιχα. Τότε, μπορούμε να κατασκευάσουμε 3 διαστήματα εμπιστοσύνης για τις διαφορές µ1 − µ2 , µ1 − µ3 και µ2 − µ3 , με το καθένα να
έχει σφάλμα α. Όμως, ενώ το καθένα από τα τρία αυτά διαστήματα θα έχει το επιθυμητό επίπεδο εμπιστοσύνης 100(1 − α)%, το σφάλμα και των τριών μαζί θα υπερβαίνει το σύνηθες α. Εάν επιθυμούμε το συνολικό
σφάλμα όλων των διαστημάτων να μην υπερβαίνει το α, μπορούμε να χρησιμοποιήσουμε τα «Πολλαπλά Διαστήματα Εμπιστοσύνης» ή τις «Πολλαπλές Συγκρίσεις».
Σημειώνεται ότι στην περίπτωση που ζητείται η κατασκευή ενός 100(1 − α)% διαστήματος εμπιστοσύνης
για τον μέσο ενός πληθυσμού, έστω του πληθυσμού i, αυτό δίνεται από τον τύπο:
s
ȳi. ± tn−k;α/2 s
1
.
ni
(7.11)
Αξίζει να τονιστεί ότι αν και το διάστημα αφορά αποκλειστικά τον μέσο του πληθυσμού i, η εκτιμήτρια της
διασποράς σ 2 βασίζεται στο σύνολο των δεδομένων, αφού για την κοινή διασπορά των πληθυσμών διατίθενται
πληροφορίες από όλες τις μετρήσεις, ανεξαρτήτως πληθυσμού.
Παράδειγμα 7.6. Να δοθεί ο πίνακας ANOVA, καθώς και να εφαρμοστεί ο έλεγχος (α = 5%) για τη σύγκριση
των μέσων τριών πληθυσμών/θεραπειών από τους οποίους τα παρακάτω δείγματα έχουνε επιλεχθεί τυχαία:
Πίνακας 7.7: Πίνακας Δεδομένων - 3 πληθυσμοί
Θεραπεία 1
19, 18, 21, 18
Θεραπεία 2
16, 11, 13, 14, 11
Θεραπεία 3
13, 16, 18, 11, 15, 11
142
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Λύση
Χρησιμοποιώντας τους τύπους του παρόντος κεφαλαίου έχουμε:
ȳ1. =
19+18+21+18
4
ȳ2. =
16+11+13+14+11
5
ȳ3. =
13+16+18+11+15+11
6
= 14,
ȳ.. =
n1 ȳ1. +n2 ȳ2. +n3 ȳ3.
15
ȳ1. +ȳ2. +ȳ3.
3
= 19,
= 13,
=
= 15.
Επιπλέον,
SST =
k
X
ni (ȳi. − ȳ.. )2 = n1 (ȳ1. − ȳ.. )2 + n2 (ȳ2. − ȳ.. )2 + n3 (ȳ3. − ȳ.. )2
i=1
= 4 (19 − 15)2 + 5 (13 − 15)2 + 6 (14 − 15)2 = 90,
και
SSE =
ni
k X
X
(yij − ȳi. ) =
2
i=1 j=1
n
4
X
(y1j − ȳ1. ) +
2
j=1
5
X
(y2j − ȳ2. ) +
2
j=1
= (19 − 19) + (18 − 19) + (21 − 19) + (18 − 19)
2
2
2
2
o
6
X
(y3j − ȳ3. )2
j=1
n
+ (16 − 13)2 + (11 − 13)2 + (13 − 13)2 + (14 − 13)2 + (11 − 13)2
o
n
o
+ (13 − 14)2 + (16 − 14)2 + (18 − 14)2 + (11 − 14)2 + (15 − 14)2 + (11 − 14)2 = 64.
Είναι γνωστό ότι:
SST O = SST + SSE = 90 + 64 = 154.
Βάσει των παραπάνω, μπορεί πλέον να κατασκευαστεί ο Πίνακας ANOVA με σκοπό την εφαρμογή του αντίστοιχου
F − test για τη σύγκριση των τριών μέσων.
H0 : µ1 = µ2 = µ3 ≡ µ
vs
H1 : Τουλάχιστον ένα από τα µi , i = 1, 2, 3, διαφορετικό.
Πίνακας 7.8: Πίνακας ANOVA - 3 πληθυσμοί
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
k−1=2
SST = 90
M ST = 45
Σφάλμα
n − k = 12
SSE = 64
M SE = 5.33
–
Ολική
n − 1 = 14
SST O = 154
–
–
Αφού:
F
Άθροισμα
Τετραγώνων
M ST
M SE
= 8.438
F = 8.438 > 3.89 = F2,12;0.05 ,
απορρίπτεται η H0 σε επίπεδο σημαντικότητας α = 5%, και άρα οι μέσοι των τριών θεραπειών διαφέρουν.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
143
7.4.2 Πρότυπο τυχαίων επιδράσεων
Η ανάγκη μελέτης τυχαίων επιδράσεων προκύπτει στις περιπτώσεις όπου, ενώ ο Ερευνητής έχει να μελετήσει
πληθώρα διαφορετικών επιπέδων (πληθυσμών), χρονικοί ή/και οικονομικοί περιορισμοί δεν του το επιτρέπουν. Στις περιπτώσεις αυτές είναι δυνατόν να μελετηθεί ένας περιορισμένος αριθμός επιπέδων (πληθυσμών)
τα οποία όμως απαιτείται να επιλεχτούν από την πληθώρα των διαθέσιμων επιπέδων με τυχαίο τρόπο. Στην περίπτωση αυτή, το πρόβλημα επιλύεται με την αξιοποίηση του προτύπου τυχαίων επιδράσεων. Αν και η επίλυση
του προβλήματος δεν διαφέρει από την επίλυση του προβλήματος των σταθερών επιδράσεων, ο μηχανισμός
του προβλήματος είναι τελείως διαφορετικός, αφού στις σταθερές επιδράσεις εξετάζεται η μέση τιμή (των επιπέδων), ενώ στις τυχαίες επιδράσεις εξετάζεται η μεταβλητότητα.
Η εναλλακτική γραφή του προτύπου, με τη βοήθεια των παραμέτρων (επιδράσεων) αi , επιτρέπει να γίνουν
ευκολότερα κατανοητές και να περιγραφούν αποτελεσματικότερα οι επιδράσεις στις περιπτώσεις σταθερού
και τυχαίου παράγοντα. Στην περίπτωση τυχαίων επιδράσεων του εμπλεκόμενου παράγοντα, το πρότυπο δίνεται και πάλι από τον τύπο:
yij = µ + αi + ϵij ,
i = 1, ..., k,
j = 1, ..., ni ,
(7.12)
όπου µ ο ολικός μέσος, αi η επίδραση του i επιπέδου του παράγοντα που αποτελεί τυχαία μεταβλητή, τέτοια
i.i.d.
ώστε αi ∼ N (0, σα2 ), ϵij ∼ N (0, σ 2 ) και αi και ϵi είναι ανεξάρτητες τυχαίες μεταβλητές. Με βάση τις
κατανομές των αi και ϵij , είναι προφανές ότι:
Yij ∼N µ, σ 2 + σα2
και άρα:
E (Yij ) = µ ∀i, j
& V ar (Yij ) = σ 2 + σα2 ,
όπου σ 2 και σα2 ονομάζονται συνιστώσες διασποράς.
Από τα προηγούμενα προκύπτει ότι αν σα2 = 0 τότε όλες οι θεραπείες είναι ίδιες και η διασπορά θα ισούται
μόνο με σ 2 , ενώ αν σα2 > 0 υπάρχει μεταβλητότητα μεταξύ των θεραπειών και η διασπορά θα είναι μεγαλύτερη από σ 2 . Έτσι, στην περίπτωση του προτύπου τυχαίων επιδράσεων, ο επιθυμητός έλεγχος για ίδιες ή μη
θεραπείες, είναι:
H0 : σα2 = 0 vs H1 : σα2 > 0.
(7.13)
Σημειώνεται ότι οι τύποι του μοντέλου σταθερών επιδράσεων για τα αθροίσματα τετραγώνων (SST , SSE),
τα μέσα τετραγωνικά αθροίσματα (M ST , M SE), την ολική μεταβλητότητα (SST O) και τους β.ε., εξακολουθούν να ισχύουν ως έχουν. Στη συγκεκριμένη περίπτωση, και για το μέσο τετραγωνικό άθροισμα M ST ,
ισχύει ότι [22]:
(7.14)
E (M ST ) = σ 2 + n0 σα2 ,
P
όπου n0 = (n (k − 1))−1 ∗ (n2 − n2i ). Λαμβάνοντας υπόψη τα πιο πάνω, και το γεγονός ότι το M SE
είναι (αμερόληπτος) εκτιμητής του σ 2 , δηλαδή E (M SE) = σ 2 (Πρόταση 2.6), αναμένεται ότι το κλάσμα:
F =
M ST
M SE
(7.15)
θα είναι κοντά στη μονάδα όταν η H0 ισχύει (αφού αριθμητής και παρονομαστής θα είναι και οι δύο, κοντά
στο σ 2 ), ενώ θα είναι μεγαλύτερο της μονάδας όταν η H1 ισχύει, οπότε το σα2 > 0 (και άρα ο αριθμητής
αναμένεται να είναι μεγαλύτερος από τον παρονομαστή). Συμπερασματικά, η μελέτη για την περίπτωση των
τυχαίων επιδράσεων ταυτίζεται με αυτή των σταθερών επιδράσεων και βασίζεται στον Πίνακα ANOVA που
δίνεται στη συνέχεια. Θα πρέπει να παρατηρηθεί ότι αν η μηδενική υπόθεση γίνει δεκτή και δηλαδή σα2 = 0,
144
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
τότε τόσο η μέση τιμή όσο και η διασπορά του αi (για κάθε i) είναι μηδέν και κατά συνέπεια, το αi παύει να
αποτελεί τυχαία μεταβλητή και εκφυλίζεται σε μία και μοναδική τιμή, το μηδέν, με αποτέλεσμα να έχουμε:
yij = µ + ϵi
με σταθερή μέση τιμή (E (Yij ) = µ) και σταθερή διασπορά (V ar (Yij ) = σ 2 ), για όλα τα επίπεδα.
Για την εκτίμηση των συνιστωσών διασποράς, υπενθυμίζεται ότι η εκτιμήτρια του σ 2 είναι ίση με M SE και
δίνεται στον Πίνακα ANOVA. Όσο για την εκτιμήτρια του σα2 , αυτή μπορεί εύκολα να εξαχθεί από τη σχέση
(7.14):
M ST − M SE
M ST ∼ M SE + n0 σ̂α2 → σ̂α2 =
,
n0
όπου οι δειγματικές τιμές των M ST και M SE έχουν χρησιμοποιηθεί ως οι δειγματικές εκτιμήτριες που αντιστοιχούν στις ποσότητες E (M ST ) και E (M SE) ≡ σ 2 . Στην ακραία περίπτωση που η εκτιμήτρια του σα2
τύχει να είναι αρνητική (και άρα μη αποδεκτή), θεωρούμε ότι είναι μηδέν και θέτουμε σ̂α2 = 0. Ένα τέτοιο ενδεχόμενο υποδηλώνει είτε ότι η συγκεκριμένη μέθοδος εκτίμησης δεν είναι η ιδανικότερη είτε ότι το πρότυπο
που έχει χρησιμοποιηθεί δεν είναι το ενδεδειγμένο και θα πρέπει να διερευνηθεί από τον Ερευνητή κάποιο
εναλλακτικό πρότυπο. Αν και η μελέτη είναι ίδια είτε οι επιδράσεις είναι σταθερές είτε τυχαίες, ο μηχανισμός
με τον οποίο λειτουργούν οι δύο περιπτώσεις είναι διαφορετικός. Πράγματι, στην περίπτωση των σταθερών
επιδράσεων εξετάζουμε κατά πόσο οι μέσες τιμές των πληθυσμών (θεραπειών) είναι ίσες ή όχι (ενώ η μεταβλητότητα είναι σταθερή και ίση με σ 2 , μεταξύ των πληθυσμών), ενώ στην περίπτωση των τυχαίων επιδράσεων
ισχύει το αντίστροφο, δηλαδή οι μέσες τιμές είναι ίδιες μεταξύ των πληθυσμών αλλά αυτό που εξετάζεται είναι
αν η μεταβλητότητα είναι σταθερή (ίση με σ 2 ) ή όχι.
7.5 Μελέτη πολλαπλών συγκρίσεων
Όταν ο έλεγχος ισότητας των μέσων καταλήγει στο συμπέρασμα ότι οι μέσοι δεν είναι όλοι ίσοι, δηλαδή στην
περίπτωση που γίνεται δεκτή η εναλλακτική υπόθεση, ο Ερευνητής μπορεί (και ενδείκνυται) να προχωρήσει σε Πολλαπλές Συγκρίσεις, (Multiple Comparisons) όπου για όλες τις συγκρίσεις ανά δύο, το συνολικό
σφάλμα να μην υπερβαίνει ένα προκαθορισμένο επίπεδο α ή διαφορετικά το συνολικό επίπεδο εμπιστοσύνης
να μην είναι χαμηλότερο από έναν προκαθορισμένο συντελεστή εμπιστοσύνης 100(1 − α)%.
Αν και ο τύπος (7.10) ισχύει για οποιουσδήποτε δύο μέσους, οποιωνδήποτε δύο από τους k πληθυσμούς, η
εφαρμογή του για περισσότερες από μία συγκρίσεις δεν εξασφαλίζει το επιθυμητό επίπεδο σφάλματος. Πράγματι, ας υποθέσουμε ότι έχουμε τρεις πληθυσμούς, με μέσους µ1 , µ2 και µ3 , αντίστοιχα. Τότε μπορούμε να
κατασκευάσουμε τρία διαστήματα εμπιστοσύνης για τις διαφορές µ1 − µ2 , µ1 − µ3 και µ2 − µ3 με το
καθένα να έχει σφάλμα α. Όμως, ενώ το καθένα από τα τρία αυτά διαστήματα θα έχει επίπεδο εμπιστοσύνης
100(1−α)%, το σφάλμα και των τριών μαζί θα υπερβαίνει το σύνηθες α, ενώ το συνολικό επίπεδο εμπιστοσύνης θα υπολείπεται του επιθυμητού 100(1−α)%. Ο μόνος τρόπος για την επίτευξη του επιθυμητού επιπέδου
ταυτόχρονα για όλα τα διαστήματα, είναι η εφαρμογή της μεθόδου των Πολλαπλών Συγκρίσεων. Ουσιαστικά
πρόκειται για αποτελεσματικές μεθόδους εύρεσης ταυτόχρονων διαστημάτων οι οποίες αναγκαστικά οδηγούν
σε πλατύτερα διαστήματα αλλά εξασφαλίζουν συγκεκριμένο επίπεδο εμπιστοσύνης, ταυτόχρονα για όλα τα
διαστήματα. Στην ενότητα αυτή θα συζητηθούν τα διαστήματα Bonferroni, τα διαστήματα Tukey και τέλος,
τα διαστήματα Dunnett.
7.5.1 Διαστήματα Fisher LSD
Πριν παρουσιαστεί η μέθοδος Πολλαπλών Συγκρίσεων, θα αναφερθεί σύντομα η μέθοδος Least Significant
Difference (LSD) η οποία προτάθηκε από τον Fisher [20] και βασίζεται στα κλασικά διαστήματα εμπιστο-
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
145
σύνης (βλ. σχέση (7.10)). Έστω το δεξί μέρος της σχέσης (7.10):
s
LSD = tn−k;α/2 s
1
1
+
.
ni1 ni2
Η μέθοδος Fisher LSD βασίζεται στο γεγονός ότι αν το μηδέν ανήκει σε ένα διάστημα, τότε οι δύο εμπλεκόμενοι μέσοι δεν διαφέρουν, ενώ αν δεν ανήκει, τότε (για το συγκεκριμένο επίπεδο α) διαφέρουν. Για να
συμβαίνει το πρώτο (δηλαδή να ανήκει το μηδέν), θα πρέπει το αριστερό μέρος της σχέσης (7.10), δηλαδή η
διαφορά των δειγματικών μέσων, να είναι μικρότερο (κατά απόλυτη τιμή) από το δεξί (δηλαδή την ποσότητα
LSD πιο πάνω), ενώ αν είναι μεγαλύτερο (κατά απόλυτη τιμή) τότε οι συγκεκριμένοι δύο μέσοι είναι άνισοι (διαφέρουν). Ο Fisher πρότεινε τον καθορισμό της ποσότητας LSD που βασίζεται στην εκτίμηση της
διασποράς σ 2 , στα μεγέθη των δειγμάτων των δύο εμπλεκόμενων θεραπειών και στην κατανομή t με n − k
βαθμούς ελευθερίας. Στη συνέχεια, μπορεί να υπολογιστεί η απόλυτη τιμή (για τη σωστή σύγκριση) της
διαφοράς των δειγματικών μέσων οποιωνδήποτε δύο θεραπειών και να διαπιστωθεί οπτικά αν είναι ή όχι μεγαλύτερη από την αντίστοιχη ποσότητα LSD. Σημειώνεται ότι η ποσότητα LSD θα πρέπει να υπολογίζεται
κάθε φορά εφόσον τα μεγέθη των δειγμάτων διαφέρουν (η ποσότητα πριν τη ρίζα είναι κοινή για οποιαδήποτε σύγκριση δύο μέσων). Στην περίπτωση που όλα τα δείγματα έχουν ίδιο μέγεθος (n/k), η διαδικασία
απλοποιείται, αφού η τιμή του LSD είναι κοινή για όλες τις συγκρίσεις:
s
LSD = tn−k;α/2 s
2
.
n/k
7.5.2 Διαστήματα Bonferroni
Έστω ότι θέλουμε να κατασκευάσουμε m διαστήματα εμπιστοσύνης για τα οποία η πιθανότητα να είναι όλα
μαζί αληθή να είναι 1 − α (επίπεδο εμπιστοσύνης) ή διαφορετικά να έχουμε για m διαστήματα εμπιστοσύνης
ταυτόχρονο επίπεδο εμπιστοσύνης 100(1 − α)% . Για να επιτευχθεί αυτό, θα επιδιώξουμε καθένα διάστημα
να έχει σφάλμα ίσο με α/m, ώστε όλα μαζί (αθροιστικά) να έχουν σφάλμα α. Tα διαστήματα αυτά είναι
γνωστά ως διαστήματα Bonferroni. Το διάστημα εμπιστοσύνης για καθεμία από τις παραπάνω m συγκρίσεις/διαφορές, ανά δύο, θα είναι:
s
α s
ȳi1 . − ȳi2 . ± tn−k; 2m
1
1
+
,
ni1 ni2
i = 1, ..., k,
με i1 , i2 να είναι οι δείκτες των πληθυσμών/θεραπειών μίας εκ των m διαφορών.
7.5.3 Διαστήματα Tukey
Η μέθοδος Tukey προτάθηκε για την κατασκευή όλων των δυνατών συγκρίσεων των μέσων ανά δύο, δηλαδή
k(k − 1)/2 συγκρίσεων ανά δύο, με ταυτόχρονο επίπεδο εμπιστοσύνης 100(1 − α)%. Η τεχνική βασίζεται
στο τυποποιημένο εύρος qk,n−k , η κατανομή του οποίου έχει μελετηθεί από τον Tukey [26] ο οποίος έχει
προβεί και στην πινακοποίηση των ποσοστημορίων qk,n−k;α της σχετικής κατανομής για διαστήματα εμπιστοσύνης 90%, 95% και 99%, δηλαδή για τιμές του α ίσες με 0.1, 0.05 και 0.01.
Ο τύπος των ταυτόχρονων διαστημάτων Tukey δεν διαφέρει στη φιλοσοφία του από τον τύπο των κλασικών διαστημάτων, όπως δίνονται από τη σχέση (7.10). Έτσι, τα διαστήματα εμπιστοσύνης για τις διαφορές
µi1 − µi2 , με ταυτόχρονο επίπεδο εμπιστοσύνης για όλες τις k (k − 1) /2 διαφορές των μέσων ανά δύο,
τουλάχιστον ίσο προς 100(1 − α)%, δίνονται από τον τύπο:
s
qk,n−k;α
1
1
ȳi1 . − ȳi2 . ± √ s
+
.
ni1 ni2
2
(7.16)
146
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Στην ειδική περίπτωση όπου τα μεγέθη των δειγμάτων είναι όλα ίσα, δηλαδή ni = n/k, το ταυτόχρονο
επίπεδο εμπιστοσύνης είναι ακριβώς ίσο με 100(1 − α)%), ενώ ο τύπος απλοποιείται ως εξής:
s
ȳi1 . − ȳi2 . ± qk,n−k;α s
1
.
n/k
(7.17)
7.5.4 Διαστήματα Dunnett
Η μέθοδος Dunnett χρησιμοποιείται όταν ένας πληθυσμός (ή μια θεραπεία) θεωρείται ως ένα δοκιμασμένο
σύνολο, ως ένα gold standard που συνήθως αναφέρεται με τον όρο δοκιμασία ελέγχου (control), και ο Ερευνητής χρειάζεται να μελετήσει κατά πόσον οι λοιπές k − 1 θεραπείες είναι ισοδύναμες με τη δοκιμασία ελέγχου.
Συγκεκριμένα, τον Ερευνητή τον ενδιαφέρει να εντοπίσει μήπως υπάρχει κάποια θεραπεία (από τις υπόλοιπες
k − 1) που υπολείπεται της δοκιμασίας ελέγχου. Προφανώς, στην περίπτωση αυτή, δεν ενδιαφέρει η μελέτη
όλων των δυνατών διαφορών ανά δύο, αλλά μόνο των διαφορών της δοκιμασίας ελέγχου με καθεμία από τις
υπόλοιπες k − 1 θεραπείες. Άρα, η μελέτη επικεντρώνεται σε k − 1 συγκρίσεις και τα σχετικά διαστήματα
γνωστά ως διαστήματα Dunnett [16, 17] δίνονται από τον τύπο:
s
ȳj. − ȳ1. ± dk−1,n−k;α s
1
1
+ , j = 2, 3, ..., k,
nj n1
(7.18)
όπου για σκοπούς απλοποίησης η δοκιμασία ελέγχου θεωρείται ότι είναι η 1η θεραπεία και για αυτό όλες οι
υπόλοιπες θεραπείες για j = 2, 3, ..., k συγκρίνονται με την 1η θεραπεία. Ο Dunnett έχει πινακοποιήσει τα
ποσοστημόρια dk−1,n−k;α της κατανομής dk−1,n−k που βασίζονται στις τιμές των α, k και n − k.
Τα διαστήματα Dunnett μπορούν να χρησιμοποιηθούν για τη μελέτη των ελέγχων για τη σύγκριση του μέσου
της θεραπείας j = 2, 3, ..., k με τον μέσο µ1 της δοκιμασίας ελέγχου. Έτσι ο έλεγχος:
H0 : µj − µ1 = 0, j = 2, ..., k
γίνεται δεκτός (στο αντίστοιχο επίπεδο σημαντικότητας) αν η τιμή μηδέν (0) περιλαμβάνεται στο πιο πάνω
διάστημα, αλλιώς απορρίπτεται.
Η μέθοδος θα πρέπει να προτιμάται όταν υπάρχει η ανάγκη σύγκρισης με μια δοκιμασία ελέγχου, επειδή τα
διαστήματα που προκύπτουν είναι στενότερα και άρα προτιμότερα από τα αντίστοιχα της μεθόδου Tukey.
Παράδειγμα 7.7. Όσον αφορά τα 95% πολλαπλά διαστήματα εμπιστοσύνης για τις διαφορές µ1 − µ2 , µ1 − µ3 ,
µ2 − µ3 του παραδείγματος 7.6, αφού m = k = 3, n − k = 12 και α/2m = 0.05/6 = 0.00833, τότε
από τους πίνακες της κατανομής t (t12;0.00833 = 2.779) έχουμε τα εξής Bonferroni διαστήματα εμπιστοσύνης,
με συνολικό επίπεδο εμπιστοσύνης 95%:

s

s

s

1 1
+
µ1 − µ2 : 19 − 13 ± 2.779.2.31
4 5

1 1
µ1 − µ3 : 19 − 14 ± 2.779.2.31
+
4 6

1 1
µ2 − µ3 : 13 − 14 ± 2.779.2.31
+
.
5 6
Σημειώνεται ότι αν ο Ερευνητής είχε επιλέξει να κατασκευάσει διαστήματα που το καθένα θα είχε επίπεδο εμπιστοσύνης 95%, τότε το ποσοστιαίο σημείο της t κατανομής θα ήταν t12;0.05 = 1.782 αντί t12;0.05/3 = 2.779, και
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
147
θα οδηγούσε σε στενότερα διαστήματα που όμως δεν θα εξασφάλιζαν ταυτόχρονο επίπεδο εμπιστοσύνης τουλάχιστον ίσο με 95%. Τα συγκεκριμένα διαστήματα είναι αυτά που σχετίζονται με τη μέθοδο Fisher LSD. Πράγματι,
η ποσότητα LSD για τη σύγκριση π.χ. των θεραπειών 2 και 3 είναι:
s
s
2
1 1
LSD = tn−k;α/2 s
= 1.782.2.31
+ ,
n/k
5 6
ενώ η διαφορά των αντίστοιχων δειγματικών μέσων είναι µ̂2 − µ̂3 = 13 − 14 = −1, έτσι ώστε να είναι φανερό
ότι δεν παρατηρείται διαφορά μεταξύ των συγκεκριμένων θεραπειών. Από τη στιγμή όμως που έχει αποδειχτεί
ότι υπάρχει διαφορά μεταξύ των τριών θεραπειών, αυτή θα πρέπει αναγκαστικά να σχετίζεται με τη θεραπεία 1,
αφού οι διαφορές των δειγματικών μέσων μεταξύ της θεραπείας 1 και καθεμίας εκ των άλλων δύο θεραπειών είναι
µ̂1 − µ̂2 = 19 − 13 = 6 και µ̂1 − µ̂3 = 19 − 14 = 5. Ο Ερευνητής απαιτείται να το επιβεβαιώσει
υπολογίζοντας το αντίστοιχο LSD με μεγέθη δειγμάτων 4 και 5 (για τη σύγκριση των δύο πρώτων θεραπειών)
και 4 και 6 (για τη σύγκριση των θεραπειών 2 και 3), αντί των 5 και 6 που χρησιμοποιήθηκαν νωρίτερα για τον
υπολογισμό του LSD (για τη σύγκριση των θεραπειών 2 και 3).
Aπό την άλλη, αν ο Ερευνητής επιλέξει τα διαστήματα Tukey με ταυτόχρονο επίπεδο εμπιστοσύνης 95% (και για
τα τρία διαστήματα μαζί), τότε η μόνη διαφορά αφορά το ποσοστιαίο σημείο της εμπλεκόμενης κατανομής ώστε η
τιμή 2.779 (που αφορά την κατανομή t με n − k = 12 β.ε.) αντικαθίσταται από την τιμή q3,12;0.05 = 3.77 και
έτσι προκύπτουν τα πλατύτερα διαστήματα:

s

s

s

1 1
µ1 − µ2 : 19 − 13 ± 3.77.2.31
+
4 5

1 1
+
µ1 − µ3 : 19 − 14 ± 3.77.2.31
4 6

1 1
µ2 − µ3 : 13 − 14 ± 3.77.2.31
+
.
5 6
Τέλος, αν για σκοπούς εφαρμογής της μεθοδολογίας θεωρήσουμε ότι η δοκιμασία ελέγχου είναι η 3η , τότε τα δύο
διαστήματα Dunnett, δηλαδή µ1 − µ3 και µ2 − µ3 είναι:

s

s

1 1
µ1 − µ3 : 19 − 14 ± 2.50.2.31
+
4 6

1 1
µ2 − µ3 : 13 − 14 ± 2.50.2.31
+
,
5 6
από όπου είναι φανερή η συρρίκνωση των σχετικών διαστημάτων, αφού το ποσοστημόριο που καθορίζει το εύρος
του διαστήματος έχει μειωθεί από 3.77 για τα τρία διαστήματα Tukey, σε 2.779 για τα τρία διαστήματα Bonferroni,
και περαιτέρω σε 2.50 για τα δύο διαστήματα Dunnett.
7.6 Ανάλυση καταλοίπων
Σύμφωνα με τον ορισμό των προτύπων του παρόντος Κεφαλαίου, τα σφάλματα ϵij πρέπει να ικανοποιούν τις
εξής προϋποθέσεις:
• τα σφάλματα ακολουθούν την κανονική κατανομή,
148
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
• τα σφάλματα έχουν σταθερή διασπορά (ομοσκεδαστικότητα),
• τα σφάλματα είναι ανεξάρτητα,
i.i.d.
δηλαδή ϵij ∼ N (0, σ 2 ) .
Για τη διερεύνηση των προϋποθέσεων για τα σφάλματα, βασιζόμαστε στα κατάλοιπα (residuals) τα οποία
ορίστηκαν νωρίτερα στη σχέση (7.6):
ϵ̂ij = yij − ŷij = yij − ȳi. .
(7.19)
Επειδή οι τιμές των καταλοίπων είναι εκτιμητές των αντίστοιχων τυχαίων σφαλμάτων ϵij του προτύπου μονοπαραγοντικής ανάλυσης διασποράς, μπορούν να χρησιμοποιηθούν στη θέση των (άγνωστων) σφαλμάτων
για τη διερεύνηση των τριών πιο πάνω προϋποθέσεων κανονικότητας, ανεξαρτησίας και ομοσκεδαστικότητας. Σημειώνεται ότι οι τρεις συγκεκριμένες προϋποθέσεις ταυτίζονται με εκείνες της Γραμμικής Παλινδρόμησης (Ενότητα 4.1).
Η μελέτη των προϋποθέσεων μπορεί να επιτευχθεί αφενός μεν με γραφικές μεθόδους, αφετέρου δε, με στατιστικές τεχνικές.
7.6.1 Γραφικές μέθοδοι ανάλυσης καταλοίπων
Τα γραφικά των καταλοίπων για τους ελέγχους κανονικότητας, ανεξαρτησίας και ομοσκεδαστικότητας είναι
τα ακόλουθα:
• Το κανονικό διάγραμμα πιθανότητας (normal probability plot) χρησιμοποιείται για τη διερεύνηση
της κανονικότητας, όπως ακριβώς και στην περίπτωση της γραμμικής παλινδρόμησης (Ενότητα 4.3).
Εάν τα σημεία βρίσκονται αρκετά κοντά στη διαγώνιο του κανονικού διαγράμματος, η κανονικότητα
γίνεται αποδεκτή. Σημειώνεται ότι μικρές αποκλίσεις από την κανονικότητα δεν επηρεάζουν σημαντικά τη μεθοδολογία της ανάλυσης διακύμανσης και δεν αλλοιώνουν τα γενικά συμπεράσματα της
μελέτης. Για τον ίδιο σκοπό, μπορεί να χρησιμοποιηθεί και ένας πίνακας συχνοτήτων ή ένα ιστόγραμμα
των καταλοίπων.
• Το διάγραμμα καταλοίπων ως προς τη χρονική ακολουθία (σειρά) των μετρήσεων, δηλαδή ως προς
τον χρόνο, χρησιμοποιείται για τη διερεύνηση της ανεξαρτησίας (βλέπε και στην Ενότητα 4.4 την αντίστοιχη διερεύνηση στην περίπτωση της γραμμικής παλινδρόμησης). Εάν η χρονική αλληλουχία των
μετρήσεων δεν έχει καταγραφεί, ο Ερευνητής μπορεί να θεωρήσει ότι αυτές έγιναν με βάση τη σειρά
καταχώρισης των μετρήσεων στο αρχείο δεδομένων (database). Εάν τα σημεία βρίσκονται εντός ενός
νοητού οριζοντίου πλαισίου, η ανεξαρτησία γίνεται δεκτή. Αν όμως για παράδειγμα, όσο αυξάνεται ο
χρόνος τα σημεία αποκλίνουν όλο και περισσότερο από τον άξονα των X, τότε η ανεξαρτησία παραβιάζεται.
• Η υπόθεση της σταθερής διασποράς (ομοσκεδαστικότητας) μπορεί να μελετηθεί με το διάγραμμα
κουκκίδων των καταλοίπων ως προς τις τιμές ȳi. , δηλαδή των εκτιμώμενων τιμών ŷij . Για να ισχύει
η υπόθεση της ομοσκεδαστικότητας θα πρέπει το εύρος των καταλοίπων για καθεμία από τις k τιμές
ȳi. , να είναι παρόμοιο. Εάν υπάρχει κάποιου είδους εξάρτηση, αυτό σημαίνει ότι δεν θα έχουμε την ίδια
διασπορά σε κάθε πληθυσμό (επίπεδο i). Αυτό πρακτικά σημαίνει ότι αν υπολογιστεί η δειγματική διασπορά σε κάθε επίπεδο ξεχωριστά, οι τιμές που θα προκύψουν θα παρουσιάζουν σημαντικές διαφορές,
σε τέτοιο βαθμό που δεν θα μπορούν οι αντίστοιχες θεωρητικές διασπορές να θεωρηθούν (στατιστικά)
ίσες. Στη γραμμική παλινδρόμηση (Ενότητα 4.5) είχε χρησιμοποιηθεί το διάγραμμα των καταλοίπων
με τα xi , τα οποία αποτελούσαν τις τιμές της ανεξάρτητης μεταβλητής X, κάτι που στην ανάλυση
διακύμανσης δεν συμβαίνει, διότι εδώ ο εμπλεκόμενος παράγοντας λαμβάνει k διακριτές τιμές που
αντιπροσωπεύουν τα επίπεδα του παράγοντα.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
149
7.6.2 Στατιστικές μέθοδοι ανάλυσης καταλοίπων
Οι αντίστοιχες στατιστικές μέθοδοι για τη διερεύνηση των τριών προϋποθέσεων της μονοπαραγοντικής ανάλυσης διακύμανσης, είναι ο έλεγχος Anderson-Darling (A-D) ή ο έλεγχος Kolmogorov-Smirnov (K-S) ή
ακόμα και ο έλεγχος Shapiro-Wilk (S-W), για την κανονικότητα, ο απαραμετρικός έλεγχος των ροών (Runs
Test) για τον έλεγχο της ανεξαρτησίας και ο έλεγχος Bartlett ή ο έλεγχος Levene για τον έλεγχο της ομοσκεδαστικότητας.
7.6.2.1 Οι έλεγχοι A-D, K-S και S-W
Οι έλεγχοι Anderson-Darling, Kolmogorov-Smirnov και Shapiro-Wilk είναι παρόμοιοι έλεγχοι, με την έννοια ότι είναι και οι τρεις μη παραμετρικοί έλεγχοι, ενώ οι στατιστικές ελεγχοσυναρτήσεις τους βασίζονται
στην έννοια της απόστασης μεταξύ της εξεταζόμενης κατανομής (της κανονικής στην περίπτωση που εξετάζεται εδώ) και της κατανομής που φαίνεται να έχει παράξει τις συγκεκριμένες μετρήσεις/παρατηρήσεις. Η
κατανομή αυτή ονομάζεται Εμπειρική Συνάρτηση Κατανομής (Ορισμός 4.1) και μπορεί να θεωρηθεί ως μια
εκτίμηση της άγνωστης κατανομής των δεδομένων, ο υπολογισμός της οποίας γίνεται αξιοποιώντας τα διαθέσιμα δεδομένα. Αν η στατιστική ελεγχοσυνάρτηση, δηλαδή η απόσταση (όπως αυτή ορίζεται από τον έλεγχο
από τους πιο πάνω τρεις, που θα επιλέξει ο Ερευνητής) μεταξύ της εμπειρικής κατανομής (με βάση τα δεδομένα) και της εξεταζόμενης κατανομής (της κανονικής στην περίπτωσή μας) είναι πολύ μικρή, τότε η υπόθεση
της κανονικότητας γίνεται δεκτή, διαφορετικά απορρίπτεται. Άρα, τιμές της στατιστικής ελεγχοσυνάρτησης
κοντά στο μηδέν είναι υπέρ της κανονικότητας, κάτι που διαπιστώνεται από τη σχετική p-value του ελέγχου.
Οι λεπτομέρειες των συγκεκριμένων ελέγχων αναπτύσσονται στις Ενότητες 4.3.1-4.3.3.
7.6.2.2 Ο Wald-Wolfowitz έλεγχος των ροών
Για την παρουσίαση του ελέγχου των ροών, έστω δύο δείγματα n = 5 και m = 6 παρατηρήσεων αντίστοιχα
(συμβολικά, έστω x οι πρώτες παρατηρήσεις και y οι δεύτερες):
x : 1.2, 1.5, 0.8, 4.6, 2.4
y : 1.6, 1.8, 5.0, 2.5, 3.5, 0.5.
Για την κατανόηση του ελέγχου τοποθετούμε τις παρατηρήσεις και των δύο δειγμάτων σε αύξουσα σειρά,
χρησιμοποιώντας αντί των ίδιων των παρατηρήσεων, τα σύμβολα x για παρατηρήσεις από το πρώτο δείγμα
και y για παρατηρήσεις από το δεύτερο δείγμα:
y, x, x, x, y, y, x, y, y, x, y.
Η πιο πάνω αλληλουχία είναι προφανής, αφού π.χ. η “τιμή” y εμφανίζεται πρώτη και τελευταία, αφού η πιο μικρή (0.5) και η πιο μεγάλη τιμή (5.0) μεταξύ όλων των μετρήσεων τυγχάνει να προέρχονται από το 2ο δείγμα.
Ο έλεγχος εξετάζει κατά πόσο οι παρατηρήσεις είναι ή όχι τυχαίες, γιατί εάν είναι, τότε μπορούμε να δεχτούμε
την ανεξαρτησία (ή αλλιώς την τυχαιότητα). Για να είναι οι παρατηρήσεις τυχαίες (ανεξάρτητες) θα πρέπει
να μην υπάρχει κάποιο συγκεκριμένο μοτίβο στην εμφάνιση των x και y στην πιο πάνω αλληλουχία. Παραδείγματα μοτίβων που θα οδηγούσαν στο συμπέρασμα ότι δεν υπάρχει τυχαιότητα είναι η εμφάνιση πρώτα
όλων των x και μετά να ακολουθούν, όλα τα y:
x, x, x, x, x, y, y, y, y, y, y
ή ανάποδα να προηγούνται όλα τα y και να έπονται όλα τα x:
y, y, y, y, y, y, x, x, x, x, x
ή τέλος να εναλλάσσονται συνέχεια τα σύμβολα x και y, π.χ.:
y, x, y, x, y, x, y, x, y, x, y
150
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
ή ανάποδα. Με άλλα λόγια ελάχιστες ή πάρα πολλές εναλλαγές (των συμβόλων) συνηγορούν υπέρ της εξάρτησης (μη τυχαιότητας). Οι εναλλαγές αυτές ονομάζονται ροές (runs) με το πλήθος τους να συμβολίζεται
με R και να λαμβάνει τιμές από 2 (π.χ. όταν προηγούνται όλα τα x και ακολουθούν όλα τα y) έως n + m,
δηλαδή το πλήθος όλων των παρατηρήσεων (όταν τα x και y εναλλάσσονται συνέχεια). Σημειώνεται ότι στο
πιο πάνω παράδειγμα, η ποσότητα R λαμβάνει στη συγκεκριμένη αλληλουχία που έχει προκύψει, την τιμή 7,
η οποία θα χαρακτηριζόταν ως μια “μεσαία” τιμή, αφού στο παράδειγμα οι δυνατές τιμές του R είναι από 2
έως n + m = 11.
Συμπερασματικά, μικρές ή μεγάλες τιμές του πλήθους R των ροών οδηγούν στην απόρριψη της τυχαιότητας
ενώ «μεσαίες» στην αποδοχή της. Ο έλεγχος αυτός έχει μελετηθεί από τους Wald και Wolfowitz [27] και
σχετικοί πίνακες δίνουν τις οριακές τιμές του ελέγχου, ενώ οι σχετικές p-values επιτρέπουν στον Ερευνητή
να πάρει την ενδεδειγμένη απόφαση όσον αφορά την τυχαιότητα (ανεξαρτησία) ή μη. Σημειώνεται ότι για
ικανοποιητικά μεγάλες τιμές των n και m, η τυποποιημένη κατανομή της τυχαίας μεταβλητής R (δηλαδή
όταν αφαιρεθεί η μέση της τιμή και γίνει διαίρεση με την τυπική της απόκλιση) περιγράφεται ικανοποιητικά
από την τυποποιημένη κανονική κατανομή. Η προσέγγιση θεωρείται ικανοποιητική αν οι τιμές των n και m
είναι τουλάχιστον 10 (Κεφάλαιο 15, [28]).
7.6.2.3 Οι έλεγχοι Bartlett και Levene για την ισότητα των διασπορών
Για τον έλεγχο των διασπορών ο Ερευνητής μπορεί να χρησιμοποιήσει είτε τον έλεγχο Bartlett [25] είτε τον
έλεγχο Levene ([14, 23]). Η επιλογή εξαρτάται από το κατά πόσο ισχύει η κανονικότητα ή όχι. Γενικά, ο
έλεγχος Levene είναι λιγότερο ευαίσθητος από ότι ο έλεγχος Bartlett σε αποκλίσεις από την κανονικότητα.
Αν λοιπόν ο Ερευνητής είναι βέβαιος ότι τα δεδομένα του προέρχονται από (ή έστω είναι πολύ κοντά στην)
κανονική κατανομή, τότε συστήνεται η χρήση του ελέγχου Bartlett. Διαφορετικά, αν δηλαδή έχει αμφιβολίες
για την κανονικότητα των δεδομένων, τότε συστήνεται η χρήση του ελέγχου Levene.
Για την περίπτωση Levene, η ομοσκεδαστικότητα μπορεί να δειχθεί όταν η μεταβλητότητα μέσα σε κάθε επίπεδο (πληθυσμό) είναι παρόμοια με τη μεταβλητότητα μεταξύ των πληθυσμών, με την πρώτη να υπολογίζεται
συγκρίνοντας τις μετρήσεις κάθε επιπέδου i (yij ) με τον μέσο του επιπέδου i (ȳi. ), και τη δεύτερη συγκρίνοντας τον μέσο κάθε επιπέδου i με τον ολικό μέσο (ȳ.. ). Αν το κλάσμα (η μία μεταβλητότητα προς την άλλη)
έχει μικρή τιμή (κοντά στη μονάδα), η υπόθεση της ομοσκεδαστικότητας γίνεται δεκτή, αλλιώς απορρίπτεται. Επειδή γίνεται σύγκριση (διαίρεση) διασπορών (μεταβλητότητας), η εμπλεκόμενη κατανομή είναι η F ,
ως το κλάσμα δύο (ανεξαρτήτων) χ2 κατανομών (τη μεταβλητότητα στον αριθμητή και τη μεταβλητότητα
στον παρονομαστή).
Για την περίπτωση Bartlett, η ομοσκεδαστικότητα μελετάται με παρόμοιο τρόπο, με τη διαφορά ότι συγκρίνεται η από κοινού μεταβλητότητα (που βασίζεται στον συνδυασμό των διασπορών των k πληθυσμών/επιπέδων)
με τις επιμέρους μεταβλητότητες στα επίπεδα 1, 2, ..., k. Σε αντίθεση με την προηγούμενη περίπτωση, η
χρήση του λογαρίθμου έχει ως αποτέλεσμα το κλάσμα (του προηγούμενου ελέγχου) να καταλήγει ως η διαφορά δύο λογαρίθμων (αριθμητή και παρονομαστή) έτσι ώστε, η εμπλεκόμενη κατανομή να είναι η διαφορά
(αντί του κλάσματος) δύο χ2 κατανομών που ακολουθεί επίσης τη χ2 κατανομή. Η ομοσκεδαστικότητα
ισχύει για μικρές τιμές (κοντά στο μηδέν), ενώ διαφορετικά απορρίπτεται.
Άσκηση Αυτοαξιολόγησης
Έστω παράγοντας ενδιαφέροντος με k επίπεδα. Να προσδιοριστεί ο συνολικός αριθμός των
πολλαπλών διαστημάτων Tukey και Dunnett που μπορούν να κατασκευαστούν.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
151
7.7 Εφαρμογές στο Minitab και την R
1. Έστω η διαδικασία παραγωγής σωλήνων πίεσης για την οποία ο Ερευνητής επιθυμεί να αξιολογήσει την ενδεχόμενη επίδραση ενός πρόσθετου υλικού που αποτελεί πρώτη ύλη με συμμετοχή 5% στο
τελικό προϊόν. Για καθεμία από τις τέσσερις διαθέσιμες στην αγορά ποιότητες του πρόσθετου υλικού
(ποιότητα 1, 2, 3 και 4), επιλέχτηκαν 6 σωλήνες πίεσης από την παραγωγή και υπολογίστηκε το βάρος
τους σε kg/100m. Οι μετρήσεις ανά ποιότητα φαίνονται στον Πίνακα 7.9.
Πίνακας 7.9: Πίνακας Δεδομένων - Σωλήνες Πίεσης
Επίπεδο/Ποιότητα 1
169, 177, 177, 197, 187, 182
Επίπεδο/Ποιότητα 2
182, 157, 177, 177, 167, 193
Επίπεδο/Ποιότητα 3
172, 147, 155, 159, 152, 147
Επίπεδο/Ποιότητα 4
141, 145, 147, 127, 153, 159
i. Ζητείται να διερευνηθεί αν το μέσο βάρος διαφέρει ανάλογα με την ποιότητα και αν συμβαίνει
αυτό, να εντοπιστεί η ποιότητα εκείνη ή εκείνες που κάνουν τη διαφορά.
ii. Συστήνεται να γίνει ανάλυση καταλοίπων ώστε να διαπιστωθεί αν πληρούνται οι προϋποθέσεις
του προτύπου που θα χρησιμοποιηθεί.
iii. Επιπρόσθετα, ζητείται να γίνει και μια γραφικού τύπου ανάλυση ώστε να διαπιστωθεί αν η γραφική μέθοδος συμφωνεί με τη στατιστική.
iv. Τέλος, ζητείται να διαπιστωθεί πώς διαφοροποιείται το πρόβλημα, αν οι τέσσερις ποιότητες δεν
είναι οι μοναδικές που διατίθενται στην αγορά, αλλά αποτελούν τυχαίο δείγμα που έχει επιλεχτεί
από έναν μεγάλο αριθμό ποιοτήτων που υπάρχουν στο εμπόριο.
Ȫ
Λύση
i. Με βάση την εκφώνηση, το κατάλληλο πρότυπο είναι το πρότυπο σταθερών επιδράσεων που
δίνεται στη σχέση (7.5) και αφορά πείραμα πλήρους τυχαιοποίησης ενός παράγοντα. Υπενθυμίζεται ότι τα σφάλματα πρέπει να είναι ανεξάρτητες τυχαίες μεταβλητές με κανονική κατανομή
και σταθερή διασπορά:
ε ∼ N 0, σ 2 ,
ενώ οι παράμετροι του προτύπου που αντιπροσωπεύουν τις επιδράσεις των τεσσάρων επιπέδων
(ποιοτήτων) του παράγοντα ενδιαφέροντος (πρόσθετο υλικό, έστω A), ικανοποιούν τη σχέση:
4
X
αi = 0.
1
Για την εισαγωγή των δεδομένων στο Minitab χρησιμοποιούνται οι δύο πρώτες στήλες (C1 και
C2 ) στο κεντρικό παράθυρο του Minitab. Οι μετρήσεις καταχωρίζονται π.χ. στην πρώτη στήλη,
η μια κάτω από την άλλη, ενώ στη δεύτερη στήλη καταχωρίζεται η ποιότητα (π.χ. 1, 2, 3, 4) που
αντιστοιχεί στην κάθε μέτρηση. Έτσι, προκύπτει ένα σύνολο δεδομένων με 24 γραμμές και 2
στήλες. Τα ονόματα που δόθηκαν στις 2 ποσότητες/στήλες είναι Βάρος και Ποιότητα.
152
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Μια πρώτη υποτυπώδης βασική γραφική αποτύπωση των δεδομένων μπορεί να δώσει μια εικόνα
στον Ερευνητή για το τι θα πρέπει να περιμένει από την ανάλυση. Ένα τέτοιο γράφημα είναι το
θηκόγραμμα (Boxplot), το οποίο όμως συστήνεται αν υπάρχουν αρκετές διαθέσιμες παρατηρήσεις και σε οποιαδήποτε περίπτωση τουλάχιστον 6. Η αξιοποίηση του διαγράμματος ατομικής
τιμής (Individual Value Plot) μπορεί να γίνει ανεξάρτητα από τον αριθμό των παρατηρήσεων.
Για τον σχεδιασμό του τελευταίου, θα πρέπει να ακολουθηθεί η διαδρομή:
Graphs
Ê
Individual Value Plot
Ê
With Groups
Το γράφημα των κουκκίδων για την παρούσα εφαρμογή είναι το εξής:
Σχήμα 7.3: Διάγραμμα Κουκκίδων - Σωλήνες Πίεσης
από το οποίο φαίνεται ότι το τέταρτο (4) επίπεδο παρουσιάζει πολύ χαμηλότερο βάρος από ότι
τα άλλα τρία, με τα επίπεδα (1) και (2) να φαίνεται ότι έχουν τα υψηλότερα επίπεδα. Άρα, οπτικά
πιθανολογείται ότι υπάρχουν διαφορές μεταξύ των τεσσάρων επιπέδων ποιότητας.
Το ζητούμενο είναι η διερεύνηση του ελέγχου:
H0 : α1 = α2 = α3 = α4 = 0
vs
H1 : Όχι όλα τα αi , i = 1, 2, 3, 4 ίσα με 0,
η οποία επιτυγχάνεται μέσω του Πίνακα ANOVA (Πίνακας 7.4):
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
όπου επιλέγουμε ως Response το Βάρος και ως Factor την Ποιότητα, ενώ στην επιλογή Random/Nest θα πρέπει να επιλεχθεί το είδος των επιδράσεων (εδώ επιλέγεται το Fixed). Τα αποτελέσματα φαίνονται στον Πίνακα 7.10:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
153
Πίνακας 7.10: Πίνακας ANOVA - Σωλήνες Πίεσης
Από τα αποτελέσματα του παραπάνω πίνακα διαπιστώνουμε ότι:
τα επίπεδα του παράγοντα ενδιαφέροντος (ποιότητα) είναι k = 4,
οι αντίστοιχοι βαθμοί ελευθερίας είναι k − 1 = 3,
οι συνολικοί βαθμοί ελευθερίας είναι n − 1 = 24 − 1 = 23,
οι βαθμοί που απομένουν για τα σφάλματα είναι n − 1 − (k − 1) = 23 − 3 = 20,
η συνολική μεταβλητότητα είναι SST O = 7447.833 με τα 2/3 της οποίας (SSR =
5168.167) να μπορούν να δικαιολογηθούν από το πρότυπο (και άρα τον παράγοντα ενδιαφέροντος) και το υπόλοιπο περίπου 1/3 (SSE = 7447.833 − 5168.167 = 2279.667)
να μην μπορεί να δικαιολογηθεί από το πρότυπο και να αποτελεί το άθροισμα τετραγώνων
των σφαλμάτων,
– τα δύο μέσα τετραγωνικά σφάλματα του πειράματος ισούνται με M SR = SSR/(k −
1) = 5168.167/3 = 1722.722 και M SE = SSE/(n − k) = 2279.667/20 =
113.983,
– η τιμή της ελεγχοσυνάρτησης για τον έλεγχο μηδενικών επιδράσεων, να ισούται με F =
M SR/M SE = 1722.722/113.983 = 15.114 και κατά συνέπεια
– η μηδενική υπόθεση να απορρίπτεται σε όλα τα συνήθη επίπεδα σημαντικότητας (1%, 5%,
και 10%), αφού η p-value του ελέγχου ισούται με 0.000023.
–
–
–
–
–
Από τη στιγμή που η μηδενική υπόθεση απορρίπτεται γνωρίζουμε ότι οι μέσοι των τεσσάρων
επιπέδων δεν είναι όλοι ίσοι. Για να διαπιστωθεί ποιοι διαφέρουν, δηλαδή σε ποιους οφείλεται
το πιο πάνω συμπέρασμα της ανάλυσης διακύμανσης, πρέπει, όπως έχει αναφερθεί, να γίνουν
Πολλαπλές Συγκρίσεις, καταλήγοντας ότι η δημοφιλέστερη αλλά και ιδανικότερη, για όλες τις
δυνατές συγκρίσεις ανά δύο, είναι η μέθοδος Tukey. Η διαδρομή που πρέπει να ακολουθηθεί
είναι:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Comparisons
Ê
Tukey
όπου στην επιλογή Results, συστήνεται να τικάρεται η επιλογή Tests and Confidence Intervals,
ώστε να καταγράφονται στο output τόσο τα διαστήματα εμπιστοσύνης (το επίπεδο εμπιστοσύνης που επιθυμεί ο Ερευνητής καταχωρίζεται στα Options) όσο και οι p-values των αντίστοιχων
ελέγχων.
Τα αποτελέσματα των συγκρίσεων (Πίνακας 7.11) δείχνουν ότι οι μέσοι των επιπέδων 1 και 2
είναι σημαντικά μεγαλύτεροι από αυτούς των επιπέδων 3 και 4. Σε επίπεδο 95% οι διαφορές
μεταξύ 4 − 1, 4 − 2, 3 − 1 και 3 − 2 είναι στατιστικώς σημαντικές σε οποιοδήποτε επίπεδο
μεγαλύτερο από α = 0.018 (οι p-values κυμαίνονται από 0.000 έως 0.018). Οι χαρακτήρες
A και B, που εμφανίζονται δίπλα σε κάθε επίπεδο, δηλώνουν ότι οι μέσοι των επιπέδων που
154
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
αντιστοιχούν σε ίδιο χαρακτήρα είναι ίσοι. Με άλλα λόγια, αν και η δειγματική τιμή της ποιότητας 1 είναι μεγαλύτερη (181.500) από αυτή της ποιότητας 2 (175.500), αυτή η διαφορά δεν
διαπιστώθηκε να είναι στατιστικώς σημαντική (p-value = 0.766). Το ίδιο ισχύει και για τις
δειγματικές τιμές (155.333 και 145.333) για τις ποιότητες 3 και 4 (p-value = 0.389). Κατά
συνέπεια τα επίπεδα 1 και 2, όπως και τα επίπεδα 3 και 4, θεωρούνται ισοδύναμα. Από στατιστική σκοπιά μπορεί να ειπωθεί ότι τελικά δεν έχουμε έναν παράγοντα με 4 επίπεδα, δηλαδή
δεν έχουμε 4 διαφορετικούς πληθυσμούς, αλλά μόνο δύο, και άρα οι μετρήσεις των επιπέδων 1
και 2 (όπως και αυτές των επιπέδων 3 και 4) μπορούν να συμπτυχθούν και να μην μελετώνται
ξεχωριστά, έτσι ώστε το πρόβλημα των τεσσάρων πληθυσμών, με βάση τα αποτελέσματα της παρούσας μελέτης, να εκφυλίζεται σε πρόβλημα δύο πληθυσμών. Μάλιστα, σε αυτή την περίπτωση
θα μπορούσε να εφαρμοστεί το γνωστό από τη Στατιστική t − test της σύγκρισης των μέσων
δύο ανεξαρτήτων δειγμάτων, με μεγέθη n1 = 12 και n2 = 12.
Πίνακας 7.11: Πολλαπλές Συγκρίσεις Tukey - Σωλήνες Πίεσης
Σημειώνεται ότι το ταυτόχρονο επίπεδο εμπιστοσύνης των διαστημάτων Tukey είναι ίσο με 95%
αλλά το επίπεδο εμπιστοσύνης για κάθε διάστημα ξεχωριστά (Individual Confidence Level) είναι ίσο με 98.89%. Αυτό είναι το νόημα των πολλαπλών συγκρίσεων Tukey οι οποίες διασφαλίζουν ότι ταυτόχρονα όλα τα διαστήματα θα έχουν επίπεδο αυτό που έχει απαιτήσει ο Ερευνητής,
αλλά το κάθε διάστημα θα έχει επίπεδο τουλάχιστον ίσο με το επιλεχθέν από τον Ερευνητή. Είναι
προφανές ότι αν ο Ερευνητής είχε απαιτήσει το κάθε διάστημα να είναι 95%, τότε όλα μαζί τα
διαστήματα θα είχαν λιγότερο από 95%, χωρίς να μπορεί αυτό να προκαθοριστεί (εξαρτάται από
τον αριθμό των επιπέδων και τον αριθμό των μετρήσεων).
ii. Για τη μελέτη των καταλοίπων, θα πρέπει να ζητηθεί από το Minitab αυτά να αποθηκευτούν
(Storage) στο αρχείο με τα δεδομένα, ώστε στη συνέχεια να χρησιμοποιηθούν για να γίνει η
ανάλυσή τους. Από τη διαδρομή που ακολουθήθηκε για την ανάλυση διακύμανσης και στο Storage, ο Ερευνητής μπορεί να επιλέξει το είδος των καταλοίπων που επιθυμεί να χρησιμοποιήσει με
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
155
τις δύο συνηθέστερες επιλογές (Ενότητα 4.1) να είναι Residuals (τα συνηθισμένα κατάλοιπα)
και Standardized Residuals (τα τυποποιημένα κατάλοιπα στα οποία έχει αφαιρεθεί η μέση τους
τιμή - πάντα πολύ κοντά στο μηδέν (Θεώρημα 2.2) - και έχει γίνει διαίρεση με την τυπική τους
απόκλιση). Στην εφαρμογή επιλέχθηκαν τα κατάλοιπα και αποθηκεύτηκαν με το όνομα της μεταβλητής να είναι RESI.
Αν ο Ερευνητής επιθυμεί μόνο τη γραφική διερεύνηση των προϋποθέσεων της κανονικότητας,
ομοσκεδαστικότητας και ανεξαρτησίας μπορεί στην επιλογή Graphs να επιλέξει είτε από τα Individual Plots
– το Histogram of Residuals ή το Normal Probability Plot of Residuals ή και τα δύο για τη
διερεύνηση της Κανονικότητας,
– το Residuals versus Fit για τη διερεύνηση της Ομοσκεδαστικότητας και
– το Residuals versus Order για τη διερεύνηση της Ανεξαρτησίας/Τυχαιότητας
είτε να επιλέξει το γράφημα Four in One που σχεδιάζει και τα τέσσερα προηγούμενα γραφήματα
ταυτόχρονα. Όποια επιλογή και να κάνει ο Ερευνητής δεν θα του επιτρέψει να κάνει στατιστική
ανάλυση, αλλά μόνο μια οπτική αξιολόγηση των προϋποθέσεων.
Ειδικά για την περίπτωση της κανονικότητας και της ομοσκεδαστικότητας, συστήνεται η αξιοποίηση τεχνικών που επιτυγχάνουν ταυτόχρονα γραφική και στατιστική αξιολόγηση. Έτσι, ακολουθώντας τη διαδρομή:
Stat
Ê
Basic Statistics
Ê
Normality Test
και επιλέγοντας μία από τις τρεις επιλογές ελέγχων μεταξύ των:
– Anderson-Darling (ένας από τους δύο δημοφιλέστερους),
– Kolmogorov-Smirnov (ο έτερος δημοφιλής έλεγχος) και
– Shapiro-Wilk (ο λιγότερος δημοφιλής),
καταφέρνει να κατασκευάσει ταυτόχρονα τόσο το Normal Probability Plot for Residuals (το οποίο
κατασκευάζεται και με το Four in One γράφημα) όσο και τον στατιστικό έλεγχο της επιλογής
του (από τους τρεις προαναφερθέντες).
Το output περιλαμβάνει τον αριθμό των παρατηρήσεων (δηλώνεται με N ), τη μέση τιμή (πάντα
πάρα πολύ κοντά στο μηδέν) και την τυπική απόκλιση των καταλοίπων, καθώς και την τιμή της
στατιστικής ελεγχοσυνάρτησης με την αντίστοιχη p-value του ελέγχου. Tο αποτέλεσμα για την
παρούσα εφαρμογή οδηγεί στην αποδοχή της μηδενικής υπόθεσης της κανονικότητας, αφού
p-value = 0.686 (επιλέγοντας τον έλεγχο Anderson-Darling, AD):
156
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Σχήμα 7.4: Διερεύνηση Κανονικότητας - Σωλήνες Πίεσης
Αναφορικά με τη διερεύνηση της ομοσκεδαστικότητας η διαδρομή:
Stat
Ê
ANOVA
Ê
Test for Equal Variances
επιτρέπει τη γραφική και στατιστική αξιολόγηση όταν επιλέγουμε ως Response το Βάρος και
ως Factor την Ποιότητα. Αναφορικά με τα Options, θα πρέπει να τικαριστεί η επιλογή Use of
test based on the Normal Distribution, εφόσον έχει προηγουμένως επιβεβαιωθεί η κανονικότητα
των καταλοίπων. Διαφορετικά δεν τικάρεται η συγκεκριμένη επιλογή. Στην πρώτη περίπτωση,
εκτελείται ο έλεγχος Bartlett, ενώ στη δεύτερη ο έλεγχος Levene. Για τις διασπορές στα k επίπεδα του παράγοντα ενδιαφέροντος κατασκευάζονται και διαστήματα εμπιστοσύνης, σε όποιο
επίπεδο εμπιστοσύνης επιθυμεί ο Ερευνητής (η προτίμησή του καταχωρίζεται στο Confidence
Level στα Options).
Το αποτέλεσμα για την εφαρμογή φαίνεται στη συνέχεια. Όπως διαπιστώνεται, η τιμή της ελεγχοσυνάρτησης καταχωρίζεται ανεξάρτητα από το γράφημα (σε αντίθεση με την κανονικότητα
όπου η τιμή της ελεγχοσυνάρτησης είναι ενσωματωμένη στο γράφημα):
Πίνακας 7.12: Διερεύνηση Ομοσκεδαστικότητας - Σωλήνες Πίεσης
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
157
Σχήμα 7.5: Διερεύνηση Ομοσκεδαστικότητας - Σωλήνες Πίεσης
Για την περίπτωση της ανεξαρτησίας δεν διατίθεται διαδικασία για ταυτόχρονη γραφική και στατιστική διερεύνηση. Έτσι, στη συνέχεια δίνεται καταρχάς η γραφική ανάλυση με το Individual
Plot Residuals versus Order που αναφέρθηκε πιο πάνω:
Σχήμα 7.6: Γραφική Διερεύνηση Ανεξαρτησίας - Σωλήνες Πίεσης
ενώ για τη στατιστική ανάλυση εφαρμόζεται το μη παραμετρικό Runs Test (Έλεγχος των Ροών),
ακολουθώντας τη διαδρομή:
Stat
Ê
Nonparametrics
Ê
Runs Test
όπου είναι προεπιλεγμένη η επιλογή Above and Below the Mean, αφού αυτή είναι η συνήθης περίπτωση που εξετάζεται ώστε να διαπιστωθεί η ανεξαρτησία (ή τυχαιότητα), ελέγχοντας πόσες
παρατηρήσεις είναι πάνω και πόσες κάτω από το κέντρο (μέσο). Τα αποτελέσματα του Minitab
δείχνουν ότι η υπόθεση της ανεξαρτησίας γίνεται δεκτή, αφού p-value = 0.210:
158
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Πίνακας 7.13: Στατιστική Διερεύνηση Ανεξαρτησίας - Σωλήνες Πίεσης
Για τη διερεύνηση της ανεξαρτησίας ελήφθη υπόψη η χρονική σειρά των μετρήσεων, με τις μετρήσεις του επιπέδου (1) να συλλέχθηκαν στις χρονικές στιγμές 2, 5, 19, 23, 14 και 8. Οι αντίστοιχες χρονικές στιγμές για τις μετρήσεις των επιπέδων 2, 3 και 4 είναι 1, 3, 11, 21, 13 και 12
(επίπεδο 2), 4, 9, 17, 20, 22 και 24 (επίπεδο 3) και 15, 6, 16, 18, 10 και 7 (επίπεδο 4).
iii. Η ανάλυση διακύμανσης μπορεί να συνοδευτεί και από μια ανάλυση μέσων που θεωρείται ως
μια γραφική μέθοδος, με την έννοια ότι παρουσιάζει συγκριτικά τους μέσους των επιπέδων του
παράγοντα ενδιαφέροντος για συγκεκριμένο επίπεδο σημαντικότητας, χωρίς να δίνει μια γενικότερη εικόνα με βάση την p-value. Έτσι, αν κάποιος θέλει να εξετάσει διάφορα επίπεδα για να
εντοπίσει για ποιο επίπεδο θα έχει συγκεκριμένες διαφορές, θα πρέπει να επαναλαμβάνει τη διαδικασία ελπίζοντας να πετύχει το κομβικό εκείνο επίπεδο που προσδοκά. Η γραφική μέθοδος
ανάλυσης των μέσων επιτυγχάνεται ακολουθώντας τη διαδικασία:
Stat
Ê
ANOVA
Ê
Analysis of Means
επιλέγοντας τη μεταβλητή απόκρισης στα Responses, κλικάρωντας το Normal για το Distribution of Data και τον παράγοντα ενδιαφέροντος στο Factor 1. Επίσης, στο Aplha level μπορεί ο
Ερευνητής να καταχωρίσει το επιθυμητό επίπεδο σημαντικότητας και στο Title να δώσει έναν
τίτλο της επιλογής του, για το γράφημα που θα προκύψει. Η μέθοδος χαρακτηρίζεται από τρεις
γραμμές που αντιπροσωπεύουν το κέντρο (μέσον) και το άνω και κάτω όριο. ’Οσοι μέσοι βρίσκονται πάνω από το άνω όριο ή κάτω από το κάτω όριο θεωρούνται ότι διαφέρουν για το συγκεκριμένο επίπεδο σημαντικότητας που έχει επιλεγεί. Για την εφαρμογή διαπιστώνεται ότι οι μέσοι
των επιπέδων 1 και 2 βρίσκονται πάνω από το άνω όριο, ενώ ο μέσος του επιπέδου 4 βρίσκεται
κάτω από το κάτω όριο:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
159
Σχήμα 7.7: Ανάλυση Μέσων, α = 5% - Σωλήνες Πίεσης
Από το γράφημα, είναι σαφές ότι αν μειωθεί ελάχιστα το επίπεδο σημαντικότητας (δηλαδή αν
διευρυνθούν έστω και ελάχιστα τα άνω και κάτω όρια), ενδεχομένως κοντά στο 4% (κατ’ ακρίβεια είναι 3.6% όπως μπορεί να διαπιστωθεί μετά από μερικές δοκιμές), τότε ο μέσος του επιπέδου 2 (που γνωρίζουμε από την ανάλυση διακύμανσης ότι ισούται με 175) θα βρεθεί εντός των
ορίων και δεν θα διαφέρει στατιστικώς σημαντικά πλέον.
iv. Κλείνοντας θα σχολιαστεί η περίπτωση όπου τα τέσσερα επίπεδα του παράγοντα ενδιαφέροντος δεν είναι τα μοναδικά, αλλά αποτελούν δείγμα που έχει επιλεχθεί τυχαία από έναν μεγάλο
αριθμό ποιοτήτων που είναι διαθέσιμες στο εμπόριο. Το πρόβλημα διαφοροποιείται ως προς τη
φιλοσοφία του, αφού τώρα πρόκειται για πρότυπο τυχαίων επιδράσεων όπου οι όροι αi αποτελούν τυχαίες μεταβλητές ανεξάρτητες από τα σφάλματα, και τέτοιες ώστε:
αi ∼ N 0, σα2 .
Έτσι, δεν εξετάζεται η μέση τιμή αλλά η διασπορά (μεταβλητότητα) και ο έλεγχος που θα πρέπει
να εξεταστεί είναι αυτός που δίνεται στη σχέση (8.31):
H0 : σα2 = 0
vs
H1 : σα2 > 0.
Εάν η μηδενική υπόθεση γίνει δεκτή, και άρα σα2 = 0, τότε κάθε επίδραση αi δεν είναι πλέον
τυχαία μεταβλητή, αφού τόσο η μέση της τιμή όσο και η διασπορά της θα ισούται με το μηδέν
και κατά συνέπεια, δεν θα υπάρχει επίδραση στη μεταβλητή απόκρισης από τα επίπεδα του παράγοντα ενδιαφέροντος.
Ο Πίνακας ANOVA ταυτίζεται με τον πίνακα για την περίπτωση σταθερών επιδράσεων, με την
ελεγχοσυνάρτηση να δίνεται και πάλι από τον ίδιο τύπο (7.15):
F =
M ST
.
M SE
Αφού λοιπόν η p-value του ελέγχου βρέθηκε προηγουμένως ίση με 0.000023, άρα η μηδενική υπόθεση απορρίπτεται (σε όλα τα συνήθη επίπεδα σημαντικότητας) και άρα καταλήγουμε
στο ότι σα2 > 0. Συμπερασματικά, υπάρχει διαφοροποίηση ως προς τη μεταβλητότητα μεταξύ
160
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
των τεσσάρων επιπέδων του παράγοντα ενδιαφέροντος και μπορούμε λόγω του ότι τα τέσσερα
επίπεδα επιλέχθηκαν τυχαία, να γενικεύσουμε το συμπέρασμα για οποιοδήποτε επίπεδο του παράγοντα (και όχι μόνο αυτών που μελετήθηκαν).
Υπενθυμίζεται ότι αν και φαινομενικά η μελέτη είναι ίδια είτε οι επιδράσεις είναι σταθερές είτε
τυχαίες, ο μηχανισμός με τον οποίο λειτουργούν οι δύο περιπτώσεις είναι διαφορετικός. Στην
περίπτωση των σταθερών επιδράσεων εξετάζουμε κατά πόσο οι μέσες τιμές των πληθυσμών
(επιπέδων/θεραπειών) είναι ίσες ή όχι (ενώ η μεταβλητότητα μεταξύ των πληθυσμών είναι σταθερή και ίση με σ 2 ), ενώ στην περίπτωση των τυχαίων επιδράσεων ισχύει το αντίστροφο, δηλαδή
οι μέσες τιμές είναι ίσες μεταξύ των πληθυσμών (επιπέδων), και εξετάζεται αν η μεταβλητότητα
είναι σταθερή (και ίση με σ 2 ) ή μεταβάλλεται εξαιτίας των επιπέδων (ίση με σ 2 +σα2 ). Θα πρέπει
μάλιστα να αναφερθεί ότι η ομοιότητα στην ανάλυση οφείλεται στο γεγονός ότι στη διαδικασία
εμπλέκεται ένας μόνο παράγοντας. Όταν στην ανάλυση εμπλακούν κι άλλοι παράγοντες (βλ.
Κεφάλαιο 9), και ιδιαιτέρως όταν η αλληλεπίδραση κάποιων παραγόντων επηρεάζει τη μεταβλητή απόκρισης, η μελέτη, όπως θα διαπιστωθεί, διαφοροποιείται σημαντικά.
7.8 Σχόλια και χρήσιμες σημειώσεις
Στην ενότητα αυτή παρατίθενται, για διευκόλυνση του αναγνώστη, χρήσιμες σημειώσεις και σχόλια αναφορικά με το Minitab και την R για τα θέματα που μελετά το παρόν Κεφάλαιο.
7.8.1 Σχόλια και χρήσιμες σημειώσεις - Minitab
• Για την Ανάλυση Διακύμανσης κατά έναν παράγοντα ο Ερευνητής μπορεί να επιλέξει εναλλακτικά τη
διαδρομή:
Stat
Ê
ANOVA
Ê
One way
για τη δημιουργία του Πίνακα ANOVA όπου έχει τη δυνατότητα να τικάρει στα Options την επιλογή
Assume Equal Variances ή όχι, στα Comparisons την επιθυμητή μέθοδο πολλαπλών συγκρίσεων, στο
Storage να επιλεχτούν τα Residuals (μόνο τα συνήθη είναι διαθέσιμα) ή/και οι εκτιμώμενες τιμές (Fits)
και στα Graphs το επιθυμητό εξατομικευμένο γράφημα (Individual Plot) ή το πολλαπλό γράφημα
(Four in One) για τη διερεύνηση των προϋποθέσεων του προτύπου.
• Για τον επιθυμητό αριθμό δεκαδικών ψηφίων στο output o Ερευνητής επιλέγει δεξί click στο output
που τον ενδιαφέρει και επιλέγει τον επιθυμητό αριθμό Decimal Points. Με τον ίδιο τρόπο μπορεί να
κάνει Εκτύπωση (Print), Αντιγραφή (Copy), Αποστολή (Send) κλπ.
• Για την εκτέλεση της διαδρομής για τις πολλαπλές συγκρίσεις:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Comparisons
Ê
Tukey
απαιτείται προηγουμένως να έχει γίνει η ανάλυση διακύμανσης κατά έναν παράγοντα, δηλαδή να έχει
προηγηθεί η διενέργεια της διαδρομής:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
161
• Το ίδιο απαιτείται και για την εκτέλεση της διαδρομής για τις πολλαπλές συγκρίσεις Dunnett:
Stat
Ê
Ê
ANOVA
General Linear Model
Ê
Comparisons
Ê
Dunnett
• Η διερεύνηση της ομοσκεδαστικότητας είναι δυνατόν να γίνει ακόμα και αν τα δεδομένα έχουν καταχωριστεί σε k διαφορετικές στήλες, ανάλογα με το επίπεδο στο οποίο αντιστοιχούν οι μετρήσεις (μία
στήλη για κάθε επίπεδο). Στην περίπτωση αυτή, κατά τη διεκπεραίωση της διαδικασίας:
Stat
Ê
ANOVA
Ê
Test for Equal Variances
θα πρέπει αντί της προεπιλεγμένης επιλογής Response Data are in One Column for all Factor Levels να
κλικαριστεί η επιλογή Response Data are in a Separate Column for Each Factor Level.
• Για τη διερεύνηση της ανεξαρτησίας είναι απαραίτητο να είναι γνωστή η χρονική σειρά των μετρήσεων, αφού με βάση αυτήν διαπιστώνεται η τυχαιότητα (και άρα η ανεξαρτησία). Αν η χρονική σειρά
των μετρήσεων είναι γνωστή (είτε καταγράφεται είτε όχι στο αρχείο δεδομένων), τότε τα δεδομένα θα
πρέπει να αναδιαταχτούν σε αύξουσα χρονική σειρά, πριν τη γραφική και τη στατιστική διερεύνηση
της ανεξαρτησίας. Αυτό είναι δυνατόν να γίνει ακολουθώντας τη διαδικασία:
Data
Ê
Short
επιλέγοντας στα Columns to Short by τη στήλη που αντιπροσωπεύει τη χρονική σειρά. Για την αποφυγή προβλημάτων συστήνεται η επιλογή All Columns στο Columns to Short.
Αν δεν είναι γνωστή η χρονική σειρά, ο Ερευνητής θα πρέπει να αποφασίσει πώς θα προχωρήσει στη
μελέτη. Μια συνήθης πρακτική, ελλείψει άλλης πληροφορίας, είναι να θεωρήσει ότι οι μετρήσεις έγιναν με τη σειρά που έχουν καταχωριστεί στο αρχείο δεδομένων. Στην περίπτωση αυτή, δεν χρειάζεται
να αναδιαταχτούν τα δεδομένα.
• Για μια πρώτη οπτική αξιολόγηση εκτός από το διάγραμμα κουκκίδων, ο Ερευνητής μπορεί να ζητήσει
την κατασκευή του Boxplot μέσω της διαδικασίας:
Graphs
Ê
BoxPlot
Ê
With Groups
7.8.2 Σχόλια και χρήσιμες σημειώσεις - R
Στον Πίνακα 7.14 δίνεται πληθώρα χρήσιμων εντολών για την εφαρμογή της Ανάλυσης Διακύμανσης κατά
έναν Παράγοντα στην R.
162
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Πίνακας 7.14: One-way ANOVA - Χρήσιμες εντολές στην R
Πακέτο
Εντολή (Όρισμα)
Χρησιμότητα
base
as.factor(Παράγοντας)
Μετατροπή μεταβλητής σε παράγοντα
graphics
boxplot(Απόκριση∼Παράγοντας)
Κατασκευή θηκογράμματος
stats
aov(Απόκριση∼Παράγοντας)
Κατασκευή μοντέλου ANOVA (fixed effects)
stats
aov(Απόκριση∼ Error(Παράγοντας))
Κατασκευή μοντέλου ANOVA (random effects)
stats
TukeyHSD(ANOVA μοντέλο μέσω
aov)
Κατασκευή Tukey διαστημάτων εμπιστοσύνης
DescTools
DunnettTest(Απόκριση, Παράγοντας)
Κατασκευή Dunnett διαστημάτων εμπιστοσύνης
stats
shapiro.test(Κατάλοιπα μοντέλου μέσω aov)
Εφαρμογή ελέγχου κανονικότητας Shapiro-Wilk
stats
bartlett.test(Κατάλοιπα μοντέλου μέσω aov, Παράγοντας)
Έλεγχος ίσων διακυμάνσεων κατά Bartlett
multcomp
glht(Μοντέλο μέσω aov, mcp(Παράγοντας=''GrandMean''))
Μετατροπή μοντέλου σε glht
ANOM
ANOM(Μοντέλο μέσω glht)
Εφαρμογή ανάλυσης μέσων
DescTools
RunsTest(Κατάλοιπα μοντέλου μέσω aov)
Εφαρμογή ελέγχου συσχέτισης
7.9 Άλυτες ασκήσεις
1. Για καθένα από τα σύνολα δεδομένων των Πινάκων 7.15-7.21, ζητούνται τα ακόλουθα:
i. Nα διερευνηθεί αν η μέση τιμή διαφέρει μεταξύ των επιπέδων του εμπλεκόμενου παράγοντα ο
οποίος θεωρείται ότι είναι σταθερών επιδράσεων, και να εντοπιστεί εκείνο το επίπεδο (ή τα επίπεδα) που κάνουν τη διαφορά.
ii. Να γίνει ανάλυση καταλοίπων ώστε να διαπιστωθεί αν πληρούνται οι προϋποθέσεις του προτύπου που θα χρησιμοποιηθεί.
iii. Να γίνει μια γραφικού τύπου ανάλυση ώστε να διαπιστωθεί αν η γραφική μέθοδος συμφωνεί με
τη στατιστική μέθοδο.
iv. Να επαναληφθεί η ανάλυση για την περίπτωση, όπου τα επίπεδα του εμπλεκόμενου παράγοντα
δεν είναι τα μοναδικά αλλά αποτελούν τυχαίο δείγμα που έχει επιλεχτεί από έναν μεγάλο αριθμό
διαθέσιμων επιπέδων.
Πίνακας 7.15: Σύνολο Δεδομένων 1 - Παράγοντας A
Επίπεδο 1
1.25, 1.30, 1.27, 1.32, 1.23
Επίπεδο 2
1.31, 1.32, 1.33, 1.25, 1.30
Επίπεδο 3
1.28, 1.29, 1.38, 1.32, 1.31
Επίπεδο 4
1.25, 1.36, 1.29, 1.38, 1.33
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
Πίνακας 7.16: Σύνολο Δεδομένων 2 - Παράγοντας B
Επίπεδο 1
11.4, 11.8, 12.2, 11.3, 11.6
Επίπεδο 2
11.1, 11.2, 11.5, 11.6
Επίπεδο 3
10.0, 10.2, 10.4
Επίπεδο 4
10.1, 9.8, 9.9, 9.7, 10.2, 10.3
Πίνακας 7.17: Σύνολο Δεδομένων 3 - Παράγοντας C
Επίπεδο 1
2, 3, 4, 5, 5, 5
Επίπεδο 2
2, 3, 4, 5, 4, 4
Επίπεδο 3
1, 2, 3, 4, 4, 3
Επίπεδο 4
1, 1, 1, 2, 2, 3
Πίνακας 7.18: Σύνολο Δεδομένων 4 - Παράγοντας D
Επίπεδο 1
19, 18, 21, 18
Επίπεδο 2
16, 11, 13, 14, 11
Επίπεδο 3
13, 11, 11, 15, 18, 16
Πίνακας 7.19: Σύνολο Δεδομένων 5 - Παράγοντας E
Επίπεδο 1
24.8, 24.7, 27.9, 28.0, 28.7, 34.8, 30.9
Επίπεδο 2
22.0, 30.5, 30.7, 24.7, 28.6, 28.8, 26.7, 22.6, 34.8
Επίπεδο 3
24.8, 30.5, 30.9, 22.5, 37.6, 28.6, 28.7, 28.8, 24.0, 33.6
Επίπεδο 4
27.8, 28.9, 30.4, 30.7, 32.7, 30.8, 30.5, 34.5, 32.8, 28.6, 38.8, 31.7
Επίπεδο 5
20.8, 22.9, 17.8, 23.6, 18.9, 28.5, 16.3, 24.7, 25.4, 25.1, 20.9
Πίνακας 7.20: Σύνολο Δεδομένων 6 - Παράγοντας F
Επίπεδο 1
14.2, 14.2, 14.3, 14.4
Επίπεδο 2
14.1, 14.1, 14.0, 14.0
Επίπεδο 3
14.2, 14.4, 14.3, 14.3
Επίπεδο 4
14.2, 13.8, 13.9, 14.1
Επίπεδο 5
13.8, 13.8, 13.9, 13.6
163
164
ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ ΚΑΤΑ ΕΝΑΝ ΠΑΡΑΓΟΝΤΑ
Πίνακας 7.21: Σύνολο Δεδομένων 7 - Παράγοντας G
Επίπεδο 1
93, 111, 98, 114, 118, 106, 107, 108, 120, 125, 114, 96
Επίπεδο 2
121, 127, 129, 138, 134, 134, 130, 126, 147, 135
Επίπεδο 3
106, 102, 110, 108, 108, 109, 104, 108
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Βόντα, Φ., & Καραγρηγορίου, Α. (2012). Εφαρμοσμένη στατιστική ανάλυση & στοιχεία πιθανοτήτων.
Αθήνα: Εκδόσεις Παρασκήνιο.
[2] Δαμιανού, Χ., & Κούτρας, Μ. (1998). Εισαγωγή στη στατιστική, Μέρος ΙΙ. Αθήνα: Εκδόσεις Συμμετρία.
[3] Καλαματιανού, Α. Γ. (1997). Εφαρμοσμένη ανάλυση παλινδρόμησης. Αθήνα: Εκδόσεις Παπαζήσης.
[4] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση M initab και R
(2η έκδ.). Αθήνα: Συμεών.
[5] Κουτρουβέλης, Ι. Α. (2015). Εφαρμοσμένες πιθανότητες και στατιστική για μηχανικούς και θετικούς επιστήμονες. Αθήνα: Εκδόσεις Gotsis.
[6] Κουτρουβέλης, Ι. Α. (2000). Προηγμένα εργαλεία και μέθοδοι για τον έλεγχο της ποιότητας, Τόμος Β,
Σχεδιασμός και Ανάλυση Πειραμάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήμιο.
[7] Κολυβά-Μαχαίρα, Φ., & Μπόρα-Σέντα, Ε. (1995). Στατιστική, θεωρία και εφαρμογές. Θεσσαλονίκη:
Εκδόσεις Ζήτη.
[8] Κουνιάς, Σ., Κολυβά-Μαχαίρα, Φ., Μπαγιάτης, Γ., & Μπόρα-Σέντα, Ε. (1985). Εισαγωγή στη στατιστική. Θεσσαλονίκη: Εκτύπωση Γιαχούδη-Γιαπούλη Ο.Ε.
[9] Κούτρας Μ. Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[10] Μπόρα-Σέντα, Ε., & Μωυσιάδης, Χ. (1990). Εφαρμοσμένη στατιστική, Θεσσαλονίκη: Εκδόσεις Ζήτη.
[11] Παπαδόπουλος, Γ. Κ. (2015). Εισαγωγή στις πιθανότητες και τη στατιστική. Αθήνα: Εκδόσεις Gutenberg.
[12] Παπαϊωάννου, Τ., & Λουκάς, Σ. (2002). Εισαγωγή στη στατιστική. Αθήνα: Εκδόσεις Σταμούλη Α. Ε.
[13] Φερεντίνος, Κ., Ζωγράφος, Κ., & Παπαϊωάννου, Τ. (2020). Εκτιμητική και έλεγχος υποθέσεων. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
166
ΒΙΒΛΙΟΓΡΑΦΙΑ
[14] Brown, M.B., & Forsythe, A. B. (1974). Robust tests for the equality of variances. Journal of the
American Statistical Association, 69, 364-367.
[15] Draper, R.D., & Smith, H. (1998). Applied regression analysis (3rd ed.). Wiley-Interscience.
[16] Dunnett, C.W. (1955). A multiple comparison procedure for comparing several treatments with a
control. Journal of the American Statistical Association, 50, 1096–1121.
[17] Dunnett, C.W. (1964). New tables for multiple comparisons with a control. Biometrics, 20, 482–491.
[18] Field, A. (2021). Μία περιπέτεια στη στατιστική (Ε. Γάκη, Χ. Παρπούλα & Η. Σαντουρίδης, Επιμ.).
Αθήνα: Εκδόσεις Προπομπός.
[19] Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R (1st ed.). Sage Ltd.
[20] Fisher, R.A. (1935). Design of experiments. London: Oliver & Boyd.
[21] Galton, F. (1886). Regression towards mediocrity in hereditary stature. The Journal of the Anthropological Institute of Great Britain and Ireland, 15, 246-263.
[22] Hicks, C.R. (1997). Fundamental concepts in the design of experiments (4th ed.). John Wiley and Sons.
[23] Levene, H. (1960). Robust tests for equality of variances, In I. Olkin et al. (Eds)Contributions to
probability and statistics: essays in honor of Harold Hotelling. Stanford University Press, 278-292.
[24] Nelson, L.S. (1983). Exact critical values for use for the analysis of means. Journal of Quality Technology, 15, 40-44.
[25] Snedecor, G.W., & Cochran, W. G. (1989). Statistical Methods (8th ed.). Iowa State University Press.
[26] Tukey, J. (1949). Comparing individual means in the analysis of variance. Biometrics, 5(2), 99–114.
[27] Wald, A., & Wolfowitz, J. (1940). On a test whether two samples are from the same population.
Annals of Mathematical Statistics, 11(2), 147-162.
[28] Wackerly, D.D., Mendenhall, W., & Scheaffer, R.L. (2008). Mathematical statistics with applications
(7th ed.). Belmont, California: Duxbury, Thompson Learning Inc.
ΚΕΦΑΛΑΙΟ 8
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει τα πειράματα με έναν παράγοντα ενδιαφέροντος, ομαδοποιημένα ως προς μία ή δύο μεταβλητές πλαισίου.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση των προηγουμένων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• αναγνωρίζει πειράματα με έναν παράγοντα ενδιαφέροντος, σε ομάδες,
• να χρησιμοποιεί τη μονοπαραγοντική ανάλυση διακύμανσης σε σχέδια τυχαιοποιημένων πλήρων ομάδων ή λατινικών τετραγώνων,
• χρησιμοποιεί τεχνικές σχεδιασμού πειραμάτων, και ειδικότερα της διπαραγοντικής ανάλυσης
διακύμανσης, σε πειράματα δύο παραγόντων, προκειμένου να μελετά τόσο τις κύριες επιδράσεις
των παραγόντων ενδιαφέροντος όσο και την αλληλεπίδρασή τους,
• διακρίνει το είδος των επιδράσεων των εμπλεκόμενων μεταβλητών, και να επιλέγει και προσαρμόζει το κατάλληλο κατά περίπτωση πρότυπο, συμπεριλαμβανομένου και του μεικτού,
• να εφαρμόζει τη διπαραγοντική ανάλυση διακύμανσης με τη χρήση στατιστικών πακέτων.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
168
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
8.1 Εισαγωγή
Στον πειραματικό σχεδιασμό, ο βασικός στόχος είναι ο περιορισμός της μεταβλητότητας, ιδιαιτέρως όταν
αυτή οφείλεται σε παράγοντες που δεν ενδιαφέρουν τον Ερευνητή. Είναι συχνό το φαινόμενο σε μία διεργασία να επιδρά εκ κατασκευής, εκ φύσεως ή και αναγκαστικά, κάποια μεταβλητή. Για παράδειγμα, αν ο Ερευνητής επιθυμεί να αξιολογήσει την κατανάλωση δύο διαφορετικών τύπων βενζίνης (π.χ. 95 και 100 οκτανίων), αν χρησιμοποιήσει αυτοκίνητα διαφορετικών κατασκευαστών ή διαφορετικού κυβισμού αυτή η διαφορετικότητα, αν δεν την λάβει υπόψη του, μάλλον θα επηρεάσει τα αποτελέσματά του και θα οδηγηθεί σε
παραπλανητικά συμπεράσματα ως προς την αξιολόγηση των δύο διαθέσιμων ειδών βενζίνης. Ένας τρόπος να
αντιμετωπιστεί ένα τέτοιο ενδεχόμενο είναι να χρησιμοποιηθεί ακριβώς ο ίδιος τύπος αυτοκινήτου (κοινός
κατασκευαστής και ίδιος κυβισμός). Ένας εναλλακτικός τρόπος είναι να χρησιμοποιηθούν πολλοί διαφορετικοί τύποι αλλά να γίνουν μετρήσεις κατανάλωσης για καθέναν από τους δύο τύπους βενζίνης σε καθέναν από
τους διαφορετικούς τύπους αυτοκινήτων.
Στις περιπτώσεις αυτές η μεταβλητή που υπεισέρχεται στη διεργασία, χωρίς να είναι του άμεσου ενδιαφέροντος του Ερευνητή (όπως ο τύπος του αυτοκινήτου), ονομάζεται μεταβλητή πλαισίου ή εξωγενής παράγοντας ή ομάδα ή block. Το πρόβλημα με τον τρόπο αυτό κάνει ξεκάθαρη την επίδραση του κάθε τύπου βενζίνης
στην κατανάλωση. Πράγματι, από τη στιγμή που κάθε αυτοκίνητο δίνει μέτρηση της κατανάλωσης και για
τον έναν και για τον άλλο τύπο βενζίνης, η όποια επίδραση του τύπου αυτοκινήτου στην κατανάλωση αποτυπώνεται ανεξάρτητα από την επίδραση του κάθε τύπου βενζίνης, και κατ΄ αυτόν τον τρόπο απομονώνεται.
Είναι εύκολο να διαπιστώσει κανείς ότι το συγκεκριμένο σχέδιο είναι γνωστό από τη Στατιστική Συμπερασματολογία. Πράγματι, αν θεωρηθεί ότι οι δύο τύποι βενζίνης είναι δύο διαφορετικοί πληθυσμοί που πρέπει
να μελετηθούν, τότε η μελέτη μπορεί να γίνει χρησιμοποιώντας δειγματοληψία σε ζεύγη όπου ο ίδιος τύπος
αυτοκινήτου θα χρησιμοποιηθεί τη μία φορά με τον έναν τύπο βενζίνης, και μία δεύτερη, με τον άλλο τύπο
βενζίνης. Οι δύο μετρήσεις θα αποτελούν μετρήσεις σε ζεύγη, αφού στην πράξη η ίδια δειγματική μονάδα (το
ίδιο αυτοκίνητο) χρησιμοποιείται και για τους δύο τύπους βενζίνης. Άρα, ο συγκεκριμένος σχεδιασμός αντιστοιχεί στη δειγματοληψία σε ζεύγη για τη σύγκριση πληθυσμών. Το συγκεκριμένο σχέδιο που αναφέρεται
και ως Τυχαιοποιημένος Τμηματικός Σχεδιασμός, μπορεί να γενικευτεί για έναν παράγοντα με k επίπεδα και μία
μεταβλητή πλαισίου (ομάδα, block) με b επίπεδα. Ο σχεδιασμός αυτός επιτρέπει τη μελέτη τόσο σταθερών
όσο και τυχαίων επιδράσεων.
Μία περαιτέρω γενίκευση προκύπτει όταν υπάρχουν δύο μεταβλητές πλαισίου αντί για μία. Για παράδειγμα,
στο παραπάνω πρόβλημα, πέρα από τον τύπο αυτοκινήτου θα μπορούσε να επιδρά και ο βαθμός εμπειρίας
του οδηγού. Στην περίπτωση αυτή, και εφόσον ο αριθμός επιπέδων τόσο του παράγοντα ενδιαφέροντος όσο
και της καθεμίας από τις δύο μεταβλητές πλαισίου είναι ίδιος, το πρόβλημα μπορεί να αντιμετωπιστεί με το
σχέδιο Λατινικών Τετραγώνων ( Latin Squares) το οποίο είναι ένας ειδικός σχεδιασμός με περιορισμένο (αλλά
κατάλληλα επιλεγμένο) αριθμό μετρήσεων που εξασφαλίζει την αξιοπιστία των τελικών πορισμάτων. Στην
ενότητα αυτή θα μελετηθούν όλοι οι πιο πάνω σχεδιασμοί.
Το πιο πάνω πρόβλημα θα μπορούσε να θεωρηθεί ως ένα πρόβλημα δύο (ή τριών αν έχουμε δύο μεταβλητές πλαισίου) παραγόντων, αλλά αυτό δεν είναι ακριβές, αφού ο Ερευνητής ενδιαφέρεται μόνο για έναν παράγοντα (τον τύπο βενζίνης) ενώ ο δεύτερος (ή και ο τρίτος) δεν τον ενδιαφέρει. Ο λόγος που επιλέγει να
τον συμπεριλάβει στη μελέτη είναι γιατί γνωρίζει ότι επηρεάζει τη διεργασία και με το να τον συμπεριλάβει, καταφέρνει να τον απομονώσει (να τον αδρανοποιήσει, να τον εξουδετερώσει) ώστε να μπορεί να εξάγει
ακριβή συμπεράσματα για εκείνον τον παράγοντα που πραγματικά θέλει να μελετήσει. Στην περίπτωση που
υπάρχουν δύο παράγοντες ενδιαφέροντος είτε με είτε χωρίς μεταβλητές πλαισίου, ο σχεδιασμός αφορά τη
Διπαραγοντική Ανάλυση Διακύμανσης, η οποία επίσης θα μελετηθεί στο παρόν Κεφάλαιο.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
169
8.2 Σχέδιο τυχαιοποιημένων πλήρων ομάδων (μεταβλητές πλαισίου)
Έστω ότι ενδιαφερόμαστε να μελετήσουμε κατά πόσο διαφέρουν k πληθυσμοί/θεραπείες (δηλαδή κατά πόσο
είναι ίσοι ή όχι οι μέσοι των k επιπέδων/πληθυσμών του παράγοντα ενδιαφέροντος) στην παρουσία ενός
εξωγενούς παράγοντα (ομάδα, μεταβλητή πλαισίου, block). Ο Τυχαιοποιημένος Τμηματικός Σχεδιασμός (
Randomized Block Design) που θα περιγράψουμε εδώ, όπως ειπώθηκε προηγουμένως, αποτελεί τη γενίκευση για k πληθυσμούς της δειγματοληψίας κατά ζεύγη για τη σύγκριση δύο πληθυσμών. Ο σχεδιασμός
αναφέρεται σε πλήρεις ομάδες, γιατί σε κάθε ομάδα εφαρμόζονται όλες οι διαθέσιμες θεραπείες ώστε να μην
μένει κάποιο επίπεδο από τα k επίπεδα του παράγοντα που να μην δοκιμαστεί/εφαρμοστεί. Επιπρόσθετα, ο
σχεδιασμός είναι Ισορροπημένος, που σημαίνει ότι έχουμε ίδιο αριθμό μετρήσεων (επαναλήψεων ή εκτελέσεων
του πειράματος) για κάθε θεραπεία.
Τα βήματα του Τυχαιοποιημένου Τμηματικού Σχεδιασμού είναι τα εξής:
1. Οι δειγματικές μονάδες χωρίζονται σε b ομάδες ( blocks). To κάθε block αποτελείται από k δειγματικές μονάδες που έχουν όσο το δυνατόν περισσότερα κοινά χαρακτηριστικά. Έτσι, έχουμε την πιο
κάτω διαμέριση του αρχικού δείγματος:
ΟΜΑΔΑ #1
k δειγματικές
μονάδες
ΟΜΑΔΑ #2
k δειγματικές
μονάδες
···
ΟΜΑΔΑ #b
k δειγματικές .
μονάδες
Παρατηρούμε ότι σε κάθε ομάδα γίνονται k μετρήσεις, ενώ το ολικό δείγμα έχει μέγεθος:
(Αριθμός blocks) × (Αριθμός μονάδων ανά block) = bk.
2. Από το block #1, επιλέγουμε τυχαία 1 δειγματική μονάδα από τις k μονάδες, για τη θεραπεία/πληθυσμό
#1, 1 δειγματική μονάδα από τις υπόλοιπες k − 1 μονάδες για τη θεραπεία/πληθυσμό #2, κ.ο.κ. μέχρις ότου η τελευταία εναπομείνασα μονάδα να χρησιμοποιηθεί για τη θεραπεία/πληθυσμό #k. Στη
συνέχεια, ακολουθείται η ίδια διαδικασία για τα blocks 2, 3, . . . , b. Έτσι, έχουμε:
ΟΜΑΔΑ #1
Θεραπεία 1
Θεραπεία 2
..
.
ΟΜΑΔΑ #2
Θεραπεία 1
Θεραπεία 2
..
.
Θεραπεία k
Θεραπεία k
···
ΟΜΑΔΑ #b
Θεραπεία 1
Θεραπεία 2 .
..
.
Θεραπεία k
Με αυτό τον σχεδιασμό σε κάθε block υπάρχει ακριβώς μία δειγματική μονάδα για καθεμία από τις k θεραπείες/πληθυσμούς. Το σκεπτικό του σχεδιασμού αυτού είναι το εξής:
Αφού σε κάθε block οι δειγματικές μονάδες έχουν πολλά κοινά χαρακτηριστικά, οι διαφορές που θα προκύψουν μεταξύ των k θεραπειών μέσα στο ίδιο block, θα είναι πιο αντικειμενικές. Ως αποτέλεσμα, οι διακυμάνσεις των παρατηρήσεων που οφείλονταν στις διαφορές μεταξύ των δειγματικών μονάδων κάθε block, είναι
μηδαμινές.
Έστω yij η παρατήρηση/μέτρηση που αντιστοιχεί στην i θεραπεία και στο j block. Στον τυχαιοποιημένο
τμηματικό σχεδιασμό υπάρχουν 3 τύποι μέσων τιμών που μπορούν να οριστούν, και είναι ο μέσος µi. της θεραπείας i, ο μέσος µ.j της ομάδας j και ο ολικός μέσος µ με εκτιμητές τις αντίστοιχες δειγματικές ποσότητες:
b
1X
yij
Δειγματική Μέση τιμή i πληθυσμού/θεραπείας: ȳi. =
b j=1
170
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
k
1X
Δειγματική Μέση τιμή j block: ȳ.j =
yij
k i=1
Δειγματικός Ολικός Μέσος: ȳ.. =
k X
b
1 X
yij .
bk i=1 j=1
Όλα τα βασικά στοιχεία του σχεδιασμού συνοψίζονται στον Πίνακα 8.1:
Πίνακας 8.1: Τυχαιοποιημένος Τμηματικός Σχεδιασμός Πλήρων Ομάδων
Block
1
2
...
b
Μέσος Θεραπείας
Εκτιμητής Μέσου
Θεραπεία 1
y11
y12
···
y1b
µ1.
ȳ1.
Θεραπεία 2
..
.
y21
..
.
y22
..
.
···
···
y2b
..
.
µ2.
..
.
ȳ2.
..
.
Θεραπεία k
yk1
yk2
···
ykb
µk.
ȳk.
Μέσος Block
µ.1
µ.2
···
µ.b
µ
Εκτιμητής Μέσου
ȳ.1
ȳ.2
···
ȳ.b
ȳ..
Η προφανής ταυτότητα:
yij − ȳ.. = (ȳi. − ȳ.. ) + (ȳ.j − ȳ.. ) + (yij − ȳ.j − ȳi. + ȳ.. ) ,
δείχνει ότι η απόκλιση της κάθε παρατήρησης yij από τον ολικό μέσο ȳ.. οφείλεται εν μέρει στην απόκλιση του
μέσου ȳi. του πληθυσμού i από τον ολικό μέσο ȳ.. , εν μέρει στην απόκλιση του μέσου ȳ.j , του block j, από τον
μέσο ȳ.. και εν μέρει στην απόκλιση της ποσότητας yij + ȳ.. από το άθροισμα των μέσων του πληθυσμού και
του block, από όπου η συγκεκριμένη παρατήρηση/μέτρηση προέρχεται. Τετραγωνίζοντας και τα δύο μέλη
της πιο πάνω σχέσης και αθροίζοντας ως προς i και j, έχουμε (είναι εύκολο να δειχτεί ότι όλα τα διπλάσια
γινόμενα μηδενίζονται):
X
2
(yij − ȳ.. ) =
i,j
XX
i
2
(ȳi. − ȳ.. ) +
XX
j
i
2
(ȳ.j − ȳ.. ) +
j
X
2
(yij − ȳ.j − ȳi. + ȳ.. ) ,
i,j
η οποία μπορεί να απλοποιηθεί και να πάρει την τελική μορφή:
XX
i
j
2
(yij − ȳ.. ) = b
k
X
b
X
2
(ȳi. − ȳ.. ) + k
i
2
(ȳ.j − ȳ.. ) +
j
XX
i
2
(yij − ȳ.j − ȳi. + ȳ.. ) .
(8.1)
j
Ορισμός 8.1. Για τον Τυχαιοποιημένο Τμηματικό Σχεδιασμό ορίζουμε την Ολική Μεταβλητότητα:
SST O =
XX
i
(yij − ȳ.. )2 ,
(8.2)
j
με bk − 1 ≡ n − 1 β.ε., τη Μεταβλητότητα μεταξύ των Θεραπειών:
SST = b
k
X
(ȳi. − ȳ.. )2 ,
(8.3)
i=1
με k − 1 β.ε., τη Μεταβλητότητα μεταξύ των Blocks:
SSB = k
b
X
j=1
(ȳ.j − ȳ.. )2 ,
(8.4)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
171
με b − 1 β.ε. και το Άθροισμα των Τετραγωνικών Σφαλμάτων, δηλαδή τη μεταβλητότητα που δεν μπορεί να
ερμηνευθεί από το προτεινόμενο πρότυπο:
SSE =
XX
i
(yij − ȳ.j − ȳi. + ȳ.. )2
(8.5)
j
με (b − 1)(k − 1) β.ε.
Η σχέση που συνδέει τους βαθμούς ελευθερίας είναι:
n − 1 ≡ bk − 1 = (k − 1) + (b − 1) + (b − 1)(k − 1),
ενώ λόγω του πιο πάνω ορισμού, η σχέση (8.1) παίρνει τη μορφή:
SST O = SST + SSB + SSE.
(8.6)
Ο επόμενος ορισμός δίνει τα μέσα αθροίσματα τετραγώνων τα οποία προκύπτουν διαιρώντας το κάθε άθροισμα τετραγώνων με τους αντίστοιχους βαθμούς ελευθερίας.
Ορισμός 8.2.
είναι:
α) Το Μέσο Άθροισμα Τετραγώνων, αναφορικά με το SST , δηλαδή μεταξύ των θεραπειών,
M ST =
SST
.
k−1
(8.7)
β) Το Μέσο Άθροισμα Τετραγώνων, αναφορικά με το SSB, δηλαδή μεταξύ των blocks, είναι:
SSB
.
b−1
(8.8)
SSE
.
(b − 1) (k − 1)
(8.9)
M SB =
γ) Το Μέσο Άθροισμα Τετραγωνικών Σφαλμάτων είναι:
M SE =
Συνοψίζοντας, ο ANOVA πίνακας για τον Τυχαιοποιημένο Τμηματικό Σχεδιασμό με μία μεταβλητή πλαισίου
(ομάδα) είναι:
Πίνακας 8.2: Πίνακας ANOVA - Τυχαιοποιημένος Τμηματικός Σχεδιασμός Πλήρων Ομάδων
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
k−1
SST
M ST =
SST
k−1
Blocks - Ομάδες
b−1
SSB
M SB =
SSB
b−1
Σφάλμα
(b − 1) (k − 1)
SSE
Ολική
n − 1 ≡ bk − 1
SST O
Άθροισμα
Τετραγώνων
M SE =
SSE
(b−1)(k−1)
–
Βάσει των ανωτέρω, το πρότυπο για τη σύγκριση k πληθυσμών/θεραπειών ή εναλλακτικά για τα k επίπεδα
του παράγοντα ενδιαφέροντος A, στην παρουσία μίας μεταβλητής πλαισίου O με b επίπεδα, αποτελεί γενίκευση του προτύπου (7.5) της μονοπαραγοντικής ανάλυσης διακύμανσης:
yij = µij + ϵij ≡ µ + αi + oj + ϵij ,
i = 1, ..., k,
j = 1, ..., b,
(8.10)
172
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
όπου µij η επίδραση του i επιπέδου του παράγοντα ενδιαφέροντος εντός της ομάδας j (δηλαδή όταν η μεταβλητή πλαισίου είναι στο επίπεδο j), µ ο ολικός μέσος (συχνά ορίζεται και ως µ.. ), αi η επίδραση του i
επιπέδου του παράγοντα ενδιαφέροντος A, oj η επίδραση του επιπέδου j της μεταβλητής πλαισίου O και
i.i.d.
ϵij ∼ N (0, σ 2 ).
Οι σχέσεις που συνδέουν τις παραμέτρους του προτύπου είναι:
αi = µi· − µ & oj = µ.j − µ.
Θα πρέπει να σημειωθεί ότι εκτελείται ένα μόνο πείραμα (δηλαδή μία μόνο μέτρηση) σε κάθε συνδυασμό επιπέδων i και j του παράγοντα A και της μεταβλητής πλαισίου O, αλλά η σειρά με την οποία εκτελούνται τα
πειράματα είναι τυχαία και η τυχαιοποίηση αλλάζει εντός κάθε επιπέδου της μεταβλητής O. Επιπλέον, σημειώνεται ότι η πιο πάνω εξίσωση καθορίζει ένα πλήρως προσθετικό πρότυπο, δηλαδή ένα πρότυπο στο οποίο
δεν υπάρχει αλληλεπίδραση μεταξύ του παράγοντα A και της μεταβλητής O.
Στις διεργασίες όπου εμπλέκεται μία ή δύο μεταβλητές πλαισίου, θεωρούμε ότι τέτοιες αλληλεπιδράσεις (με
τον παράγοντα ενδιαφέροντος) δεν υφίστανται. Αν δεν είναι δυνατόν να υποθέσει ο Ερευνητής την απουσία
αλληλεπίδρασης μεταξύ του παράγοντα και της μεταβλητής πλαισίου, τότε η εφαρμογή της μεθοδολογίας της
παρούσας ενότητας οδηγεί σε εσφαλμένα συμπεράσματα. Άρα, αν υπάρχει υπόνοια για ύπαρξη αλληλεπίδρασης, τότε η μεταβλητή πλαισίου θα πρέπει να αντιμετωπιστεί ως ένας δεύτερος παράγοντας ενδιαφέροντος
και η μελέτη θα πρέπει να γίνει με τη διπαραγοντική ανάλυση διακύμανσης με παραγοντικό πείραμα δύο παραγόντων σε σχεδιασμό πλήρους τυχαιοποίησης και με τουλάχιστον μία μέτρηση (ένα πείραμα), δηλαδή με
επανάληψη, ανά συνδυασμό επιπέδων (βλ. στη συνέχεια στο ίδιο Κεφάλαιο, στην Ενότητα 8.4 της Διπαραγοντικής Ανάλυσης Διακύμανσης). Η επανάληψη εξασφαλίζει τη διερεύνηση του κατά πόσο η ταυτόχρονη
εμπλοκή δύο παραγόντων (δηλαδή η αλληλεπίδρασή τους) επηρεάζει τη μεταβλητή απόκρισης.
8.2.1 Πρότυπα σταθερών και τυχαίων επιδράσεων
Στην ενότητα αυτή θα αναλυθούν τα βασικά πρότυπα με σταθερές και τυχαίες επιδράσεις.
8.2.1.1 Πρότυπο σταθερών επιδράσεων
Στην περίπτωση των σταθερών επιδράσεων, οι παράμετροι α1 , . . ., αk είναι καθορισμένοι πραγματικοί αριθP
P
μοί, έτσι ώστε i αi = 0. Η αντίστοιχη προϋπόθεση ισχύει και για τις ομάδες: j oj = 0 ώστε να είναι
εφικτός ο μονοσήμαντος προσδιορισμός των µ, α1 , . . . , αk , o1 , . . . , ob . Στην περίπτωση αυτή, και με βάση
τα δεδομένα του προτύπου, ισχύει ότι:
& V ar (Yij ) = σ 2 .
E (Yij ) = E (µ + αi + oj ) = µ + αi + oj
8.2.1.2 Εκτίμηση και έλεγχος υποθέσεων
Έχοντας τους δειγματικούς μέσους από την προηγούμενη ενότητα να αποτελούν ιδανικούς εκτιμητές των
αντίστοιχων παραμέτρων, καταλήγουμε ότι:
1X
µ̂ =
yij = ȳ.. ,
n i,j
b
1X
µ̂i. =
yij = ȳi.
b j=1
&
ενώ οι εκτιμήτριες των επιδράσεων αi και oj είναι αντίστοιχα:
α̂i = µ̂i. − µ̂ = ȳi. − ȳ..
και
ôj = µ̂.j − µ̂ = ȳ.j − ȳ..
k
1X
µ̂.j =
yij = ȳ.j ,
k i=1
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
173
Τέλος, η εκτιμήτρια της διασποράς σ 2 είναι αντίστοιχη με αυτήν στη μονοπαραγοντική ανάλυση διακύμανσης:
X
1
σ̂ 2 = s2 =
(yij − ȳ.. )2 ≡ M SE,
(b − 1)(k − 1) i,j
όπου η διαίρεση έχει γίνει με τους β.ε. του σφάλματος ώστε να διασφαλίζονται οι καλές θεωρητικές ιδιότητες
(π.χ. αμεροληψία) του εκτιμητή.
Με βάση τα παραπάνω, η εκτίμηση (πρόβλεψη) της οποιασδήποτε τιμής j της μεταβλητής απόκρισης για
το επίπεδο i, όταν η μεταβλητή πλαισίου είναι στο επίπεδο j, είναι:
ŷij = µ̂ + α̂i + ôj .
Η πιο πάνω ποσότητα ŷij αποτελεί εκτίμηση της yij , έτσι ώστε τα κατάλοιπα ( residuals), δηλαδή οι αποκλίσεις μεταξύ παρατηρούμενων και εκτιμώμενων τιμών, να ορίζονται με τον συνήθη τρόπο:
ϵ̂ij = yij − ŷij = yij − ȳi. − ȳi. + ȳ.. .
Η μηδενική (και η αντίστοιχη εναλλακτική) υπόθεση της μη ύπαρξης διαφοράς μεταξύ των μέσων των k πληθυσμών, δηλαδή των μηδενικών επιδράσεων των θεραπειών, μπορεί να διατυπωθεί όπως και προηγουμένως:
H0 : µ1· = µ2· = ... = µk· ≡ µ vs
H1 : Όχι όλα τα µi· , i = 1, ..., k ίσα
ή ισοδύναμα,
H0 : α1 = α2 = ... = αk = 0
vs
H1 : Όχι όλα τα αi , i = 1, ..., k ίσα με 0.
(8.11)
Από το Θεώρημα Cochran (Πρόταση 2.5) έχουμε και πάλι ότι η ελεγχοσυνάρτηση για τον έλεγχο της πιο
πάνω H0 , είναι η ακόλουθη:
F =
M ST
=
M SE
SST
H0
k−1
∼
SSE
(b−1)(k−1)
Fk−1,(b−1)(k−1) ,
ενώ το χωρίο απόρριψης της H0 είναι το εξής:
F > Fk−1,(b−1)(k−1);α ,
όπου Fk−1,(b−1)(k−1);α το 100(1 − α)% ποσοστημόριο της κατανομής F με k − 1 και (b − 1)(k − 1)
βαθμούς ελευθερίας. Ο Πίνακας Ανάλυσης Διασποράς παίρνει τελικά τη μορφή:
Πίνακας 8.3: Πίνακας ANOVA - Τυχαιοποιημένος Τμηματικός Σχεδιασμός Πλήρων Ομάδων - Σταθερές
Επιδράσεις
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
k−1
SST
M ST =
SST
k−1
M ST
M SE
Blocks - Ομάδες
b−1
SSB
M SB =
SSB
b−1
M SB
M SE
Σφάλματα
(b − 1)(k − 1)
SSE
SSE
(b−1)(k−1)
–
Ολική
n − 1 ≡ bk − 1
SST O
Άθροισμα
F
Τετραγώνων
M SE =
–
–
174
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Από τα παραπάνω είναι προφανές ότι αν είναι αληθής η μηδενική υπόθεση, τότε το πρότυπο παίρνει τη μορφή:
yij = µ + oj + ϵij
για κάθε επίπεδο i, που σημαίνει ότι δεν υπάρχει διαφοροποίηση μεταξύ των πληθυσμών, και άρα η συνολική
μεταβλητότητα των δεδομένων αποδίδεται αφενός μεν στις ομάδες (κάτι που ήταν γνωστό στον Ερευνητή
από την αρχή) και σε τυχαία σφάλματα, και άρα οι πληθυσμοί δεν διαφέρουν μεταξύ τους, δηλαδή ως προς τα
επίπεδα του παράγοντα ενδιαφέροντος A.
Σημειώνεται ότι ο Πίνακας ANOVA περιλαμβάνει και μία γραμμή με πληροφορίες για τη μεταβλητή πλαισίου, δίνοντας το SSB, το M SB, τους β.ε και την τιμή F = M SB/M SE. Η τελευταία αυτή ποσότητα
μπορεί να αξιοποιηθεί ως ελεγχοσυνάρτηση για τη διερεύνηση της ισότητας των ίσων μέσων της μεταβλητής απόκρισης για τις διαφορετικές ομάδες 1, . . . , b, δηλαδή για την υπόθεση μηδενικών επιδράσεων των
ομάδων:
H0 : o1 = o2 = . . . = ob = 0
vs
H1 : Όχι όλα τα oj , j = 1, . . . , b ίσα με 0.
Ο έλεγχος αυτός γίνεται καθαρά για πρακτικούς λόγους, στην περίπτωση που ο Ερευνητής θέλει να επιβεβαιώσει την αρχική του υπόθεση (που συνήθως προκύπτει είτε από τη βιβλιογραφία είτε από πρότερη εμπειρία είτε και από τα δύο μαζί) ότι υφίσταται διαφοροποίηση μεταξύ των επιπέδων της μεταβλητής πλαισίου.
Ο έλεγχος έχει την αξία του, διότι αν οι συνθήκες έχουν αλλάξει και δεν υφίσταται πλέον (για οποιονδήποτε
λόγο) μία τέτοια διαφοροποίηση, τότε ο έλεγχος διαπιστώνει την αποδοχή της μηδενικής υπόθεσης (δηλαδή
των μηδενικών επιδράσεων) καταλήγοντας στο συμπέρασμα ότι δεν υπήρχε λόγος ομαδοποίησης, και το κυριότερο, ότι δεν πρέπει να γίνεται ομαδοποίηση σε οποιαδήποτε μελλοντικά πειράματα. Κατά αντιστοιχία με
τον έλεγχο των μηδενικών επιδράσεων για τις θεραπείες, εδώ ισχύει ότι:
M SB
=
F =
M SE
SSB
H0
b−1
∼
SSE
(b−1)(k−1)
Fb−1,(b−1)(k−1) ,
ενώ το χωρίο απόρριψης της H0 είναι το εξής:
F > Fb−1,(b−1)(k−1);α ,
όπου Fb−1,(b−1)(k−1);α το 100(1 − α)% ποσοστημόριο της κατανομής F με b − 1 και (b − 1)(k − 1)
βαθμούς ελευθερίας.
Nα σημειωθεί ότι οι Ερευνητές σπάνια επιλέγουν να προβούν στον συμπληρωματικό αυτόν έλεγχο. Ένας
σημαντικός λόγος γι’ αυτό αφορά την κανονικότητα των σφαλμάτων. Αν και ο έλεγχος για τις θεραπείες δεν
επηρεάζεται σημαντικά όταν η υπόθεση της κανονικότητας δεν είναι (απολύτως) αποδεκτή, δεν ισχύει το ίδιο
για τον έλεγχο για τις ομάδες. Με άλλα λόγια, αν και ο έλεγχος για τις θεραπείες εξακολουθεί να ισχύει ακόμα
και για αποκλίσεις από την υπόθεση της κανονικότητας, και τα συμπεράσματά του είναι έγκυρα, ο έλεγχος για
τις ομάδες δεν παραμένει αξιόπιστος (όταν δεν πληρείται η κανονικότητα), και όποια συμπεράσματα προκύπτουν από αυτόν, είναι επισφαλή (βλ. [?]).
8.2.1.3 Κλασικά διαστήματα εμπιστοσύνης και πολλαπλές συγκρίσεις
Βασιζόμενοι στα προηγούμενα, μπορούμε να προβούμε στη μελέτη ενός μέσου ή τη σύγκριση δύο μέσων,
με την κατασκευή κατάλληλου διαστήματος εμπιστοσύνης ή ελέγχου υποθέσεων. Πράγματι, από το ΚΟΘ
γνωρίζουμε ότι:
ȳi. − µi·
q
∼ N (0, 1),
σ 2 /b
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
175
ενώ εάν η διασπορά είναι άγνωστη και αντικαθίσταται από τον κλασικό εκτιμητή M SE τότε:
ȳi. − µi·
q
M SE/b
∼ tn−(b−1)(k−1) .
Οι αντίστοιχες σχέσεις για τη σύγκριση των μέσων µi1 . και µi2 . δύο θεραπειών i1 και i2 είναι:
(ȳi1 . − ȳi2 . ) − (µi1 . − µi2 . )
q
και
2σ 2 /b
(ȳi1 . − ȳi2 . ) − (µi1 . − µi2 . )
q
2M SE/b
∼ N (0, 1)
∼ tn−(b−1)(k−1) .
Όπως αναφέρθηκε και στα προηγούμενα Κεφάλαια (π.χ. Ενότητα 7.5), όταν ο έλεγχος ισότητας των μέσων
(8.11) καταλήγει στο συμπέρασμα ότι οι μέσοι δεν είναι όλοι ίσοι, δηλαδή στην περίπτωση που γίνεται δεκτή η εναλλακτική υπόθεση, ο Ερευνητής μπορεί (και ενδείκνυται) να προχωρήσει σε Πολλαπλές Συγκρίσεις, ( Multiple Comparisons) όπου για όλες τις συγκρίσεις ανά δύο, το συνολικό σφάλμα να μην υπερβαίνει
έναν προκαθορισμένο επίπεδο α ή διαφορετικά το συνολικό επίπεδο εμπιστοσύνης να μην είναι χαμηλότερο
από ένα προκαθορισμένο συντελεστή εμπιστοσύνης 100(1 − α)%. Τροποποιώντας
κατάλληλα την εξίσωση
√
(7.17), δηλαδή θέτοντας n/k = b, n − k = (k − 1)(b − 1) και s = M SE, έχουμε:
s
ȳi1 . − ȳi2 . ± qk,(k−1)(b−1);α
M SE
,
b
(8.12)
το οποίο χρησιμοποιείται για την κατασκευή όλων των δυνατών συγκρίσεων ανά δύο μεταξύ των k επιπέδων
ή πληθυσμών του παράγοντα ενδιαφέροντος Α. Έτσι, το επίπεδο εμπιστοσύνης για τα συνολικά k(k − 1)/2
διαστήματα εμπιστοσύνης θα είναι τουλάχιστον 100(1 − α)%. Σημειώνεται ότι εάν κρίνεται αναγκαίο, είναι
εφικτή η κατασκευή διαστημάτων εμπιστοσύνης είτε απλών είτε πολλαπλών, και για τους μέσους των επιπέδων της μεταβλητής πλαισίου με ακριβώς τον ίδιο τρόπο με παραπάνω. Εδώ, παραλείπεται υπό την έννοια
ότι αυτή δεν αποτελεί μεταβλητή ενδιαφέροντος, αφού ο Ερευνητής είναι γνώστης της επίδρασής της στη
μεταβλητή απόκρισης.
8.2.1.4 Πρότυπο τυχαίων επιδράσεων
Η ανάγκη μελέτης τυχαίων επιδράσεων, όπως είχε αναφερθεί και στο προηγούμενο Κεφάλαιο, προκύπτει στις
περιπτώσεις όπου ο Ερευνητής έχει να μελετήσει πληθώρα διαφορετικών επιπέδων (πληθυσμών), και χρονικοί ή/και οικονομικοί περιορισμοί δεν του το επιτρέπουν. Στην παρούσα περίπτωση, το πρόβλημα επιλύεται
με την αξιοποίηση του προτύπου τυχαίων επιδράσεων, όπου περιορισμένος αριθμός επιπέδων και από τον παράγοντα ενδιαφέροντος και από τη μεταβλητή πλαισίου, επιλέγεται τυχαία. Υπενθυμίζεται ότι στο πρότυπο
τυχαίων επιδράσεων δεν εξετάζεται η μέση τιμή (των επιπέδων), αλλά η μεταβλητότητα.
Το πρότυπο τυχαίων επιδράσεων δίνεται και πάλι, όπως και πιο πάνω, από τον τύπο:
yij = µ + αi + oj + ϵij ,
i = 1, ..., k,
j = 1, ..., b,
(8.13)
όπου σε αντίθεση με το πρότυπο σταθερών επιδράσεων, οι επιδράσεις αi είναι τυχαίες μεταβλητές με κατανομή N (0, σα2 ), οι επιδράσεις oj είναι επίσης τυχαίες μεταβλητές με κατανομή N (0, σ 2 ), τα σφάλματα είναι
i.i.d.
τυχαίες μεταβλητές τέτοιες ώστε ϵij ∼ N (0, σ 2 ), ενώ οι τυχαίες μεταβλητές αi , oj και ϵij είναι ανεξάρτητες, ανά δύο. Με βάση τις πιο πάνω κατανομές είναι προφανές ότι:
Yij ∼N (µ, σ 2 + σα2 + σo2 ),
176
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
και άρα:
E (Yij ) = µ & V ar (Yij ) = σ 2 + σα2 + σo2 ,
∀i, j
όπου σ 2 , σα2 και σo2 ονομάζονται συνιστώσες διασποράς. H μελέτη του προτύπου είναι ίδια με προηγουμένως,
αφού αν σα2 = 0, τότε όλες οι θεραπείες είναι ίδιες και η διασπορά θα ισούται μόνο με σ 2 +σo2 , ενώ αν σα2 > 0
υπάρχει μεταβλητότητα μεταξύ των θεραπειών και η διασπορά θα είναι μεγαλύτερη από σ 2 + σo2 . Υπενθυμίζεται ότι η διερεύνηση της επίδρασης της μεταβλητής πλαισίου θεωρείται δεδομένη και μη αμφισβητήσιμη,
δηλαδή είναι δεδομένο ότι σo2 > 0. Αν βέβαια, ο Ερευνητής θέλει να το επιβεβαιώσει, μπορεί να προβεί στον
σχετικό έλεγχο. Σε οποιαδήποτε περίπτωση, ο αναγκαίος και επιθυμητός έλεγχος για ίδιες ή μη θεραπείες
στην περίπτωση του προτύπου τυχαίων επιδράσεων είναι:
H0 : σα2 = 0
vs
H1 : σα2 > 0.
(8.14)
Σημειώνεται ότι οι τύποι της περίπτωσης των σταθερών επιδράσεων σχετικά με τα αθροίσματα τετραγώνων
(SST , SSE), τα μέσα τετραγωνικά αθροίσματα (M ST , M SE), την ολική μεταβλητότητα (SST O) και
τους βαθμούς ελευθερίας, εξακολουθούν να ισχύουν, ως έχουν. Στη συγκεκριμένη περίπτωση, και για το μέσο
τετραγωνικό άθροισμα M ST ισχύει ότι (βλ. [18]):
E(M ST ) = σ 2 + kσα2 .
(8.15)
Λαμβάνοντας υπόψη τα πιο πάνω, και το γεγονός ότι το M SE είναι (αμερόληπτος) εκτιμητής του σ 2 , δηλαδή
E(M SE) = σ 2 , αναμένεται ότι το κλάσμα:
M ST
M SE
θα είναι κοντά στη μονάδα όταν η H0 ισχύει (αφού αριθμητής και παρονομαστής θα είναι και οι δύο, κοντά
στο σ 2 ), ενώ θα είναι μεγαλύτερο της μονάδας όταν η H1 ισχύει, οπότε το σα2 > 0 (και άρα ο αριθμητής
αναμένεται να είναι μεγαλύτερος από τον παρονομαστή). Συμπερασματικά, η μελέτη για την περίπτωση των
τυχαίων επιδράσεων ταυτίζεται με αυτή των σταθερών επιδράσεων και βασίζεται στον Πίνακα ANOVA που
δίνεται στη συνέχεια. Θα πρέπει να παρατηρηθεί ότι αν η μηδενική υπόθεση γίνει δεκτή και δηλαδή σα2 = 0,
τότε τόσο η μέση τιμή όσο και η διασπορά του αi (για κάθε i) είναι μηδέν και κατά συνέπεια, το αi παύει να
αποτελεί τυχαία μεταβλητή και εκφυλίζεται σε μία και μοναδική τιμή, το μηδέν, με αποτέλεσμα να έχουμε:
F =
yij = µ + oj + ϵij
με σταθερή μέση τιμή E (Yij ) = µ και σταθερή διασπορά V ar (Yij ) = σ 2 + σo2 , για όλα τα επίπεδα του
παράγοντα ενδιαφέροντος.
Για την εκτίμηση των συνιστωσών διασποράς, υπενθυμίζεται ότι η εκτιμήτρια του σ 2 είναι ίση με M SE και
δίνεται στον Πίνακα ANOVA. Όσο για την εκτιμήτρια του σα2 , αυτή μπορεί εύκολα να εξαχθεί από τη σχέση
(8.15):
M ST − M SE
,
M ST ∼ M SE + kσ̂α2 → σ̂α2 =
k
όπου οι δειγματικές τιμές των M ST και M SE έχουν χρησιμοποιηθεί ως οι δειγματικές εκτιμήτριες που αντιστοιχούν στις ποσότητες E(M ST ) και E(M SE) ≡ σ 2 . Κατά αντιστοιχία του τύπου (8.15), έχουμε και
τον τύπο για τη διασπορά των ομάδων:
E(M SB) = σ 2 + bσo2 ,
(8.16)
από όπου προκύπτει ότι:
M SB − M SE
,
b
όπου και πάλι οι δειγματικές τιμές των M SB και M SE έχουν χρησιμοποιηθεί ως οι δειγματικές εκτιμήτριες
που αντιστοιχούν στις ποσότητες E(M SB) και E(M SE), αντίστοιχα.
M SB ∼ M SE + bσ̂o2 → σ̂o2 =
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
177
8.2.2 Αναπλήρωση χαμένων/ελλειπουσών μετρήσεων
Στις πειραματικές επιστήμες, είναι συχνό το φαινόμενο να μην είναι αξιοποιήσιμη μία μέτρηση είτε λόγω απρόβλεπτης καταστροφής του παραχθέντος προϊόντος είτε λόγω αμέλειας είτε λόγω λανθασμένης πληκτρολόγησης στο ηλεκτρονικό σύστημα καταχώρισης δεδομένων. Σε τέτοιες περιπτώσεις, είναι αναγκαία η εκτίμηση
της μη αξιοποιήσιμης μέτρησης (π.χ. για να έχουμε ισορροπημένο σχεδιασμό), κάτι που όμως συνεπάγεται
ότι διαφοροποιούνται τα δεδομένα του Πίνακα ANOVA. Για παράδειγμα, οι συνολικές μετρήσεις είναι κατά
μία λιγότερες από τον αρχικό σχεδιασμό, με αντίκτυπο στους βαθμούς ελευθερίας. Επιπρόσθετα, η εκτίμηση
της μη αξιοποιήσιμης παρατήρησης εισάγει πρόσθετη μεταβλητότητα (λόγω του σφάλματος εκτίμησης) με
αποτέλεσμα να διαφοροποιείται και η μεταβλητότητα που οφείλεται στο μοντέλο. Σημειώνεται ότι η διαδικασία εκτίμησης δεν είναι ενσωματωμένη στα συνήθη στατιστικά πακέτα και απαιτείται να γίνει χειροκίνητα και
μετά να καταχωριστεί στις τιμές του λογισμικού που χρησιμοποιείται για την ανάλυση. Σημειώνεται ότι στην
περίπτωση αυτή το λογισμικό αντιμετωπίζει τη συγκεκριμένη μέτρηση/εκτίμηση όπως και τις υπόλοιπες, και
προχωρά στην ανάλυση και στη δημιουργία του Πίνακα ANOVA σαν η μέτρηση να είναι πραγματική. Αυτό
έχει ως συνέπεια ο Ερευνητής να πρέπει να προβεί στη διόρθωση των στοιχείων του Πίνακα ANOVA για την
ορθή εξαγωγή συμπερασμάτων χειροκίνητα.
Έστω ότι η μέτρηση yi∗ j ∗ , η οποία αντιστοιχεί στο i∗ επίπεδο του παράγοντα ενδιαφέροντος και στο j ∗ επίπεδο της μεταβλητής πλαισίου, δεν είναι αξιοποιήσιμη. Για την εκτίμησή της θα αξιοποιηθούν:
(α) οι λοιπές μετρήσεις που αντιστοιχούν στο ίδιο επίπεδο του παράγοντα ενδιαφέροντος,
(β) οι λοιπές μετρήσεις που αντιστοιχούν στο ίδιο επίπεδο της μεταβλητής πλαισίου και
(γ) όλες οι μετρήσεις που έχουν καταχωριστεί επιτυχώς.
Ορίζουμε:
A(i∗ ) =
X
X
yi∗ j , B(j ∗ ) =
j, j̸=j ∗
X
yij ∗ , S(i∗ j ∗ ) =
i, i̸=i∗
yij .
i,j, i̸=i∗ ,j̸=j ∗
Τότε η χαμένη μέτρηση εκτιμάται από την ποσότητα:
ŷi∗ j ∗ =
kA(i∗ ) + bB(j ∗ ) − S(i∗ j ∗ )
.
(k − 1)(b − 1)
Για την ολοκλήρωση της ανάλυσης, ο Πίνακας ANOVA που προκύπτει, αξιοποιώντας (σαν να ήταν πραγματική) την τιμή ŷi∗ j ∗ , δεν είναι έγκυρος, με αποτέλεσμα ο Ερευνητής να πρέπει να προβεί στις εξής παρεμβάσεις:
• Διορθώνουμε το άθροισμα τετραγώνων για τις θεραπείες ως εξής:
SST∗ = SST −
(B(j ∗ ) − (k − 1)ŷi∗ j ∗ )2
.
k(k − 1)
• Οι συνολικοί βαθμοί ελευθερίας γίνονται bk − 2 (οι μετρήσεις είναι κατά μία λιγότερες).
• Οι βαθμοί ελευθερίας για τα σφάλματα γίνονται (k − 1)(b − 1) − 1 (ως απόρροια της μείωσης των
συνολικών βαθμών ελευθερίας).
• Η ποσότητα M SE αντικαθίσταται από την M SE ∗ =
• Η ποσότητα M ST αντικαθίσταται από την M ST∗ =
SSE
.
(k−1)(b−1)−1
SST∗
.
k−1
178
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
• Η ελεγχοσυνάρτηση F για τη σύγκριση των μέσων των επιπέδων του A, γίνεται F = M ST∗ /M SE ∗ ,
με κρίσιμη τιμή που ακολουθεί την κατανομή F με k − 1 και (k − 1)(b − 1) − 1 βαθμούς ελευθερίας.
Παράδειγμα 8.1. Έστω ο πιο κάτω Πίνακας Δεδομένων που αντιστοιχεί στις μετρήσεις που αφορούν τα 5 επίπεδα
ενός παράγοντα ενδιαφέροντος Α και μίας μεταβλητής πλαισίου Ο με 4 επίπεδα.
Πίνακας 8.4: Πίνακας Δεδομένων
Α
Α1
Α2
Α3
Α4
Α5
O1
1.30
1.32
1.27
1.23
1.25
O2
1.38
1.36
1.25
1.29
1.33
O3
1.31
1.33
1.30
1.30
1.32
O4
1.32
1.38
1.31
1.28
1.29
Ο
Ακολουθώντας στο Minitab τη διαδρομή:
Stat
Ê
ANOVA
Ê
Ê
General Linear Model
Fit General Linear Model
επιλέγουμε τη μεταβλητή απόκρισης για το κελί Responses και τον παράγοντα και τη μεταβλητή πλαισίου για το
κελί Factors. Επιβεβαιώνουμε στα Options ότι οι δύο μεταβλητές που έχουν καταχωριστεί ως Factors είναι χαρακτηρισμένες ως Fixed και όχι Random (δεν έχουμε ενδείξεις ότι τα επίπεδα είναι περισσότερα, ούτε ότι έχει γίνει
τυχαία επιλογή των επιπέδων που μελετώνται) και καταλήγουμε στα εξής αποτελέσματα:
Πίνακας 8.5: Πίνακας ANOVA
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
0.01508
4
O
0.00708
Error
Total
Μέσο
F
p-value
0.00377
5.57
0.009
3
0.00236
3.49
0.050
0.00812
12
0.000677
−
−
0.03028
19
−
−
−
Άθροισμα
Τετραγώνων
Από τον Πίνακα ANOVA προκύπτει ότι στο σύνηθες επίπεδο σημαντικότητας (α = 0.05) παρατηρούνται στατιστικώς σημαντικές επιδράσεις του παράγοντα Α (p-value = 0.009), ενώ επιβεβαιώνεται (οριακά) η επίδραση
της μεταβλητής πλαισίου (p-value = 0.050).
Ας υποθέσουμε ότι η παρατήρηση y33 = 1.30 δεν έχει καταχωριστεί και πρέπει να εκτιμηθεί. Με βάση τα προηγούμενα, η εκτίμησή της θα προκύψει με τη βοήθεια των εξής τριών ποσοτήτων:
A(3∗ ) = 3.80,
B(3∗ ) = 5.26 &
S(3∗ 3∗ ) = 24.82.
Τότε ŷ3∗ 3∗ = 1.27, με αποτέλεσμα ο αναθεωρημένος Πίνακας ANOVA με 1.27 στη θέση της παρατήρησης
y33 = 1.30, να είναι:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
179
Πίνακας 8.6: Αναθεωρημένος Πίνακας ANOVA
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
0.01712
4
O
0.006855
Error
Total
Μέσο
F
p-value
0.00428
6.83
0.004
3
0.002285
3.65
0.045
0.00752
12
0.000627
−
−
0.031495
19
−
−
−
Άθροισμα
Τετραγώνων
Ο Αναθεωρημένος Πίνακας 8.6 αντιμετωπίζει την εκτίμηση ŷ3∗ 3∗ = 1.27 ως πραγματική μέτρηση και όπως
αναφέρθηκε προηγουμένως, πρέπει να προβούμε στις απαραίτητες διορθώσεις. Έτσι, με βάση τα προηγούμενα,
έχουμε:
• Διορθώνουμε το άθροισμα τετραγώνων για τις θεραπείες ως εξής:
SST∗ = 0.01712 −
(5.26 − 4.1.27)2
= 0.0155.
20
• Οι συνολικοί βαθμοί ελευθερίας μειώνονται σε 18.
• Οι βαθμοί ελευθερίας για τα σφάλματα μειώνονται σε 11.
• Η ποσότητα M SE αντικαθίσταται από την M SE ∗ =
• Η ποσότητα M ST αντικαθίσταται από την M ST∗ =
0.00752
11
0.0155
4
= 0.0006836.
= 0.03875.
• Η ελεγχοσυνάρτηση F για τη σύγκριση των μέσων των επιπέδων του παράγοντα A, ισούται με F =
0.03875/0.0006836 = 5.67, με κρίσιμη τιμή που ακολουθεί την κατανομή F4,11 .
Είτε υπολογιστεί η p-value που αντιστοιχεί στην πιο πάνω τιμή της στατιστικής συνάρτησης είτε η κρίσιμη
τιμή F4,11;0.05 , διαπιστώνεται ότι η επίδραση του παράγοντα Α είναι στατιστικώς σημαντική. Παρά ταύτα
παρατηρούμε ότι ο βαθμός επίδρασης είναι ελαφρώς ηπιότερος, αφού η τιμή της στατιστικής συνάρτησης
μειώθηκε μετά τη διόρθωση από 6.83 (Αναθεωρημένος Πίνακας 8.6) σε 5.67 (διόρθωση Αναθεωρημένου
Πίνακα 8.6, F = 0.03875/0.0006836 = 5.67), κάτι που ήταν αναμενόμενο, αφού η εκτίμηση της μη
αξιοποιήσιμης μέτρησης μείωσε τον βαθμό εγκυρότητας, αυξάνοντας το σφάλμα.
Κλείνοντας την ενότητα αυτή θα προβούμε σε σύντομο σχολιασμό των προϋποθέσεων του προτύπου, ήτοι
της κανονικότητας, ομοσκεδαστικότητας, ανεξαρτησίας, καθώς και της υπόθεσης του προσθετικού προτύπου
(απουσία αλληλεπίδρασης). Θα πρέπει να σημειωθεί ότι οι υποθέσεις της κανονικότητας και ομοσκεδαστικότητας δεν θεωρούνται τόσο σημαντικές όσο εκείνες της ανεξαρτησίας (μη συσχέτισης των σφαλμάτων) και
της προσθετικότητας του προτύπου (δηλαδή της απουσίας αλληλεπίδρασης). Οι δύο πρώτες υποθέσεις δεν
είναι τόσο σημαντικές επειδή ο έλεγχος F της υπόθεσης των ίσων μέσων είναι προσεγγιστικά ορθός, ακόμα
και όταν τα σφάλματα δεν έχουν κανονική κατανομή ή/και δεν πληρείται η υπόθεση της ομοσκεδαστικότητας.
Με άλλα λόγια, η στατιστική συνάρτηση για τον βασικό έλεγχο του προτύπου εξακολουθεί, έστω και προσεγγιστικά, να ακολουθεί την κατανομή F , με αποτέλεσμα να είναι αξιόπιστο το συμπέρασμα του ελέγχου.
Σε οποιαδήποτε περίπτωση, οι απλές γραφικές που αναφέρθηκαν στο προηγούμενο Κεφάλαιο και βασίζονται
στα κατάλοιπα ϵ̂ij = yij − ŷij μπορούν να αξιοποιηθούν για τη διερεύνηση των συγκεκριμένων προϋποθέσεων.
180
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Σχετικά τώρα με τις δύο σημαντικότερες προϋποθέσεις, σημειώνεται ότι αποκλίσεις από την τυχαιότητα μπορεί να οφείλονται είτε σε παραβίαση της υπόθεσης της ομοσκεδαστικότητας είτε στην ύπαρξη αλληλεπίδρασης είτε και στα δύο. Στην περίπτωση που ισχύει η ομοσκεδαστικότητα και δεν ισχύει το προσθετικό πρότυπο
ή στην περίπτωση που δεν ισχύει ούτε το ένα ούτε το άλλο, έχουμε μη αξιόπιστα αποτελέσματα, επειδή έχει
παρεισφρήσει στη στατιστική συνάρτηση η έννοια της μεροληψίας. Πράγματι, στην πρώτη περίπτωση, δεν
απορρίπτεται η μηδενική υπόθεση, όχι όμως επειδή δεν υπάρχουν επιδράσεις αλλά επειδή υπάρχει αλληλεπίδραση. Στη δεύτερη περίπτωση, απορρίπτεται η μηδενική υπόθεση όχι όμως επειδή υπάρχουν επιδράσεις
αλλά επειδή υπάρχει ετεροσκεδαστικότητα, καθώς και αλληλεπίδραση μεταξύ του παράγοντα ενδιαφέροντος
και της μεταβλητής πλαισίου. Το πρόβλημα της ετεροσκεδαστικότητας αντιμετωπίζεται συχνά με επιδέξιους
μετασχηματισμούς (π.χ. λογάριθμος, αντίστροφος, ρίζα) των yij , αντίστοιχους αυτών της γραμμικής παλινδρόμησης (Ενότητα 4.2), ενώ για την περίπτωση της αλληλεπίδρασης θα πρέπει το πρόβλημα να αναχθεί σε
πρόβλημα μελέτης δύο παραγόντων με αλληλεπίδραση, που είναι το αντικείμενο της Διπαραγοντικής Ανάλυσης Διακύμανσης (βλ. Ενότητα 8.4) και απαιτεί να εκτελεστούν περισσότερες από μία μετρήσεις, ανά συνδυασμό επιπέδων (πειραματικός σχεδιασμός με επανάληψη).
8.3 Σχέδιο Λατινικού Τετραγώνου
Η μέθοδος των Λατινικών Τετραγώνων ( Latin Squares) αποτελεί γενίκευση της προηγούμενης μεθόδου,
αφού εδώ υπεισέρχονται δύο μεταβλητές πλαισίου, αντί για μία. Στόχος της μεθόδου είναι η απαλοιφή των
πηγών μεταβλητότητας, που αδιαμφισβήτητα οφείλονται στις δύο μεταβλητές πλαισίου και έτσι μπορεί να
αναδειχτεί με τη μεγαλύτερη δυνατή ακρίβεια, η επίδραση των επιπέδων/θεραπειών του παράγοντα ενδιαφέροντος. Η μόνη προϋπόθεση για την εφαρμογή του συγκεκριμένου σχεδιασμού είναι οι τρεις εμπλεκόμενες μεταβλητές (συμπεριλαμβανομένου δηλαδή του παράγοντα ενδιαφέροντος) να έχουν τον ίδιο ακριβώς αριθμό
επιπέδων, και αυτός να είναι τουλάχιστον 3. Τα λατινικά τετράγωνα είναι διαστάσεως 3 × 3, 4 × 4, 5 × 5
κ.ο.κ., ανάλογα με τον αριθμό των επιπέδων που μελετώνται. Κάθε τετράγωνο είναι ένας πίνακας αντίστοιχης
διάστασης, το κάθε κελί του οποίου συμπληρώνεται με ένα γράμμα του λατινικού αλφάβητου (A, B, C για
το 3 × 3 τετράγωνο, A, B, C, D, για το 4 × 4 τετράγωνο κ.ο.κ.). Το κάθε γράμμα αντιστοιχεί σε κάποιο από
τα επίπεδα του παράγοντα ενδιαφέροντος.
Εδώ, είναι σημαντικό να αναφερθεί ότι ο σχεδιασμός είναι επιδέξια σχεδιασμένος ώστε να μην απαιτείται η
μελέτη, και άρα ο πειραματισμός, σε όλους τους δυνατούς συνδυασμούς επιπέδων των τριών εμπλεκόμενων
μεταβλητών. Εάν κάποιος επιθυμεί να εκτελέσει ένα πλήρες πείραμα θα πρέπει να εκτελέσει πειράματα για
3 × 3 × 3 = 27 διαφορετικούς συνδυασμούς, στην περίπτωση που οι τρεις εμπλεκόμενες μεταβλητές
έχουν τρία επίπεδα η καθεμία. Ο τελικός αριθμός πειραμάτων στο 3 × 3 Λατινικό Τετράγωνο, θα είναι μόλις
3 × 3 = 9, όσα δηλαδή τα κελιά του πίνακα που αντιστοιχεί στο συγκεκριμένο τετράγωνο. Οι αντίστοιχοι
αριθμοί πειραμάτων είναι 16 πειράματα (αντί για 64 για τον πλήρη σχεδιασμό) για το 4 × 4 Λατινικό Τετράγωνο και 25 (αντί για 125) για το 5 × 5 Λατινικό Τετράγωνο.
Ο πιο κάτω πίνακας δίνει τον σχεδιασμό ενός 4 × 4 Λατινικού Τετραγώνου, όπου η μία μεταβλητή πλαισίου έχει τα 4 επίπεδα Ο1, Ο2, Ο3 και Ο4, η άλλη μεταβλητή πλαισίου έχει τα 4 επίπεδα ΟΟ1, ΟΟ2, ΟΟ3
και ΟΟ4 και ο παράγοντας ενδιαφέροντος τα 4 επίπεδα A, B, C και D.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
181
Πίνακας 8.7: 4 × 4 Σχέδιο Λατινικού Τετραγώνου
Επίπεδα Μεταβλητής
Πλαισίου 2
ΟΟ1
ΟΟ2
ΟΟ3
ΟΟ4
O1
A
B
C
D
O2
B
C
D
A
O3
C
D
A
B
O4
D
A
B
C
Επίπεδα Μεταβλητής
Πλαισίου 1
Στον πιο πάνω πίνακα παρατηρούμε ότι στην 1η γραμμή και την 1η στήλη η διάταξη είναι σε αλφαβητική
σειρά και για τον λόγο αυτό το συγκεκριμένο τετράγωνο ονομάζεται τυπικό λατινικό τετράγωνο. Η ανάθεση
των επιπέδων του παράγοντα ενδιαφέροντος στα κελιά του Λατινικού Τετραγώνου, είναι σημαντικό να γίνεται με τρόπο τυχαίο ώστε να διασφαλίζεται η αξιοπιστία των αποτελεσμάτων της ανάλυσης. Σημειώνεται ότι
συνολικά υπάρχουν πάρα πολλά τετράγωνα που μπορούν να αξιοποιηθούν σε κάθε Λατινικό Τετράγωνο διάστασης m × m, ανάλογα με τον συνδυασμό που θα επιλεχθεί (τυχαία) για την ανάθεση των m γραμμάτων
του λατινικού αλφάβητου στα m2 κελιά του τετραγώνου. Πράγματι, για παράδειγμα υπάρχουν 576 διαφορετικά Λατινικά Τετράγωνα διάστασης 4 × 4, ενώ ο αριθμός εκτοξεύεται στα 161280 τετράγωνα διάστασης
5 × 5 [17]. Η απλοποιημένη διαδικασία που εφαρμόζεται συχνά στην πράξη για την ανάθεση των επιπέδων
του παράγοντα ενδιαφέροντος σε ένα m × m Λατινικό Τετράγωνο, είναι η ακόλουθη:
• Επιλέγεται τυχαία μία από τις m! διατάξεις των γραμμάτων (έστω A1 , . . . , Am ) και η διάταξη αυτή
τοποθετείται στην πρώτη γραμμή του τετραγώνου. Προκύπτει το ίδιο αποτέλεσμα, αν χρησιμοποιηθεί
η πρώτη στήλη αντί της πρώτης γραμμής.
• Για την ανάθεση των επιπέδων στη 2η γραμμή, μετατοπίζουμε τα γράμματα της διάταξης της 1ης γραμμής κατά μία θέση αριστερά, με το 1ο γράμμα της 1ης γραμμής να τοποθετείται στο τελευταίο κελί της
2ης γραμμής. Στην περίπτωση αξιοποίησης της 1ης στήλης η μετατόπιση γίνεται κατά μία θέση προς
τα επάνω.
• Επαναλαμβάνεται το προηγούμενο βήμα της διαδικασίας τόσες φορές όσες οι εναπομείνασες γραμμές
(ή στήλες) του τετραγώνου.
Παρατηρούμε ότι ο προηγούμενος Πίνακας που αφορά ένα πρότυπο Λατινικό Τετράγωνο, έχει ακολουθήσει
την πιο πάνω διαδικασία κατασκευής αξιοποιώντας ταυτόχρονα τόσο τις στήλες όσο και τις γραμμές του τετραγώνου. Ο επόμενος πίνακας παρουσιάζει ένα παράδειγμα σχεδιασμού αξιοποιώντας τις γραμμές του 5 × 5
τετραγώνου, όταν η τυχαία διάταξη που έχει επιλεχθεί είναι η B, D, A, E, C.
182
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Πίνακας 8.8: 5 × 5 Σχέδιο Λατινικού Τετραγώνου
Επίπεδα Μεταβλητής
Πλαισίου 2
ΟΟ1
ΟΟ2
ΟΟ3
ΟΟ4
ΟΟ5
O1
B
D
A
E
C
O2
D
A
E
C
B
O3
A
E
C
B
D
O4
E
C
B
D
A
O5
C
B
D
A
E
Επίπεδα Μεταβλητής
Πλαισίου 1
Παράδειγμα 8.2. Εφαρμόζοντας το 5 × 5 Λατινικό Τετράγωνο του προηγούμενου Πίνακα και εκτελώντας το
πείραμα, έχουμε τις εξής μετρήσεις:
Πίνακας 8.9: Πίνακας Δεδομένων - 5 × 5 Σχέδιο Λατινικού Τετραγώνου
Επίπεδα Μεταβλητής
Πλαισίου 2
ΟΟ1
ΟΟ2
ΟΟ3
ΟΟ4
ΟΟ5
O1
B 17.9
D 8.7
A 14.4
E 20.5
C 20.0
O2
D 13.4
A 8.6
E 13.0
C 18.5
B 20.0
O3
A 21.8
E 13.5
C 20.2
B 22.7
D 10.0
O4
E 8.2
C 15.1
B 19.8
D 21.3
A 20.0
O5
C 10.0
B 7.0
D 10.0
A 12.0
E 13.0
Επίπεδα Μεταβλητής
Πλαισίου 1
To παράδειγμα αφορά τον βαθμό φθοράς ελαστικών 5 διαφορετικών τύπων ( A, B, C, D, E) λαμβάνοντας υπόψη
δύο μεταβλητές πλαισίου, ήτοι τον τύπο βενζίνης με 5 επίπεδα (Ο1, Ο2, Ο3, Ο4, Ο5) και τον τύπο αυτοκινήτου
με επίσης 5 επίπεδα (ΟΟ1, ΟΟ2, ΟΟ3, ΟΟ4, ΟΟ5).
Στόχος του πειράματος είναι η χρήση των ελαστικών (και στις τέσσερις ρόδες) όχι μόνο σε έναν τύπο αυτοκινήτου
ή σε έναν τύπο βενζίνης κίνησης, αλλά μία φορά σε κάθε συνδυασμό τύπου αυτοκινήτου και βενζίνης, με προφανή
στόχο να περιοριστεί (δηλαδή να τεθεί υπό ελέγχο) η καθεμία από τις εξωγενείς αυτές μεταβλητές (τύπος βενζίνης
και τύπος αυτοκινήτου) που θεωρείται δεδομένο ότι παίζουν ρόλο στην κίνηση και άρα στη φθορά των ελαστικών. Στην ουσία, περιορίζεται το πειραματικό σφάλμα και κατά συνέπεια, η σύγκριση των μέσων καθίσταται πιο
αξιόπιστη.
Ο γενικός τύπος του προτύπου για το m × m Λατινικό Τετράγωνο είναι:
yijk = µ + αi + oj + θk + ϵijk ,
i, j, k = 1, ..., m,
(8.17)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
183
όπου µ ο ολικός μέσος (συχνά ορίζεται και ως µ... ), αi η επίδραση του i επιπέδου του παράγοντα ενδιαφέροντος , oj η επίδραση του επιπέδου j της μεταβλητής πλαισίου O, θk η επίδραση του επιπέδου k της άλλης
i.i.d.
μεταβλητής πλαισίου, έστω O, και ϵij ∼ N (0, σ 2 ).
Θα πρέπει να σημειωθεί ότι εκτελείται ένα μόνο πείραμα (δηλαδή μία μόνο μέτρηση) σε κάθε συνδυασμό
επιπέδων j και k των μεταβλητών πλαισίου, με τη μέτρηση να αφορά κάποιο συγκεκριμένο από τα m επίπεδα
του παράγοντα A, με αποτέλεσμα να έχει τη σημασία του ο τριπλός δείκτης της μεταβλητής απόκρισης yijk ,
αφού ο δείκτης i δηλώνει/αντιπροσωπεύει το συγκεκριμένο επίπεδο του παράγοντα ενδιαφέροντος για το
οποίο εκτελείται το πείραμα.
Όπως και στο πρότυπο ενός παράγοντα και μίας μεταβλητής πλαισίου, έτσι και εδώ και για την περίπτωση
των σταθερών επιδράσεων, οι παράμετροι α1 , . . ., αm είναι καθορισμένοι πραγματικοί αριθμοί, έτσι ώστε
P
P
α = 0. Η αντίστοιχη προϋπόθεση ισχύει και για καθεμία από τις μεταβλητές πλαισίου: j oj =
Pi i
k θk = 0, ώστε να είναι εφικτός ο μονοσήμαντος προσδιορισμός όλων των παραμέτρων του προτύπου.
Στην περίπτωση αυτή, και με βάση τα δεδομένα του προτύπου, ισχύει ότι:
E (Yijk ) = E (µ + αi + oj + θk ) = µ + αi + oj + θk & V ar (Yij ) = σ 2 .
Η μηδενική (και η αντίστοιχη εναλλακτική) υπόθεση της μη ύπαρξης διαφοράς μεταξύ των μέσων των m
πληθυσμών, δηλαδή των μηδενικών επιδράσεων των θεραπειών/επιπέδων του παράγοντα ενδιαφέροντος Α,
μπορεί να διατυπωθεί όπως και προηγουμένως:
H0 : α1 = α2 = ... = αm = 0
vs
H1 : Όχι όλα τα αi , i = 1, ..., m ίσα με 0,
(8.18)
για τη διερεύνηση της οποίας απαιτείται η αξιοποίηση του κατάλληλου Πίνακα ANOVA ο οποίος δίνεται πιο
κάτω, όπου τα σύμβολα R και C χρησιμοποιούνται για τις Γραμμές ( Rows) και τις Στήλες ( Columns) του
Τετραγώνου:
Πίνακας 8.10: Πίνακας ANOVA - m × m Σχέδιο Λατινικού Τετραγώνου
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
m−1
SST
M ST =
SST
m−1
M ST
M SE
Blocks R - Γραμμές
m−1
SSR
M SR =
SSR
m−1
M SR
M SE
Blocks C - Στήλες
m−1
SSC
M SC =
SSC
m−1
M SC
M SE
Σφάλματα
(m − 1)(m − 2)
SSE
SSE
(m−1)(m−2)
–
Ολική
m2 − 1
SST O
–
–
Άθροισμα
F
Τετραγώνων
M SE =
Από το Θεώρημα Cochran έχουμε και πάλι ότι η ελεγχοσυνάρτηση για τον έλεγχο της πιο πάνω H0 , είναι η
ακόλουθη:
SST
M ST
H0
m−1
F =
=
∼ Fm−1,(m−1)(m−2) ,
SSE
M SE
(m−1)(m−2)
ενώ το χωρίο απόρριψης της H0 είναι το εξής:
F > Fm−1,(m−1)(m−2);α ,
184
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
όπου Fm−1,(m−1)(m−2);α το 100(1 − α)% ποσοστημόριο της κατανομής F με m − 1 και (m − 1)(m − 2)
βαθμούς ελευθερίας.
Από τα παραπάνω είναι προφανές ότι αν η μηδενική υπόθεση είναι αληθής, τότε το πρότυπο απλοποιείται
και παίρνει τη μορφή:
yijk = µ + oj + θk + ϵijk
για κάθε επίπεδο i του παράγοντα ενδιαφέροντος, που σημαίνει ότι δεν υπάρχει διαφοροποίηση μεταξύ των
πληθυσμών/επιπέδων/θεραπειών και άρα η συνολική μεταβλητότητα των δεδομένων αποδίδεται αφενός μεν
στους συνδυασμούς των επιπέδων των 2 μεταβλητών πλαισίου (κάτι που ήταν γνωστό στον Ερευνητή από
την αρχή) αφετέρου δε, σε τυχαία σφάλματα και άρα οι πληθυσμοί δεν διαφέρουν μεταξύ τους, δηλαδή ως
προς τα επίπεδα του παράγοντα ενδιαφέροντος A.
Σημειώνεται ότι ο Πίνακας ANOVA περιλαμβάνει δύο γραμμές με πληροφορίες για τις μεταβλητές πλαισίου, δίνοντας το SSR ( Sum of Squares of Rows) και το SSC ( Sum of Squares of Columns), καθώς και
τα αντίστοιχα M SR και M SC με τους αντίστοιχους β.ε και τις τιμές των αντίστοιχων ελεγχοσυναρτήσεων
F = M SR/M SE και F = M SC/M SE. Οι δύο τελευταίες ποσότητες μπορούν να αξιοποιηθούν για
τη διερεύνηση της ισότητας των ίσων μέσων της μεταβλητής απόκρισης για τα διαφορετικά επίπεδα της κάθε
μεταβλητής πλαισίου, δηλαδή για τη διερεύνηση των υποθέσεων:
H0 : o1 = o2 = . . . = om = 0
vs
H1 : Όχι όλα τα oj , j = 1, . . . , m ίσα με 0
H0 : θ1 = θ2 = . . . = θm = 0
vs
H1 : Όχι όλα τα θk , k = 1, . . . , m ίσα με 0.
και
Οι συμπληρωματικοί αυτοί έλεγχοι γίνονται για τυπικούς λόγους, στην περίπτωση που ο Ερευνητής θέλει να
επιβεβαιώσει την αρχική του υπόθεση (που συνήθως προκύπτει είτε από τη βιβλιογραφία είτε από πρότερη
εμπειρία είτε και από τα δύο μαζί) ότι υφίσταται διαφοροποίηση μεταξύ των επιπέδων των μεταβλητών πλαισίου. Δεν αποκλείεται φυσικά, οι συνθήκες να έχουν αλλάξει και να μην υφίσταται πλέον (για οποιονδήποτε
λόγο) διαφοροποίηση (είτε για τη μία είτε για την άλλη είτε και για τις δύο μεταβλητές πλαισίου), οπότε ο
έλεγχος, εφόσον το διαπιστώσει, θα οδηγήσει στην κατάργηση της σχετικής ομαδοποίησης (ως προς τη μία ή
την άλλη ή και τις δύο μεταβλητές πλαισίου, δηλαδή ως προς τις γραμμές ή τις στήλες ή και τα δύο) σε οποιαδήποτε μελλοντικά πειράματα. Κατά αντιστοιχία με τον έλεγχο των μηδενικών επιδράσεων για τις θεραπείες,
τα χωρία απορρίψεων των πιο πάνω μηδενικών υποθέσεων σε επίπεδο σημαντικότητας α, δίνονται από τις
σχέσεις:
SSR
M SR
m−1
=
> Fm−1,(m−1)(m−2);α ,
FR =
SSE
M SE
(m−1)(m−2)
και
FC =
M SC
=
M SE
SSC
m−1
SSE
(m−1)(m−2)
> Fm−1,(m−1)(m−2);α .
Αξίζει να τονιστεί ότι η κρίσιμη τιμή ισούται με Fm−1,(m−1)(m−2);α και είναι κοινή και για τους τρεις ελέγχους, λόγω του ότι οι τρεις εμπλεκόμενες μεταβλητές (συμπεριλαμβανομένου του παράγοντα ενδιαφέροντος)
έχουν τον ίδιο αριθμό επιπέδων (m), κάτι που αποτελεί προϋπόθεση για την εφαρμογή της τεχνικής των Λατινικών Τετραγώνων.
Το πρότυπο του σχεδιασμού των Λατινικών Τετραγώνων, όπως ορίστηκε νωρίτερα, υποθέτει ότι δεν υφίσταται αλληλεπίδραση ούτε μεταξύ των μεταβλητών πλαισίου ούτε μεταξύ του παράγοντα ενδιαφέροντος και
καθεμίας από τις δύο μεταβλητές πλαισίου.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
185
Επίσης, σημειώνεται ότι η μεθοδολογία των Λατινικών Τετραγώνων εφαρμόζεται χωρίς διαφοροποιήσεις,
ακόμα και αν οι 2 μεταβλητές πλαισίου (δηλαδή οι εξωγενείς μεταβλητές) είναι τυχαίων επιδράσεων, δηλαδή
όταν τα υπό εξέταση επίπεδά τους επιλέγονται τυχαία από ένα σύνολο πολύ περισσότερων επιπέδων, αρκεί ο
παράγοντας ενδιαφέροντος να είναι σταθερών επιδράσεων.
Τέλος, θα πρέπει να αναφερθεί ότι η εφαρμογή πολλαπλών συγκρίσεων ακολουθεί τη συνήθη μεθοδολογία,
όπως έχει οριστεί ήδη στην Ενότητα 8.2.1.
Παράδειγμα 8.3. Ο Πίνακας ANOVA για το παράδειγμα ελαστικών (Παράδειγμα 8.2) με βάση το 5 × 5 Λατινικό Τετράγωνο, δίνεται στη συνέχεια:
Πίνακας 8.11: Πίνακας ANOVA - 5 × 5 Σχέδιο Λατινικού Τετραγώνου
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
Θεραπείες - Πληθυσμοί
4
111.2
Blocks - Γραμμές ( Rows)
4
Blocks - Στήλες ( Columns)
Μέσο
F
p-value
27.81
2.08
0.146
218.2
54.55
4.09
0.026
4
194.6
48.64
3.64
0.036
Σφάλματα
12
160.3
13.35
–
–
Ολική
24
684.3
–
–
–
Άθροισμα
Τετραγώνων
Από τα πιο πάνω αποτελέσματα συνάγεται ότι οι διαφορετικοί τύποι ελαστικών δεν διαφέρουν ως προς τη φθορά,
αφού ο σχετικός έλεγχος δίνει p-value = 0.146 που είναι σημαντικά μεγαλύτερο από τα συνήθη επίπεδα σημαντικότητας (5% και 10%). Από την άλλη πλευρά, η εκ των προτέρων γνωστή επίδραση του τύπου βενζίνης, καθώς
και του τύπου αυτοκινήτου, επιβεβαιώνονται, αφού οι p-values που προκύπτουν είναι μικρότερες από το σύνηθες
5% επίπεδο σημαντικότητας (2.6% και 3.6% αντίστοιχα). Η διερεύνηση έχει γίνει με τη χρήση του Στατιστικού
πακέτου Minitab ακολουθώντας τη διαδρομή:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
Όσον αφορά την καταχώριση των δεδομένων, αυτά παρατίθενται σε 4 στήλες με τις 3 πρώτες να αφορούν τις “τιμές”
των επιπέδων των τριών εμπλεκόμενων μεταβλητών (συμπεριλαμβανομένου του παράγοντα ενδιαφέροντος) και
την τελευταία να αφορά τις μετρήσεις (που αντιστοιχούν στον κάθε συνδυασμό επιπέδων των τριών μεταβλητών).
Συνολικά, χρησιμοποιούνται 25 γραμμές στο κεντρικό παράθυρο του Minitab, μία για κάθε μέτρηση του πειράματος.
Άσκηση Αυτοαξιολόγησης
Να προσδιοριστούν τα 12 Λατινικά Τετράγωνα διάστασης 3 × 3. Πόσα από αυτά είναι
πρότυπα;
186
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
8.4 Διπαραγοντικά πειράματα πλήρους τυχαιοποίησης (Διπαραγοντική ανάλυση διακύμανσης)
Τα παραγοντικά πειράματα αναφέρονται συχνά και ως πλήρη παραγοντικά πειράματα ή πλήρεις πειραματικοί
σχεδιασμοί και αφορούν σχεδιασμούς όπου εμπλέκονται περισσότεροι από ένας παράγοντες ενδιαφέροντος οι
οποίοι επιδρούν στη μεταβλητή απόκρισης είτε ανεξάρτητα ο καθένας είτε και συνδυαστικά στη μεταβλητή
απόκρισης. Στα πειράματα αυτά, ο βασικός στόχος του Ερευνητή είναι η διερεύνηση της επίδρασης στη μεταβλητή απόκρισης αφενός μεν του καθενός παράγοντα αυτόνομα με τις επιδράσεις αυτές να ονομάζονται
κύριες επιδράσεις, αφετέρου δε, της καθεμιάς αλληλεπίδρασης (ανά δύο παραγόντων, ανά τριών κ.ο.κ.) με τις
επιδράσεις αυτές να αναφέρονται απλά ως αλληλεπιδράσεις.
Όπως και στην περίπτωση του ενός παράγοντα, αν η μελέτη αφορά το σύνολο των συνδυασμών των επιπέδων
των εμπλεκόμενων παραγόντων, επικεντρώνεται στη σύγκριση των μέσων τιμών της μεταβλητής απόκρισης
στους αντίστοιχους συνδυασμούς των επιπέδων των παραγόντων (ή πληθυσμούς) και αφορά το Πρότυπο
Σταθερών Επιδράσεων. Αν η μελέτη αφορά ένα τυχαία επιλεγμένο υποσύνολο όλων των δυνατών συνδυασμών, τότε επικεντρώνεται στην ανάλυση της μεταβλητότητας και την εκτίμηση των συνιστωσών της που
οφείλονται σε κάθε κύρια επίδραση και κάθε αλληλεπίδραση, και αφορά το Πρότυπο Τυχαίων Επιδράσεων.
Ο ενδιαφερόμενος αναγνώστης μπορεί να ανατρέξει στα συγγράμματα των Hicks [18], Lawson [19] και
Montgomery [22] για λεπτομέρειες σε θέματα σχεδιασμού πειραμάτων τέτοιου είδους.
8.4.1 Πρότυπο με και χωρίς αλληλεπίδραση
Η μελέτη ενός διπαραγοντικού πειράματος, δηλαδή ενός πειράματος με δύο παράγοντες, έστω A και B με
a και b επίπεδα αντίστοιχα, μπορεί να θεωρηθεί ότι προσομοιάζει (ως προς τη μαθηματική προσέγγιση) με
τη μελέτη ενός παράγοντα στην παρουσία μίας μεταβλητής πλαισίου η οποία παίζει τον ρόλο του δεύτερου
παράγοντα. Επιπρόσθετα, στη μελέτη εμπλέκεται και η αλληλεπίδραση των δύο παραγόντων, κάτι που δεν
είναι σύνηθες στην περίπτωση του προτύπου με μία μεταβλητή πλαισίου.
Μιμούμενοι το πρότυπο (8.10) μπορούμε να ορίσουμε δύο πρότυπα, αυτό χωρίς αλληλεπίδραση που δίνεται από τον τύπο:
yijk = µij + ϵijk ≡ µ + αi + βj + ϵijk ,
i = 1, ..., a,
j = 1, ..., b,
k = 1, ..., n,
(8.19)
όπου n o αριθμός επαναλήψεων (μετρήσεων) ανά συνδυασμό επιπέδων των A και B, µij η επίδραση του
συνδυασμού του i επιπέδου του παράγοντα ενδιαφέροντος και του j επιπέδου του παράγοντα ενδιαφέροντος
B (δηλαδή όταν το πείραμα εκτελείται στον συνδυασμό επιπέδων (i, j)), µ ο ολικός μέσος (συχνά ορίζεται
και ως µ.. ), αi η επίδραση του i επιπέδου του παράγοντα ενδιαφέροντος , βj η επίδραση του j επιπέδου του
i.i.d.
παράγοντα B και ϵijk ∼ N (0, σ 2 ) με τις σχέσεις που συνδέουν τις παραμέτρους του προτύπου να είναι:
αi = µi· − µ & βj = µ.j − µ,
καθώς και αυτό με αλληλεπίδραση:
yijk = µij + ϵijk ≡ µ + αi + βj + (αβ)ij + ϵijk ,
i = 1, ..., a,
j = 1, ..., b,
k = 1, ..., n,
(8.20)
όπου επιπρόσθετα των προηγουμένων όρων, ο όρος (αβ)ij αντιπροσωπεύει την επίδραση στη θεραπεία (i, j)
(δηλαδή στον συνδυασμό επιπέδων), που οφείλεται στην αλληλεπίδραση των δύο παραγόντων A και B, για
τον οποίο ισχύει η σχέση:
(αβ)ij = µij − (µ − αi − βj ) = µij − µi· − µ.j + µ.
Οι παράμετροι του προτύπου ικανοποιούν τις σχέσεις:
X
i
αi =
X
j
βi =
X
i
(αβ)ij =
X
j
(αβ)ij = 0.
(8.21)
(8.22)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
187
Όπως είχε τονιστεί και προηγουμένως, η μελέτη της αλληλεπίδρασης απαιτεί το πείραμα να εκτελεστεί τουλάχιστον μία φορά (δηλαδή με επανάληψη) ανά θεραπεία (συνδυασμό επιπέδων των A και B), αφού όπως
έχει ειπωθεί, η επανάληψη εξασφαλίζει τη διερεύνηση του κατά πόσο η ταυτόχρονη εμπλοκή δύο παραγόντων (δηλαδή η αλληλεπίδρασή τους) επηρεάζει τη μεταβλητή απόκρισης. Η μελέτη της αλληλεπίδρασης
αποτελεί ένα από τα κυριότερα πλεονεκτήματα των παραγοντικών πειραμάτων, διότι η διερεύνηση της αλληλεπίδρασης διευκολύνει την εξαγωγή έγκυρων συμπερασμάτων, ιδιαιτέρως όταν η αυτόνομη παρουσία του
κάθε παράγοντα δεν έχει επίδραση στη μεταβλητή απόκρισης, αλλά η επίδραση οφείλεται (ακόμα και σχεδόν αποκλειστικά) στην από κοινού επίδραση (δηλαδή στην αλληλεπίδραση) των εμπλεκόμενων παραγόντων. Σημειώνεται ότι στη βιομηχανία, μία δημοφιλής παραλλαγή των παραγοντικών πειραμάτων είναι τα
πειράματα αλλαγής ενός παράγοντα κάθε φορά, όπου για παράδειγμα, εκτελούνται πειράματα σε κάθε επίπεδο
ενός παράγοντα με τους υπόλοιπους παράγοντες να διατηρούνται σταθεροί (στο ίδιο επίπεδο). Η διαδικασία επαναλαμβάνεται για κάθε εμπλεκόμενο παράγοντα (με τους υπόλοιπους να διατηρούνται σταθεροί). Αν
και δημοφιλής στη βιομηχανία, η προσέγγιση αυτή δεν διευκολύνει την αξιόπιστη αξιολόγηση των αλληλεπιδράσεων, και αυτό διότι αν κάποιος παράγοντας δεν επενεργεί ανεξάρτητα στη μεταβλητή απόκρισης (όπως
αναφέρθηκε προηγουμένως ότι είναι δυνατόν να συμβεί στην πράξη) η εκτέλεση πειραμάτων στα διάφορα
επίπεδά του δεν αναδεικνύει τις επιδράσεις που οφείλονται σε αλληλεπιδράσεις (αφού οι υπόλοιποι παράγοντες δεν μεταβάλλονται, αλλά διατηρούνται σταθεροί).
Τόσο το πρότυπο με, όσο και το πρότυπο χωρίς αλληλεπίδραση προϋποθέτουν την ικανοποίηση των κλασικών προϋποθέσεων, όπως έχουν διατυπωθεί στην Ανάλυση Παλινδρόμησης, καθώς και στην Ανάλυση Διακύμανσης κατά έναν παράγοντα, δηλαδή την κανονικότητα, την ανεξαρτησία και την ομοσκεδαστικότητα
(Ενότητα 7.6). Η διερεύνηση των προϋποθέσεων αυτών γίνεται με την Ανάλυση Καταλοίπων, όπως είχε γίνει και νωρίτερα. Σημειώνεται πάντως ότι ακόμα και μικρές αποκλίσεις από την Κανονικότητα δεν μειώνουν
την αξιοπιστία των ελέγχων που διενεργούνται, διότι οι ελεγχοσυναρτήσεις που βασίζονται στην κατανομή
F παραμένουν προσεγγιστικά σωστές, ακόμα και όταν τα σφάλματα δεν ακολουθούν την κανονική κατανομή
[14, 15].
H ομοιότητα του προτύπου με αυτό των σταθερών επιδράσεων σε πρότυπο ενός παράγοντα με μία μεταβλητή
πλαισίου, καλύπτει τόσο την εκτίμηση των εμπλεκόμενων παραμέτρων όσο και τη μελέτη των σχετικών ελέγχων υποθέσεων. Για διευκόλυνση, αναπαράγεται κατωτέρω ο Πίνακας Δεδομένων 8.1 όπου απλά η Θεραπεία
και το Block αναφέρονται ως Παράγοντας Α και Παράγοντας Β, ενώ σε κάθε συνδυασμό επιπέδων (δηλαδή σε
κάθε κελί) έχουμε n επαναλήψεις (πειράματα). Αν n = 1 ο νέος Πίνακας 8.12 ταυτίζεται με τον Πίνακα 8.1.
Πίνακας 8.12: Πίνακας Δεδομένων - Διπαραγοντική Ανάλυση με ή χωρίς Αλληλεπίδραση
Παράγοντας Β
1
2
...
b
Μέσος A
Εκτιμητής
1
y111 , ..., y11n
y121 , ..., y12n
···
y1b1 , ..., y1bn
µ1.
ȳ1..
2
..
.
y211 , ..., y21n
..
.
y221 , ..., y22n
..
.
···
···
y2b1 , ..., y2bn
..
.
µ2.
..
.
ȳ2..
..
.
a
ya11 , ..., ya1n
ya21 , ..., ya2n
···
yab1 , ..., yabn
µa.
ȳa..
Μέσος B
µ.1
µ.2
···
µ.b
µ(µ.. )
Εκτιμητής
ȳ.1.
ȳ.2.
···
ȳ.b.
Παράγοντας Α
Με βάση τα παραπάνω, οι εκτιμητές των κύριων επιδράσεων δίνονται από τους τύπους:
α̂i = µ̂i. − µ̂ = ȳi.. − ȳ...
ȳ...
188
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
και
β̂j = µ̂.j − µ̂ = ȳ.j. − ȳ...
P
όπου:
µ̂i. = ȳi.. =
yijk
,
bn
j,k
P
µ̂.j = ȳ.j. =
yijk
an
i,k
P
και
yijk
.
abn
Είναι προφανές ότι για την εκτίμηση της μέσης τιμής μίας συγκεκριμένης θεραπείας (i, j) (δηλαδή για τον
πληθυσμό που αντιστοιχεί σε συγκεκριμένο κελί του Πίνακα 8.12) θα υπολογιστεί ο δειγματικός μέσος των
n επαναλήψεων του πειράματος που εκτελέστηκαν για τον συγκεκριμένο συνδυασμό επιπέδων i και j των
παραγόντων A και B:
Pn
yijk
µ̂ij = ȳij. = k=1
n
έτσι ώστε με βάση τη σχέση (8.21) η εκτίμηση της αλληλεπίδρασης να δίνεται από τον τύπο:
µ̂ = µ̂.. = ȳ... =
i,j,k
d
(αβ)
ij = ȳij. − ȳi.. − ȳ.j. + ȳ... .
Η μελέτη προτύπων με περισσότερους από έναν παράγοντες, μπορεί να γίνει σε πρώιμο στάδιο με τη χρήση
απλών γραφικών μεθόδων που δίνουν στον Ερευνητή μία εικόνα των ενδεχόμενων επιδράσεων στη μεταβλητή
απόκρισης. Αν και χρήσιμες, τέτοιες τεχνικές δεν μπορούν να αναδείξουν τη στατιστική σημαντικότητα των
επιδράσεων, μπορούν όμως να διευκολύνουν τον Ερευνητή στο έργο του και να τον προϊδεάσουν για το τι
αναμένεται να συναντήσει κατά τη στατιστική ανάλυση του προβλήματος. Τα κλασικά γραφικά που χρησιμοποιούνται μαζικά είναι:
• το Διάγραμμα Κουκκίδων το οποίο μπορεί να αναδείξει διαφορές μεταξύ των επιπέδων των παραγόντων,
αλλά δεν βοηθάει στην αξιολόγηση των αλληλεπιδράσεων,
• το Θηκόγραμμα το οποίο λειτουργεί όπως το Διάγραμμα Κουκκίδων, αν και απαιτεί να υπάρχουν αρκετές παρατηρήσεις ανά θεραπεία (τουλάχιστον 5 ή 6), ώστε να δώσει μία ικανοποιητική εικόνα των
κύριων επιδράσεων,
• το Διάγραμμα Κύριων Επιδράσεων το οποίο δίνει μία συγκριτική εικόνα των μέσων ανά θεραπεία (δηλαδή
ανά συνδυασμό επιπέδων των παραγόντων) και
• το Διάγραμμα Αλληλεπιδράσεων για την οπτική ανάδειξη επιδράσεων που οφείλονται σε αλληλεπιδράσεις, και δίνει μία συγκριτική εικόνα των μέσων ξεχωριστά για κάθε επίπεδο του ενός παράγοντα σε
σχέση με καθένα επίπεδο του (των) άλλου (άλλων). Τα διαγράμματα αυτά καθίστανται δύσχρηστα
όταν οι εμπλεκόμενοι παράγοντες είναι περισσότεροι από δύο ή τρεις.
Το παρακάτω παράδειγμα αναδεικνύει τη χρησιμότητα των πιο πάνω διαγραμματικών μεθόδων οπτικής αξιολόγησης των επιδράσεων σε ένα πρότυπο διπαραγοντικής ανάλυσης.
Παράδειγμα 8.4. Δίνονται τα δεδομένα του πιο κάτω πίνακα που αφορούν τις μετρήσεις που έγιναν σε μία μεταβλητή απόκρισης όπου εμπλέκονται δύο παράγοντες A και B με δύο (2) επίπεδα έκαστος (πρότυπο σταθερών
επιδράσεων). Το πείραμα εκτελέστηκε τέσσερις φορές ανά συνδυασμό επιπέδων (δηλαδή έγιναν 4 επαναλήψεις).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
189
Πίνακας 8.13: Πίνακας Δεδομένων - Γραφικές Μέθοδοι
Παράγοντας Β
1
2
Μέσος A
Εκτιμητής
1
120, 125, 130, 132
120, 116, 110, 112
µ1.
ȳ1.. = 120.83
2
96, 98, 100, 106
88, 90, 86, 86
µ2.
ȳ2.. = 93.75
Μέσος B
µ.1
µ.2
µ(µ.. )
Εκτιμητής
ȳ.1. = 113.38
ȳ.2. = 101.00
Παράγοντας Α
ȳ... = 107.19
Παρατηρούμε ότι το πρόβλημα έχει τέσσερις θεραπείες (πληθυσμούς) που αντιστοιχούν στους 4 συνδυασμούς των
επιπέδων των A και B: (1, 1), (1, 2), (2, 1) και (2, 2). Στόχος της μελέτης είναι να διαπιστωθεί (οπτικά) αν
oι κύριες επιδράσεις α1 , α2 , β1 , β2 αλλά και οι 4 αλληλεπιδράσεις (αβ)11 , (αβ)12 , (αβ)21 , και (αβ)22 , είναι
σημαντικές ή όχι. Δύο πρώτα σχόλια που μπορούν να γίνουν παρατηρώντας τα δεδομένα είναι τα ακόλουθα:
• Οι μετρήσεις που αντιστοιχούν στο επίπεδο 2 του παράγοντα A φαίνεται να είναι αρκετά μικρότερες από
τις αντίστοιχες μετρήσεις στο επίπεδο 1 του παράγοντα A.
• Οι μετρήσεις που αντιστοιχούν στα δύο επίπεδα του παράγοντα B φαίνεται να είναι συγκρίσιμες.
• Οι διαγώνιες μετρήσεις, δηλαδή αυτές που αντιστοιχούν στα επίπεδα (1, 2) και (2, 1) (δηλαδή αυτές που
αντιστοιχούν σε χιαστί τιμές των επιπέδων των A και B) δεν φαίνεται να διαφέρουν από αυτές που αντιστοιχούν στα επίπεδα (1, 1) και (2, 2).
Από τα ανωτέρω ο Ερευνητής μπορεί να υποψιαστεί ότι ο παράγοντας A φαίνεται να επιδρά, κάτι που μάλλον δεν
ισχύει για τον παράγοντα B (ή αν ισχύει θα ισχύει σε πολύ χαμηλότερο επίπεδο), αλλά ούτε και για την αλληλεπίδραση.
Είναι εύκολο να διαπιστωθεί ότι οι εκτιμητές των μέσων στους 4 πληθυσμούς/θεραπείες (κελιά του πίνακα δεδομένων) είναι:
µ̂11 = ȳ11. = 126.75, µ̂12 = ȳ12. = 114.50
και
µ̂21 = ȳ21. = 100.00,
µ̂22 = ȳ22. = 87.5.
Η διαδρομή στο Minitab για τον σχεδιασμό των τεσσάρων γραφημάτων είναι η ακόλουθη:
• Διάγραμμα Κουκκίδων:
Graph
Ê
Dotplot
Ê
Stack Groups
τικάροντας την επιλογή Stack dots of last categorical variable, με τη Graph Variable να είναι η μεταβλητή
απόκρισης και οι Categorical Variables να είναι οι δύο παράγοντες A και B.
• Θηκόγραμμα:
Graph
Ê
με τις μεταβλητές όπως και προηγουμένως.
Boxplot
Ê
With Groups
190
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
• Διάγραμμα Κύριων Επιδράσεων:
Stat
Ê
ANOVA
Ê
Main Effects Plot
με τη μεταβλητή απόκρισης να ανατίθεται στα Responses και τους παράγοντες A και B στα Factors, και
• Διάγραμμα Αλληλεπιδράσεων:
Stat
Ê
ANOVA
Ê
Interaction Plot
με τις μεταβλητές, όπως και προηγουμένως. Συστήνεται να τικαριστεί η επιλογή Display full interaction
plot matrix, ώστε ο Ερευνητής να έχει καλύτερη εικόνα των αλληλεπιδράσεων από δύο γωνίες (τον παράγοντα A ως προς τον B, καθώς και αντιστρόφως).
Τα Διαγράμματα Κουκκίδων, Κύριων Επιδράσεων και Αλληλεπιδράσεων του προηγουμένου παραδείγματος, δίνονται πιο κάτω:
Σχήμα 8.1: Διάγραμμα Κουκκίδων
Σχήμα 8.2: Διάγραμμα Κύριων Επιδράσεων
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
191
Σχήμα 8.3: Διάγραμμα Αλληλεπιδράσεων
Τα γραφήματα δείχνουν με σαφήνεια ότι (πρέπει να) υπάρχει επίδραση του παράγοντα A αλλά και του παράγοντα
B (αν και αυτή φαίνεται να είναι σαφώς μικρότερης ισχύος). Το Διάγραμμα Αλληλεπίδρασης δείχνει με σαφήνεια μία παραλληλία ή οποία συνδέεται με απουσία αλληλεπίδρασης. Αν η οπτική αυτή αξιολόγηση με τη χρήση
διαγραμμάτων, επιβεβαιωθεί και στατιστικά (με τον Πίνακα ANOVA), το ιδανικό πρότυπο θα είναι ένα πρότυπο
χωρίς αλληλεπίδραση.
Με την ολοκλήρωση της γραφικής αξιολόγησης, ο Ερευνητής μπορεί να προχωρήσει στη στατιστική ανάλυση μέσω
της Ανάλυσης Διακύμανσης. Για την κατανόηση της τεχνικής, επικεντρωνόμαστε στη συνέχεια τόσο για την περίπτωση του Προτύπου Σταθερών Επιδράσεων όσο και για την περίπτωση του Προτύπου Τυχαίων Επιδράσεων,
στη μελέτη δύο παραγόντων με αλληλεπίδραση, αν και η αναγωγή στην περίπτωση περισσότερων παραγόντων
είναι προφανής.
8.4.2 Πρότυπο σταθερών επιδράσεων
Επανερχόμαστε στο πρότυπο δύο παραγόντων A και B με αλληλεπίδραση:
yijk = µ + αi + βj + (αβ)ij + ϵijk ,
i = 1, ..., a,
j = 1, ..., b,
k = 1, ..., n
(8.23)
και έστω κατά τα συνήθη, τα κατάλοιπα να ορίζονται ως εξής:
ϵ̂ijk = ŷijk − yijk ,
όπου:
d ,
ŷijk = µ̂ + α̂i + β̂j + (αβ)
ij
όπου η εκτίμηση ŷijk της τιμής yijk της μεταβλητής απόκρισης προκύπτει αξιοποιώντας τους εκτιμητές των
παραμέτρων αi , βj και (αβ)ij , όπως δόθηκαν στην προηγούμενη ενότητα.
Ο πίνακας ANOVA, για την περίπτωση του προτύπου με 2 παράγοντες A και B και αλληλεπίδραση, δίνεται
στη συνέχεια, όπου:
• Οι βαθμοί ελευθερίας κάθε παράγοντα είναι ίσοι με τον αριθμό των αντίστοιχων επιπέδων μειωμένο
κατά ένα, δηλαδή με a − 1 και b − 1 αντίστοιχα.
192
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
• Οι βαθμοί ελευθερίας της αλληλεπίδρασης AB ισούνται με το γινόμενο των βαθμών ελευθερίας των
δύο παραγόντων, δηλαδή με (a − 1)(b − 1).
• Οι συνολικοί βαθμοί ελευθερίας είναι ως συνήθως ίσοι με το σύνολο των δεδομένων (μετρήσεων) μειωμένοι κατά ένα, δηλαδή με abn−1, ενώ οι βαθμοί ελευθερίας για τα σφάλματα είναι ίσοι με τη διαφορά
[abn − 1] − [(a − 1) + (b − 1) + (a − 1)(b − 1)].
• Το συνολικό (ολικό) άθροισμα τετραγώνων που αντιπροσωπεύει τη συνολική μεταβλητότητα ισούται
P
με SST O = ijk (yijk − ȳ... )2 .
• Το άθροισμα των τετραγωνικών σφαλμάτων ισούται με SSE =
P
2
ijk ϵ̂ijk
=
P
ijk
(yijk − ŷijk )2
• Η συνολική μεταβλητότητα που μπορεί να εξηγηθεί/δικαιολογηθεί από το πρότυπο είναι:
SSR = SST O − SSE =
X
(ŷijk − ŷ... )2 ,
ijk
που δεν είναι δύσκολο να δειχθεί ότι ισούται με:
SSR = SSA + SSB + SSAB
=
X
(ȳi.. − ȳ... )2 +
X
ijk
(ȳ.j. − ȳ... )2 +
ijk
X
(ȳij. − ȳi.. − ȳ.j. + ȳ... )2 .
(8.24)
ijk
Πίνακας 8.14: Πίνακας ANOVA - Διπαραγοντική Ανάλυση με Αλληλεπίδραση - Σταθερές Επιδράσεις
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
a−1
SSA
M SA =
SSA
(a−1)
M SA
M SE
B
b−1
SSB
M SB =
SSB
(b−1)
M SB
M SE
AB
(a − 1)(b − 1)
SSAB
Σφάλματα
ab(n − 1)
SSE
Ολική
abn − 1
SST O
Άθροισμα
F
Τετραγώνων
M SAB =
M SE =
SSAB
(a−1)(b−1)
SSE
ab(n−1)
–
M SAB
M SE
–
–
Η μηδενική (και η αντίστοιχη εναλλακτική) υπόθεση των μηδενικών (κύριων) επιδράσεων του παράγοντα
A, μπορεί να διατυπωθεί κατά τα συνήθη:
H0 : αi = 0
vs
H1 : Όχι όλα τα αi , i = 1, ..., a, ίσα με 0.
(8.25)
Από το Θεώρημα Cochran έχουμε και πάλι ότι η ελεγχοσυνάρτηση για τον έλεγχο της πιο πάνω H0 , όπως
φαίνεται και από την τελευταία στήλη του Πίνακα ANOVA, είναι η ακόλουθη:
M SA
F =
=
M SE
SSA
a−1 H0
SSE ∼
abn−1
Fa−1,abn−1 ,
ενώ το χωρίο απόρριψης της H0 είναι το εξής:
F > Fa−1,abn−1;α ,
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
193
όπου Fa−1,abn−1;α το 100(1 − α)% ποσοστημόριο της κατανομής F με a − 1 και abn − 1 βαθμούς ελευθερίας.
Κατά αντιστοιχία, η μηδενική (και η αντίστοιχη εναλλακτική) υπόθεση των μηδενικών (κύριων) επιδράσεων
του παράγοντα B, μπορεί να διατυπωθεί ως εξής:
H0 : βj = 0
vs
H1 : Όχι όλα τα βj , j = 1, ..., b, ίσα με 0,
(8.26)
ενώ τώρα ισχύει ότι:
F =
M SB
=
M SE
SSB
b−1 H0
SSE ∼
abn−1
Fb−1,abn−1 ,
με το χωρίο απόρριψης της H0 να είναι το εξής:
F > Fb−1,abn−1;α ,
όπου Fb−1,abn−1;α το 100(1 − α)% ποσοστημόριο της κατανομής F με b − 1 και abn − 1 βαθμούς ελευθερίας.
Τέλος, ο έλεγχος για την απουσία αλληλεπίδρασης είναι:
H0 : (αβ)ij = 0
vs
H1 : όχι όλα τα (αβ)ij , i = 1, ..., a, j = 1, ..., b, ίσα με 0,
(8.27)
ενώ τώρα ισχύει ότι:
M SAB
F =
=
M SE
SSAB
(a−1)(b−1) H0
∼
SSE
abn−1
F(a−1)(b−1),abn−1 ,
με το χωρίο απόρριψης της H0 να είναι το εξής:
F > F(a−1)(b−1),abn−1;α ,
όπου F(a−1)(b−1),abn−1;α το 100(1 − α)% ποσοστημόριο της κατανομής F με (a − 1)(b − 1) και abn − 1
βαθμούς ελευθερίας.
Ο σημαντικότερος από τους τρεις ελέγχους της διπαραγοντικής ανάλυσης διακύμανσης είναι ο έλεγχος απουσίας αλληλεπίδρασης γιατί αν ο έλεγχος αναδείξει ότι η αλληλεπίδραση είναι στατιστικώς σημαντική (σε
όποιο επίπεδο σημαντικότητας α επιλέξει ο Ερευνητής), τότε το πρότυπο θα πρέπει να παραμείνει στην αρχική του μορφή, όπως δίνεται στη σχέση (8.20), ακόμα και αν κάποια από τις κύριες επιδράσεις αποδειχτεί από
τον (αντίστοιχο) έλεγχο ως στατιστικώς μη σημαντική. Είναι πράγματι πιθανόν, ένας ή ακόμα και δύο παράγοντες αυτόνομα, να μην έχουν σημαντική επίδραση σε μία διεργασία, αλλά η συνύπαρξή τους (μέσω της
αλληλεπίδρασης) να αποδεικνύεται σημαντική. Σε τέτοιες περιπτώσεις, η παρουσία των παραγόντων στον
πειραματισμό κρίνεται αναγκαία ώστε η ανάλυση να μπορεί να αναδείξει τη σημαντικότητα της αλληλεπίδρασής τους.
Από την άλλη πλευρά, αν η αλληλεπίδραση αποδειχτεί από τον σχετικό έλεγχο ως μη σημαντική, τότε μπορεί
να αφαιρεθεί από το πρότυπο, και αυτό να πάρει την πιο απλή μορφή του, χωρίς αλληλεπίδραση. Στην περίπτωση αυτή, τόσο οι βαθμοί ελευθερίας όσο και η όποια μεταβλητότητα σχετίζεται με την αλληλεπίδραση
(όπως αποτυπώνεται στην ποσότητα SSAB), καταπίπτει στα σφάλματα. Στην περίπτωση αυτή, ο Πίνακας
ANOVA για το πρότυπο χωρίς αλληλεπίδραση (όπως αυτό δίνεται στη σχέση (8.19)), παίρνει τη μορφή:
194
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Πίνακας 8.15: Πίνακας ANOVA - Διπαραγοντική Ανάλυση χωρίς Αλληλεπίδραση - Σταθερές Επιδράσεις
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
a−1
SSA
M SA =
SSA
(a−1)
M SA
M SE
B
b−1
SSB
M SB =
SSB
(b−1)
M SB
M SE
Σφάλματα
(abn − 1) − (a + b)
SSE
SSE
(abn−1)−(a+b)
–
Ολική
abn − 1
SST O
Άθροισμα
F
Τετραγώνων
M SE =
–
–
Σημειώνεται πάντως ότι η απουσία αλληλεπίδρασης θα πρέπει να επιβεβαιωθεί από την ανάλυση, πριν απομακρυνθεί από το αρχικό πρότυπο. Με άλλα λόγια, δεν συστήνεται η απευθείας χρήση του προτύπου χωρίς
αλληλεπίδραση, παρά μόνο αν έχουμε από πρότερη εμπειρία, ικανές πληροφορίες περί απουσίας αλληλεπίδρασης (κάτι που όμως σε πρακτικές εφαρμογές δεν είναι εύκολο να συμβαίνει).
Πριν ολοκληρωθεί η παρούσα ενότητα, για λόγους πληρότητας παρατίθεται στη συνέχεια η μορφή του προτύπου με τρεις παράγοντες A, B και Γ με αλληλεπιδράσεις 1ου και 2ου βαθμού (δηλαδή μεταξύ δύο, καθώς
και τριών παραγόντων):
yijkl = µ + αi + βj + γk + (αβ)ij + (αγ)ik + (βγ)jk
+ (αβγ)ijk + ϵijkl , i = 1, ..., a, j = 1, ..., b, k = 1, ..., c, l = 1, ..., n,
(8.28)
όπου και πάλι για χάρη απλότητας θεωρούμε ότι ο σχεδιασμός είναι ισορροπημένος, δηλαδή ότι έχουμε ίδιο
αριθμό επαναλήψεων (n) ανά θεραπεία (συνδυασμό επιπέδων των παραγόντων). Για τη μελέτη μη ισορροπημένων σχεδιασμών, ο αναγνώστης μπορεί να ανατρέξει στο βιβλίο του Montgomery [22].
Στις περιπτώσεις εκείνες που το πείραμα με περισσότερους από δύο παράγοντες, εκτελείται χωρίς επανάληψη
(δηλαδή n = 1), είναι δυνατόν ο Ερευνητής να προβεί στη μελέτη κάποιων αλληλεπιδράσεων. Ένα πείραμα
χωρίς αλληλεπίδραση, είναι αδύνατον να αξιολογήσει όλες τις αλληλεπιδράσεις (πιο πάνω φαίνονται τρεις
αλληλεπιδράσεις 1ης τάξης - δηλαδή μεταξύ δύο παραγόντων - και μία αλληλεπίδραση 2ης τάξης) και αυτό
διότι σε αυτή την περίπτωση θα εξαντλούνταν όλοι οι διαθέσιμοι βαθμοί ελευθερίας και δεν θα έμεναν βαθμοί
ελευθερίας για τα σφάλματα. Σε τέτοιες περιπτώσεις, ο Ερευνητής μπορεί να συμπεριλάβει στο πείραμα την
αξιολόγηση των αλληλεπιδράσεων 1ης τάξης και να αγνοήσει την αλληλεπίδραση της 2ης , η οποία θα παίξει
τον ρόλο του σφάλματος. Στην πράξη, είναι σύνηθες φαινόμενο να χρησιμοποιούνται στη θέση των σφαλμάτων οι όροι που αντιστοιχούν στη μεγαλύτερης τάξης αλληλεπίδραση. Τέτοιες αλληλεπιδράσεις και είναι
δύσκολο να ερμηνευθούν και να αξιολογηθούν, αλλά και πολύ συχνά έχουν μηδαμινή (έως και μηδενική) επίδραση στη μεταβλητή απόκρισης, ώστε τελικά να είναι ανέξοδη (δηλαδή να μην αλλοιώνει την ανάλυση) η
επιλογή του Ερευνητή να τις θεωρήσει αμελητέες.
Παράδειγμα 8.5. Δίνονται τα δεδομένα του Πίνακα 8.16 που αφορούν τις μετρήσεις που έγιναν σε μία μεταβλητή
απόκρισης Y όπου εμπλέκονται δύο παράγοντες A και B με 10 και 2 επίπεδα αντίστοιχα τα οποία αποτελούν
το σύνολο όλων των δυνατών επιπέδων των εμπλεκόμενων παραγόντων. Το πείραμα εκτελέστηκε δύο φορές ανά
συνδυασμό επιπέδων (δηλαδή έγιναν 2 επαναλήψεις).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
195
Πίνακας 8.16: Πίνακας Δεδομένων - Διπαραγοντική Ανάλυση - Σταθερές Επιδράσεις
Παράγοντας Β
1
2
Μέσος A
Εκτιμητής
1
289, 273
319, 324
µ1.
ȳ1.. = 301.25
2
311, 327
333, 340
µ2.
ȳ2.. = 327.75
3
295, 318
335, 326
µ1.
ȳ1.. = 318.50
4
301, 303
333, 314
µ2.
ȳ2.. = 312.75
5
288, 265
289, 279
µ1.
ȳ1.. = 280.25
6
304, 298
305, 299
µ2.
ȳ2.. = 301.50
7
273, 293
250, 287
µ1.
ȳ1.. = 275.75
8
301, 276
275, 305
µ2.
ȳ2.. = 289.25
9
341, 328
316, 314
µ2.
ȳ2.. = 324.75
10
293, 282
300, 297
µ1.
ȳ1.. = 293.00
Μέσος B
µ.1
µ.2
µ(µ.. )
Εκτιμητής
ȳ.1. = 297.95
ȳ.2. = 307
Παράγοντας Α
ȳ... = 302.48
Παρατηρούμε ότι το πρόβλημα έχει 20 θεραπείες (πληθυσμούς), που αντιστοιχούν στους συνδυασμούς των επιπέδων των A και B: (1, 1), .., (1, 10), (2, 1), ..., (2, 10). Στόχος της μελέτης είναι να διαπιστωθεί αν oι κύριες
επιδράσεις α1 − α10 , β1 , β2 , αλλά και οι 20 παράμετροι αλληλεπίδρασης (αβ)ij , i = 1, ..., 10, j = 1, 2 είναι
σημαντικές ή όχι. Ένα πρώτο σχόλιο από τα δεδομένα, είναι ότι όταν ο παράγοντας B είναι στο επίπεδο 2, οι τιμές
της μεταβλητής απόκρισης φαίνεται να είναι υψηλότερες, αφού παρατηρούνται λιγότερες μετρήσεις κάτω από 300
και αρκετές κοντά ή γύρω στο 330. Όσο για τον παράγοντα A, είναι ολοφάνερο ότι κάποια επίπεδα, όπως π.χ. τα
επίπεδα 5 και 7, έχουν πολύ χαμηλότερες μετρήσεις ανεξάρτητα από το επίπεδο του παράγοντα B.
Για την εύρεση του Πίνακα ANOVA με τη χρήση του Minitab, ακολουθούμε τη διαδρομή:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
με τη μεταβλητή απόκρισης Y να τίθεται στο Responses και τους παράγοντες A και στα Factors. Σημειώνεται ότι:
• στο Model θα πρέπει να επιλεχθούν οι 2 παράγοντες και να τικαριστεί η επιλογή Interactions through
order 2, ώστε στο μοντέλο να περιληφθεί και η αλληλεπίδραση,
• στο Random/Nest θα πρέπει να καθοριστεί το Type των παραγόντων μεταξύ των επιλογών Fixedκαι
Random (εδώ πρέπει να τικαριστεί η επιλογή Fixed),
• στο Graphs μπορεί να ζητηθεί η κατασκευή διαγραμμάτων για τη διερεύνηση των προϋποθέσεων με την
επιλογή Four in one να συστήνεται, επειδή δίνει ταυτόχρονα τέσσερα διαγράμματα για την κανονικότητα
(δύο), ομοσκεδαστικότητα (δεξιά άνω) και ανεξαρτησία (δεξιά κάτω),
• στα Options ο Ερευνητής έχει τη δυνατότητα (α) να επιλέξει το επιθυμητό επίπεδο εμπιστοσύνης για
τυχόν διαστήματα εμπιστοσύνης που κατασκευάζονται, (β) να ζητήσει τους Means για κάθε επίπεδο κάθε
196
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
παράγοντα και για κάθε συνδυασμό επιπέδων των παραγόντων και (γ) να ζητήσει κατάλληλο ή τον ιδανικό (Optimal) μετασχηματισμό των Box & Cox ο οποίος συστήνεται για την αντιμετώπιση προβλημάτων
σχετικά με τη μη ικανοποίηση των προϋποθέσεων του προτύπου (Ενότητα 4.7). Ο μετασχηματισμός συμβάλει στον περιορισμό ή και την εξάλειψη προβλημάτων σχετικά με την απουσία κανονικότητας και την
ετεροσκεδαστικότητα,
• στα Results μπορεί ο Ερευνητής να επιλέξει από μία μεγάλη γκάμα αποτελεσμάτων όπως (α) την εξίσωση
που αντιστοιχεί στο μοντέλο, (β) τους εκτιμητές των παραμέτρων, (γ) τις συνιστώσες διασποράς (στην
περίπτωση που εξετάζεται το πρότυπο τυχαίων επιδράσεων), (δ) τις εκτιμώμενες τιμές είτε για όλες τις
παρατηρήσεις είτε μόνο για αυτές που δεν φαίνονται φυσιολογικές (δηλαδή έχουν μεγάλα κατάλοιπα σε
σχέση με τις υπόλοιπες - οι τελευταίες συμβολίζονται με R),
• στο Storage μπορεί ο Ερευνητής να επιλέξει τις ποσότητες που θέλει να αποθηκεύσει. Μεταξύ των επιλογών του είναι οι εκτιμώμενες παρατηρήσεις, τα κατάλοιπα (τόσο τα συνήθη όσο και τα τυποποιημένα),
καθώς και ποσότητες όπως η Cook’s Distance και η μόχλευση (Leverage) (βλ. Ενότητα 4.8) που σχετίζονται με επηρεάζουσες παρατηρήσεις και την επίδρασή τους στη διαμόρφωση του μοντέλου.
Ο Πίνακας που προκύπτει είναι:
Πίνακας 8.17: Πίνακας ANOVA - Με Αλληλεπίδραση
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
9
11890.7
B
1
AB
Μέσο
F
p-value
1321.2
9.02
0.000
819.0
819.0
5.59
0.028
9
2936.7
326.3
2.23
0.065
Σφάλματα
20
2929.5
146.5
–
–
Ολική
39
18576
–
–
–
Άθροισμα
Τετραγώνων
Με βάση τα αποτελέσματα της ανάλυσης, το τελικό συμπέρασμα είναι ότι στο σύνηθες 5% επίπεδο σημαντικότητας
τόσο ο A όσο και ο B παράγοντας είναι στατιστικώς σημαντικοί (δηλαδή απορρίπτονται οι μηδενικές υποθέσεις
H0 : αi = 0 και H0 : βj = 0), αφού οι αντίστοιχες p-values είναι 0.000 και 0.028. Από την άλλη πλευρά
διαπιστώνεται η απουσία αλληλεπίδρασης (δηλαδή γίνεται αποδεκτή η μηδενική υπόθεση H0 : (αβ)ij = 0) στο
συγκεκριμένο επίπεδο σημαντικότητας, αν και ο Ερευνητής θα πρέπει να δώσει ιδιαίτερη προσοχή στην περίπτωση
αυτή, αφού η p-value είναι ελάχιστα μεγαλύτερη από το επιθυμητό επίπεδο σημαντικότητας (0.065). Με βάση το
συγκεκριμένο επίπεδο (5%), ο Ερευνητής μπορεί να αποφασίσει να απλοποιήσει το πρότυπο και να χρησιμοποιήσει
εκείνο χωρίς αλληλεπίδραση, οπότε ο ανανεωμένος Πίνακας ANOVA γίνεται:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
197
Πίνακας 8.18: Πίνακας ANOVA - Χωρίς Αλληλεπίδραση
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
9
11890.7
B
1
Σφάλματα
Ολική
Μέσο
F
p-value
1321.2
6.53
0.000
819
819
4.05
0.054
29
5866.2
202.3
–
–
39
18576
–
–
–
Άθροισμα
Τετραγώνων
Παρατηρώντας τα αποτελέσματα για το πρότυπο χωρίς αλληλεπίδραση, διαπιστώνουμε ότι αν και η επίδραση του
παράγοντα A παραμένει στατιστικώς σημαντική ( p-value = 0.000), το ίδιο παύει να ισχύει (οριακά) για
τον παράγοντα B ( p-value = 0.054). Αυτό οφείλεται στο γεγονός ότι τόσο οι βαθμοί ελευθερίας όσο και η
μεταβλητότητα που αφορούσαν την αλληλεπίδραση προστέθηκαν στις αντίστοιχες ποσότητες που αφορούσαν τα
σφάλματα. Η διαφοροποίηση αυτή οδήγησε σε αύξηση του μέσου τετραγωνικού σφάλματος M SE (από 146.5 σε
202.3). Η αύξηση αυτή δεν ήταν αρκετή για να αλλάξει την κατάσταση για τον παράγοντα A, ήταν όμως υπεραρκετή (έστω και οριακά) για να αλλάξει την κατάσταση για τον παράγοντα B (με την p-value να αυξάνεται από
0.028 σε 0.054). Στη συγκεκριμένη περίπτωση φαίνεται ότι ο Ερευνητής πρέπει να επιστρέψει στο αρχικό πρότυπο, με την έννοια ότι η απουσία αλληλεπίδρασης αλλοίωσε σημαντικά τη φυσιογνωμία του προτύπου. Ειδικά
στην περίπτωση αυτή, αφού η αλληλεπίδραση χαρακτηρίστηκε οριακά ως στατιστικώς μη σημαντική, ενώ ταυτόχρονα ο Ερευνητής είναι πρόθυμος να εκτελέσει το πείραμα με επανάληψη (αγνοώντας το κόστος), συστήνεται να
διατηρηθεί η αλληλεπίδραση στο πρότυπο για μία αξιόπιστη αντιμετώπιση του προβλήματος, έστω και αν αυτή
αφορά 6.5% επίπεδο σημαντικότητας, το οποίο πάντως, σε οποιαδήποτε περίπτωση, είναι πάρα πολύ κοντά στο
σύνηθες επίπεδο του 5%.
Επανερχόμενοι στο αρχικό πρότυπο με αλληλεπίδραση, και ζητώντας να καταγραφούν τα βασικά χαρακτηριστικά
από την ανάλυση με το Minitab, έχουμε τα ακόλουθα:
Regression Equation
ŷ = 302.48 − 1.22α1 + 25.27α2 + 16.02α3 + 10.28α4 − 22.23α5 − 0.98α6 − 26.72α7 − 13.23α8
+ 22.28α9 − 9.47α10 − 4.53β1 + 4.53β2 − 15.72(αβ)11 + ...
Fits and Diagnostics
Διαπιστώνεται η ύπαρξη δύο μη φυσιολογικών παρατηρήσεων (συμβολίζονται με R): η παρατήρηση 27 που αντιστοιχεί στην μέτρηση 250, καθώς και η παρατήρηση 28 που αντιστοιχεί στη μέτρηση 287 για τις οποίες η εκτιμώμενη τιμή είναι κοινή και ίση με 268.5, και άρα η καθεμία απέχει ε̂27 = ε̂28 = 18.5 μονάδες, από την αντίστοιχη
παρατηρηθείσα τιμή.
Means
Οι δειγματικοί μέσοι για τα 10 επίπεδα του παράγοντα A φαίνονται στον Πίνακα Δεδομένων 8.16, όπως και
οι δειγματικοί μέσοι για τα 2 επίπεδα του παράγοντα B (297.95 και 307) από όπου φαίνεται ότι η διαφορά των
δύο αυτών μέσων δεν είναι σημαντικά μεγάλη. Από την άλλη πλευρά, οι διαφοροποιήσεις μεταξύ των μέσων των
επιπέδων του παράγοντα A είναι αρκετά μεγάλες και κυμαίνονται από 280.25 και 275.75 (για τα επίπεδα 5 και
198
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
7) μέχρι 327.75 και 324.75 (για τα επίπεδα 2 και 9), κάτι που δικαιολογεί απόλυτα την έντονα στατιστικώς σημαντική επίδραση του παράγοντα A, σε αντιπαραβολή με αυτή του παράγοντα B που φαίνεται να είναι σαφώς
ηπιότερη.
Όπως έχει ήδη αναφερθεί στο προηγούμενο Κεφάλαιο, όταν ο έλεγχος ισότητας των μέσων καταλήγει στο συμπέρασμα ότι οι μέσοι δεν είναι όλοι ίσοι, δηλαδή στην περίπτωση που γίνεται δεκτή η εναλλακτική υπόθεση, ο
Ερευνητής μπορεί (και ενδείκνυται) να προχωρήσει σε Πολλαπλές Συγκρίσεις, ( Multiple Comparisons) όπου για
όλες τις συγκρίσεις ανά δύο, το συνολικό σφάλμα να μην υπερβαίνει ένα προκαθορισμένο επίπεδο α ή διαφορετικά
το συνολικό επίπεδο εμπιστοσύνης να μην είναι χαμηλότερο από έναν προκαθορισμένο συντελεστή εμπιστοσύνης
100(1 − α)%. Στην περίπτωση της Διπαραγοντικής Ανάλυσης, το ενδιαφέρον επικεντρώνεται σε καθέναν από
τους δύο παράγοντες ώστε να διαπιστωθεί ποιο επίπεδο του καθενός οδηγεί στη μέγιστη ή στην ελάχιστη (ανάλογα
με το τι ενδιαφέρει τον Ερευνητή) μέση τιμή της μεταβλητής απόκρισης. Η δημοφιλέστερη μέθοδος είναι αυτή των
διαστημάτων εμπιστοσύνης Tukey. Η σύγκριση των μέσων αφορά τις διαφορές µi1 . − µi2 . για τη σύγκριση των
επιπέδων του παράγοντα A, καθώς και τις διαφορές µ.j1 − µ.j2 για τη σύγκριση των επιπέδων του παράγοντα
B. Για την κατασκευή των διαστημάτων απαιτούνται τα εξής:
• οι εκτιμητές των αντίστοιχων μέσων, δηλαδή των yi1 .. και yi2 .. για τη διαφορά µi1 . − µi2 . και των y.j1 .
και y.j2 . για τη διαφορά µ.j1 − µ.j2 ,
• η εκτιμήτρια της κοινής διασποράς σ 2 η οποία, ως συνήθως, ισούται με το M SE,
• το 100(1 − α)% ποσοστημόριο του τυποποιημένου εύρους qλ,ab(n−1) με λ = a και b, ανάλογα με το
αν μελετάται ο παράγοντας A ή ο B. Υπενθυμίζεται ότι η πινακοποίηση των ποσοστημορίων αφορά τα
διαστήματα εμπιστοσύνης 90%, 95% και 99%,
• η κάτωθι διαδικασία στο Minitab η οποία πρέπει να ακολουθηθεί αφού προηγουμένως έχει γίνει
Fit General Linear Model
Stat
Ê
:
ANOVA
Ê
General Linear Model
Ê
Comparisons
με τη μεταβλητή απόκρισης να χρησιμοποιείται ως Response, ενώ ο Ερευνητής καλείται να επιλέξει το Type
of Comparisons μεταξύ των δύο επιλογών Pairwise (για όλες τις ανά δύο συγκρίσεις) ή With a Control (για
σύγκριση με gold standard - δοκιμασία ελέγχου), δηλαδή να επιλέξει την κατασκευή διαστημάτων Tukey
ή διαστημάτων Dunnett. Αν και τα δύο προαναφερθέντα είδη είναι τα δημοφιλέστερα, ο Ερευνητής έχει ως
πρόσθετες επιλογές τα διαστήματα Bonferroni, Fisher (LSD) και Sidak. Τέλος, ο Ερευνητής καλείται να
τικάρει τους παράγοντες για τους οποίους ζητείται η κατασκευή των διαστημάτων (στο πεδίο Choose the
terms for comparison).
Στην ειδική περίπτωση όπου τα μεγέθη των δειγμάτων είναι όλα ίσα, δηλαδή n, το ταυτόχρονο επίπεδο εμπιστοσύνης είναι ακριβώς ίσο με 100(1 − α)%, ενώ ο τύπος για τον παράγοντα A είναι ο εξής:
s
ȳi1 .. − ȳi2 .. ± qa,ab(n−1);α
M SE
bn
(8.29)
M SE
.
an
(8.30)
και για τον παράγοντα B είναι ο εξής:
s
ȳ.j1 . − ȳ.j2 . ± qb,ab(n−1);α
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
199
8.4.3 Πρότυπο τυχαίων επιδράσεων
Η ανάγκη μελέτης τυχαίων επιδράσεων, όπως είχε αναφερθεί και στο προηγούμενο Κεφάλαιο, προκύπτει και
στην περίπτωση της διπαραγοντικής ανάλυσης διακύμανσης, όταν ο Ερευνητής έχει να μελετήσει πληθώρα
διαφορετικών επιπέδων για καθέναν από τους παράγοντες ενδιαφέροντος που συνήθως χρονικοί ή/και οικονομικοί περιορισμοί δεν του το επιτρέπουν. Συχνά, συναντάται η περίπτωση να συμβαίνει αυτό για τον έναν
παράγοντα ενδιαφέροντος, ενώ για τον άλλο είναι δυνατή η μελέτη όλων των δυνατών επιπέδων του. Στην
παρούσα ενότητα, το πρώτο πρότυπο που μελετάται είναι αυτό των Τυχαίων Επιδράσεων, ενώ το δεύτερο που
θα μελετηθεί στην επόμενη ενότητα, είναι το Μεικτό Πρότυπο. Υπενθυμίζεται ότι στο πρότυπο τυχαίων επιδράσεων δεν εξετάζεται η μέση τιμή (των επιπέδων) αλλά η μεταβλητότητα.
Το πρότυπο τυχαίων επιδράσεων με αλληλεπίδραση, δίνεται και πάλι, όπως και πιο πάνω, από τον τύπο (8.20)
όπου:
• οι επιδράσεις αi είναι τυχαίες μεταβλητές με κατανομή N (0, σα2 ),
• οι επιδράσεις βj είναι τυχαίες μεταβλητές με κατανομή N 0, σβ2 ,
2
• οι αλληλεπιδράσεις (αβ)ij είναι τυχαίες μεταβλητές με κατανομή N 0, σαβ
,
i.i.d.
• τα σφάλματα είναι τυχαίες μεταβλητές τέτοιες ώστε ϵijk ∼ N (0, σ 2 ) ,
• οι τυχαίες μεταβλητές αi , βj , (αβ)ij και ϵijk είναι ανεξάρτητες.
Με βάση τις πιο πάνω κατανομές είναι προφανές ότι:
2
Yijk ∼N µ, σ 2 + σα2 + σβ2 + σαβ
και άρα:
2
E (yijk ) = µ & V ar (yij ) = σ 2 + σα2 + σβ2 + σαβ
,
∀i, j, k
2
ονομάζονται συνιστώσες διασποράς. H μελέτη του προτύπου είναι ίδια με προηγουμέόπου σ 2 , σα2 , σβ2 και σαβ
νως, αφού αν κάποια από τις συνιστώσες της διασποράς που αφορούν τους παράγοντες είναι 0, η αντίστοιχη
κύρια επίδραση είναι μηδενική. Σε οποιαδήποτε περίπτωση, ο αναγκαίος και επιθυμητός έλεγχος για τις επιδράσεις του παράγοντα A, στην περίπτωση του προτύπου τυχαίων επιδράσεων, είναι:
H0 : σα2 = 0
vs
H1 : σα2 > 0.
(8.31)
Οι αντίστοιχοι έλεγχοι για τον παράγοντα B και την αλληλεπίδραση AB είναι:
H0 : σβ2 = 0
vs
H1 : σβ2 > 0
(8.32)
2
H0 : σαβ
=0
vs
2
H1 : σαβ
> 0.
(8.33)
και
Υπενθυμίζεται ότι όπως και προηγουμένως, οι τύποι της περίπτωσης των σταθερών επιδράσεων και γενικά
ο Πίνακας ANOVA, εξακολουθούν να ισχύουν ως έχουν. Παρά ταύτα, η διερεύνηση των πιο πάνω ελέγχων
για τις κύριες επιδράσεις βασίζεται στις συγκρίσεις των M SA και M SB με το M SAB, αντί του συνήθους
M SE. Για να γίνει σαφής η αιτία της διαφοροποίησης, θα πρέπει να ανατρέξει κανείς αρχικά στον μηχανισμό
λειτουργίας των ελέγχων, σύμφωνα με τον οποίο η μηδενική υπόθεση γίνεται δεκτή (δηλαδή όταν η συνιστώσα της διασποράς που μελετάται ισούται με το μηδέν) για τιμές της ελεγχοσυνάρτησης F πολύ κοντά
στη μονάδα (1), ενώ αυτή απορρίπτεται (δηλαδή όταν η συνιστώσα της διασποράς που μελετάται είναι μεγαλύτερη από το μηδέν) για τιμές της F μεγαλύτερες από τη μονάδα. Αφενός ο πιο πάνω μηχανισμός, αφετέρου
200
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
οι αναμενόμενες τιμές των τυχαίων μεταβλητών των μέσων τετραγώνων (για ευκολία θα χρησιμοποιήσουμε
εδώ το ίδιο σύμβολο τόσο για την τυχαία μεταβλητή όσο και για την τιμή που προκύπτει από τις εκτελέσεις
του πειράματος, δηλαδή M S) που δίνονται από τους τύπους
2
E (M SA) = σ 2 + nσαβ
+ bnσα2 ,
2
E (M SB) = σ 2 + nσαβ
+ anσβ2 ,
2
E (M SAB) = σ 2 + nσαβ
&
E (M SE) = σ 2 ,
(8.34)
(8.35)
οδηγούν αναγκαστικά σε διαφοροποιήσεις οι οποίες παρουσιάζονται κατωτέρω. Τονίζεται ότι στην πράξη, με
βάση τις μετρήσεις που είναι διαθέσιμες, τα M S που υπολογίζονται αποτελούν εκτιμήσεις, και άρα προσεγγίσεις (∼) των αντίστοιχων θεωρητικών αναμενόμενων τιμών, οπότε για παράδειγμα, έχουμε ότι:
M SA ≡ E \
(M SA) ∼ E (M SA) .
(8.36)
Έτσι, αν για παράδειγμα ισχύει ότι σα2 = 0, τότε μόνο αν διαιρεθεί το M SA με το M SAB θα προκύψει
αποτέλεσμα ίσο με τη μονάδα, ενώ σε διαφορετική περίπτωση το κλάσμα θα είναι μεγαλύτερο της μονάδας.
Το ίδιο παρατηρείται και στην περίπτωση του παράγοντα B, ενώ για την περίπτωση της αλληλεπίδρασης
αρκεί η διαίρεση μεταξύ M SAB και M SE.
Λαμβάνοντας υπόψη τα πιο πάνω, οι έλεγχοι για μηδενικές διασπορές σα2 και σβ2 βασίζονται αντίστοιχα στις
ελεγχοσυναρτήσεις
M SB
M SA
& FB =
FA =
M SAB
M SAB
με τις αντίστοιχες μηδενικές υποθέσεις να απορρίπτονται όταν αντίστοιχα,
FA > F(a−1),abn−1;α
& FB > F(b−1),abn−1;α
όπου F(a−1),abn−1;α και F(b−1),abn−1;α τα 100(1 − α)% ποσοστημόρια των κατανομών F με τους αντίστοιχους βαθμούς ελευθερίας.
Για τη μελέτη της αλληλεπίδρασης ο έλεγχος παραμένει ο ίδιος, όπως και στην περίπτωση του προτύπου
σταθερών επιδράσεων, και άρα η μηδενική υπόθεση για την απουσία αλληλεπίδρασης απορρίπτεται αν
FAB
M SAB
=
=
M SE
SSAB
(a−1)(b−1) H0
>
SSE
abn−1
F(a−1)(b−1),abn−1;α ,
όπου F(a−1)(b−1),abn−1;α το 100(1 − α)% ποσοστημόριο της κατανομής F με (a − 1)(b − 1) και abn − 1
βαθμούς ελευθερίας.
Στις περιπτώσεις των προτύπων δύο παραγόντων με αλληλεπίδραση συστήνεται η μελέτη των υποθέσεων
να ξεκινά πρώτα με τη μελέτη απουσίας αλληλεπίδρασης, γιατί αν αυτή απορριφτεί το πρότυπο ισχύει ως
έχει, αφού η ύπαρξη αλληλεπίδρασης καθιστά αναγκαία τη διατήρηση των δύο εμπλεκόμενων παραγόντων
στο πρότυπο (ανεξαρτήτως του αποτελέσματος των ελέγχων τους).
Ένα σημαντικό στοιχείο στην περίπτωση των προτύπων τυχαίων επιδράσεων είναι η ανάγκη εκτίμησης των
συνιστωσών διασποράς (σε αντιπαραβολή με την εκτίμηση των παραμέτρων αi , βj και (αβ)ij στα πρότυπα σταθερών επιδράσεων). Οι εκτιμήσεις προκύπτουν συνδυάζοντας τις σχέσεις (8.34), (8.35), και (8.36).
Πράγματι αντιμετωπίζοντας τις εξισώσεις ως σύστημα τεσσάρων εξισώσεων με τέσσερις αγνώστους και λύνοντας, έχουμε τους εκτιμητές των τεσσάρων συνιστωσών διασποράς ως εξής:
σ̂α2 =
M SA − M SAB
,
bn
σ̂β2 =
M SB − M SAB
,
an
(8.37)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
201
και
M SAB − M SE
, σ̂ 2 = M SE.
(8.38)
n
2
Θα πρέπει να σημειωθεί ότι αν το πρότυπο είναι χωρίς αλληλεπίδραση, τότε δεν υφίσταται η συνιστώσα σαβ
και άρα αυτή δεν εμπλέκεται στις εξισώσεις (8.34), με αποτέλεσμα οι συγκρίσεις να γίνονται (λόγω απουσίας
αλληλεπίδρασης) με το M SE και κατ΄ επέκταση ο όρος M SAB στις εκτιμήσεις (8.37) να αντικαθίσταται
από τον όρο M SE:
2
σ̂αβ
=
σ̂α2 =
M SA − M SE
bn
& σ̂β2 =
M SB − M SE
.
an
(8.39)
Σημειώνεται ότι οι τύποι (8.39) προκύπτουν κατά αντιστοιχία με τους τύπους για την εκτίμηση των συνιστωσών διασποράς στο πρότυπο τυχαίων επιδράσεων στην ανάλυση διακύμανσης κατά έναν παράγοντα με
μία μεταβλητή πλαισίου (Ενότητα 7.4.2).
Παράδειγμα 8.6. Δίνονται τα δεδομένα του προηγούμενου παραδείγματος, αλλά αυτή τη φορά θεωρούμε ότι
τα 10 επίπεδα του παράγοντα A, καθώς και τα 2 επίπεδα του παράγοντα B αποτελούν τυχαία δείγματα από το
σύνολο όλων των δυνατών επιπέδων των δύο παραγόντων (που είναι πάρα πολλά). Στην περίπτωση αυτή, το ενδιαφέρον του Ερευνητή επικεντρώνεται στις συνιστώσες διασποράς και όχι στις μέσες τιμές, με αποτέλεσμα ο Πίνακας
Δεδομένων να μην περιλαμβάνει οποιαδήποτε αναφορά σε μέσους.
Πίνακας 8.19: Πίνακας Δεδομένων - Διπαραγοντική Ανάλυση - Τυχαίες Επιδράσεις
Παράγοντας Β
1
2
1
289, 273
319, 324
2
311, 327
333, 340
3
295, 318
335, 326
4
301, 303
333, 314
5
288, 265
289, 279
6
304, 298
305, 299
7
273, 293
250, 287
8
301, 276
275, 305
9
341, 328
316, 314
10
293, 282
300, 297
Παράγοντας Α
Ο Πίνακας ANOVA, που προκύπτει για το πρότυπο τυχαίων επιδράσεων με αλληλεπίδραση, είναι ο εξής:
202
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Πίνακας 8.20: Πίνακας ANOVA - Διπαραγοντική Ανάλυση - Τυχαίες Επιδράσεις
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
9
11890.7
B
1
AB
Μέσο
F
p-value
1321.2
4.05
0.025
819.0
819.0
2.51
0.148
9
2936.7
326.3
2.23
0.065
Σφάλματα
20
2929.5
146.5
–
–
Ολική
39
18576
–
–
–
Άθροισμα
Τετραγώνων
Εύκολα παρατηρούμε ότι μόνο οι τιμές της ελεγχοσυνάρτησης F και οι p-values που αφορούν τους παράγοντες
A και B έχουν αλλάξει σε σχέση με το πρότυπο σταθερών επιδράσεων. Αυτό οφείλεται στον μαθηματικό μηχανισμό της διεργασίας που έχει ως αποτέλεσμα οι έλεγχοι για τις κύριες επιδράσεις να βασίζονται στη σύγκριση
των M SA και M SB με το M SAB. Επομένως, οι τιμές της ελεγχοσυνάρτησης F αυξήθηκαν (σε σχέση με το
πρότυπο σταθερών επιδράσεων), αφού αντί για το M SE = 146.5 τώρα χρησιμοποιείται η υπερδιπλάσια τιμή
M SAB = 326.3. Το αποτέλεσμα αυτής της μεθοδολογίας είναι να αυξηθούν οι p-values, έτσι ώστε ο μεν παράγοντας A να (συνεχίσει να) χαρακτηρίζεται ως σημαντικός (p-value = 0.025), ο δε παράγοντας B να καταστεί
στατιστικώς μη σημαντικός (p-value = 0.148). Παρατηρούμε επίσης ότι η αλληλεπίδραση παραμένει οριακά
μη σημαντική (p-value = 0.065), αφού δεν υπάρχει διαφοροποίηση για την ελεγχοσυνάρτηση F η οποία όπως
και στην περίπτωση του προτύπου σταθερών επιδράσεων, βασίζεται στις τιμές M SAB και M SE.
Με βάση τα αποτελέσματα αυτά, ο Ερευνητής φαίνεται σκόπιμο να χαρακτηρίσει στατιστικώς σημαντική (έστω
και οριακά) την αλληλεπίδραση. Από τη στιγμή όμως που θα πάρει αυτή την απόφαση είναι υποχρεωμένος να
διατηρήσει στο πρότυπο και τους δύο παράγοντες, αφού η απομάκρυνση του B (που αυτόνομα χαρακτηρίστηκε
στατιστικώς μη σημαντικός) θα οδηγήσει σε αναγκαστική κατάργηση την αλληλεπίδραση (η οποία προφανώς
υφίσταται μόνο όσο οι εμπλεκόμενοι παράγοντες συμμετέχουν στο πείραμα). Με βάση τα παραπάνω, το πρότυπο
παραμένει με δύο παράγοντες και αλληλεπίδραση. Επιπρόσθετα, τονίζεται ότι όλα όσα αναφέρθηκαν στην περίπτωση του προτύπου σταθερών επιδράσεων όσον αφορά το Regression Equation, τα Fits and Diagnostics και τα
Means, παραμένουν αυτούσια, σε ισχύ. Το μόνο και ουσιαστικότερο θέμα που χρήζει σχολιασμού είναι η εκτίμηση
των συνιστωσών διασποράς, που με βάση το πρότυπο που επιλέχθηκε, είναι:
σ̂α2 = 248.722,
σ̂β2 = 24.6361,
2
σ̂αβ
= 89.9136 &
σ̂ 2 = 146.475,
όπως άλλωστε αποτυπώνονται στον Πίνακα Διασπορών που προκύπτει από το Minitab μέσω της επιλογής
(επιλέγοντας Variance Components):
Results
203
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
Πίνακας 8.21: Variance Components
Πηγή
Μεταβλητότητας
Διασπορά
% επί του
Συνόλου
A
248.722
48.79%
B
24.6361
4.83%
AB
89.9139
17.64%
Σφάλματα
146.475
28.73%
Σύνολο
509.747
−
8.4.4 Πρότυπο μεικτών επιδράσεων
Στην πράξη, είναι σύνηθες μεταξύ των δύο παραγόντων ο ένας, π.χ. ο A, να είναι σταθερών και ο άλλος, π.χ.
ο B, τυχαίων επιδράσεων. Τέτοια πρότυπα ονομάζονται Μεικτά και ένα από αυτά είναι το λεγόμενο Περιορισμένο Μεικτό Πρότυπο (Restricted Mixed Model), όπου ο παράγοντας A είναι σταθερών επιδράσεων και
ο B τυχαίων. Στο συγκεκριμένο πρότυπο, ο γενικός τύπος του οποίου περιγράφεται και πάλι από τη σχέση
(8.20) έχουμε:
• οι επιδράσεις αi που αντιστοιχούν στον σταθερό παράγοντα A, ικανοποιούν τη σχέση
P
i
αi = 0,
• οι επιδράσεις βj είναι τυχαίες μεταβλητές με κατανομή N 0, σβ2 ,
2
και
• οι αλληλεπιδράσεις (αβ)ij είναι τυχαίες μεταβλητές που ακολουθούν την κατανομή N 0, σαβ
P
τέτοιες ώστε i (αβ)ij = 0,
i.i.d.
• τα σφάλματα είναι τυχαίες μεταβλητές τέτοιες ώστε ϵijk ∼ N (0, σ 2 ) και
• οι τυχαίες μεταβλητές βj , (αβ)ij και ϵijk είναι ανεξάρτητες.
Με βάση τις πιο πάνω κατανομές είναι προφανές ότι:
2
Yijk ∼N (µ, σ 2 + σβ2 + σαβ
)
2
όπου οι σ 2 , σβ2 και σαβ
ονομάζονται συνιστώσες διασποράς. H μελέτη του προτύπου συνδυάζει ελέγχους για
τις σταθερές παραμέτρους αi και τις τυχαίες μεταβλητές βj και (αβ)ij :
H0 : αi = 0
vs
H1 : Όχι όλα τα αi , i = 1, ..., a, ίσα με 0,
(8.40)
H0 : σβ2 = 0
vs
H1 : σβ2 > 0
(8.41)
2
H0 : σαβ
=0
vs
2
H1 : σαβ
> 0.
(8.42)
και
Στην περίπτωση αυτή, οι τύποι των θεωρητικών αναμενόμενων τιμών των μέσων τετραγώνων είναι:
P
αi2
2
+ anσβ2 ,
, E (M SB) = σ 2 + nσαβ
a−1
2
& E (M SE) = σ 2 .
E (M SAB) = σ 2 + nσαβ
2
E (M SA) = σ +
2
nσαβ
+ bn
i
(8.43)
(8.44)
Με βάση τις πιο πάνω σχέσεις, αν για παράδειγμα ισχύουν οι μηδενικές επιδράσεις για τον σταθερό παράγοντα A (δηλαδή όταν αi = 0), τότε μόνο αν διαιρεθεί το M SA με το M SAB θα προκύψει αποτέλεσμα
204
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
ίσο με τη μονάδα (που ισοδυναμεί με αποδοχή της υπόθεσης μηδενικής επίδρασης για τον παράγοντα A),
ενώ σε διαφορετική περίπτωση το κλάσμα θα είναι μεγαλύτερο της μονάδας (που ισοδυναμεί με αποδοχή της
εναλλακτικής υπόθεσης). Από την άλλη πλευρά, στην περίπτωση μηδενικής μεταβλητότητας για τον τυχαίο
παράγοντα B (δηλαδή όταν σβ2 = 0), η ελεγχοσυνάρτηση F θα είναι ίση με τη μονάδα (που ισοδυναμεί με
αποδοχή της μηδενικής υπόθεσης) μόνο εφόσον η διαίρεση θα αφορά τα M SB και M SE. Τέλος, η μελέτη
της απουσίας αλληλεπίδρασης, κατά τα συνήθη βασίζεται στη σύγκριση των μέσων τετραγώνων M SAB και
M SE.
2
Λαμβάνοντας υπόψη τα πιο πάνω, οι έλεγχοι για μηδενικές διασπορές σαβ
και σβ2 βασίζονται αντίστοιχα,
στις ελεγχοσυναρτήσεις:
M SB
M SAB
FAB =
& FB =
M SE
M SE
με τις αντίστοιχες μηδενικές υποθέσεις να απορρίπτονται όταν αντίστοιχα:
FAB > F(a−1)(b−1),abn−1;α ,
& FB > F(b−1),abn−1;α ,
ενώ ο έλεγχος για μηδενικές επιδράσεις του σταθερού παράγοντα A απορρίπτεται όταν:
FA =
M SA
> F(a−1),abn−1;α .
M SAB
2
Οι εκτιμητές των συνιστωσών διασποράς σ̂β2 , σ̂αβ
και σ̂ 2 δίνονται από τους ίδιους τύπους με προηγουμένως,
δηλαδή τους (8.37) και (8.38).
8.4.5 Πρότυπο με μεταβλητές πλαισίου και σχέδια Λατινικού Τετραγώνου
Στη Διπαραγοντική Ανάλυση ο Ερευνητής μπορεί να συμπεριλάβει είτε μία είτε δύο μεταβλητές πλαισίου
και να δημιουργήσει πρότυπα με μία μεταβλητή πλαισίου, καθώς και πρότυπα με σχέδια Λατινικού Τετραγώνου (δηλαδή με δύο μεταβλητές πλαισίου). Η διαδικασία μελέτης δεν διαφέρει από αυτή που συζητήθηκε
νωρίτερα στην Ανάλυση Διακύμανσης ενός Παράγοντα, αφού οι μεταβλητές πλαισίου υπεισέρχονται για να
τεθούν υπό έλεγχο εξωγενείς μεταβλητές που είναι δεδομένο ότι επηρεάζουν τη μεταβλητή απόκρισης ή γενικότερα λόγω περιορισμών που απαιτείται να επιβληθούν στην τυχαιοποίηση ακόμα και εξαιτίας αντικειμενικών δυσκολιών. Η συνήθης μελέτη περιλαμβάνει μία μεταβλητή πλαισίου με n επίπεδα και με το πείραμα να
εκτελείται n φορές χωρίς επανάληψη, μία για κάθε επίπεδο της μεταβλητής πλαισίου. Στην ειδική περίπτωση
που υπάρχουν δύο μεταβλητές πλαισίου και ταυτόχρονα το πλήθος των συνδυασμών των επιπέδων των παραγόντων ταυτίζεται με τον αριθμό επιπέδων των μεταβλητών πλαισίου, εφαρμόζεται διπαραγοντικό πείραμα
με σχέδιο Λατινικού Τετραγώνου. Οι δύο αυτοί τύποι σχεδιασμών παρουσιάζονται συνοπτικά στην παρούσα
ενότητα.
Η περίπτωση του προτύπου με 2 παράγοντες A και B (με ή χωρίς αλληλεπίδραση) με μία μεταβλητή πλαισίου με n επίπεδα μπορεί από μεθοδολογικής άποψης να θεωρηθεί ως μία περίπτωση με 3 εμπλεκόμενους
παράγοντες, όπου ο ένας εκ των τριών γνωρίζουμε ότι επηρεάζει τη μεταβλητή απόκρισης και δεν ενδιαφερόμαστε (ή δεν υφίσταται) αλληλεπίδραση μεταξύ του συγκεκριμένου παράγοντα (δηλαδή της μεταβλητής
πλαισίου) και των δύο παραγόντων ενδιαφέροντος. Επομένως, το μεν πρότυπο θα έχει έναν επιπλέον όρο που
θα αντιστοιχεί στη μεταβλητή πλαισίου, ενώ ο Πίνακας ANOVA θα έχει μία επιπλέον γραμμή που και πάλι
θα αντιστοιχεί στη μεταβλητή πλαισίου. Στην περίπτωση αυτή, το πρότυπο προκύπτει από τη σχέση (8.20)
με την προσθήκη της μεταβλητής πλαισίου:
yijk = µ + αi + βj + (αβ)ij + ok + ϵijk ,
i = 1, ..., a,
j = 1, ..., b,
k = 1, ..., n,
(8.45)
όπου υπεισέρχεται ο όρος ok που αντιπροσωπεύει τη σταθερή (ή τυχαία) επίδραση της μεταβλητής πλαισίου
(με n επίπεδα) στη μεταβλητή απόκρισης.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
205
Τονίζεται ότι στην περίπτωση που ο Ερευνητής επιθυμεί ή θεωρεί ότι είναι αναγκαία η διερεύνηση αλληλεπίδρασης μεταξύ της μεταβλητής πλαισίου και των παραγόντων ενδιαφέροντος, είναι υποχρεωμένος να
αντιμετωπίσει τη μεταβλητή πλαισίου ως παράγοντα ενδιαφέροντος.
Η μεταβλητή πλαισίου, όπως και οι παράγοντες ενδιαφέροντος, μπορεί να είναι σταθερών ή τυχαίων επιδράσεων, αν και συχνά τα επίπεδα της μεταβλητής πλαισίου είναι πολλά και αναγκάζουν τον Ερευνητή να
αντιμετωπίσει τη μεταβλητή αποκλειστικά ως μεταβλητή τυχαίων επιδράσεων. Στην περίπτωση που όλοι οι
παράγοντες ενδιαφέροντος είναι σταθερών επιδράσεων, ο Πίνακας ANOVA έχει την ίδια μορφή, ανεξάρτητα
από τον εάν η μεταβλητή πλαισίου είναι σταθερών ή τυχαίων επιδράσεων. Για τη διττή αυτή περίπτωση, ο Πίνακας ANOVA (δηλαδή με τη μεταβλητή O να είναι είτε σταθερών είτε τυχαίων επιδράσεων) αποτυπώνεται
στη συνέχεια:
Πίνακας 8.22: Πίνακας ANOVA- Διπαραγοντική Ανάλυση με Αλληλεπίδραση και Μεταβλητή Πλαισίου
Μέσο
Άθροισμα
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
a−1
SSA
M SA =
SSA
(a−1)
M SA
M SE
B
b−1
SSB
M SB =
SSB
(b−1)
M SB
M SE
AB
(a − 1)(b − 1)
SSAB
O
n−1
SSO
Σφάλματα
(ab − 1)(n − 1)
SSE
Ολική
abn − 1
SST O
F
Τετραγώνων
M SAB =
SSAB
(a−1)(b−1)
SSO
n−1
M SO
M SE
SSE
(ab−1)(n−1)
–
–
–
M SO =
M SE =
M SAB
M SE
Οι έλεγχοι για τις κύριες επιδράσεις και την αλληλεπίδραση, αλλά και τη μεταβλητή πλαισίου διεκπεραιώνονται κατά τα συνήθη:
• με βάση την ελεγχοσυνάρτηση M SAB/M SE για τον έλεγχο της αλληλεπίδρασης (ανεξαρτήτως
του είδους των επιδράσεων του προτύπου),
• με βάση την ελεγχοσυνάρτηση M SO/M SE για τον έλεγχο που αφορά τη μεταβλητή πλαισίου
(ανεξαρτήτως του είδους των επιδράσεων του προτύπου),
• αν πρόκειται για σταθερές επιδράσεις των A και B, με βάση τον παραπάνω Πίνακα ANOVA, δηλαδή
με βάση τις ελεγχοσυναρτήσεις M SA/M SE και M SB/M SE,
• αν πρόκειται για τυχαίες επιδράσεις των A και B σύμφωνα με την αντίστοιχη ενότητα νωρίτερα (Ενότητα
8.4.3), δηλαδή με βάση τις ελεγχοσυναρτήσεις M SA/M SAB και M SB/M SAB,
• αν πρόκειται για πρότυπο με έναν παράγοντα σταθερών επιδράσεων (π.χ. τον A) και έναν τυχαίων
(π.χ. τον B), τότε ο έλεγχος για τον μεν A (τον σταθερό) βασίζεται στη σύγκριση των M SA και
M SAB και για τον δε B (τον τυχαίο) στη σύγκριση των M SB και M SE. Ανάλογα, αντιμετωπίζεται η αντίθετη περίπτωση με τον A να είναι τυχαίος και τον B να είναι σταθερός.
Υπενθυμίζεται ότι στην περίπτωση σταθερών επιδράσεων, οι έλεγχοι αφορούν μηδενικές επιδράσεις και σχετίζονται με τις μέσες τιμές, ενώ στην περίπτωση τυχαίων επιδράσεων οι έλεγχοι αφορούν μηδενικές διασπορές
και σχετίζονται με τη μεταβλητότητα. Στην τελευταία περίπτωση, οι παράμετροι του προτύπου αi , βj , (αβ)ij
206
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
και ok είναι ανεξάρτητες τυχαίες μεταβλητές (και μεταξύ τους και σε σχέση με τα σφάλματα) που ακολουθούν
2
την κανονική κατανομή με μέση τιμή 0 και με διασπορά σα2 , σβ2 , σαβ
και σo2 αντίστοιχα.
Σημειώνεται ότι στην περίπτωση τυχαίων επιδράσεων για τη μεταβλητή πλαισίου είναι δυνατή η εκτίμηση
της διασποράς σo2 των τυχαίων μεταβλητών ok , με βάση τη θεωρητική μέση τιμή του M SO. Συγκεκριμένα,
επειδή:
E (M SO) = σ 2 + abσo2
προκύπτει ότι:
M SO − M SE
ab
όπου M SO και M SE αντιπροσωπεύουν τις δειγματικές ποσότητες και άρα τους εκτιμητές για την αναμενόμενη τιμή της τυχαίας μεταβλητής M SO και για τη διασπορά των σφαλμάτων, αντίστοιχα.
M SO = M SE + abσ̂o2 → σ̂o2 =
Έστω τώρα η περίπτωση πειράματος με δύο παράγοντες ενδιαφέροντος A και B με a και b επίπεδα αντίστοιχα και με δύο μεταβλητές πλαισίου O και P με ab επίπεδα καθεμία, σε σχέδιο Λατινικού Τετραγώνου.
Λόγω του σχεδίου Λατινικού Τετραγώνου η μία μεταβλητή πλαισίου θεωρείται η μεταβλητή που αντιστοιχεί
στις γραμμές του Λατινικού Τετραγώνου (εξού και ο συμβολισμός “R” (Rows) και η άλλη στις στήλες (από
όπου ο συμβολισμός “C” (Columns)). Το πρότυπο προκύπτει από το προηγούμενο (8.45) με την προσθήκη
μίας ακόμα μεταβλητής πλαισίου:
yijk = µ+αi +βj +(αβ)ij +ok +pl +ϵijkl ,
i = 1, ..., a,
j = 1, ..., b,
k, l = 1, ..., ab (8.46)
όπου υπεισέρχονται οι όροι ok και pl που αντιπροσωπεύουν τη σταθερή ή τυχαία επίδραση των δύο μεταβλητών πλαισίου στη μεταβλητή απόκρισης.
Ο σχετικός Πίνακας ANOVA είναι της μορφής:
Πίνακας 8.23: Πίνακας ANOVA - Διπαραγοντική Ανάλυση με Αλληλεπίδραση σε Σχέδιο Λατινικού Τετραγώνου
Μέσο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
a−1
SSA
M SA =
SSA
(a−1)
M SA
M SE
B
b−1
SSB
M SB =
SSB
(b−1)
M SB
M SE
AB
(a − 1)(b − 1)
SSAB
Blocks-R Γραμμές
ab − 1
SSR
M SR =
SSR
ab−1
M SR
M SE
Blocks-C Στήλες
ab − 1
SSC
M SC =
SSC
ab−1
M SC
M SE
Σφάλματα
(ab − 1)(ab − 2)
SSE
SSE
(ab−1)(ab−2)
–
Ολική
a2 b 2 − 1
SST O
–
–
Άθροισμα
F
Τετραγώνων
M SAB =
M SE =
SSAB
(a−1)(b−1)
M SAB
M SE
Σημειώνεται ότι το Λατινικό Τετράγωνο είναι ένα τετράγωνο ab×ab όπου a και b τα επίπεδα των εμπλεκόμενων παραγόντων ενδιαφέροντος A και B. Επομένως, οι δυνατοί συνδυασμοί που ενδιαφέρουν τον Ερευνητή
είναι ab και άρα τόσοι είναι οι προς εξέταση πληθυσμοί (θεραπείες). Κατά συνέπεια, η καθεμία από τις δύο
μεταβλητές πλαισίου θα πρέπει να έχει τον ίδιο αριθμό επιπέδων με τις υπό εξέταση θεραπείες, δηλαδή ab, και
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
207
έτσι προκύπτει το Λατινικό Τετράγωνο. Αν για παράδειγμα, ο παράγοντας A έχει 2 επίπεδα και ο B έχει 4
επίπεδα, τότε προκύπτουν 8 συνδυασμοί επιπέδων, δηλαδή 8 θεραπείες. Άρα, θα έχουμε έναν σχεδιασμό ενός
8×8 Λατινικού Τετραγώνου, με 64 συνολικά πειράματα και 63 βαθμούς ελευθερίας (a2 b2 −1 = 22 ×42 −1).
Οι έλεγχοι για τις κύριες επιδράσεις και την αλληλεπίδραση αλλά και τις μεταβλητές πλαισίου, διεκπεραιώνονται κατά τα συνήθη.
Θα πρέπει επίσης να αναφερθεί ότι ο συγκεκριμένος σχεδιασμός επιτρέπει τη μελέτη της αλληλεπίδρασης
ακόμα και όταν δεν υπάρχει επανάληψη, δηλαδή έστω και αν έχουμε μία μέτρηση ανά κελί. Μία τέτοια περίπτωση αποτυπώνεται στο επόμενο παράδειγμα με δύο παράγοντες με 2 επίπεδα έκαστος (1 και 2) και δύο
μεταβλητές πλαισίου που έχουν (αναγκαστικά) 4 επίπεδα η καθεμία (αφού ο αριθμός προκύπτει από το γινόμενο των επιπέδων των δύο παραγόντων ενδιαφέροντος). Σημειώνεται ότι σε κάθε κελί καταγράφεται τόσο
η μέτρηση όσο και τα επίπεδα (σε παρένθεση) των παραγόντων A και B στα οποία εκτελέστηκε το πείραμα
που αφορά τη συγκεκριμένη μέτρηση.
Παράδειγμα 8.7. Δίνονται τα παρακάτω δεδομένα:
Πίνακας 8.24: Πίνακας Δεδομένων - Λατινικό Τετράγωνο
Επίπεδα Μεταβλητής
Πλαισίου 2
ΟΟ1
ΟΟ2
ΟΟ3
ΟΟ4
O1
(1, 1) 33.5
(1, 2) 33.5
(2, 1) 32.5
(2, 2) 32.1
O2
(1, 2) 32.7
(2, 1) 32.5
(2, 2) 32.1
(1, 1) 33.3
O3
(2, 1) 32.9
(2, 2) 32.7
(1, 1) 33.5
(1, 2) 32.9
O4
(2, 2) 32.1
(1, 1) 33.5
(1, 2) 33.7
(2, 1) 32.3
Επίπεδα Μεταβλητής
Πλαισίου 1
Για την εύρεση του Πίνακα ANOVA με τη χρήση του Minitab, ακολουθούμε τη γνωστή διαδρομή:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
με τη μεταβλητή απόκρισης Y να τίθεται στο Responses και τους παράγοντες A, B, R και C στα Factors. Σημειώνεται ότι για την περίπτωση του προτύπου με αλληλεπίδραση θα πρέπει στο Model να επιλεχθούν οι 2
παράγοντες ενδιαφέροντος και να τικαριστεί η επιλογή Interactions through order 2 ώστε να περιληφθεί στο μοντέλο και η αλληλεπίδραση, ενώ στο Random/Nest θα πρέπει να καθοριστεί το Type όλων των εμπλεκόμενων
παραγόντων (συμπεριλαμβανομένων των μεταβλητών πλαισίου) μεταξύ των επιλογών Fixed και Random. Ο πίνακας ANOVA, για το παράδειγμα με σταθερές επιδράσεις για τους παράγοντες ενδιαφέροντος και ανεξαρτήτως
του είδους των μεταβλητών πλαισίου, είναι:
208
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Πίνακας 8.25: Πίνακας ANOVA - Λατινικό Τετράγωνο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
3.4225
B
1
AB
Μέσο
F
p-value
3.4225
38.38
0.001
0.3025
0.3025
3.39
0.115
1
0.0025
0.0025
0.03
0.873
Blocks-R Γραμμές
3
0.2675
0.08917
1
0.455
Blocks-C Στήλες
3
0.3675
0.1225
1.37
0.338
Σφάλματα
6
0.535
0.08917
–
–
Ολική
15
4.8975
–
–
–
Άθροισμα
Τετραγώνων
Tα συμπεράσματα που προκύπτουν από την παραπάνω ανάλυση συνοψίζονται ως εξής:
• Η υπόθεση των μηδενικών κύριων επιδράσεων για τον παράγοντα A απορρίπτεται σε όλα τα συνήθη επίπεδα σημαντικότητας, αφού διαπιστώνεται ότι p-value = 0.001.
• Η υπόθεση των μηδενικών κύριων επιδράσεων για τον παράγοντα B δεν απορρίπτεται στα συνήθη επίπεδα
σημαντικότητας, αφού διαπιστώνεται ότι p-value = 0.115.
• Διαπιστώνεται η απουσία αλληλεπίδρασης μεταξύ των A και B. αφού p-value = 0.873.
• Αν και η μελέτη γίνεται με δεδομένη την επίδραση των δύο μεταβλητών πλαισίου στη μεταβλητή απόκρισης, αυτό δεν επιβεβαιώνεται από την ανάλυση, αφού από οι p-values που παρατηρήθηκαν (0.455 και
0.338) δεν προκύπτει επίδραση. Η σύσταση προς τον υπεύθυνο Ερευνητή είναι να προγραμματιστεί άμεσα
επανέλεγχος για τις δύο μεταβλητές πλαισίου και αν επαναβεβαιωθεί με νέα ανεξάρτητη μελέτη η μη σημαντικότητα των μεταβλητών πλαισίου, αυτές θα πρέπει να παύσουν να λαμβάνονται υπόψη, δηλαδή να
πάψει η ομαδοποίηση των πειραμάτων με βάση τις δύο αυτές μεταβλητές, αφού μία τέτοια ομαδοποίηση
είναι περιττή (αχρείαστη).
Το προτεινόμενο πρότυπο, με βάση τα παραπάνω, είναι ένα πρότυπο ενός παράγοντα χωρίς μεταβλητές πλαισίου
του οποίου η συναρτησιακή μορφή είναι:
yik = µ + αi + ϵik ,
i = 1, ..., a, k = 1, ..., n
(8.47)
για το οποίο ο Πίνακας ANOVA προκύπτει από τον προηγούμενο με την ενσωμάτωση της μεταβλητότητας των
B, R, C και AB στα σφάλματα:
Πίνακας 8.26: Πίνακας Δεδομένων - Λατινικό Τετράγωνο - Εναλλακτικό Πρότυπο
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
3.4225
Σφάλματα
14
Ολική
15
Μέσο
F
p-value
3.4225
32.62
0.002
1.475
0.105
–
–
4.8975
–
–
–
Άθροισμα
Τετραγώνων
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
209
Με βάση το τροποποιημένο πρότυπο δεν διαφοροποιούνται τα προηγούμενα συμπεράσματα, αφού επαναβεβαιώνεται η σημαντικότητα του παράγοντα A με ελαφρά μόνο, αλλά άνευ σημασίας, μεταβολή της p-value.
8.5 Εφαρμογές στο Minitab και στην R
1. Βιομηχανία παραγωγής λεπίδων διαθέτει 3 γραμμές παραγωγής τις οποίες θέλει να αξιολογήσει όσον
αφορά την αντοχή των παραγομένων προϊόντων. Ο υπεύθυνος παραγωγής γνωρίζει ότι πρέπει να ομαδοποιήσει τα πειράματα ανά γραμμή παραγωγής ως προς τους 3 προμηθευτές της πρώτης ύλης, γιατί
είναι γνωστό ότι παρουσιάζουν διαφορετικά ποιοτικά χαρακτηριστικά. Επομένως, θα προχωρήσει σε
σχέδιο τυχαιοποιημένων πλήρων ομάδων, δηλαδή σε ανάλυση διακύμανσης κατά έναν παράγοντα, την
αντοχή, έστω A, με τρία επίπεδα (1, 2, 3) και με μία μεταβλητή πλαισίου (ομάδα), τον προμηθευτή,
έστω O1 με επίσης τρία επίπεδα (1, 2 και 3), αφού τόσοι είναι όλοι οι προμηθευτές που προμηθεύουν
την πρώτη ύλη για τις λεπίδες.
Πίνακας 8.27: Πίνακας Δεδομένων - Αντοχή
Προμηθευτής
1
2
3
1
50
50
130
2
90
80
190
3
70
120
190
Γραμμή Παραγωγής
i. Ζητείται να διερευνηθεί αν η αντοχή των λεπίδων διαφέρει ανάλογα με τη γραμμή παραγωγής.
ii. Συστήνεται να επιβεβαιωθεί η επίδραση, σύμφωνα με τον υπεύθυνο παραγωγής, του προμηθευτή στην αντοχή των λεπίδων. Αν δεν επιβεβαιωθεί, να προτείνετε εναλλακτικά σχέδια για
την αξιολόγηση των λεπίδων, σε μελλοντικές μελέτες.
iii. Αν παρατηρούνται διαφορές στην αντοχή στις γραμμές παραγωγής να διερευνηθεί σε ποια ή
ποιες οφείλεται αυτή η διαφορά. Επιπρόσθετα, να διερευνηθούν οι γραμμές παραγωγής 1 και 2
συγκρινόμενες με την 3 η οποία θεωρείται, κατά τον υπεύθυνο παραγωγής, υποδειγματική.
iv. Τέλος, ζητείται να διαπιστωθεί πώς διαφοροποιείται το πρόβλημα αν οι 3 γραμμές παραγωγής
δεν είναι οι μοναδικές αλλά η βιομηχανία έχει πολλές γραμμές παραγωγής σε διάφορα μέρη ανά
την επικράτεια και οι συγκεκριμένες αποτελούν δείγμα, που έχει επιλεχθεί τυχαία.
v. Έστω ότι στο πρόβλημα υπεισέρχεται και δεύτερη μεταβλητή πλαισίου, ο χειριστής (της γραμμής παραγωγής), έστω O2, με τρία επίσης επίπεδα (1, 2 και 3 που αντιστοιχούν σε 3 διαφορετικούς χειριστές), και ο Πίνακας Δεδομένων διαφοροποιείται όπως παρουσιάζεται στη συνέχεια
(σε παρένθεση τα επίπεδα του παράγοντα ενδιαφέροντος). Να διερευνηθεί και πάλι αν υπάρχουν διαφορές ως προς τη μέση αντοχή μεταξύ των γραμμών παραγωγής και να επιβεβαιωθεί (ή
όχι) η σημαντικότητα των δύο μεταβλητών πλαισίου.
210
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Πίνακας 8.28: Πίνακας Δεδομένων - Αντοχή - Λατινικό Τετράγωνο
Επίπεδα Μεταβλητής
Πλαισίου 2
1
2
3
1
50 (1)
90 (2)
70 (3)
2
80 (2)
120 (3)
50 (1)
3
190 (3)
130 (1)
190 (2)
Επίπεδα Μεταβλητής
Πλαισίου 1
Ȫ
Λύση
i. Με βάση την εκφώνηση, το κατάλληλο πρότυπο είναι αυτό που αφορά το σχέδιο τυχαιοποιημένων πλήρων ομάδων (σχέση (8.10)), με σταθερές επιδράσεις. Υπενθυμίζεται ότι τα σφάλματα
πρέπει να είναι ανεξάρτητες τυχαίες μεταβλητές με κανονική κατανομή και σταθερή διασπορά:
ϵ ∼ N 0, σ 2
ενώ οι παράμετροι του προτύπου, που αντιπροσωπεύουν τις επιδράσεις των τριών επιπέδων του
παράγοντα ενδιαφέροντος (γραμμή παραγωγής, A) και τις επιδράσεις των επιπέδων της μεταβλητής πλαισίου, ικανοποιούν τις σχέσεις
3
X
i=1
αi
&
3
X
oi = 0.
i=1
Υπενθυμίζεται ότι επιλέγοντας τη χρήση του συγκεκριμένου προτύπου, δηλαδή του προσθετικού προτύπου, δεχόμαστε την απουσία αλληλεπίδρασης μεταξύ του παράγοντα ενδιαφέροντος
και της μεταβλητής πλαισίου.
Για την εισαγωγή των δεδομένων στο Minitab χρησιμοποιούνται οι 3 πρώτες στήλες (C1 , C2 ,
& C3 ) στο κεντρικό παράθυρο του Minitab. Οι μετρήσεις καταχωρίζονται π.χ. στην 3η στήλη,
η μία κάτω από την άλλη, ενώ στην 1η και 2η στήλη καταχωρίζονται η γραμμή παραγωγής και ο
προμηθευτής (1, 2, 3) που αντιστοιχούν στην κάθε μέτρηση. Έτσι, προκύπτει ένα σύνολο δεδομένων με 9 γραμμές και 3 στήλες. Τα ονόματα που δόθηκαν στις δύο ποσότητες είναι A, O1 και
Y.
Για τη διερεύνηση της αντοχής των λεπίδων ακολουθούμε τη διαδρομή
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
επιλέγοντας να τοποθετήσουμε την Y στα Responses και τις A και O1 στα Factors και καταλήγουμε στον ακόλουθο Πίνακα ANOVA:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
211
Πίνακας 8.29: Πίνακας ANOVA - Αντοχή
Για τον έλεγχο των ίσων μέσων μεταξύ των τριών γραμμών παραγωγής, δηλαδή για τον έλεγχο
H0 : α1 = α2 = α3 = 0
από τη γραμμή του Πίνακα ANOVA που αφορά τον παράγοντα A, βλέπουμε ότι
F = 7.11 & p-value = 0.048
με αποτέλεσμα η γραμμή παραγωγής να έχει στατιστικώς σημαντική επίδραση στην αντοχή στα
συνήθη επίπεδα σημαντικότητας 5% και 10%.
ii. Για την επιβεβαίωση ότι ο προμηθευτής επιδρά στην αντοχή, δηλαδή για τον έλεγχο
H0 : o1 = o2 = o3 = 0
vs
H1 : Όχι όλα τα oj , j = 1, . . . , 3 ίσα με 0
από τη δεύτερη γραμμή του Πίνακα ANOVA που αφορά τη μεταβλητή πλαισίου O1, βλέπουμε
ότι
F = 28.43 & p-value = 0.004
με αποτέλεσμα το πείραμα να επαληθεύει την πεποίθηση του υπεύθυνου παραγωγής στα συνήθη
επίπεδα σημαντικότητας 1%, 5% και 10%. Σε περίπτωση που δεν μπορούσε να επιβεβαιωθεί ο
ισχυρισμός του υπεύθυνου, θα έπρεπε να γίνει εισήγηση για κατάργηση της ομαδοποίησης και
τροποποίηση των μελλοντικών μελετών με σχεδιασμούς πλήρους τυχαιοποίησης με έναν παράγοντα.
Το Minitab, ταυτόχρονα με τον Πίνακα ANOVA, δίνει και τους εκτιμητές των παραμέτρων του
προτύπου μαζί με τα βασικά χαρακτηριστικά τους:
Πίνακας 8.30: ANOVA Συντελεστές - Αντοχή
212
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
από όπου, αφού
P
αi =
P
oi =
P
α̂i =
P
ôi = 0, προκύπτει ότι:
µ̂ = 107.78, α̂1 = −31.11, α̂2 = 12.22, α̂3 = 18.89,
ô1 = −37.78, ô2 = −24.44 & ô3 = 62.22
και έτσι το πρότυπο να παίρνει την τελική μορφή:
(8.48)
iii. Από τη στιγμή που έχει διαπιστωθεί ότι η επίδραση της γραμμής παραγωγής είναι στατιστικώς
σημαντική, απαιτείται η μελέτη των Πολλαπλών Συγκρίσεων του Tukey για να διαπιστωθεί πού
οφείλεται, δηλαδή ποια γραμμή οδηγεί στα βέλτιστα αποτελέσματα και ποια στα χειρότερα. Εφόσον έχει εξεταστεί το πρότυπο και έχουν προκύψει τα αποτελέσματα της Ανάλυσης Διακύμανσης
(και μόνο τότε), μπορεί να εκτελεστεί η ακόλουθη αλληλουχία βημάτων στο Minitab:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Comparisons
τικάροντας την επιλογή Tukey. Στα Choose terms for comparisons θα μπορούσαν να επιλεχθούν
τόσο ο παράγοντας A όσο και η μεταβλητή πλαισίου O1 αλλά εδώ έχει επιλεχθεί μόνο ο παράγοντας A, αφού αυτός αποτελεί το κεντρικό αντικείμενο μελέτης. Tα αποτελέσματα της σύγκρισης
για επίπεδο 95% παρουσιάζονται στον Πίνακα 8.31.
Πίνακας 8.31: Πολλαπλές Συγκρίσεις Tukey - Αντοχή
Τα αποτελέσματα που προκύπτουν οδηγούν σε μία ιδιαίτερα ακραία περίπτωση όπου οι πολλαπλές συγκρίσεις Tukey δεν καταφέρνουν στο επίπεδο 5% να αναδείξουν στατιστικώς σημαντική διαφορά μεταξύ των επιπέδων των τριών γραμμών παραγωγής, συγκρινόμενων ανά δύο.
Η πολύ οριακή τιμή της p-value νωρίτερα (ίση με 0.048,) σε συνδυασμό με τον μικρό αριθμό
πειραμάτων και την απαίτηση από κοινού όλα τα διαστήματα ανά δύο, να έχουν επίπεδο τουλάχιστον 95% οδήγησε στο ακραίο συμπέρασμα ότι δεν υπάρχουν διαφορές. Παρά ταύτα θα
πρέπει να σημειώσει κανείς ότι το Individual level που προέκυψε είναι 97.65%, ενώ μία από τις
p-values είναι οριακά αποδεκτή (ισούται με 0.054), κάτι που επιτρέπει στον Ερευνητή να αποδεχτεί οριακά τη διαφορά των αντοχών στις 3 γραμμές παραγωγής με τη μηχανή υπ’ αριθμό 1
να είναι η λιγότερη ανθεκτική, κάτι που άλλωστε φαίνεται και από τη μέση αντοχή της (ίση με
76.667) συγκριτικά με τις άλλες δύο, αλλά και από τις δύο οριακές p-values (τόσο το 0.054
που αναφέρθηκε νωρίτερα, όσο και το 0.083). Επίσης, παρατηρούμε ότι οι άλλες δύο γραμμές
παραγωγής με μέσες τιμές 126.667 και 120.000 αντίστοιχα, συγκριτικά, θεωρούνται στατιστικώς ισοδύναμες, με την p-value της σύγκρισης να είναι ίση με 0.892.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
213
Σημειώνεται ότι έχει τικαριστεί η επιλογή Tests and Confidence Intervals στα Results ώστε να δοθούν τα αποτελέσματα των σχετικών ελέγχων μαζί με τα αντίστοιχα διαστήματα εμπιστοσύνης
των συγκρίσεων ανά δύο, καθώς και η επιλογή Interval plot of differences of means στα Graphs
με τα εξής αποτελέσματα:
Πίνακας 8.32: Πολλαπλές Συγκρίσεις Tukey 95% Διαστήματα Εμπιστοσύνης - Αντοχή
Σχήμα 8.4: Πολλαπλές Συγκρίσεις Tukey 95% Διαστήματα Εμπιστοσύνης - Αντοχή
Σημειώνεται ότι αν επιλεχτεί επίπεδο εμπιστοσύνης ίσο με 94.5% (δηλαδή επίπεδο σημαντικότητας 5.5%), οι συγκρίσεις Tukey οδηγούν στο συμπέρασμα ότι οι μέσοι διαφέρουν και τα
διαγράμματα για τα διαστήματα εμπιστοσύνης δεν θα τέμνουν (όλα) την (διακεκομμένη) κάθετο που περνά από το μηδέν. Πιο συγκεκριμένα, το διάστημα για τη σύγκριση της 3ης με την
1η γραμμή θα βρίσκεται εξ ολοκλήρου στα δεξιά της κάθετης γραμμής στο μηδέν, ενώ τα υπόλοιπα δύο θα έχουν ελαφρά μετατοπιστεί προς τα δεξιά. Αν πάλι ο Ερευνητής επιλέξει το επίπεδο
να ισούται με 91.6% (δηλαδή επίπεδο σημαντικότητας 8.4%) τότε τα δύο πρώτα διαστήματα
για τη σύγκριση του επιπέδου 1 με τα επίπεδα 2 και 3 δεν θα τέμνουν την κάθετο στο μηδέν. Πιο
κάτω δίνονται τα διαστήματα για επίπεδο εμπιστοσύνης 94.5%:
214
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Σχήμα 8.5: Πολλαπλές Συγκρίσεις Tukey 94.5% Διαστήματα Εμπιστοσύνης - Αντοχή
Για τη σύγκριση των γραμμών 1 και 2 με την 3 θα γίνουν τα διαστήματα Dunnett με ιδανική (
gold standard) κατάσταση (επίπεδο) τη γραμμή παραγωγής 3 ακολουθώντας την ίδια διαδρομή,
όπως προηγουμένως
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Comparisons
επιλέγοντας στο Type of comparison την επιλογή With Control και τικάροντας την επιλογή Dunnett. Ταυτόχρονα, επιλέγεται το Control Level (το 3 για την περίπτωση της εφαρμογής):
Πίνακας 8.33: Πολλαπλές Συγκρίσεις Dunnett - Αντοχή
Το πιο πάνω αποτέλεσμα, όπως άλλωστε αναφέρεται και στην υποσημείωση, δείχνει ότι το επίπεδο 1 είναι στατιστικώς σημαντικό, ενώ το 2 δεν παρουσιάζει διαφορές από την ιδανική κατάσταση (τη γραμμή παραγωγής 3). Τα αποτελέσματα των δύο ελέγχων και τα αντίστοιχα διαστήματα για τις συγκρίσεις των επιπέδων 1 και 2 με το control level 3 είναι:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
215
Πίνακας 8.34: Πολλαπλές Συγκρίσεις Dunnett 95% Διαστήματα Εμπιστοσύνης - Αντοχή
Σχήμα 8.6: Πολλαπλές Συγκρίσεις Dunnett 95% Διαστήματα Εμπιστοσύνης - Αντοχή
Εδώ παρατηρούμε ότι το επιλεχθέν επίπεδο εμπιστοσύνης 95% είναι επαρκές για να αναδειχτεί
η διαφορά του επιπέδου 1 με το 3 και αυτό γιατί εδώ οι έλεγχοι είναι μόνο 2 και άρα το συνολικό
σφάλμα είναι μικρότερο, σε σχέση με τους 3 ελέγχους για την περίπτωση Tukey. Άρα, η διαφορά
του επιπέδου 1 από το 3 είναι σαφής και αναδεικνύεται καθαρά (p-value = 0.043). Σημειώνεται ότι αν ως Control Level επιλεχθεί το επίπεδο 2, τότε οι συγκρίσεις Dunnett δεν καταφέρνουν
να αναδείξουν ότι διαφέρει από το επίπεδο 1. Πράγματι, η p-value του ελέγχου προκύπτει να
είναι ίση με 0.066 που είναι μεν μικρότερη από την τιμή 0.083 που προέκυψε για τις συγκρίσεις
Tukey, αλλά όχι μικρότερη από το σύνηθες επίπεδο του 5%.
iv. Έστω τώρα η περίπτωση όπου τα τρία επίπεδα του παράγοντα ενδιαφέροντος δεν είναι τα μοναδικά, αλλά αποτελούν δείγμα που έχει επιλεχθεί τυχαία από έναν μεγάλο αριθμό γραμμών παραγωγής που διαθέτει η βιομηχανία. Το πρόβλημα διαφοροποιείται ως προς τη φιλοσοφία του,
αφού τώρα πρόκειται για πρότυπο τυχαίων επιδράσεων όπου οι όροι αi αποτελούν τυχαίες μεταβλητές ανεξάρτητες από τα σφάλματα και τέτοιες ώστε αi ∼ N (0, σα2 ). Έτσι, δεν εξετάζεται
η μέση τιμή αλλά η διασπορά (μεταβλητότητα) και ο έλεγχος που θα πρέπει να εξεταστεί είναι,
από τη σχέση (8.31), ο
H0 : σα2 = 0 vs H1 : σα2 > 0.
Το πρόβλημα δεν διαφοροποιείται στην πράξη, ούτε όταν η μεταβλητή πλαισίου χαρακτηριστεί
τυχαία (στην εφαρμογή δεν έχει ζητηθεί κάτι τέτοιο) πέραν του ότι η επιβεβαίωση για την επίδραση της μεταβλητής πλαισίου ελέγχεται μέσω της μελέτης της διασποράς, έστω σo2 της τυχαίας μεταβλητής oi :
H0 : σo2 = 0 vs H1 : σo2 > 0.
216
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Ο Πίνακας ANOVA στην περίπτωση των τυχαίων επιδράσεων για τον παράγοντα ενδιαφέροντος, ταυτίζεται με τον πίνακα για την περίπτωση σταθερών επιδράσεων, με την ελεγχοσυνάρτηση να δίνεται και πάλι από τον ίδιο τύπο, και αφού η p-value του ελέγχου βρέθηκε προηγουμένως ίση με 0.048 καταλήγουμε στο συμπέρασμα ότι η μηδενική υπόθεση απορρίπτεται σε
επίπεδο σημαντικότητας 5% (καθώς και 10%) και άρα έχουμε ότι σα2 > 0. Συμπερασματικά,
υπάρχει διαφοροποίηση ως προς τη μεταβλητότητα μεταξύ των τριών γραμμών παραγωγής και
μπορούμε λόγω του ότι τα τρία επίπεδα επιλέχθηκαν τυχαία, να γενικεύσουμε το συμπέρασμα
για οποιαδήποτε γραμμή παραγωγής (και όχι μόνο αυτών που μελετήθηκαν).
Αξίζει να σημειωθεί ότι αφού είναι σημαντική η επίδραση του παράγοντα ενδιαφέροντος και κατ’
επέκταση η διασπορά σα2 είναι θετική, η συνήθης διαδρομή στο Minitab δίνει και τους εκτιμητές
των συνιστωσών της διασποράς του προβλήματος ταυτόχρονα με τον Πίνακα ANOVA, αρκεί
στα Results να είναι τικαρισμένη η επιλογή Variance Components, από όπου έχουμε τους εξής
εκτιμητές:
σ̂ 2 = 311.111 & σ̂a2 = 633.333,
με τη συνολική μεταβλητότητα η οποία αντιπροσωπεύει την εκτίμηση της διασποράς της μεταβλητής απόκρισης, να είναι:
2
V\
ar (Y ) ≡ σ̂total
= σ̂ 2 + σ̂a2 = 311.111 + 633.333 = 944.444.
v. Το τελευταίο μέρος της εφαρμογής είναι ένα κλασικό σχέδιο Λατινικού Τετραγώνου 3 × 3 με
έναν παράγοντα ενδιαφέροντος (τη γραμμή παραγωγής) και δύο μεταβλητές πλαισίου (τον
προμηθευτή και τον χειριστή) με την καθεμία να έχει τρία επίπεδα (1, 2 και 3) με το κατάλληλο
πρότυπο να δίνεται στη σχέση (8.17):
yijk = µ + αi + oj + θk + ϵijk ,
i, j, k = 1, 2, 3.
(8.49)
To πρόβλημα ζητά τη διερεύνηση μηδενικών επιδράσεων για τον παράγοντα ενδιαφέροντος
αλλά και την επιβεβαίωση ότι οι δύο μεταβλητές πλαισίου είναι σημαντικές.
Για τη συμπλήρωση των δεδομένων, στο κεντρικό παράθυρο του Minitab προσθέτουμε και την
τέταρτη στήλη (C4 ) για τις τιμές (επίπεδα) της νέας μεταβλητής πλαισίου που εδώ έχει ονομαστεί O2 . Η μελέτη θα γίνει ακολουθώντας τη διαδρομή
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
με τη μεταβλητή απόκρισης να επιλέγεται στα Responses και τις υπόλοιπες 3 μεταβλητές να επιλέγονται στα Factors. Υπενθυμίζεται ότι όλες οι μεταβλητές είναι σταθερών επιδράσεων, ενώ στο
πρότυπο δεν υπεισέρχονται αλληλεπιδράσεις (διαφορετικά θα έπρεπε να μελετηθεί ένα πρότυπο
πολυπαραγοντικής ανάλυσης διακύμανσης - Κεφάλαιο 10). Τα αποτελέσματα της ανάλυσης φαίνονται στον πιο κάτω πίνακα:
Πίνακας 8.35: Πίνακας ANOVA - 3 × 3 Λατινικό Τετράγωνο - Αντοχή
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
217
Από τα αποτελέσματα προκύπτει ότι δεν υπάρχει επίδραση από τον παράγοντα ενδιαφέροντος
( p-value = 0.198) αλλά ούτε επιβεβαιώνεται η σημαντικότητα της μεταβλητής πλαισίου O2
που αφορά τους χειριστές γραμμών παραγωγής ( p-value = 0.875). Η εξαιρετικά υψηλή τιμή
της p-value δηλώνει ότι δεν τίθεται κανένας λόγος για την ομαδοποίηση ως προς τους χειριστές,
γιατί δεν φαίνεται να επιδρούν στη μεταβλητή απόκρισης. Αντίθετα, επαναβεβαιώνεται η σημαντικότητα της πρώτης μεταβλητής πλαισίου O1 που αφορά τους προμηθευτές. Έτσι, οδηγούμαστε στο συμπέρασμα ότι το ιδανικό σχέδιο που θα πρέπει να χρησιμοποιείται για αξιολόγηση του
συγκεκριμένου προβλήματος σε μελλοντικές μελέτες είναι αυτό των τυχαιοποιημένων πλήρων
ομάδων με ομάδα (μεταβλητή πλαισίου), τους προμηθευτές.
2. Βιομηχανία παραγωγής σωλήνων επιθυμεί να μελετήσει την αντοχή τους σε σχέση με δύο παράγοντες
A και B που αντιπροσωπεύουν την περιεκτικότητα μίας χημικής ένωσης (ως % επί της συνολικής
περιεκτικότητας) και τη θερμοκρασία. Το πείραμα εκτελείται στα 4 διαθέσιμα επίπεδα θερμοκρασίας
(5, 10, 20 και 30o βαθμούς Κελσίου) και στις 4 διαθέσιμες δοκιμαστικές περιεκτικότητες (0%, 1%,
2% και 3%). Σε κάθε συνδυασμό επιπέδων εκτελούνται 2 επαναλήψεις.
Πίνακας 8.36: Πίνακας Δεδομένων (2 επαναλήψεις ανά θεραπεία) - Σωλήνες
Επίπεδα Παράγοντα Β
5
10
20
30
0
10, 8
7, 8
5, 6
2, 3
1
14, 12
9, 8
7, 8
3, 3
2
17, 14
12, 11
9, 11
5, 4
3
22, 28
15, 17
10, 13
8, 10
Επίπεδα Παράγοντα Α
i. Να δοθεί το κατάλληλο πρότυπο για την περιγραφή του προβλήματος και να κατασκευαστούν
και σχολιαστούν τα διαγράμματα κύριων επιδράσεων των παραγόντων, καθώς και το διάγραμμα
αλληλεπίδρασης αυτών.
ii. Να διερευνηθεί η σημαντικότητα των κύριων επιδράσεων, καθώς και της αλληλεπίδρασής τους.
iii. Να επαναληφθεί η μελέτη στο ερώτημα (ii) θεωρώντας ότι και οι δύο παράγοντες είναι τυχαίων
επιδράσεων (δηλαδή ότι τα συγκεκριμένα επίπεδα έχουν επιλεχθεί τυχαία από ένα ευρύ σύνολο
διαθέσιμων επιπέδων για κάθε παράγοντα ενδιαφέροντος).
iv. Να επαναληφθεί η μελέτη στο ερώτημα (ii) θεωρώντας ότι ο παράγοντας A είναι τυχαίων και
ο B σταθερών επιδράσεων.
Ȫ
Λύση
i. Με βάση τα δεδομένα της μελέτης και λαμβάνοντας υπόψη ότι το πείραμα εκτελείται με επανάληψη, το ιδανικότερο πρότυπο είναι το παραγοντικό πείραμα σταθερών επιδράσεων, δύο παραγόντων, με αλληλεπίδραση που δίνεται στη σχέση (8.20):
yijk = µ + αi + βj + (αβ)ij + ϵijk ,
i = 1, ..., 4,
j = 1, ..., 4,
k = 1, 2 (8.50)
218
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
όπου οι παράμετροι του προτύπου ικανοποιούν τις σχέσεις
X
αi =
i
X
j
βj =
X
(αβ)ij =
i
X
(αβ)ij = 0
j
ενώ τα σφάλματα είναι τυχαίες μεταβλητές, τέτοιες ώστε ϵijk ∼ N (0, σ 2 ) .
Το διάγραμμα κύριων επιδράσεων ( Main Effects Plot) προκύπτει από τη διαδρομή
Stat
Ê
ANOVA
Ê
Main Effects Plot
ενώ εκείνο για την αλληλεπίδραση ( Interaction Plot) από τη διαδρομή
Stat
Ê
ANOVA
Ê
Interaction Plot
Σχήμα 8.7: Διάγραμμα Κύριων Επιδράσεων - Σωλήνες
Από το διάγραμμα κύριων επιδράσεων φαίνεται να υπάρχει διαφοροποίηση των μέσων τιμών
τόσο λόγω του παράγοντα A (περιεκτικότητα) όσο και λόγω του παράγοντα B (θερμοκρασία).
Οι μέσες τιμές για τα τέσσερα επίπεδα του παράγοντα A εκτείνονται από περίπου την τιμή 5
(για το επίπεδο 0) μέχρι την τιμή 15 (για το επίπεδο 3), κάτι που υποδηλώνει ύπαρξη επίδρασης τουλάχιστον μεταξύ των επιπέδων 0 και 3. Παρόμοια εικόνα δίνει και το διάγραμμα για τον
παράγοντα B με τις μέσες τιμές να κυμαίνονται από την τιμή περίπου 5 (για το επίπεδο 30%)
μέχρι πάνω από 15 (για το επίπεδο 5%).
Από την άλλη πλευρά, το διάγραμμα αλληλεπιδράσεων, αν και φαινομενικά παρουσιάζει μία
ασθενή παραλληλία, αν παρατηρήσουμε με προσοχή θα εντοπίσουμε μία αυξητική τάση (που
ξεφεύγει από την παραλληλία) όταν ο παράγοντας A είναι στο επίπεδο 3 και ο παράγοντας B
στο επίπεδο 5. Από τον Πίνακα Δεδομένων παρατηρούμε ότι ο συνδυασμός επιπέδων (A =
3, B = 5) παρουσιάζει τις μεγαλύτερες μετρήσεις (22 και 28 με μέση τιμή 25) που είναι αισθητά μεγαλύτερες από όλες τις υπόλοιπες τιμές του Πίνακα Δεδομένων. Η παρατήρηση αυτή
οδηγεί στην υποψία ύπαρξης αλληλεπίδρασης.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
219
Σχήμα 8.8: Διάγραμμα Αλληλεπιδράσεων - Σωλήνες
ii. Τα πορίσματα της γραφικής αξιολόγησης απαιτείται να διασταυρωθούν με τη στατιστική ανάλυση της Ανάλυσης Διακύμανσης μέσω της συνήθους διαδρομής:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
Πίνακας 8.37: Πίνακας ANOVA - Σταθερές Επιδράσεις - Σωλήνες
Παρατηρούμε ότι τα μέσα αθροίσματα τετραγώνων (M S) έχουν εξαιρετικά υψηλές τιμές, με
αποτελέσματα η τιμή της στατιστικής συνάρτησης F για τον έλεγχο μηδενικών επιδράσεων
τόσο για τον παράγοντα A όσο και για τον παράγοντα B να ισούνται με F = 50.61 και
F = 65.16 αντίστοιχα και έτσι να επιβεβαιώνεται η επίδραση και των δύο παραγόντων σε
όλα τα συνήθη επίπεδα εμπιστοσύνης ( p-value = 0.000). Ταυτόχρονα, από την 3η γραμμή
του Πίνακα ANOVA, και για τον έλεγχο απουσίας αλληλεπίδρασης που δίνεται από τη σχέση
(8.27), δηλαδή:
H0 : (αβ)ij = 0
vs
H1 : Όχι όλα τα (αβ)ij , i = 1, ..., a, j = 1, ..., b, ίσα με 0
(8.51)
220
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
έχουμε ότι:
M SAB = 8.365, F = 3.30 & p-value = 0.018.
Κατά συνέπεια επιβεβαιώνεται η ύπαρξη αλληλεπίδρασης στα συνήθη επίπεδα σημαντικότητας
5% και 10% ( p-value = 0.018).
Οι εκτιμητές των παραμέτρων του προτύπου προκύπτουν στο ίδιο output με τον Πίνακα ANOVA
και δίνονται στον Πίνακα 8.38.
Πίνακας 8.38: ANOVA Συντελεστές - Σταθερές Επιδράσεις - Σωλήνες
Όπως φαίνεται από τον Πίνακα των εκτιμητών, σε κάθε περίπτωση λείπει η εκτίμηση μίας παραμέτρου και αυτό γιατί η εναπομείνασα εκτιμήτρια προκύπτει με βάση τον αντίστοιχο τύπο στις
σχέσεις (8.22). Έτσι για παράδειγμα, αφού:
α̂0 = −3.844,
α̂1 = −1.969 &
α̂3 = 0.406,
η εναπομείνασα εκτιμήτρια ισούται με α̂4 = 5.407 ώστε και οι τέσσερις μαζί να αθροίζουν στο 0.
Είναι απόλυτα αναμενόμενο ο τελευταίος εκτιμητής να είναι θετικός, γιατί στο επίπεδο 3 παρατηρούνται οι υψηλότερες τιμές και άρα αναμένεται να αυξάνεται η τιμή σε σχέση με τον κεντρικό
γενικό μέσο ο οποίος έχει εκτιμηθεί από την τιμή 9.969 (ο Constant στον Πίνακα των εκτιμητών). Αντίθετα, ο εκτιμητής για το επίπεδο 0 είναι αισθητά αρνητικός, αφού στο επίπεδο 0 συναντάμε τις χαμηλότερες τιμές και κατά συνέπεια η μέση τιμή εμφανίζεται μειούμενη σε σχέση
με τον κεντρικό γενικό μέσο όρο (με εκτιμητή την τιμή 9.969). Σημειώνεται ότι η επιβεβαίωση
όσον αφορά τον παράγοντα A, ότι οι μέσες τιμές στο επίπεδο 3 είναι οι υψηλότερες και στο 0
οι χαμηλότερες, είχε ήδη εντοπιστεί στο Διάγραμμα Κύριων Επιδράσεων αλλά φαίνεται και στο
output των πολλαπλών συγκρίσεων ανά δύο, που αν και δεν ζητείται, δίνεται στη συνέχεια στο
output των Πολλαπλών Συγκρίσεων.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
221
Επειδή στις περιπτώσεις ύπαρξης επιδράσεων συστήνεται να γίνεται διερεύνηση για τον εντοπισμό των επιπέδων εκείνων που οδηγούν σε πολύ μεγάλες ή πολύ μικρές τιμές, δίνονται στη
συνέχεια οι Πολλαπλές Συγκρίσεις Tukey τόσο για τον παράγοντα A (Πίνακας 8.39) όσο και
για τον παράγοντα (Πίνακας 8.40).
Πίνακας 8.39: Πολλαπλές Συγκρίσεις Tukey A - Σωλήνες
222
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Πίνακας 8.40: Πολλαπλές Συγκρίσεις Tukey B - Σωλήνες
Από τα αποτελέσματα προκύπτει ότι για τον παράγοντα A (περιεκτικότητα) το επίπεδο 3 διαφέρει από καθένα από τα υπόλοιπα επίπεδα και το ίδιο ισχύει για το επίπεδο 2. Μόνο τα επίπεδα
0 και 1 καταλήγουν να είναι στατιστικώς ισοδύναμα. Στο επίπεδο 3 παρατηρείται ο υψηλότερος μέσος (15.375), ενώ οι χαμηλότεροι μέσοι παρατηρούνται στα επίπεδα 0 και 1 (6.125 και
8.000 αντίστοιχα), χωρίς όμως να έχει δειχθεί ότι διαφέρουν στατιστικώς, αφού το σχετικό διάστημα εμπιστοσύνης είναι το (−0.403, 4.153) στο οποίο περιλαμβάνεται το μηδέν ( p-value
για την ισότητα των συγκεκριμένων δύο μέσων = 0.126).
Για τον παράγοντα B προκύπτει ότι όλα τα επίπεδα διαφέρουν, με το επίπεδο 5 να έχει την υψηλότερη μέση τιμή (15.625) και το επίπεδο 30 τη χαμηλότερη (4.750). Τα επίπεδα 10 και 20 αν
και διαφέρουν από τα υπόλοιπα, μεταξύ τους, έστω και οριακά ( p-value = 0.053), θεωρούνται στατιστικώς ισοδύναμα, εκτός αν το επίπεδο σημαντικότητας που θα επιλέξει ο Ερευνητής
είναι έστω και ελάχιστα μεγαλύτερο από 0.053. Μπορούμε να παρατηρήσουμε ότι το σχετικό
διάστημα εμπιστοσύνης (−4.528, 0.028) περιλαμβάνει έστω και οριακά την τιμή μηδέν ώστε
να μην απορρίπτεται η ισότητα των μέσων των επιπέδων 10 και 20, σε επίπεδο σημαντικότητας
5% ( p-value = 0.053).
iii. Για την περίπτωση του ερωτήματος iii, με βάση τα δεδομένα της μελέτης, το ιδανικότερο πρότυπο είναι το παραγοντικό πείραμα τυχαίων επιδράσεων, δύο παραγόντων, με αλληλεπίδραση
που δίνεται, όπως και προηγουμένως, από τη σχέση (8.20) με τις ποσότητες αi , βj και (αβ)ij
να είναι τυχαίες μεταβλητές που ακολουθούν την κανονική κατανομή με μέση τιμή 0 και δια2
που μαζί με τη διασπορά των σφαλμάτων σ 2 , αποτελούν τις
σπορές αντίστοιχα σα2 , σβ2 και σαβ
συνιστώσες διασποράς.
Ο αναγκαίος και επιθυμητός έλεγχος για τη διερεύνηση της απουσίας επίδρασης του παράγοντα
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
223
A, στην περίπτωση του προτύπου τυχαίων επιδράσεων, είναι
H0 : σα2 = 0
vs
H1 : σα2 > 0.
Οι αντίστοιχοι έλεγχοι για τον παράγοντα B και την αλληλεπίδραση AB είναι:
H0 : σβ2 = 0
vs
H1 : σβ2 > 0
2
=0
H0 : σαβ
vs
2
> 0.
H1 : σαβ
και
Υπενθυμίζεται ότι όπως και προηγουμένως, οι τύποι της περίπτωσης των σταθερών επιδράσεων
και γενικά ο Πίνακας ANOVA, εξακολουθούν να ισχύουν ως έχουν. Παρά ταύτα, η διερεύνηση
των πιο πάνω ελέγχων για τις κύριες επιδράσεις βασίζεται στις συγκρίσεις των M SA και M SB
με το M SAB, αντί του συνήθους M SE. Ακολουθώντας την ίδια ακριβώς διαδρομή, όπως και
στο ερώτημα (α), δηλαδή
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
τικάροντας όμως και για τους δύο παράγοντες, την επιλογή Random στο Random/Nest, καταλήγουμε στον εξής Πίνακα ANOVA:
Πίνακας 8.41: Πίνακας ANOVA - Τυχαίες Επιδράσεις - Σωλήνες
Όσον αφορά τις συνιστώσες διασποράς, αυτές δίνονται στο output εφόσον στα Results έχει τικαριστεί η επιλογή Variance Components.
Πίνακας 8.42: Εκτιμητές Συνιστωσών Διασποράς - Τυχαίες Επιδράσεις - Σωλήνες
Από το output προκύπτει ότι οι εκτιμήτριες των συνιστωσών της διασποράς που αφορούν τον
παράγοντα A (14.9688) και τον παράγοντα B (19.5729) καλύπτουν ένα πάρα πολύ μεγάλο
224
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
ποσοστό της συνολικής διασποράς του προτύπου που ισούται με 39.9896, αφήνοντας ένα μικρό
ποσοστό για τη συνιστώσα που αφορά την αλληλεπίδραση (2.91667) και ένα ακόμα μικρότερο ποσοστό που δεν έχει μπορέσει να ερμηνευθεί από το πρότυπο και αποτελεί τη διασπορά
του σφάλματος (2.53125). Υπενθυμίζεται ότι η τελευταία αυτή ποσότητα αντιπροσωπεύει το
M SE που εμφανίζεται στον Πίνακα ANOVA. Για τις συνιστώσες της διασποράς δίνονται ξεχωριστά (στο πιο πάνω output) τα ποσοστά της κάθε συνιστώσας στη συνολική διασπορά, όπως
και τα τυπικά σφάλματα ( Standard Deviations) των εκτιμητών των συνιστωσών. Στη συγκεκριμένη περίπτωση, τα τυπικά σφάλματα κυμαίνονται από 1.59099, για το σ 2 μέχρι 6.32373
μονάδες, για τη συνολική μεταβλητότητα.
iv. Η τελευταία μελέτη της εφαρμογής αφορά το μεικτό πρότυπο με αλληλεπίδραση, όπου ο παράγοντας A είναι τυχαίων και ο παράγοντας B σταθερών επιδράσεων. Ο γενικός τύπος του προτύπου είναι και πάλι ο ίδιος με προηγουμένως (σχέση (8.20)), όπου όμως τα αi είναι τυχαίες
μεταβλητές τέτοιες ώστε
αi ∼ N (0, σα2 ), τα (αβ)ij είναι επίσης τυχαίες μεταβλητές τέτοιες
P
2
ώστε (αβ)ij ∼ N 0, σαβ
, ενώ τα βj είναι σταθερές που ικανοποιούν τις σχέσεις j βj =
P
και j (αβ)ij = 0.
Υπενθυμίζεται
ότι για το συγκεκριμένο
πρότυπο και με βάση τις πιο πάνω κατανομές, ισχύει ότι
2
2
2
Yijk ∼N µ, σ + σα + σαβ , ενώ η μελέτη του προτύπου συνδυάζει ελέγχους για τις σταθερές παραμέτρους βj και τις διασπορές των τυχαίων μεταβλητών αi και (αβ)ij :
H0 : βj = 0
vs
H1 : Όχι όλα τα βj , j = 1, 2, 3, 4 ίσα με 0,
H0 : σα2 = 0
vs
H1 : σα2 > 0
2
H0 : σαβ
=0
vs
2
H1 : σαβ
> 0.
και
Για τη μελέτη του προτύπου ακολουθούμε τη διαδρομή
Stat
Ê
ANOVA
Ê
Balanced ANOVA
επιλέγοντας τη μεταβλητή απόκρισης στα Responses, τον παράγοντα A στα Random Factors,
ενώ στο Model καταχωρίζονται όλοι οι πριν εμπλεκόμενοι παράγοντες, δηλαδή ο παράγοντας
A, ο παράγοντας B, καθώς και η αλληλεπίδραση των A και B η οποία καταχωρίζεται ως A ∗ B.
Τα αποτελέσματα του Πίνακα ANOVA φαίνονται στον Πίνακα 8.43.
Πίνακας 8.43: Πίνακας ANOVA - Μεικτό Πρότυπο - Σωλήνες
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
225
Για την ορθή μελέτη του μοντέλου, στα Options πρέπει υποχρεωτικά να τικαριστεί η επιλογή Use
the restricted form of the model (Περιορισμένο Μεικτό Πρότυπο), που αποτελεί τη συνηθέστερη
μορφή μεικτού προτύπου που χρησιμοποιείται στην πράξη. Όσον αφορά τις συνιστώσες διασποράς, υπενθυμίζεται ότι δίνονται εφόσον στα Results έχει τικαριστεί η επιλογή Variance Components, ενώ δίνεται επιπρόσθετα η δυνατότητα να καταχωρίσουμε στο πλαίσιο Display means
corresponding to the terms τους παράγοντες για τα επίπεδα των οποίων επιθυμούμε να υπολογιστούν οι μέσες τιμές (για την εφαρμογή έχουν επιλεχθεί και οι δύο παράγοντες ενδιαφέροντος).
Οι συνιστώσες της διασποράς φαίνονται στον Πίνακα 8.44, ενώ οι μέσες τιμές ανά επίπεδο φαίνονται στον Πίνακα 8.45.
Πίνακας 8.44: Εκτιμητές Συνιστωσών Διασποράς - Μεικτό Πρότυπο - Σωλήνες
Πίνακας 8.45: Μέσες Τιμές Επιπέδων - Μεικτό Πρότυπο - Σωλήνες
8.6 Σχόλια και χρήσιμες σημειώσεις
Στην ενότητα αυτή, για διευκόλυνση του αναγνώστη παρατίθενται χρήσιμες σημειώσεις και σχόλια αναφορικά με το Minitab και την R για τα θέματα που μελετήθηκαν στο παρόν κεφάλαιο.
8.6.1 Σχόλια και χρήσιμες σημειώσεις - Minitab
• Για την περίπτωση του General Linear Model , το Minitab δίνει τη δυνατότητα να καταχωριστεί στο
κεντρικό παράθυρο της Minitab μία πληθώρα μεταβλητών. Έτσι, ο Ερευνητής μέσω της συνήθους
διαδρομής
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
226
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
μπορεί να καταχωρίσει μέσω της επιλογής Storage ποσότητες όπως είναι οι εκτιμώμενες τιμές της μεταβλητής απόκρισης (Fits), τα διάφορα κατάλοιπα (Residuals, Standardized Residulas, Deleted Residuals), οι διάφοροι δείκτες αξιολόγησης της συνεισφοράς των μετρήσεων (Leverage, Cook’s distance
κλπ.) ή ακόμα και οι εκτιμητές των συντελεστών του προτύπου (Coefficients).
• Το Minitab δίνει τη δυνατότητα να μελετηθούν τα πρότυπα του παρόντος Κεφαλαίου και μέσω της
διαδρομής
Stat
Ê
ANOVA
Ê
Balanced ANOVA
θέτοντας στα Responses τη μεταβλητή απόκρισης και στο Model τον παράγοντα ενδιαφέροντος και τη
μεταβλητή (ή τις μεταβλητές) πλαισίου. Σημειώνεται ότι η επιλογή Options δεν χρειάζεται να χρησιμοποιηθεί, αλλά και αν χρησιμοποιηθεί δεν πρόκειται να διαφοροποιηθούν τα αποτελέσματα. Η συγκεκριμένη επιλογή είναι απολύτως απαραίτητη στα μεικτά πρότυπα όπου δύο ή περισσότεροι παράγοντες εμπλέκονται, κάποιοι εκ των οποίων είναι σταθερών και κάποιοι τυχαίων επιδράσεων. Στα μεικτά
αυτά πρότυπα είναι απαραίτητο να τικαριστεί η επιλογή Use the restricted form of the model για να
διασφαλιστεί ότι θα χρησιμοποιηθούν οι κατάλληλοι τύποι για την ορθή μελέτη των επιδράσεων όλων
των παραγόντων.
• Για την περίπτωση του Balanced ANOVA , το Minitab δίνει τη δυνατότητα να καταχωριστούν στο
κεντρικό παράθυρο της Minitab δύο χρήσιμες ποσότητες. Συγκεκριμένα, ο Ερευνητής μέσω της συνήθους διαδρομής
Stat
Ê
ANOVA
Ê
Balanced ANOVA
μπορεί να καταχωρίσει μέσω της επιλογής Storage τις εκτιμώμενες τιμές της μεταβλητής απόκρισης
(Fits) ή/και τα κατάλοιπα (Residuals).
• Γενικώς, ο Ερευνητής συστήνεται να ελέγχει την εγκυρότητα των τριών βασικών προϋποθέσεων κανονικότητας, ανεξαρτησίας και ομοσκεδαστικότητας, δηλαδή να προβεί σε Ανάλυση Καταλοίπων, τουλάχιστον μέσω μίας πολλαπλής γραφικής μεθόδου, ακολουθώντας είτε τη διαδρομή
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
είτε τη διαδρομή
Stat
Ê
ANOVA
Ê
Balanced ANOVA
και τικάροντας την επιλογή Four in One στο Graphs με την πρώτη επιλογή να μην αφορά το μεικτό
πρότυπο. Για την πλήρη στατιστική ανάλυση των καταλοίπων, και αφού αυτά έχουν καταχωριστεί σύμφωνα με το προηγούμενο σχόλιο στο κεντρικό παράθυρο του Minitab, θα πρέπει για την κανονικότητα
να εφαρμοστεί η διαδικασία
Stat
Ê
Basic Statistics
Ê
Normality Test
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
227
για την ομοσκεδαστικότητα η διαδικασία
Stat
Ê
ANOVA
Ê
Test for Equal Variances
και για την ανεξαρτησία η διαδικασία (για την αναλυτική παρουσίαση των τεχνικών αυτών βλέπε εφαρμογή Κεφαλαίου 7):
Stat
Ê
Nonparametrics
Ê
Runs Test
8.6.2 Σχόλια και χρήσιμες σημειώσεις - R
Στον Πίνακα 8.46 δίνεται πληθώρα χρήσιμων εντολών για την εφαρμογή της Ανάλυσης Διακύμανσης κατά
δύο Παράγοντες στην R.
Πίνακας 8.46: Τwo-way ANOVA - Χρήσιμες εντολές στην R
Πακέτο
Εντολή(Όρισμα)
Χρησιμότητα
aov
aov(Απόκριση∼ Παράγοντας Α*Παράγοντας Β)
Κατασκευή μοντέλου ANOVA (A, B fixed)
lme4
lmer(Απόκριση∼ (1|Παράγοντας Α)*Παράγοντας Β
Κατασκευή μοντέλου ANOVA (A random, B fixed)
lme4
lmer(Απόκριση∼ Παράγοντας Α*(1|Παράγοντας Β))
Κατασκευή μοντέλου ANOVA (A fixed, B random)
lme4
lmer(Απόκριση∼ (1|Παράγοντας Α)*(1|Παράγοντας Β))
Κατασκευή μοντέλου ANOVA (A, B random)
8.7 Άλυτες ασκήσεις
1. Για καθένα από τα πιο κάτω σύνολα δεδομένων ζητούνται τα ακόλουθα:
i. Να διερευνηθεί αν παρατηρούνται διαφορές στις μέσες τιμές της μεταβλητής απόκρισης μεταξύ
των διαφόρων επιπέδων του παράγοντα ενδιαφέροντος A όταν αυτός θεωρείται ότι είναι σταθερών επιδράσεων.
ii. Να επιβεβαιωθεί η επίδραση της μεταβλητής πλαισίου O. Αν δεν επιβεβαιωθεί, να προτείνετε
εναλλακτικά σχέδια για την αξιολόγηση του παράγοντα ενδιαφέροντος.
iii. Αν παρατηρούνται διαφορές στα επίπεδα του παράγοντα ενδιαφέροντος να διερευνηθεί σε ποιο ή
ποια επίπεδα οφείλεται αυτή η διαφορά. Επιπρόσθετα, να συγκριθεί κάθε επίπεδο με το τελευταίο
επίπεδο του παράγοντα A το οποίο θεωρείται υποδειγματικό.
iv. Τέλος, ζητείται να διαπιστωθεί πώς διαφοροποιείται (και πώς επιλύεται) το πρόβλημα, αν ο παράγοντας ενδιαφέροντος A θεωρηθεί ότι είναι τυχαίων επιδράσεων.
Πίνακας 8.47: Σύνολο Δεδομένων 1 - Παράγοντας Α - Μεταβλητή Πλαισίου O
Α
Α1
Α2
Α3
Α4
Α5
O1
40.13
80.26
70.42
99.93
70.30
O2
59.92
79.83
69.84
97.49
69.70
O3
40.41
80.04
61.30
91.30
81.32
O4
29.82
77.60
70.16
90.21
71.29
Ο
228
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
Πίνακας 8.48: Σύνολο Δεδομένων 2 - Παράγοντας Α - Μεταβλητή Πλαισίου O
Α
Α1
Α2
Α3
O1
40.13, 69.84, 40.38, 49.68, 70.04
80.26, 89.63, 80.45, 70.42, 70.12
99.93, 89.77, 99.79, 70.30, 89.75
O2
59.92, 49.65, 60.23, 50.19, 50.19
59.59, 59.59, 70.20, 60.10, 50.39
69.72, 90.02, 89.79, 70.32, 80.32
O3
40.41, 39.85, 50.15, 50.36, 60.33
70.18, 59.52, 69.89, 50.39, 49.59
80.29, 59.61, 69.75, 50.05, 49.98
Ο
Πίνακας 8.49: Σύνολο Δεδομένων 3 - Παράγοντας Α - Μεταβλητή Πλαισίου O
Α
Α1
Α2
Α3
Α4
Α5
Α6
Α7
Α8
O1
728
731
728
731
730
730
729
730
O2
726
732
726
730
729
728
729
732
Ο
Πίνακας 8.50: Σύνολο Δεδομένων 4 - Παράγοντας Α - Μεταβλητή Πλαισίου O
Α
Α1
Α2
Α3
Α4
Α5
Α6
Α7
Α8
O1
728, 725
731, 730
728, 729
731, 731
730, 730
730, 731
729, 729
730, 730
O2
726, 723
732, 731
726, 728
730, 728
729, 730
728, 729
729, 731
732, 731
Ο
2. Για το πιο κάτω σύνολο δεδομένων θεωρήστε ότι υπάρχουν δύο μεταβλητές πλαισίου O και OO και ότι
ο παράγοντας ενδιαφέροντος έχει τα επίπεδα A, B, C και D. Να αναφέρετε το είδος του σχεδιασμού
και τα βασικά χαρακτηριστικά του. Επίσης, να διερευνηθεί αν υπάρχουν διαφορές ως προς τη μέση
τιμή των επιπέδων του παράγοντα ενδιαφέροντος και να επιβεβαιωθεί (ή όχι) η σημαντικότητα των
δύο μεταβλητών πλαισίου. Αν δεν επιβεβαιωθεί, να προτείνετε εναλλακτικά σχέδια για την αξιολόγηση
του παράγοντα ενδιαφέροντος.
Έστω ότι ο Ερευνητής ενδιαφέρεται επιπρόσθετα για την αλληλεπίδραση του παράγοντα ενδιαφέροντος και της μεταβλητής πλαισίου O. Να αναφέρετε το είδος του σχεδιασμού που πρέπει να χρησιμοποιηθεί, καθώς και τα βασικά χαρακτηριστικά του. Να προχωρήσετε στη μελέτη του συγκεκριμένου
σχεδιασμού και αν αυτό δεν είναι εφικτό, να εξηγήσετε τους λόγους.
Πίνακας 8.51: Σύνολο Δεδομένων 5 - Παράγοντας Ενδιαφέροντος - Μεταβλητές Πλαισίου O και OO
OO
OO1
OO2
OO3
OO4
O1
A 10
B7
C5
D2
O2
B 14
C9
D7
A3
O3
C 17
D 12
A9
B5
O4
D 22
A 15
B 10
C8
Ο
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
229
3. Για τα επόμενα σύνολα δεδομένων:
i. Να δοθεί το κατάλληλο πρότυπο για την περιγραφή του προβλήματος και να κατασκευαστούν
και σχολιαστούν τα διαγράμματα κύριων επιδράσεων των παραγόντων, καθώς και το διάγραμμα
αλληλεπίδρασης αυτών.
ii. Να διερευνηθεί η σημαντικότητα των κύριων επιδράσεων, καθώς και της αλληλεπίδρασής τους.
iii. Να επαναληφθεί η μελέτη στο ερώτημα ( ii) θεωρώντας ότι και οι δύο παράγοντες είναι τυχαίων
επιδράσεων (δηλαδή ότι τα συγκεκριμένα επίπεδα έχουν επιλεχθεί τυχαία από ένα ευρύ σύνολο
διαθέσιμων επιπέδων για κάθε παράγοντα ενδιαφέροντος).
iv. Να επαναληφθεί η μελέτη στο ερώτημα ( ii) θεωρώντας ότι ο παράγοντας A είναι τυχαίων και
ο B σταθερών επιδράσεων.
Πίνακας 8.52: Σύνολο Δεδομένων 6 - A και B (3 επαναλήψεις ανά θεραπεία)
Επίπεδα Παράγοντα Β
Β1
Β2
Β3
0
1.14, 1.15, 1.19
1.12, 1.15, 1.16
1.18, 1.17, 1.15
1
0.91, 0.88, 0.86
1.09, 1.11, 1.14
0.89, 0.92, 0.95
Επίπεδα Παράγοντα Α
Πίνακας 8.53: Σύνολο Δεδομένων 7 - A και B (5 επαναλήψεις ανά θεραπεία)
Β
Β1
Β2
Β3
Α1
90, 96, 98, 106, 100
90, 94, 92, 80, 88
80, 82, 84, 87, 85
Α2
120, 132, 115, 124, 125
118, 119, 114, 125, 116
108, 110, 120, 116, 106
Α
230
ΣΧΕΔΙΑΣΜΟΣ ΠΕΙΡΑΜΑΤΩΝ
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Βόντα, Φ., & Καραγρηγορίου, Α. (2012). Εφαρμοσμένη στατιστική ανάλυση & στοιχεία πιθανοτήτων.
Αθήνα: Εκδόσεις Παρασκήνιο.
[2] Δαμιανού, Χ., & Κούτρας, Μ. (1998). Εισαγωγή στη στατιστική, Μέρος ΙΙ. Αθήνα: Εκδόσεις Συμμετρία.
[3] Καλαματιανού, Α. Γ. (1997). Εφαρμοσμένη ανάλυση παλινδρόμησης. Αθήνα: Εκδόσεις Παπαζήσης.
[4] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση M initab και R
(2η έκδ.). Αθήνα: Συμεών.
[5] Κουτρουβέλης, Ι.Α. (2015). Εφαρμοσμένες πιθανότητες και στατιστική για μηχανικούς και θετικούς επιστήμονες. Αθήνα: Εκδόσεις Gotsis.
[6] Κουτρουβέλης, Ι.Α. (2000). Προηγμένα εργαλεία και μέθοδοι για τον έλεγχο της ποιότητας, Τόμος Β,
Σχεδιασμός και Ανάλυση Πειραμάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήμιο.
[7] Κολυβά-Μαχαίρα, Φ., & Μπόρα-Σέντα, Ε. (1995). Στατιστική, θεωρία και εφαρμογές. Θεσσαλονίκη:
Εκδόσεις Ζήτη.
[8] Κουνιάς, Σ., Κολυβά-Μαχαίρα, Φ., Μπαγιάτης, Γ., & Μπόρα-Σέντα, Ε. (1985). Εισαγωγή στη στατιστική. Θεσσαλονίκη: Εκτύπωση Γιαχούδη-Γιαπούλη Ο.Ε.
[9] Κούτρας, Μ. Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[10] Μπόρα-Σέντα, Ε., & Μωυσιάδης, Χ. (1990). Εφαρμοσμένη στατιστική, Θεσσαλονίκη: Εκδόσεις Ζήτη.
[11] Παπαδόπουλος, Γ.Κ. (2015). Εισαγωγή στις πιθανότητες και τη στατιστική. Αθήνα: Εκδόσεις Gutenberg.
[12] Παπαϊωάννου, Τ., & Λουκάς, Σ. (2002). Εισαγωγή στη στατιστική. Αθήνα: Εκδόσεις Σταμούλη Α. Ε.
[13] Φερεντίνος, Κ., Ζωγράφος, Κ., & Παπαϊωάννου, Τ. (2020). Εκτιμητική και έλεγχος υποθέσεων. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
232
ΒΙΒΛΙΟΓΡΑΦΙΑ
[14] Box, G.E.P., Hunter, W.G., & Hunter, J. S. (2005). Statistics for experimenters: design, innovation and
discovery (2nd ed.). John Wiley and Sons.
[15] Box, G.E.P., Hunter, W.G., & Hunter, J.S. (1978). Statistics for experimenters. John Wiley and Sons.
[16] Field, A. (2021). Μία περιπέτεια στη στατιστική (Ε. Γάκη, Χ. Παρπούλα & Η. Σαντουρίδης, Επιμ.).
Αθήνα: Εκδόσεις Προπομπός.
[17] Fisher, R.A., & Yates, F. (1953). Statistical tables for biological, agricultural, and medical Research (4th
ed.). Oliver and Boyd.
[18] Hicks, C.R. (1997). Fundamental concepts in the design of experiments (4th ed.). John Wiley and Sons.
[19] Lawson, J. (2014). Design and analysis of experiments with R. Chapman and Hall/CRC.
[20] Martins, M.C.M., Caldana, C., Wolf, L.D., & de Abreu, L.G.F. (2018). The importance of experimental design, quality assurance, and control in plant metabolomics experiments. Methods Mol Biol.,
1778, 3-17. doi: 10.1007/978-1-4939-7819-9_1. PMID: 29761427
[21] Mitra, A. (2016). Fundamentals of quality control and improvement (4th ed.). John Wiley and Sons.
[22] Montgomery, D.C. (2013). Design and analysis of experiments (8th ed.). John Wiley and Sons.
ΚΕΦΑΛΑΙΟ 9
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει πλήρη και κλασματικά παραγοντικά πειράματα, με παράγοντες ενδιαφέροντος με δύο ή τρεις στάθμες.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση των προηγουμένων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• αναγνωρίζει πειράματα με παράγοντες δύο ή τριών επιπέδων και να προσδιορίζει την επίδραση
τόσο καθενός ξεχωριστά όσο και της αλληλεπίδρασής τους, σε μία διεργασία,
• εφαρμόζει την ανάλυση διακύμανσης σε πειράματα με f δι- ή τρι-σταθμικούς παράγοντες και
να αναδεικνύει τη σχέση μεταξύ ανάλυσης διακύμανσης και ανάλυσης παλινδρόμησης,
• χρησιμοποιεί πλήρη ή κλασματικά παραγοντικά πειράματα, προκειμένου να μελετώνται μέσω
της ανάλυσης διακύμανσης, πειράματα με παράγοντες δύο ή τριών επιπέδων (σταθμών),
• επιλέγει μεταξύ υποψήφιων κλασματικών πειραματικών σχεδιασμών, εκείνον που εξυπηρετεί
τις ανάγκες του για τη μελέτη των σημαντικών για την έρευνα παραγόντων.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
234
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
9.1 2f παραγοντικά πειράματα
Στο κεφάλαιο αυτό θα συνεχίσουμε τη μελέτη παραγοντικών πειραμάτων (σχεδιασμών) τα οποία είναι ιδιαίτερα δημοφιλή στην πράξη και αφορούν παράγοντες που έχουν δύο μόνο επίπεδα (ή στάθμες). Οι σχεδιασμοί
αυτοί συμβολίζονται με 2f , όπου η βάση του συμβόλου δηλώνει τον αριθμό των επιπέδων και η δύναμη f τον
αριθμό των εξεταζομένων παραγόντων. Τα δύο κλασικότερα παραδείγματα είναι τα παραγοντικά 22 και 23
στα οποία θα δοθεί έμφαση στο κεφάλαιο αυτό.
Τα συγκεκριμένα παραγοντικά πειράματα αποτελούν ένα ιδανικό παράδειγμα που επιτρέπει να γίνει η διασύνδεση μεταξύ των δύο βασικών συστατικών του παρόντος εγχειριδίου, δηλαδή της Ανάλυσης Παλινδρόμησης
και της Ανάλυσης Διακύμανσης. Με άλλα λόγια, θα εκμεταλλευτούμε την απλότητα των 2f παραγοντικών
σχεδιασμών για να αναδείξουμε την ισχυρή μαθηματική σχέση αλλά και την ισοδυναμία των δύο αυτών τεχνικών, που τελικά είναι άρρηκτα συνδεδεμένες. Η συγκεκριμένη κατηγορία πειραμάτων επιτρέπει επιπρόσθετα
να αναδειχθεί και ο μηχανισμός λειτουργίας της ανάλυσης διακύμανσης και της εκτίμησης των επιδράσεων
των εμπλεκόμενων παραγόντων, με τρόπο απλό, ώστε να γίνει κατανοητός ο στατιστικός (μαθηματικός) μηχανισμός της μεθοδολογίας.
Για τον συμβολισμό των δύο επιπέδων των παραγόντων χρησιμοποιούνται τα σύμβολα − και +, ενώ συχνά χρησιμοποιούνται και οι χαρακτηρισμοί χαμηλό και υψηλό ή 1 και 2 ή ακόμα και −1 και +1. Στην πράξη,
μπορεί να μην υπάρχει πραγματική ιεράρχηση μεταξύ των επιπέδων και ο Ερευνητής να αναθέτει στο κάθε
επίπεδο τον χαρακτηρισμό που επιθυμεί. Αυτό συμβαίνει συχνά σε ποιοτικούς παράγοντες (π.χ. οι 2 χειριστές, οι 2 μηχανές παραγωγής ή το φύλο του χειριστή κ.ο.κ.) αλλά όχι σε ποσοτικούς όπου είναι σχεδόν πάντα
εφικτό να ιεραρχηθούν τα δύο επίπεδα (χαμηλό ποσοστό υγρασίας, υψηλό ποσοστό υγρασίας ή θερμοκρασίες
κάτω από 10 βαθμούς και θερμοκρασίες από 10 και άνω κ.ο.κ.).
Σε ένα 2f παραγοντικό ο Ερευνητής έχει να μελετήσει 2f θεραπείες, αφού τόσοι είναι οι συνδυασμοί των
επιπέδων των f παραγόντων. Το πρόβλημα είναι αρκετά απλό, όταν ο αριθμός f των παραγόντων είναι σχετικά μικρός, 2, 3 ή 4. Όσο όμως το f αυξάνεται το πρόβλημα καθίσταται ιδιαίτερα πολύπλοκο γιατί αυξάνεται
σημαντικά ο αριθμός θεραπειών και άρα ο χρόνος και το κόστος πειραματισμού εύκολα εκτοξεύονται. Για
παράδειγμα, για 5 παράγοντες A, B, C, D και E οι θεραπείες είναι 25 = 32 και αν ο Ερευνητής θέλει να
μελετήσει και αλληλεπιδράσεις θα πρέπει να κάνει τουλάχιστον μία επανάληψη και άρα θα χρειαστεί 64 μετρήσεις. Ο αριθμός εκτελέσεων του πειράματος (με μία επανάληψη) αυξάνεται στα 128 για 7 παράγοντες και στα
1024 για 10 παράγοντες. Οι τιμές αυτές καθιστούν απαγορευτική τη μελέτη του πλήρους παραγοντικού πειράματος για f ίσο ακόμα και με 4 ή με 5. Αυτός είναι και ο λόγος που στο παρόν κεφάλαιο θα εξεταστούν μόνο
οι περιπτώσεις για f = 2 και f = 3. Για τις υπόλοιπες περιπτώσεις θα συζητηθούν και θα μελετηθούν τα κλασματικά παραγοντικά πειράματα στο επόμενο κεφάλαιο. Πράγματι, όπως είχε αναφερθεί και στην εισαγωγή
του Κεφαλαίου 7, ο αυξημένος αριθμός παραγόντων από τη μία και η ανάγκη διερεύνησης αλληλεπιδράσεων
μεταξύ των εμπλεκόμενων παραγόντων από την άλλη, επιφέρουν πρόσθετη πολυπλοκότητα. Τα προβλήματα
αυτά αντιμετωπίζονται επιτυχώς με τη χρήση κατάλληλων πειραματικών σχεδιασμών που βασίζονται σε ένα
κατάλληλα επιλεγμένο υποσύνολο όλων των δυνατών συνδυασμών (θεραπειών) περιορίζοντας πολύ και τον
χρόνο και το κόστος του πειράματος. Τα Κλασματικά Παραγοντικά Πειράματα βασίζονται στις μισές ή στο
ένα τέταρτο των συνδυασμών (θεραπειών) που απαιτεί το Πλήρες Παραγοντικό Πείραμα, και επιλέγονται με
τρόπο ώστε να διασφαλίζονται η αξιολόγηση των κύριων επιδράσεων και ένας ικανοποιητικός αριθμός (αλλά
όχι όλων) των αλληλεπιδράσεων. Το θέμα αυτό θα είναι το αντικείμενο του δεύτερου μέρους του παρόντος
κεφαλαίου.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
235
9.1.1 Το 22 παραγοντικό πείραμα
Για διευκόλυνση της μελέτης του 22 παραγοντικού πειράματος, θα χρησιμοποιηθεί ειδικός συμβολισμός για
την παρουσίαση του οποίου θα αξιοποιηθεί το πιο κάτω παράδειγμα:
Παράδειγμα 9.1. Έστω δύο παράγοντες A και με δύο επίπεδα έκαστος, έστω + και −. Εκτελούνται n = 4 επαναλήψεις σε καθεμία από τις τέσσερις θεραπείες, δηλαδή τις (−, −), (+, −), (−, +) και (+, +). Tα αθροίσματα
των επαναλήψεων ανά θεραπεία παρατίθενται στην τελευταία στήλη του Πίνακα Δεδομένων.
Πίνακας 9.1: Πίνακας Δεδομένων - 22 Παραγοντικό Πείραμα με n = 4 επαναλήψεις
Επανάληψη
I
II
III
IV
Σύνολο
(−, −)
118.7
116.9
120.7
112.6
(1) = 468.7
(+, −)
114.7
115.5
116.7
119.2
a = 466.1
(−, +)
107.1
107.5
106.6
105.9
b = 427.1
(+, +)
124.0
125.1
120.3
124.5
ab = 493.7
(Α,Β)
Όπως φαίνεται στον Πίνακα Δεδομένων, στην τελευταία στήλη γίνεται χρήση ειδικών συμβόλων. Τα σύμβολα που
εμφανίζονται είναι τέσσερα: (1), a, b και ab και αντιστοιχούν στις τέσσερις θεραπείες του πειράματος ((−, −),
(+, −), (−, +) και (+, +)) με τα σύμβολα a και b να παραπέμπουν στους αντίστοιχους παράγοντες A και B.
Συγκεκριμένα, στην περίπτωση που ο χαρακτηρισμός/σύμβολο είναι:
• το (1) σημαίνει ότι όλοι οι εμπλεκόμενοι παράγοντες συμμετέχουν στο αντίστοιχο/α πείραμα/τα με το
χαμηλό τους επίπεδο (δηλαδή δεν υπάρχουν παράγοντες που να μετέχουν στο πείραμα στο υψηλό τους
επίπεδο) - η θεραπεία είναι η (−, −),
• το a (ή το b) σημαίνει ότι ο αντίστοιχος παράγοντας A (ή ο B) είναι ο μοναδικός που μετέχει στο/α αντίστοιχο/α πείραμα/τα με το υψηλό του επίπεδο, ενώ ο άλλος, δηλαδή ο B (ή ο A) μετέχει με το χαμηλό του
επίπεδο - η θεραπεία είναι η (+, −) για το σύμβολο a, ενώ για το σύμβολο b είναι η θεραπεία (−, +) και
• το ab σημαίνει ότι και οι δύο παράγοντες μετέχουν στα αντίστοιχα πειράματα με το υψηλό τους επίπεδο - η
θεραπεία είναι η (+, +).
Tα σύμβολα μπορούν να γενικευτούν για να καλύψουν οποιονδήποτε αριθμό παραγόντων. Έτσι για παράδειγμα, σε
ένα 25 παραγοντικό πείραμα με τους παράγοντες A, B, C, D και E, η θεραπεία με συμβολισμό ace είναι εκείνη
όπου οι παράγοντες που αντιστοιχούν στα σύμβολα a, c και e, δηλαδή οι A, C και μετέχουν στο πείραμα (ή στα
πειράματα, αν γίνονται επαναλήψεις) με το υψηλό τους επίπεδο, ενώ όλοι οι υπόλοιποι παράγοντες, δηλαδή οι B
και D με το χαμηλό τους επίπεδο (θεραπεία (+, −, +, −, +)).
Παρατηρώντας τα δεδομένα του Πίνακα 9.1, ο Ερευνητής μπορεί να αποκομίσει μία πρώτη εικόνα για το φαινόμενο που έχει κληθεί να μελετήσει. Εδώ διαπιστώνεται ότι:
• όταν ο παράγοντας A είναι στο χαμηλό επίπεδο (−), ανεξάρτητα από το επίπεδο στο οποίο βρίσκεται ο
παράγοντας B, οι τιμές της μεταβλητής απόκρισης Y είναι αρκετά χαμηλές (περίπου από το 105 έως το
120) σε σχέση με τις τιμές όταν ο A βρίσκεται στο υψηλό επίπεδο (+) (είναι περίπου από το 115 έως το
125). Κατά μέσο όρο, οι τιμές στο χαμηλό επίπεδο του A πρέπει να είναι κοντά στο 110, ενώ στο υψηλό
επίπεδο του A πρέπει (ο μέσος όρος) να είναι κοντά στο 120,
236
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
• τα αθροίσματα (τελευταία στήλη του Πίνακα Δεδομένων) που αντιστοιχούν στο χαμηλό επίπεδο του A
((1) = 468.7, b = 427.1) είναι σαφώς χαμηλότερα από αυτά που αντιστοιχούν στο υψηλό επίπεδο του
A (a = 466.1, ab = 493.7) - δηλαδή επιβεβαιώνεται η προηγούμενη παρατήρηση,
• όταν ο παράγοντας B είναι στο χαμηλό επίπεδο (−), ανεξάρτητα από το επίπεδο στο οποίο βρίσκεται ο
παράγοντας A, οι τιμές της μεταβλητής απόκρισης Y είναι αρκετά όμοιες κατά μέσο όρο (γύρω στο 115 με
μέσο όρο περίπου 115) με τις τιμές όταν ο B βρίσκεται στο υψηλό επίπεδο (+) (από 105 έως 125 με μέσο
όρο περίπου 115). Η ίδια παρατήρηση επιβεβαιώνεται και από τα αθροίσματα στην τελευταία στήλη του
Πίνακα Δεδομένων (συγκρίνοντας τα αθροίσματα που περιλαμβάνουν στον συμβολισμό τους το b με αυτά
που δεν περιέχουν το b),
• οι τιμές της μεταβλητής απόκρισης για τα πειράματα για τα οποία οι παράγοντες είναι τοποθετημένοι ο
ένας στο χαμηλό και ο άλλος στο υψηλό του επίπεδο (πρόκειται για τις θεραπείες a και b - μετρήσεις στις
δύο μεσαίες γραμμές του Πίνακα Δεδομένων), είναι αρκετά χαμηλότερες (από το 105 έως το 120 με μέσο
όρο περίπου 110) από τις τιμές που αντιστοιχούν στα πειράματα με τους παράγοντες είτε και τους δύο στο
χαμηλό είτε και τους δύο στο υψηλό επίπεδο (πρόκειται για τις θεραπείες ab και (1) - μετρήσεις στην πρώτη
και στην τέταρτη γραμμή του Πίνακα Δεδομένων με τιμές από 112 μέχρι 125 και μέσο όρο περίπου 120).
Με βάση τις παρατηρήσεις, ο Ερευνητής μπορεί να πιθανολογήσει ότι ο Παράγοντας A πρέπει να έχει επίδραση
στη μεταβλητή απόκρισης αλλά το ίδιο μάλλον δεν ισχύει για τον Παράγοντα B. Όσον αφορά την αλληλεπίδραση,
φαίνεται να παρουσιάζει μία εικόνα παρόμοια, εάν όχι ταυτόσημη, με τον Παράγοντα A. Αν όλες αυτές οι παρατηρήσεις επιβεβαιωθούν και στατιστικά με τη Διπαραγοντική Ανάλυση Διακύμανσης με αλληλεπίδραση, τότε το
ιδανικό (θεωρητικό) πρότυπο θα είναι:
yijk = µ + αi + βj + (αβ)ij + εijk , i, j = 1, 2, k = 1, 2, 3, 4.
Ο Πίνακας Δεδομένων μπορεί να βοηθήσει στον προσδιορισμό των επιδράσεων τόσο των κύριων επιδράσεων όσο
και των αλληλεπιδράσεων. Πράγματι, οι εκτιμητές των παραμέτρων µ, α1 , α2 , β1 , β2 , (αβ)11 , (αβ)12 , (αβ)21
και (αβ)22 μπορούν, με βάση την απλή λογική, να προσδιοριστούν:
• Ο Ολικός (γενικός) μέσος µ μπορεί να εκτιμηθεί ως ο μέσος όρος όλων των μετρήσεων:
µ̂ =
(1) + a + b + ab
1856
1 X
yijk =
=
= 116.
4n i,j,k
16
16
• Για την επίδραση του παράγοντα A θα πρέπει να συγκριθούν τα αθροίσματα που αφορούν θεραπείες στις
οποίες εμφανίζεται το σύμβολο a (a, ab) με αυτά που αφορούν θεραπείες στις οποίες δεν εμφανίζεται το
σύμβολο a ((1), b). Επειδή το κάθε άθροισμα βασίζεται σε n = 4 επαναλήψεις, η επίδραση προκύπτει
από τον μέσο όρο των δύο περιπτώσεων:
A=
960 − 896
a + ab (1) + b
−
=
= 8.
2n
2n
8
• Για την επίδραση του παράγοντα B θα πρέπει να συγκριθούν τα αθροίσματα που αφορούν θεραπείες στις
οποίες εμφανίζεται το σύμβολο b (b, ab) με αυτά που αφορούν θεραπείες στις οποίες δεν εμφανίζεται το
σύμβολο b ((1), a). Η επίδραση προκύπτει από τον μέσο όρο των δύο περιπτώσεων (κάθε άθροισμα βασίζεται σε n = 4 επαναλήψεις):
B=
921 − 935
b + ab (1) + a
−
=
= −1.75.
2n
2n
8
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
237
• Για την αλληλεπίδραση των παραγόντων A και B θα πρέπει να συγκριθούν τα αθροίσματα που αφορούν
θεραπείες στις οποίες εμφανίζεται μόνο ένας παράγοντας στο υψηλό επίπεδο (a, b) με αυτά που αφορούν τις
λοιπές θεραπείες ((1), ab). Η επίδραση προκύπτει από τον μέσο όρο των δύο περιπτώσεων (κάθε άθροισμα
βασίζεται σε n = 4 επαναλήψεις):
AB =
b + a (1) + ab
962.4 − 893.2
−
=
= 8.70.
2n
2n
8
Είναι προφανές ότι αν οι συγκρίσεις γίνουν αντίστροφα, οι τιμές που θα προκύψουν θα είναι ίδιες με αντίθετο πρόσημο. Πράγματι, αν για παράδειγμα, για τον παράγοντα A συγκριθούν οι μετρήσεις όταν βρίσκεται στο χαμηλό
επίπεδο (−) με αυτές που αντιστοιχούν στο υψηλό επίπεδο (+) το αποτέλεσμα θα είναι −8. Ομοίως, για τα B
και AB θα προκύψουν οι τιμές +1.75 και −8.70.
Οι τιμές αναδεικνύουν όσα είχαν παρατηρηθεί και νωρίτερα, ότι δηλαδή οι επιδράσεις των A και AB είναι κοντά στις 10 μονάδες (δηλαδή είναι πολύ ισχυρές), ενώ η επίδραση του B είναι πολύ κοντά στο μηδέν (δηλαδή είναι
πολύ ασθενής). Η στατιστική σημαντικότητα των τιμών αυτών θα διαπιστωθεί με την εφαρμογή της Διπαραγοντικής Ανάλυσης Διακύμανσης.
Οι πιο πάνω τύποι μπορούν να αναδιατυπωθούν ως ακολούθως:
(1) + a + b + ab
,
n22
−(1) + a − b + ab
A=
,
n22−1
−(1) − a + b + ab
B=
n22−1
µ̂ =
(9.1)
(9.2)
(9.3)
και
+(1) − a − b + ab
,
(9.4)
n22−1
όπου η τιμή 2, που εμφανίζεται σε όλες τις δυνάμεις (στους παρονομαστές), αναφέρεται στον αριθμό των εμπλεκόμενων παραγόντων (A και B).
AB =
Οι πιο πάνω τύποι αποτυπώνονται και στον λεγόμενο Πίνακα Αλγεβρικών Προσήμων ο οποίος έχει μία 1η στήλη
όπου καταχωρίζονται η μία μετά την άλλη οι συμβολισμοί των θεραπειών, με τη σειρά που φαίνονται στον Πίνακα
Δεδομένων, δηλαδή (1), a, b και ab.
Ο Πίνακας Αλγεβρικών Προσήμων έχει τέσσερις ακόμα στήλες με τη 2η να συμβολίζεται με I και να αντιπροσωπεύει ένα μοναδιαίο στοιχείο (γι’ αυτό έχει παντού το σύμβολο (+)) και τρεις ακόμα στήλες που αντιστοιχούν
στις επιδράσεις των A, B και AB. Στη στήλη που αφορά τον παράγοντα A, καταχωρίζονται τα τέσσερα πρόσημα
(από τον τύπο (9.2) για το A) που αντιστοιχούν στις τέσσερις θεραπείες (με τη σειρά που αυτές έχουν καταχωριστεί στην 1η στήλη του Πίνακα). Ομοίως, για τις στήλες που αφορούν τα B και AB.
238
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.2: Πίνακας Αλγεβρικών Προσήμων - 22 Παραγοντικό Πείραμα με n = 4 επαναλήψεις
Επίδραση
I
A
B
AB
(1)
+
−
−
+
a
+
+
−
−
b
+
−
+
−
ab
+
+
+
+
Θεραπεία
Από τον Πίνακα Αλγεβρικών Προσήμων βλέπουμε ότι:
• πολλαπλασιάζοντας τα πρόσημα στις στήλες των κύριων επιδράσεων A και B ανά δύο, προκύπτουν τα
πρόσημα της στήλης της αλληλεπίδρασης,
• πολλαπλασιάζοντας τα πρόσημα της στήλης που αντιστοιχεί στο μοναδιαίο στοιχείο I με τα αντίστοιχα
πρόσημα οποιασδήποτε άλλης από τις επόμενες στήλες, οι στήλες αυτές παραμένουν αμετάβλητες,
• πολλαπλασιάζοντας τα πρόσημα στις στήλες A, B και AB με τον εαυτό τους, προκύπτει η στήλη I, δηλαδή
A2 = B 2 = (AB)2 = I,
• συνδυάζοντας τα πρόσημα της στήλης μίας κύριας επίδρασης με τα σύμβολα των θεραπειών στην 1η στήλη
και αθροίζοντας, προκύπτει ο τύπος της κύριας επίδρασης, όπως δόθηκε νωρίτερα (αφού γίνει η διαίρεση
με 2n, όπου n ο αριθμός των επαναλήψεων),
• συνδυάζοντας τα πρόσημα της στήλης της αλληλεπίδρασης με τις θεραπείες στην 1η στήλη του Πίνακα
προκύπτει ο τύπος για την επίδραση της αλληλεπίδρασης (αφού γίνει η διαίρεση με 2n, όπου n ο αριθμός
των επαναλήψεων),
• συνδυάζοντας τα πρόσημα της στήλης που αντιστοιχεί στο μοναδιαίο στοιχείο I με τα σύμβολα των θεραπειών στην 1η στήλη και αθροίζοντας, προκύπτει ο τύπος του ολικού μέσου, όπως δόθηκε νωρίτερα (αφού
γίνει η διαίρεση με 4n, όπου n ο αριθμός των επαναλήψεων),
• αντιστοιχίζοντας τα σύμβολα (1), a, b και ab με τα σύμβολα W1 , W2 , W3 και W4 παρατηρούμε ότι οι
προηγούμενοι τύποι για όλες τις επιδράσεις (συμπεριλαμβανομένης της αλληλεπίδρασης), μπορούν να δοθούν από τον γενικό τύπο του Contrast C:
C=
4
X
ci W i ,
(9.5)
i=1
όπου ci συντελεστές (διαφορετικοί για κάθε επίδραση) ίσοι με −1 ή +1 τέτοιοι ώστε για οποιαδήποτε από
τις τρεις επιδράσεις του 22 παραγοντικού πειράματος, να ικανοποιούν τη σχέση:
4
X
ci = 0,
i=1
ενώ παράλληλα ισχύει ότι:
4
X
i=1
c2i = 4.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
239
Λόγω του ότι η ενότητα αυτή αφορά δύο μόνο παράγοντες και τέσσερις θεραπείες, είναι εύκολο με απλές πράξεις,
να διαπιστώσει κανείς ότι τα αθροίσματα τετραγώνων που αντιστοιχούν στα A, B και AB δίνονται από τους
απλοποιημένους (γενικούς) τύπους:
SSA = n22−2 A2 , SSB = n22−2 B 2 , SSAB = n22−2 [AB]2 ,
(9.6)
όπου A, B και AB δίνονται από τους τύπους των επιδράσεων και το +2 στους εκθέτες αναφέρεται στον αριθμό
των εμπλεκόμενων παραγόντων.
Εφαρμόζοντας τους τύπους (9.6) εύκολα προκύπτει ότι για το παράδειγμα έχουμε:
SSA = 4 × 1 × 82 = 256, SSB = 4 × 1 × (−1.75)2 = 12.25 & SSAB = 4 × 1 × 8.72 = 302.76.
Ακολουθώντας τη συνήθη διαδικασία στο Minitab, δηλαδή:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
μπορούμε να δημιουργήσουμε τον Πίνακα Ανάλυσης Διασποράς για το πρότυπο με δύο σταθερούς παράγοντες και
αλληλεπίδραση:
Πίνακας 9.3: Πίνακας ANOVA - Παράδειγμα 22 Παραγοντικό Πείραμα με n = 4 επαναλήψεις
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
256.00
B
1
AB
Μέσο
F
p-value
256.00
48.92
0.000
12.25
12.25
2.34
0.152
1
302.76
302.76
57.86
0.000
Σφάλματα
12
62.79
5.233
−
−
Ολική
15
633.80
−
−
−
Άθροισμα
Τετραγώνων
με τους εκτιμητές των παραμέτρων να προκύπτουν, εάν στα Results για τους Coefficients γίνει η επιλογή Full
Set of Coefficients που θα δώσει τις τιμές όλων των παραμέτρων (συμπεριλαμβανομένων των τυπικών τους σφαλμάτων):
µ̂ = 116, â(−) = −4.00, â(+) = +4.00, b̂(−) = +0.875, b̂(+) = −0.875,
c
c
c
c
ab
(−,−) = ab(+,+) = 4.35, ab(+,−) = ab(−,+) = −4.35.
Δεν είναι δύσκολο να προσέξει κάποιος στα πιο πάνω αποτελέσματα, ότι:
• ο εκτιμητής του γενικού μέσου ταυτίζεται με αυτόν που προέκυψε νωρίτερα ως ο μέσος όρος όλων των μετρήσεων του πειράματος,
• οι εκτιμητές των κύριων επιδράσεων των παραγόντων A και B στο υψηλό επίπεδο, ισούνται αντιστοίχως
με â(+) = +4.00 και b̂(+) = −0.875 που είναι ίσοι με το ήμισυ των επιδράσεων που υπολογίστηκαν
νωρίτερα με τη χρήση των μέσων και ήταν = 8.00 και = −1.75.
• η εκτιμήτρια της αλληλεπίδρασης για την περίπτωση που οι παράγοντες είναι και οι δύο στο υψηλό ή και
c
c
οι δύο στο χαμηλό επίπεδο, υπολογίστηκαν ab
(−,−) = ab(+,+) = 4.35 που είναι το ήμισυ της αλληλεπίδρασης που υπολογίστηκε με τη χρήση των μέσων, και ήταν = 8.70.
240
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Το φαινόμενο των εκτιμητών των παραμέτρων που ισούνται με το ήμισυ των επιδράσεων που υπολογίστηκαν νωρίτερα, σχετίζεται με τη συναρτησιακή μορφή του προτύπου και θα παρατηρηθεί και αργότερα όταν γίνει η διασύνδεση της Ανάλυσης Διακύμανσης με την Ανάλυση Παλινδρόμησης, όπου αξιοποιώντας τον Πίνακα Αλγεβρικών
Προσήμων θα προκύψει ένα μοντέλο παλινδρόμησης με την ίδια ιδιαιτερότητα, όπως αυτή που μόλις εντοπίστηκε.
Πρώτα όμως, στην επόμενη ενότητα θα γίνει η γενίκευση της μελέτης για 2f παραγοντικά πειράματα με έμφαση
στην περίπτωση 23 .
9.1.2 Το 23 παραγοντικό πείραμα
Έστω ότι f = 3 και ότι οι τρεις εμπλεκόμενοι παράγοντες είναι οι A, B και C με δύο επίπεδα ο καθένας, τα
οποία συμβολίζονται με (−) και (+) και αντιπροσωπεύουν το χαμηλό και το υψηλό επίπεδο του κάθε παράγοντα.
Είναι εύκολο να διαπιστωθεί ότι το πείραμα έχει 8 θεραπείες, οι οποίες με τη βοήθεια του συμβολισμού που
έχει ήδη προταθεί, είναι οι εξής:
Πίνακας 9.4: Θεραπείες στο 23 Παραγοντικό Πείραμα
A
B
C
Θεραπεία
−
−
−
(1)
+
−
−
a
−
+
−
b
+
+
−
ab
−
−
+
c
+
−
+
ac
−
+
+
bc
+
+
+
abc
Πολλαπλασιάζοντας τα πρόσημα των παραγόντων ανά δύο, εντοπίζονται τα πρόσημα των αλληλεπιδράσεων
ανά δύο (δηλαδή των AB, AC και BC), ενώ αν πολλαπλασιαστούν τα πρόσημα και των τριών παραγόντων,
θα προκύψουν τα πρόσημα της αλληλεπίδρασης 2ης τάξης, δηλαδή της ABC. Κατά συνέπεια, είναι εύκολος ο
προσδιορισμός του Πίνακα Αλγεβρικών Προσήμων για την περίπτωση του 23 παραγοντικού πειράματος που
περιγράφεται από το πρότυπο:
yijkl = µ + αi + βj + γk + (αβ)ij + (αγ)ik + (βγ)jk
+ (αβγ)ijk + ϵijkl , i = 1, ..., a, j = 1, ..., b, k = 1, ..., c, l = 1, ..., n.
(9.7)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
241
Πίνακας 9.5: Πίνακας Αλγεβρικών Προσήμων στο 23 Παραγοντικό Πείραμα
Θεραπεία
I
A
B
C
AB
AC
BC
ABC
(1)
+
−
−
−
+
+
+
−
a
+
+
−
−
−
−
+
+
b
+
−
+
−
−
+
−
+
ab
+
+
+
−
+
−
−
−
c
+
−
−
+
+
−
−
+
ac
+
+
−
+
−
+
−
−
bc
+
−
+
+
−
−
+
−
abc
+
+
+
+
+
+
+
+
Μέσω του Πίνακα Αλγεβρικών Προσήμων μπορούν να υπολογιστούν οι επιδράσεις όλων των εμπλεκόμενων
παραγόντων, συμπεριλαμβανομένων όλων των αλληλεπιδράσεων. Έστω ότι το πείραμα εκτελείται με n επαναλήψεις. Τότε για την εύρεση κάθε επίδρασης θα συνδυαστούν τα πρόσημα κάθε στήλης του Πίνακα, από την
3η μέχρι την τελευταία στήλη, με τις αντίστοιχες θεραπείες της 1ης στήλης. Έτσι, οι επιδράσεις προκύπτουν
από τον γενικό τύπο της προηγούμενης ενότητας με f = 3:
A=
B=
C=
AB =
AC =
BC =
ABC =
−(1) + a − b + ab − c + ac − bc + abc
,
n23−1
−(1) − a + b + ab − c − ac + bc + abc
,
n23−1
−(1) − a − b − ab + c + ac + bc + abc
,
n23−1
+(1) − a − b + ab + c − ac − bc + abc
,
n23−1
+(1) − a + b − ab − c + ac − bc + abc
,
n23−1
+(1) + a − b − ab − c − ac + bc + abc
και
n23−1
−(1) + a + b − ab + c − ac − bc + abc
n23−1
με τα αντίστοιχα αθροίσματα τετραγώνων να δίνονται από τον τύπο
SSAk = n23−2 A2k
(9.8)
με Ak να είναι μία οποιαδήποτε από τις οκτώ επιδράσεις του προσδιορίστηκαν παραπάνω. Τέλος, συνδυάζοντας τα πρόσημα στη στήλη I με τη στήλη των θεραπειών, προκύπτει ο εκτιμητής του µ:
µ̂ =
1 + a + b + ab + c + ac + bc + abc
.
n23
9.1.3 Η γενική περίπτωση του 2f παραγοντικού πειράματος
Οι τύποι των δύο προηγουμένων ενοτήτων γενικεύονται για οποιονδήποτε αριθμό παραγόντων f . Αν για
παράδειγμα ο Ερευνητής επιθυμεί τη μελέτη των f παραγόντων A1 − Af , f > 1, τότε το άθροισμα τετρα-
242
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
γώνων του παράγοντα Ak , k = 1, ..., f δίνεται από τον γενικό τύπο:
SSAk = n2f −2 A2k ,
(9.9)
με την ίδια την επίδραση Ak να δίνεται από το κατάλληλο τύπο Contrast με 2f όρους και κατάλληλα ορισμένες
θεραπείες W1 , ...W2f :
f
C=
2
X
ci W i
i=1
διαιρεμένο με τον συνολικό αριθμό μετρήσεων ανά επίπεδο:
Ak =
C
.
n2f −1
9.1.4 Το πρότυπο της παλινδρόμησης
Για τη μετάβαση στην Ανάλυση Παλινδρόμησης, στον Πίνακα των Αλγεβρικών Προσήμων αντιστοιχίζουμε
τους δύο παράγοντες A και B καθώς και την αλληλεπίδραση AB με τις μεταβλητές Xa = xa , Xb = xb και
Xab = xab , με τρόπο ώστε να οριστεί το μοντέλο παλινδρόμησης με σταθερό όρο ως εξής:
y = β0 + β1 xa + β2 xb + β3 xab + ε
ή εναλλακτικά:
y = β0 x0 + β1 xa + β2 xb + β3 xab + ε,
όπου X0 = x0 μία ψευδομεταβλητή που ισούται πάντα με τη μονάδα και αντιστοιχεί στο μοναδιαίο στοιχείο
I. Ο Πίνακας των μεταβλητών ισοδυναμεί με τον Πίνακα Αλγεβρικών Προσήμων με +1 αντί για (+) και −1
αντί για (−):
Πίνακας 9.6: Πίνακας Μεταβλητών Παλινδρόμησης στο 22 Παραγοντικό Πείραμα
Τιμές
I ≡ X0
A ≡ Xa
B ≡ Xb
≡ Xab
(1)
+1
−1
−1
+1
a
+1
+1
−1
−1
b
+1
−1
+1
−1
ab
+1
+1
+1
+1
Μεταβλητές
Σε καθεμία από τις 4 τιμές του Πίνακα (1η στήλη) που δεν είναι άλλες από τις θεραπείες του πειράματος,
αντιστοιχίζουμε τις μετρήσεις και καταλήγουμε σε ένα σύνολο δεδομένων ίσο με το γινόμενο του αριθμού θεραπειών και του αριθμού των επαναλήψεων n. Άρα, η ανάλυση παλινδρόμησης έχει n × 2f παρατηρήσεις.
Ο πιο κάτω πίνακας δίνει τις μεταβλητές της ανάλυσης παλινδρόμησης για το 23 παραγοντικό πείραμα. Παρατηρήστε ότι ο πίνακας δεν είναι άλλος από τον πίνακα αλγεβρικών προσήμων (Πίνακας 9.5) με τις στήλες
να αναφέρονται πλέον ως μεταβλητές (έχουν χρησιμοποιηθεί για ευκολία τα σύμβολα X0 , X1 , ..., X7 αντί
αντιστοίχως, των I, A, B, C, AB, AC, BC και ABC) και τα πρόσημα να έχουν αντικατασταθεί (το μεν
(+) με +1, το δε (−) με −1), όπως στην περίπτωση του 22 παραγοντικού πειράματος:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
243
Πίνακας 9.7: Πίνακας Μεταβλητών Παλινδρόμησης στο 23 Παραγοντικό Πείραμα
Θεραπεία
X0
X1
X2
X3
X4
X5
X6
X7
(1)
1
−1
−1
−1
+1
+1
+1
−1
a
1
+1
−1
−1
−1
−1
+1
+1
b
1
−1
+1
−1
−1
+1
−1
+1
ab
1
+1
+1
−1
+1
−1
−1
−1
c
1
−1
−1
+1
+1
−1
−1
+1
ac
1
+1
−1
+1
−1
+1
−1
−1
bc
1
−1
+1
+1
−1
−1
+1
−1
abc
1
+1
+1
+1
+1
+1
+1
+1
Τα δύο επόμενα παραδείγματα εφαρμόζουν την Ανάλυση Παλινδρόμησης όπως περιγράφηκε παραπάνω, ώστε
να αναδειχθεί η σχέση με την Ανάλυση Διακύμανσης. Για την περίπτωση του 22 παραγοντικού πειράματος
χρησιμοποιούνται για σκοπούς αντιπαραβολής, τα δεδομένα του παραδείγματος που χρησιμοποιήθηκε νωρίτερα στην Ανάλυση Διακύμανσης.
Παράδειγμα 9.2. Για τα δεδομένα του Παραδείγματος (9.1) έχουμε τον εξής πίνακα για την ανάλυση παλινδρόμησης:
244
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.8: Πίνακας Δεδομένων - Ανάλυση Παλινδρόμησης - 22 Παραγοντικό με 4 επαναλήψεις
Τιμές
Y
A ≡ Xa
B ≡ Xb
≡ Xab
(1)
118.7
−1
−1
+1
(1)
116.9
−1
−1
+1
(1)
120.7
−1
−1
+1
(1)
112.6
−1
−1
+1
a
114.7
+1
−1
−1
a
115.5
+1
−1
−1
a
116.7
+1
−1
−1
a
119.2
+1
−1
−1
b
107.1
−1
+1
−1
b
107.5
−1
+1
−1
b
106.6
−1
+1
−1
b
105.9
−1
+1
−1
ab
124.0
+1
+1
+1
ab
125.1
+1
+1
+1
ab
120.3
+1
+1
+1
ab
124.5
+1
+1
+1
Μεταβλητές
Ακολουθώντας στο Minitab τη διαδρομή
Stat
Ê
Regression
Ê
Regression
Ê
Fit Regression Model
με τη μεταβλητή απόκρισης Y να καταχωρίζεται στα Responses και τις μεταβλητές Xa , Xb και Xab στις Continuous Variables. Η εκτιμήτρια εξίσωση παλινδρόμησης που προκύπτει είναι:
ŷijk = 116.00 + 4.00Xa − 0.875Xb + 4.35Xab ,
ενώ για τους εκτιμητές των συντελεστών παλινδρόμησης έχουμε τον εξής πίνακα:
Πίνακας 9.9: Συντελεστές Παλινδρόμησης - 22 Παραγοντικό Πείραμα
Όρος
Εκτιμητής
Τυπικό Σφάλμα
Ελεγχοσυνάρτηση t
p-value
Constant
116.00
0.572
202.84
0.000
A ≡ Xa
4.00
0.572
6.99
0.000
B ≡ Xb
−0.875
0.572
−1.53
0.152
AB ≡ Xab
4.35
0.572
7.61
0.000
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
245
Παρατηρώντας τα αποτελέσματα της Ανάλυσης Παλινδρόμησης διαπιστώνουμε ότι:
• η εκτιμήτρια του σταθερού όρου β0 ( Constant), της εκτιμήτριας συνάρτησης παλινδρόμησης ισούται με
116 και ταυτίζεται με την εκτιμήτρια του γενικού μέσου όρου µ̂, όπως είχε προσδιοριστεί από τη βασική
ανάλυση και τη Διπαραγοντική Ανάλυση Διακύμανσης,
• οι εκτιμητές των συντελεστών παλινδρόμησης β1 , β2 και β3 ισούνται με 4.0, −0.875 και 4.35 που ισούνται με το ήμισυ των επιδράσεων των A, B και AB, όπως είχαν προσδιοριστεί από τη βασική ανάλυση,
• οι p-values στον πιο πάνω πίνακα αφορούν τους ελέγχους H0 : βi = 0, έναντι H1 : βi ̸= 0, i = 1, 2, 3
και ταυτίζονται με τις p-values από τον Πίνακα ANOVA της Διπαραγοντικής Ανάλυσης Διακύμανσης.
Κατ΄ ουσίαν οι έλεγχοι μηδενικών επιδράσεων στην Ανάλυση Διακύμανσης είναι ταυτόσημοι με τους ελέγχους μη σημαντικών (δηλαδή μηδενικών) συντελεστών παλινδρόμησης, κάτι που είναι αναμενόμενο, αφού
αν ένας συντελεστής παλινδρόμησης είναι ίσος με το μηδέν, τότε η αντίστοιχη (ανεξάρτητη) μεταβλητή
παλινδρόμησης δεν συνεισφέρει στο πρότυπο παλινδρόμησης και θα πρέπει να αφαιρεθεί.
Λαμβάνοντας υπόψη όλα τα παραπάνω, θα μπορούσαμε να αναδιατυπώσουμε το πρότυπο παλινδρόμησης αξιοποιώντας τον συμβολισμό και τους τύπους των επιδράσεων των εμπλεκόμενων παραγόντων A, B και AB:
ŷijk = µ̂ +
B
AB
A
Xa + Xb +
Xab ,
2
2
2
όπου µ, A, και AB οι επιδράσεις, όπως δίνονται στους τύπους (9.1)−(9.4).
Παράδειγμα 9.3. Έστω ένα 23 παραγοντικό πείραμα με παράγοντες A ≡ X1 , B ≡ X2 και C ≡ X3 το οποίο
εκτελείται με δύο επαναλήψεις (ανά θεραπεία). Οι 16 μετρήσεις δίνονται στον Πίνακα Δεδομένων, κατωτέρω, όπου
X4 − X7 αντιπροσωπεύουν τις τέσσερις αλληλεπιδράσεις AB, AC, BC και ABC:
246
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.10: Πίνακας Δεδομένων στο 23 Παραγοντικό Πείραμα με n = 2 επαναλήψεις
Θεραπεία
Y
X1
X2
X3
X4
X5
X6
X7
(1)
59
−1
−1
−1
+1
+1
+1
−1
(1)
61
−1
−1
−1
+1
+1
+1
−1
a
74
+1
−1
−1
−1
−1
+1
+1
a
70
+1
−1
−1
−1
−1
+1
+1
b
50
−1
+1
−1
−1
+1
−1
+1
b
58
−1
+1
−1
−1
−1
+1
+1
ab
67
+1
+1
−1
+1
−1
−1
−1
ab
69
+1
+1
−1
−1
−1
+1
+1
c
54
−1
−1
+1
+1
−1
−1
+1
c
50
−1
−1
+1
−1
+1
−1
−1
ac
81
+1
−1
+1
−1
−1
+1
−1
ac
85
+1
−1
+1
−1
−1
+1
−1
bc
44
−1
+1
+1
−1
−1
+1
−1
bc
46
−1
+1
+1
−1
−1
+1
−1
abc
79
+1
+1
+1
+1
+1
+1
+1
abc
81
+1
+1
+1
−1
−1
+1
−1
Ακολουθώντας στο Minitab τη διαδρομή
Stat
Ê
Regression
Ê
Regression
Ê
Fit Regression Model
με τη μεταβλητή απόκρισης Y να καταχωρίζεται στα Responses και τις μεταβλητές x1 − x7 στις Continuous
Variables. Η εκτιμήτρια συνάρτηση παλινδρόμησης που προκύπτει είναι:
ŷijk = 64.25 + 11.50X1 − 2.50X2 + 0.75X3 + 0.75X4 + 5.00X5 + 0.00X6 + 0.25X7 ,
ενώ για τους εκτιμητές των συντελεστών παλινδρόμησης έχουμε:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
247
Πίνακας 9.11: Συντελεστές Παλινδρόμησης - 23 Παραγοντικό Πείραμα
Όρος
Εκτιμητής
Τυπικό Σφάλμα
Ελεγχοσυνάρτηση t
p-value
Constant
64.25
0.707
90.86
0.000
A ≡ X1
11.50
0.707
16.26
0.000
B ≡ X2
−2.50
0.707
−3.54
0.008
C ≡ X3
0.75
0.707
1.06
0.320
AB ≡ X4
0.75
0.707
1.06
0.320
AC ≡ X5
5.00
0.707
7.07
0.000
BC ≡ X6
0.00
0.707
0.00
1.000
ABC ≡ X7
0.25
0.707
0.35
0.733
Αυτό που διαπιστώνεται από την ανάλυση παλινδρόμησης είναι ότι υπάρχουν μόνο δύο σημαντικές κύριες επιδράσεις, αυτές που αντιστοιχούν στους παράγοντες A και B ( p-values = 0.000 & 0.008 αντίστοιχα), και μόνο μία
σημαντική αλληλεπίδραση, αυτή μεταξύ των κύριων παραγόντων A και C ( p-value= 0.000). Λαμβάνοντας
υπόψη τα αποτελέσματα αυτά μπορούμε να προχωρήσουμε σε αναθεώρηση του προτύπου ώστε αυτό να περιλαμβάνει τις δύο κύριες επιδράσεις A(X1 ) και B(X2 ), την αλληλεπίδραση AC(X5 ) και αναγκαστικά την κύρια
επίδραση C(X3 ), αφού εμπλέκεται στην αλληλεπίδραση που έχει χαρακτηριστεί ως σημαντική. Τονίζεται ότι αν
επαναληφθεί η διαδικασία μόνο με τους πιο πάνω όρους/μεταβλητές, δεν πρόκειται να αλλάξουν οι εκτιμητές των
συγκεκριμένων συντελεστών παλινδρόμησης, με αποτέλεσμα η εκτιμήτρια συνάρτηση παλινδρόμησης να προκύπτει από την προηγούμενη, απομακρύνοντας τους μη σημαντικούς όρους:
ŷijk = 64.25 + 11.50X1 − 2.50X2 + 0.75X3 + 5.00X5 ,
ενώ για τους εκτιμητές των συντελεστών παλινδρόμησης έχουμε τροποποιήσεις όσον αφορά τα τυπικά σφάλματα,
τις τιμές των ελεγχοσυναρτήσεων και κατ’ επέκταση τις p-values. Αυτό οφείλεται στο γεγονός ότι η μεταβλητότητα που δεν δύναται να εξηγηθεί από το πρότυπο αυξάνεται, αφού σε αυτήν προστίθεται η μεταβλητότητα που
σχετιζόταν με καθέναν από τους όρους που απομακρύνθηκαν από το πρότυπο. Αντιστοίχως, επηρεάζονται οι βαθμοί ελευθερίας του σφάλματος και άρα μεταβάλλεται η τιμή του μέσου τετραγωνικού σφάλματος M SE, δηλαδή η
εκτιμήτρια της διασποράς του προτύπου παλινδρόμησης, και μεταβάλλονται όλες οι ελεγχοσυναρτήσεις των ελέγχων για τους συντελεστές παλινδρόμησης. Ο τροποποιημένος πίνακας φαίνεται στη συνέχεια:
Πίνακας 9.12: Συντελεστές Παλινδρόμησης - 23 Παραγοντικό Πείραμα (Τροποποιημένο)
Όρος
Εκτιμητής
Τυπικό Σφάλμα
Ελεγχοσυνάρτηση t
p-value
Constant
64.25
0.648
99.09
0.000
A ≡ X1
11.50
0.648
17.74
0.000
B ≡ X2
−2.50
0.648
−3.86
0.003
C ≡ X3
0.75
0.648
1.16
0.272
AC ≡ X5
5.00
0.648
7.71
0.000
Με βάση τα παραπάνω, στο συγκεκριμένο πείραμα οι επιδράσεις των κύριων παραγόντων θα δίνονται από το δι-
248
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
πλάσιο των αντίστοιχων συντελεστών παλινδρόμησης, δηλαδή:
A = 23.00, B = −5.00 & C = 1.50
και με τη συνεισφορά της επίδρασης της αλληλεπίδρασης να ισούται με AC = 10.00.
Έχοντας τις εκτιμήσεις των επιδράσεων, ο Ερευνητής μπορεί να προσδιορίζει τα αθροίσματα τετραγώνων τα οποία
από τους τύπους (9.8) ή τον γενικό τύπο (9.9) με n = 2 και f = 3, είναι ίσα με:
SSA = 2 × 2 × A2 = 2116,
SSC = 2 × 2 × C 2 = 9 &
SSB = 2 × 2 × B 2 = 100,
SSAC = 2 × 2 × [AC]2 = 400.
Αξίζει να σημειωθεί ότι η συνολική μεταβλητότητα που εξηγείται/δικαιολογείται από το τροποποιημένο πρότυπο,
είναι ίση με 97.26% που είναι σχεδόν ίδια με τη μεταβλητότητα του αρχικού προτύπου (πριν την απομάκρυνση
των μη σημαντικών μεταβλητών) που ήταν ίση με 97.63%. Η παρατήρηση αυτή επιβεβαιώνει την ορθότητα της
επιλογής του Ερευνητή να απομακρύνει τις μη σημαντικές μεταβλητές των οποίων η συνεισφορά στο αρχικό πρότυπο ήταν, ομολογουμένως, μηδαμινή.
Άσκηση Αυτοαξιολόγησης
Για τα δεδομένα του προηγούμενου παραδείγματος για το 23 παραγοντικό πείραμα, να
προχωρήσετε στη βασική ανάλυση και να υπολογίσετε τις επιδράσεις των εμπλεκόμενων
επτά όρων. Στη συνέχεια, να εκτελέσετε μία πολυπαραγοντική Ανάλυση Διακύμανσης για
να επιβεβαιωθεί ότι τα αποτελέσματα συμφωνούν με αυτά της Ανάλυσης Διακύμανσης και
άρα να αποδειχτεί η ισοδυναμία των δύο τεχνικών στατιστικής ανάλυσης.
Σημείωση: Η πολυπαραγοντική ανάλυση διακύμανσης, η οποία θα συζητηθεί διεξοδικά στο
Κεφάλαιο 10, ακολουθεί τη μεθοδολογία της διπαραγοντικής και περιλαμβάνει όλες τις
κύριες επιδράσεις καθώς και όλες τις αλληλεπιδράσεις, με την προϋπόθεση ότι το πείραμα
εκτελείται με επανάληψη (όπως δηλαδή συμβαίνει στο προηγούμενο παράδειγμα).
9.2 Κλασματικά παραγοντικά πειράματα
Στην παρούσα ενότητα, η μελέτη επικεντρώνεται σε 2f παραγοντικά πειράματα με f > 1 παράγοντες με δύο
επίπεδα και 2f θεραπείες. Όπως είχε αναφερθεί και στην αρχή του κεφαλαίου, το πρόβλημα είναι αρκετά απλό
όταν ο αριθμός f των παραγόντων είναι σχετικά μικρός, 2, 3, ή 4. Όμως, το πρόβλημα καθίσταται ιδιαίτερα
πολύπλοκο όσο αυξάνεται ο αριθμός των παραγόντων f γιατί αυξάνεται σημαντικά ο αριθμός θεραπειών και
κατά συνέπεια ο χρόνος και το κόστος πειραματισμού. Η μελέτη γίνεται περισσότερο χρονοβόρα αν απαιτούνται επαναλήψεις ώστε να είναι δυνατή η μελέτη αλληλεπιδράσεων. Για την περίπτωση των n = 2 επαναλήψεων, στο 25 παραγοντικό πείραμα απαιτούνται 64 μετρήσεις, για το 26 απαιτούνται 128 και για το 210
απαιτούνται 2048. Οι τιμές αυτές καθιστούν απαγορευτική τη μελέτη του πλήρους παραγοντικού πειράματος για f ακόμα και ίσο με 4 ή με 5, με αποτέλεσμα ο Ερευνητής να καταφεύγει στα κλασματικά παραγοντικά
πειράματα όπου ο σχεδιασμός περιλαμβάνει ένα κατάλληλα επιλεγμένο υποσύνολο όλων των δυνατών συνδυασμών (θεραπειών) περιορίζοντας πολύ και τον χρόνο και το κόστος του πειράματος.
Τα Κλασματικά Παραγοντικά Πειράματα βασίζονται στις μισές (1/2) ή στο ένα τέταρτο (1/22 ) ή γενικά
στο (1/2p )-κλάσμα (για p > 1) των συνδυασμών (θεραπειών) που απαιτεί το Πλήρες Παραγοντικό Πείραμα και επιλέγονται με τρόπο ώστε να διασφαλίζονται η αξιολόγηση των κύριων επιδράσεων και ένας ικανοποιητικός αριθμός (αλλά όχι όλων) αλληλεπιδράσεων. Το (1/2p )-κλασματικό παραγοντικό πείραμα με f
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
249
παράγοντες συμβολίζεται με 2f −p . Το πιο σημαντικό στοιχείο στα κλασματικά παραγοντικά πειράματα είναι
η ορθή (επιδέξια) επιλογή του κατάλλληλου υποσυνόλου, από το συνολικό αριθμό συνδυασμών (θεραπειών),
που θα επιτρέψει στον Ερευνητή να μελετήσει τις σημαντικότερες επιδράσεις στις οποίες θα πρέπει να περιλαμβάνονται όλες οι κύριες επιδράσεις. Είναι παρατηρημένο ότι όσο αυξάνεται η τάξη της αλληλεπίδρασης
(με δύο, τρεις κ.ο.κ. παράγοντες) μειώνεται η σημαντικότητά της. Άρα, σε ένα πείραμα επιδιώκουμε τη μελέτη
των κύριων επιδράσεων και όσο περισσότερων αλληλεπιδράσεων, δίνοντας έμφαση κατά προτεραιότητα στις
αλληλεπιδράσεις 1ης τάξης (μεταξύ δύο παραγόντων), στη συνέχεια στις αλληλεπιδράσεις 2ης τάξης (δηλαδή
μεταξύ τριών παραγόντων), ακολούθως στις αλληλεπιδράσεις 3ης τάξης (δηλαδή μεταξύ τεσσάρων παραγόντων) κ.ο.κ.
Για να είναι λοιπόν δυνατή η μελέτη των διαφόρων ποσοτήτων, θα πρέπει οι σημαντικές για τον Ερευνητή
ποσότητες να μην συγχέονται μεταξύ τους. Ο όρος που χρησιμοποιείται είναι η Σύγχυση ( Confounding)
μεταξύ επιδράσεων. Για την αποφυγή του προβλήματος αυτού ο Ερευνητής επιδιώκει να αγνοήσει αλληλεπιδράσεις μεγάλης τάξης (κατά προτίμηση της μέγιστης δυνατής) ώστε να διασφαλίσει τη μέγιστη δυνατή
αξιολόγηση των κυριότερων επιδράσεων, συμπεριλαμβανομένων όλων των κύριων επιδράσεων και των αλληλεπιδράσεων μικρής ή μεσαίας τάξης. Η έννοια της σύγχυσης είναι άρρηκτα συνδεδεμένη με την έννοια της
Διακριτικής Ικανότητας ή Ανάλυσης ( Resolution), η οποία όσο μεγαλύτερη είναι τόσο λιγότερο συγχέονται
οι κυριότερες επιδράσεις. Οι δύο αυτές έννοιες θα συζητηθούν στην αμέσως επόμενη ενότητα ώστε να γίνει
κατανοητή η σημασία τους στους κλασματικούς παραγοντικούς σχεδιασμούς.
9.2.1 Σύγχυση και ανάλυση (διακριτική ικανότητα)
Για την κατανόηση της έννοιας της σύγχυσης θα δώσουμε εδώ προσοχή στο κλάσμα ενός δευτέρου (1/2)
δηλαδή στα παραγοντικά εκείνα πειράματα που επιλέγονται οι μισές από τις θεραπείες για την εκτέλεση του
πειράματος. Έτσι για την περίπτωση του 23 πειράματος που είχαμε συνολικά 8 θεραπείες, θα πρέπει να επιλεχθούν οι μισές, δηλαδή μόνο 4. Θυμίζουμε ότι ο πίνακας αλγεβρικών προσήμων για το 23 παραγοντικό
πείραμα με τρεις παράγοντες A, B και C, είναι:
Πίνακας 9.13: Πίνακας Αλγεβρικών Προσήμων στο 23 Παραγοντικό Πείραμα
Θεραπεία
I
A
B
C
AB
AC
BC
ABC
(1)
1
−
−
−
+
+
+
−
a
1
+
−
−
−
−
+
+
b
1
−
+
−
−
+
−
+
ab
1
+
+
−
+
−
−
−
c
1
−
−
+
+
−
−
+
ac
1
+
−
+
−
+
−
−
bc
1
−
+
+
−
−
+
−
abc
1
+
+
+
+
+
+
+
Ας επιλέξουμε για παράδειγμα να αγνοήσουμε τις 4 τελευταίες θεραπείες και να επικεντρωθούμε στις τέσσερις
πρώτες, δηλαδή από τον προηγούμενο πίνακα απομένει το πρώτο μισό:
250
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.14: Πίνακας Αλγεβρικών Προσήμων στο 23−1 Κλασματικό Παραγοντικό Πείραμα - 1η περίπτωση
Θεραπεία
I
A
B
C
AB
AC
BC
ABC
(1)
1
−
−
−
+
+
+
−
a
1
+
−
−
−
−
+
+
b
1
−
+
−
−
+
−
+
ab
1
+
+
−
+
−
−
−
Εναλλακτικά θα μπορούσαμε να επιλέξουμε τις 4 τελευταίες θεραπείες, οπότε από τον Πίνακα αλγεβρικών
προσήμων θα απέμενε το δεύτερο μισό:
Πίνακας 9.15: Πίνακας Αλγεβρικών Προσήμων στο 23−1 Κλασματικό Παραγοντικό Πείραμα - 2η περίπτωση
Θεραπεία
I
A
B
C
AB
AC
BC
ABC
c
1
−
−
+
+
−
−
+
ac
1
+
−
+
−
+
−
−
bc
1
−
+
+
−
−
+
−
abc
1
+
+
+
+
+
+
+
Δεν είναι δύσκολο να προσέξουμε ότι είτε τη μία επιλογή κάνουμε είτε την άλλη, για τον παράγοντα C οι
εκτελέσεις των πειραμάτων θα γίνουν στο ένα μόνο από τα δύο επίπεδά του, είτε στο (−) για την πρώτη
επιλογή κλάσματος είτε στο (+) για τη δεύτερη. Όποια και να είναι η προτίμησή μας, το σημαντικό είναι
ότι η μελέτη του κλασματικού αυτού πειράματος δεν θα βοηθήσει τον Ερευνητή να αποκομίσει μία πλήρη
εικόνα για τον παράγοντα C, αφού δεν θα έχει ούτε μία εκτέλεση του πειράματος στο ένα από τα δύο επίπεδα
του παράγοντα. Υπενθυμίζεται εδώ ότι η επίδραση ενός κύριου παράγοντα βασίζεται στη σύγκριση μεταξύ
των μετρήσεων όταν τα πειράματα εκτελούνται στο ένα του επίπεδο, και των μετρήσεων όταν τα πειράματα
εκτελούνται στο άλλο του επίπεδο. Αυτό είναι αδύνατον να συμβεί για τον παράγοντα C είτε επιλέξουμε την
πρώτη περίπτωση κλάσματος είτε τη δεύτερη. Το συμπέρασμα που εξάγεται από το παράδειγμα αυτό είναι
ότι η επιλογή του πρώτου ή του δεύτερου μισού, ή διαφορετικά των θεραπειών όπου ο C μετέχει με το χαμηλό του επίπεδο (ή των θεραπειών που μετέχει με το υψηλό του επίπεδο), δεν είναι η ενδεδειγμένη γιατί δεν
είναι δυνατή η αξιολόγηση του συγκεκριμένου παράγοντα. Κατ’ επέκταση, δεν είναι φρόνιμο να επιλέξουμε
μόνο τις θεραπείες που αντιστοιχούν στο χαμηλό επίπεδο οποιουδήποτε από τους κύριους παράγοντες της μελέτης. Άρα, ούτε τις τέσσερις θεραπείες που αντιστοιχούν στο χαμηλό επίπεδο του A ή του B ούτε όμως και
τις τέσσερις θεραπείες που αντιστοιχούν στο υψηλό επίπεδο του A ή του B, θα πρέπει να επιλέξει ο Ερευνητής.
Επανερχόμενοι στις δύο περιπτώσεις που χρησιμοποιούμε ως παραδείγματα, μπορούμε να προσέξουμε ότι
για μεν την πρώτη, ισχύει η σχέση:
I = −C
για δε τη δεύτερη, η σχέση:
I = C.
Πράγματι, το μοναδιαίο στοιχείο I προκύπτει είτε αν αλλάξουμε τα πρόσημα του C, στην 1η περίπτωση, είτε
αν τα αφήσουμε ίδια, στη δεύτερη. Είναι φανερό επίσης ότι είτε η μία περίπτωση επιλεχθεί είτε η άλλη, το
αποτέλεσμα είναι το ίδιο: δεν μπορεί να αξιολογηθεί ο παράγοντας C. Και στη μία και στην άλλη περίπτωση,
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
251
λέμε ότι το μοναδιαίο στοιχείο I συγχέεται με τη συγκεκριμένη παραγοντική επίδραση και η εξίσωση που
προκύπτει ονομάζεται προσδιορίζουσα εξίσωση. Η προσδιορίζουσα εξίσωση είναι η εξίσωση που καθορίζει την
παραγοντική επίδραση με την οποία συγχέεται το μοναδιαίο στοιχείο I. Έτσι, αν για παράδειγμα ο Ερευνητής
επιλέξει ως προσδιορίζουσα εξίσωση την:
I=A
αυτό σημαίνει ότι επιλέγει την παραγοντική επίδραση A να συγχέεται με την I και μάλιστα (λόγω του θετικού προσήμου) επιλέγει να εκτελέσει πείραμα με κλάσμα ενός δευτέρου χρησιμοποιώντας τις θεραπείες για
τις οποίες ο παράγοντας A είναι τοποθετημένος μόνο στο θετικό του επίπεδο. Αν το πράξει αυτό, τότε θεωρούμε ότι συνειδητά επιλέγει να μελετήσει το πείραμα, χωρίς όμως να δύναται να αξιολογήσει την επίδραση
του παράγοντα A.
Για να αναδείξουμε τη σημασία της σύγχυσης και της προσδιορίζουσας εξίσωσης, ας επιλέξουμε για τον κλασματικό παραγοντικό πείραμα εκείνες τις θεραπείες για τις οποίες η αλληλεπίδραση AC είναι θετική (αποφεύγοντας όλες τις κύριες επιδράσεις, αφού δεν είναι σοφό να επιλεχθούν με βάση τα προηγούμενα). Τότε θα
έχουμε τον εξής πίνακα:
Πίνακας 9.16: Πίνακας Αλγεβρικών Προσήμων στο 23 Παραγοντικό Πείραμα - 3η περίπτωση
Θεραπεία
I
A
B
C
AB
AC
BC
ABC
(1)
1
−
−
−
+
+
+
−
b
1
−
+
−
−
+
−
+
ac
1
+
−
+
−
+
−
−
abc
1
+
+
+
+
+
+
+
Στην 3η αυτή περίπτωση η προσδιορίζουσα είναι η εξίσωση
I = AC
(9.10)
και προφανώς ο Ερευνητής δεν δύναται να αξιολογήσει την αλληλεπίδραση AC, αφού αυτή μελετάται μόνο
στο ένα της επίπεδο. Παράλληλα μπορούμε να προσέξουμε ότι και οι τρεις κύριοι παράγοντες μελετώνται
και στο χαμηλό και στο υψηλό τους επίπεδο. Αν όμως προσέξουμε λίγο καλύτερα θα διαπιστώσουμε ότι οι
παράγοντες A και C δεν μελετώνται χιαστί, παρά μόνο στους συνδυασμούς επιπέδων (−) και (+). Άρα,
καταλήγουμε στο συμπέρασμα ότι η αξιολόγησή τους δεν είναι εφικτή ή με άλλα λόγια διαπιστώνουμε ότι οι
δύο αυτοί παράγοντες συγχέονται. Δηλαδή, αν και η προσδιορίζουσα μας έδινε την εντύπωση ότι συγχέεται η
αλληλεπίδραση AC με το I, ο πίνακας δείχνει ότι υπάρχει τουλάχιστον ακόμα μία σύγχυση που με πρώτη ματιά δεν ήταν ορατή, από την προσδιορίζουσα εξίσωση. Μάλιστα, αν προσέξει κανείς καλύτερα θα διαπιστώσει
ότι το ίδιο πρόβλημα αντιμετωπίζουν κι αλλά ζεύγη στηλών του Πίνακα, όπως για παράδειγμα οι στήλες που
αντιστοιχούν στα AB και BC. Αν η προσδιορίζουσα εξίσωση (9.10) πολλαπλασιαστεί (και τα δύο μέλη) με
A ή με B, τότε προκύπτουν οι παρακάτω εξισώσεις:
AI = AAC
& BI = BAC
που λόγω του ότι όταν μία στήλη πολλαπλασιάζεται με τον εαυτό της προκύπτει η στήλη του μοναδιαίου
στοιχείου (π.χ. A ∗ A = A2 = I), οι πιο πάνω δύο εξισώσεις γίνονται:
A=C
& B = ABC
252
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
οι οποίες καταλήγουν να είναι ισοδύναμες με την αρχική εξίσωση (I = AC). Όπως στην αρχική εξίσωση ο
όρος στο αριστερό μέλος (το I) συγχέεται με τον όρο στο δεξί μέλος (το AC), έτσι και στις ισοδύναμες εξισώσεις που προέκυψαν, το αριστερό μέλος συγχέεται με το δεξί και έτσι επιβεβαιώνεται μέσω των εξισώσεων
η σύγχυση μεταξύ των A και C (A, C) και των B και ABC (B, ABC). Οι επιπρόσθετες αυτές εξισώσεις
είναι γνωστές ως παραλλαγές (aliases). Το σύνολο των παραλλαγών που προκύπτουν από μία προσδιορίζουσα
εξίσωση μπορεί να βρεθεί πολλαπλασιάζοντας τα μέλη της προσδιορίζουσας με καθεμία από τις κύριες επιδράσεις και τις αλληλεπιδράσεις του πειράματος. Έτσι, για την περίπτωση της προσδιορίζουσας εξίσωσης (9.10)
για το πρόβλημα με τρεις κύριες επιδράσεις (A, B και C) και τέσσερις αλληλεπιδράσεις (AB, AC, BC και
ABC), οι παραλλαγές δίνονται πιο κάτω. Προσέξτε ότι οι παραλλαγές εμφανίζονται εις διπλούν, με απλή
αντιμετάθεση του δεξιού με το αριστερό μέλος:
Πίνακας 9.17: Παραλλαγές στο 23−1 Παραγοντικό Πείραμα - Προσδιορίζουσα I = AC
I = AC
(I, AC)
A=C
(A, C)
B = ABC
(B, ABC)
C=A
(C, A)
AB = BC
(AB, BC)
AC = I
(AC, I)
ABC = B
(ABC, B)
Με βάση τις παραλλαγές που προέκυψαν, καταλήγουμε στο συμπέρασμα ότι ούτε η συγκεκριμένη επιλογή
κλάσματος είναι η ιδανικότερη, αφού παρατηρείται σύγχυση μεταξύ δύο κύριων επιδράσεων (πέραν των συγχύσεων που παρατηρούνται μεταξύ κύριων επιδράσεων και αλληλεπιδράσεων που όμως θα μπορούσαν να θεωρηθούν ελάσσονος σημασίας σε σχέση με αυτή μεταξύ των κύριων επιδράσεων A και C).
Η ιδανικότερη επιλογή θα ήταν τελικά η αλληλεπίδραση 2ης τάξης μεταξύ των A, B και C ή γενικότερα
η αλληλεπίδραση μέγιστης τάξης των εμπλεκόμενων παραγόντων, ανεξαρτήτως του πόσοι είναι. Για το αν θα
επιλεχθούν οι θεραπείες που αντιστοιχούν στο χαμηλό ή στο υψηλό επίπεδο, ο Ερευνητής μπορεί να επιλέξει
μία από τις δύο επιλογές με τρόπο τυχαίο. Είτε επιλέξει τη μία είτε την άλλη δεν έχει ουσιαστική σημασία, αφού
το διακύβευμα είναι το ίδιο. Έστω λοιπόν ότι επιλέγουμε τελικά την προσδιορίζουσα εξίσωση I = +ABC.
Τότε οι παραλλαγές δίνονται στον Πίνακα 9.18.
Πίνακας 9.18: Παραλλαγές στο 23−1 Παραγοντικό Πείραμα - 4η περίπτωση - Προσδιορίζουσα I = ABC
I = ABC
(I, ABC)
A = BC
(A, BC)
B = AC
(B, BC)
C = AB
(C, AB)
AB = C
(AB, C)
AC = B
(AC, B)
ABC = I
(ABC, I)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
253
Το ότι η συγκεκριμένη περίπτωση είναι η ιδανικότερη, επιβεβαιώνεται από το σύνολο των παραλλαγών από
όπου προκύπτει ότι δεν υπάρχει καμία σύγχυση μεταξύ κύριων επιδράσεων. Οι μόνες συγχύσεις είναι μεταξύ
μίας κύριας επίδρασης και μίας αλληλεπίδρασης ή μεταξύ δύο αλληλεπιδράσεων.
Άσκηση Αυτοαξιολόγησης
Έστω το 23 παραγοντικό πείραμα με παράγοντες του A, B και C από το οποίο ζητείται να
κατασκευαστεί το 23−1 κλασματικό παραγοντικό πείραμα με τέτοιο τρόπο ώστε να μην
συγχέονται μεταξύ τους οι επιδράσεις των I, A, C και BC. Να δοθεί ο πίνακας αλγεβρικών
προσήμων.
Σημείωση: Αρκεί να διερευνηθεί η δυνατότητα σύγχυσης της I με καθεμία από τις
εναπομείνασες επιδράσεις του πειράματος, δηλαδή των , AC, AB και ABC, και να
επιλεχθεί εκείνη που δεν οδηγεί σε κάποια σύγχυση από τις αναφερόμενες στην εκφώνηση.
Το είδος της σύγχυσης και η δυνατότητα που έχει ένας σχεδιασμός να μην συγχέει κύριες επιδράσεις και αλληλεπιδράσεις, ονομάζεται διακριτική ικανότητα ή ανάλυση (resolution). Η διαβάθμιση της ανάλυσης είναι II,
III, IV και V με υψηλότερες τιμές να αντιστοιχούν σε καλύτερη διακριτική ικανότητα. Συγκεκριμένα:
• Η Ανάλυση II σημαίνει ότι οι κύριες επιδράσεις συγχέονται μεταξύ τους (αντίστοιχη της 3ης περίπτωσης που μελετήθηκε νωρίτερα με I = AC).
• Η Ανάλυση III σημαίνει ότι οι κύριες επιδράσεις δεν συγχέονται μεταξύ τους αλλά συγχέονται με
αλληλεπιδράσεις 1ης τάξης (αντίστοιχη της 4ης περίπτωσης που μελετήθηκε νωρίτερα με I = ABC).
• Η Ανάλυση IV σημαίνει ότι οι κύριες επιδράσεις δεν συγχέονται μεταξύ τους, αλλά ούτε με αλληλεπιδράσεις 1ης τάξης. Κάποιες αλληλεπιδράσεις 1ης τάξης συγχέονται με άλλες αλληλεπιδράσεις 1ης τάξης.
• Η Ανάλυση V σημαίνει ότι οι κύριες επιδράσεις καθώς και οι αλληλεπιδράσεις 1ης τάξης δεν συγχέονται
μεταξύ τους.
Σύμφωνα με τα παραπάνω:
• Η Ανάλυση II αξιοποιείται για την αξιολόγηση κάποιων, αλλά όχι όλων των κύριων επιδράσεων.
• Η Ανάλυση III αξιοποιείται για την αξιολόγηση όλων των κύριων επιδράσεων, αλλά όχι των αλληλεπιδράσεων 1ης τάξης.
• Η Ανάλυση IV αξιοποιείται για την αξιολόγηση όλων των κύριων επιδράσεων και κάποιων εκ των
αλληλεπιδράσεων 1ης τάξης.
• Η Ανάλυση V αξιοποιείται για την αξιολόγηση όλων των κύριων επιδράσεων και όλων των αλληλεπιδράσεων 1ης τάξης.
9.2.2 Κλάσματα ενός δευτέρου πλήρους τυχαιοποίησης
Ο σκοπός της ενότητας αυτής είναι η διαδικασία εύρεσης των θεραπειών ενός κλασματικού σχεδιασμού ενός
δευτέρου (1/2) και η μελέτη του μέσω της εφαρμογής της ανάλυσης διακύμανσης. Στο πρώτο παράδειγμα
παρουσιάζεται αναλυτικά η βηματική διαδικασία για την εύρεση των θεραπειών η οποία είναι πάντοτε εφαρμόσιμη, ενώ στο δεύτερο παρουσιάζεται μία ειδική βηματική διαδικασία στην ειδική περίπτωση που η προσδιορίζουσα αφορά την αλληλεπίδραση της μέγιστης τάξης.
254
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Παράδειγμα 9.4. Ζητείται η εύρεση των θεραπειών που θα χρησιμοποιηθούν σε ένα 24−1 κλασματικό παραγοντικό πείραμα όπου εμπλέκονται οι παράγοντες A, B, C και D, όταν η προσδιορίζουσα εξίσωση είναι η I =
BCD.
Παρατηρούμε ότι η προσδιορίζουσα που έχει επιλεχθεί δεν είναι η αλληλεπίδραση της μέγιστης τάξης και αναμένουμε ο κλασματικός σχεδιασμός να μην έχει τη μέγιστη δυνατή Ανάλυση.Όμως θα έχει μία ικανοποιητική Ανάλυση,
αφού η προσδιορίζουσα δεν βασίζεται σε κάποια κύρια επίδραση. Για την εύρεση του σχεδιασμού ακολουθούμε τα
παρακάτω βήματα.
1. Κατασκευάζουμε τον ημιτελή Πίνακα Αλγεβρικών Προσήμων όπου καταχωρίζονται:
α. οι θεραπείες του σχεδιασμού, η μία μετά την άλλη στην τυπική τους σειρά,
β. το μοναδιαίο στοιχείο I,
γ. όλες οι κύριες επιδράσεις A − D καθώς και
δ. μία ακόμα στήλη που αφορά την προσδιορίζουσα εξίσωση (BCD).
2. Για την εύρεση των προσήμων των I και A − D ακολουθούμε την υπόδειξη από τις θεραπείες της 1ης
στήλης.
3. Για την εύρεση των προσήμων της τελευταίας στήλης που αφορά την προσδιορίζουσα, κάνουμε τους πολλαπλασιασμούς μεταξύ των προσήμων στις στήλες των κύριων παραγόντων που εμπεριέχονται στην προσδιορίζουσα.
4. Επιλέγουμε στην τύχη είτε τα θετικά είτε τα αρνητικά πρόσημα στην τελευταία στήλη.
5. Προσδιορίζουμε όλες τις παραλλαγές πολλαπλασιάζοντας και τα δύο μέρη της προσδιορίζουσας διαδοχικά,
με κάθε επίδραση και κάθε αλληλεπίδραση 1ης τάξης. Οι παραλλαγές που θα προκύψουν επιτρέπουν τον
προσδιορισμό της Ανάλυσης του σχεδιασμού (II - V ).
Εφαρμόζοντας την πιο πάνω διαδικασία έχουμε τον εξής Πίνακα Αλγεβρικών Προσήμων:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
255
Πίνακας 9.19: Πίνακας Αλγεβρικών Προσήμων - Προσδιορίζουσα I = BCD
Επίδραση
I
A
B
C
D
I = BCD
(1)
+
−
−
−
−
−
a
+
+
−
−
−
−
b
+
−
+
−
−
+
ab
+
+
+
−
−
+
c
+
−
−
+
−
+
ac
+
+
−
+
−
+
bc
+
−
+
+
−
−
abc
+
+
+
+
−
−
d
+
−
−
−
+
+
ad
+
+
−
−
+
+
bd
+
−
+
−
+
−
abd
+
+
+
−
+
−
cd
+
−
−
+
+
−
acd
+
+
−
+
+
−
bcd
+
−
+
+
+
+
abcd
+
+
+
+
+
+
Θεραπεία
από όπου επιλέγοντας π.χ. το αρνητικό πρόσημο στην τελευταία στήλη, καταλήγουμε στην εκτέλεση του πειράματος στις εξής θεραπείες:
256
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.20: Θεραπείες - Προσδιορίζουσα I = BCD
Επίδραση
I
A
B
C
D
BCD
(1)
1
−
−
−
−
−
a
1
+
−
−
−
−
bc
1
−
+
+
−
−
abc
1
+
+
+
−
−
bd
1
−
+
−
+
−
abd
1
+
+
−
+
−
cd
1
−
−
+
+
−
acd
1
+
−
+
+
−
Θεραπεία
ή απλούστερα στις θεραπείες:
Πίνακας 9.21: Θεραπείες - Προσδιορίζουσα I = BCD
Επίδραση
A
B
C
D
(1)
−
−
−
−
a
+
−
−
−
bc
−
+
+
−
abc
+
+
+
−
bd
−
+
−
+
abd
+
+
−
+
cd
−
−
+
+
acd
+
−
+
+
Θεραπεία
Πολλαπλασιάζοντας τα δύο μέλη της προσδιορίζουσας με τις κύριες επιδράσεις A − D και τις αλληλεπιδράσεις
1ης τάξης (AB, AC, AD, BC, BD και CD), προκύπτουν οι παραλλαγές του σχεδιασμού (εμφανίζονται εις
διπλούν):
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
257
Πίνακας 9.22: Παραλλαγές στο 24−1 Παραγοντικό Πείραμα - Προσδιορίζουσα I = BCD
I = BCD
(I, BCD)
A = ABCD
(A, ABCD)
B = CD
(B, CD)
C = BD
(C, BD)
D = BC
(D, BC)
AB = ACD
(AB, ACD)
AC = ABD
(AC, ABD)
AD = ABC
(AD, ABC)
BC = D
(BC, D)
BD = C
(BD, C)
CD = B
(CD, B)
Από τις παραλλαγές που προέκυψαν διαπιστώνεται ότι δεν υπάρχει σύγχυση μεταξύ των κύριων επιδράσεων αλλά
ούτε και των κύριων επιδράσεων με το μοναδιαίο στοιχείο. Υπάρχουν αλληλεπιδράσεις 1ης τάξης που συγχέονται
με κύριες επιδράσεις, αλλά υπάρχουν και κάποιες αλληλεπιδράσεις 1ης τάξης που δεν συγχέονται παρά μόνο με
αλληλεπιδράσεις μεγαλύτερης τάξης (AB, AC και AD). Συμπερασματικά η Ανάλυση του σχεδιασμού είναι III.
Πέρα από τη βηματική διαδικασία του προηγούμενου παραδείγματος η οποία είναι πάντοτε εφαρμόσιμη,
υπάρχει και μία ειδική βηματική διαδικασία στην ειδική περίπτωση που η προσδιορίζουσα αφορά την αλληλεπίδραση της μέγιστης τάξης. Αυτή η ειδική βηματική διαδικασία θα μπορούσε να εφαρμοστεί στο προηγούμενο παράδειγμα αν η προσδιορίζουσα ήταν η αλληλεπίδραση 3ης τάξης: I = ABCD. Για την εφαρμογή
της τεχνικής χρησιμοποιούμε το επόμενο παράδειγμα.
Παράδειγμα 9.5. Ζητείται η εύρεση των θεραπειών που θα χρησιμοποιηθούν σε ένα 25−1 κλασματικό παραγοντικό πείραμα όπου εμπλέκονται οι παράγοντες A, B, C, D και E, όταν η προσδιορίζουσα εξίσωση είναι η
I = ABCDE.
Παρατηρούμε ότι η προσδιορίζουσα που έχει επιλεχθεί είναι η αλληλεπίδραση της μέγιστης τάξης και αναμένουμε
ο κλασματικός σχεδιασμός να έχει τη μέγιστη δυνατή Ανάλυση. Επίσης, παρατηρούμε ότι αν πολλαπλασιαστούν
και τα δύο μέλη της προσδιορίζουσας με τον παράγοντα E, τότε είναι ισοδύναμη (παραλλαγή, alias) με την E =
ABCD. Για την εύρεση του σχεδιασμού ακολουθούμε την παρακάτω ειδική βηματική διαδικασία.
1. Κατασκευάζουμε τον ημιτελή Πίνακα Αλγεβρικών προσήμων όπου καταχωρίζονται:
α. οι θεραπείες του πλήρους παραγοντικού πειράματος 24 για τους παράγοντες A − D (δηλαδή όλων
πλην του τελευταίου, εδώ ο E), η μία μετά την άλλη στην τυπική τους σειρά,
β. όλες οι κύριες επιδράσεις A − D καθώς και
γ. μία ακόμα στήλη που αφορά την προσδιορίζουσα εξίσωση εκπεφρασμένη ως προς τον τελευταίο παράγοντα (E = ABCD).
2. Για την εύρεση των προσήμων των A − D ακολουθούμε την υπόδειξη από τις θεραπείες της 1ης στήλης.
258
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
3. Για την εύρεση των προσήμων της τελευταίας στήλης που αφορά την προσδιορίζουσα, κάνουμε τους πολλαπλασιασμούς μεταξύ των προσήμων στις στήλες των κύριων παραγόντων A − D που εμπεριέχονται στην
προσδιορίζουσα όταν αυτή είναι εκπεφρασμένη ως προς τον τελευταίο παράγοντα E.
4. Επιλέγουμε στην τύχη είτε τα θετικά είτε τα αρνητικά πρόσημα στην τελευταία στήλη.
5. Καταγράφουμε σε μία πρόσθετη στήλη στο τέλος, τις θεραπείες του 25−1 που αφορούν το πείραμα.
6. Προσδιορίζουμε όλες τις παραλλαγές πολλαπλασιάζοντας το αριστερό μέρος της προσδιορίζουσας διαδοχικά
με κάθε επίδραση και κάθε αλληλεπίδραση 1ης τάξης. Οι παραλλαγές που θα προκύψουν επιτρέπουν τον
προσδιορισμό της Ανάλυσης του σχεδιασμού (II - V ).
Ακολουθώντας την ειδική διαδικασία προκύπτει ο πιο κάτω σχεδιασμός με 16 θεραπείες (από το σύνολο των 32
του πλήρους 25 παραγοντικού πειράματος).
Πίνακας 9.23: Πίνακας Αλγεβρικών Προσήμων - Προσδιορίζουσα I = ABCDE
Επίδραση
A
B
C
D
E = ABCD
Θεραπεία 25−1
(1)
−
−
−
−
+
e
a
+
−
−
−
−
a
b
−
+
−
−
−
b
ab
+
+
−
−
+
abe
c
−
−
+
−
−
c
ac
+
−
+
−
+
ace
bc
−
+
+
−
+
bce
abc
+
+
+
−
−
abc
d
−
−
−
+
−
d
ad
+
−
−
+
+
ade
bd
−
+
−
+
+
bde
abd
+
+
−
+
−
abd
cd
−
−
+
+
+
cde
acd
+
−
+
+
−
acd
bcd
−
+
+
+
−
bcd
abcd
+
+
+
+
+
abcde
4
Θεραπεία 2
Είναι εύκολο να προσέξει κανείς ότι αν πολλαπλασιαστούν τα πρόσημα και των πέντε παραγόντων A − E σε κάθε
γραμμή, το αποτέλεσμα θα είναι πάντοτε (+), όπως θα ανέμενε κανείς λαμβάνοντας υπόψη ότι η προσδιορίζουσα
είναι η I = ABCDE.
Αν και είναι απλό να προσδιοριστούν πρώτα οι παραλλαγές του σχεδιασμού και μετά η Ανάλυση, ο κανόνας για
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
259
τον προσδιορισμό της Ανάλυσης είναι ο εξής:
Για την περίπτωση του κλασματικού 2f −1 παραγοντικού πειράματος, με προσδιορίζουσα τη μέγιστη αλληλεπίδραση, η Ανάλυση (Διακριτική Ικανότητα) είναι ίση με τον αριθμό των παραγόντων f (σε λατινική γραφή).
Με βάση τον κανόνα, η Ανάλυση του σχεδιασμού είναι V , αφού ο αριθμός των εμπλεκόμενων παραγόντων είναι f = 5.
Άσκηση Αυτοαξιολόγησης
Για το προηγούμενο παράδειγμα του 25−1 κλασματικού παραγοντικού πειράματος, να
προσδιοριστούν οι παραλλαγές και να επιβεβαιωθεί ότι η Ανάλυση είναι V .
Άσκηση Αυτοαξιολόγησης
Για το 24 παραγοντικό πείραμα με παράγοντες του A, B, C και D ζητείται να κατασκευαστεί το
24−1 κλασματικό παραγοντικό πείραμα με προσδιορίζουσα εξίσωση την I = ABCD,
αξιοποιώντας της ειδική βηματική διαδικασία του προηγούμενου παραδείγματος.
Για τον κλασματικό 25−1 παραγοντικό σχεδιασμό με προσδιορίζουσα I = ABCDE, εκτελέστηκαν 16 πειράματα με τις μετρήσεις να έχουν καταχωριστεί στον επόμενο Πίνακα ο οποίος ταυτίζεται με τον Πίνακα (9.23):
260
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.24: Πίνακας Αλγεβρικών Προσήμων - Προσδιορίζουσα I = ABCDE
Επίδραση
A
B
C
D
= BCD
Θεραπεία 25−1
0.63
−
−
−
−
+
e
2.51
+
−
−
−
−
a
2.68
−
+
−
−
−
b
1.66
+
+
−
−
+
abe
2.06
−
−
+
−
−
c
4.02
+
−
+
−
+
ace
−2.09
−
+
+
−
+
bce
1.93
+
+
+
−
−
abc
6.79
−
−
−
+
−
d
6.47
+
−
−
+
+
ade
3.45
−
+
−
+
+
bde
5.68
+
+
−
+
−
abd
5.22
−
−
+
+
+
cde
9.38
+
−
+
+
−
acd
4.30
−
+
+
+
−
bcd
4.05
+
+
+
+
+
abcde
Y
η ανάλυση διακύμανσης για τον οποίο δίνει τα ακόλουθα αποτελέσματα:
Πίνακας 9.25: Πίνακας ANOVA - Παράδειγμα 25−1 Κλασματικό Παραγοντικό Πείραμα
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
10.017
B
1
C
Μέσο
F
p-value
10.017
7.08
0.024
14.861
14.861
10.50
0.009
1
0.062
0.062
0.04
0.838
D
1
63.76
63.76
45.04
0.000
E
1
8.88
8.88
6.27
0.031
Σφάλματα
10
14.157
1.4157
−
−
Ολική
15
111.738
−
−
−
Άθροισμα
Τετραγώνων
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
261
Τα αποτελέσματα δείχνουν ότι ο παράγοντας C δεν είναι στατιστικώς σημαντικός ( p-value = 0.838), ενώ από τα
σφάλματα φαίνεται ότι υπάρχουν 10 βαθμοί ελευθερίας με 14.157 μονάδες μεταβλητότητας, που σημαίνει ότι ίσως
αξίζει τον κόπο να αξιοποιηθούν κάποιοι από τους βαθμούς ελευθερίας για να αναζητηθούν σημαντικές αλληλεπιδράσεις (χωρίς να απαιτηθούν επαναλήψεις, δηλαδή με n = 1). Οι αλληλεπιδράσεις θα πρέπει να αναζητηθούν
μεταξύ αυτών της 1ης τάξης και από αυτές, που είναι συνολικά 10, μπορούν να μελετηθούν το πολύ 9 ώστε να μείνει
έστω ένας βαθμός ελευθερίας για τα σφάλματα. Αν υποθέσουμε ότι οι αλληλεπιδράσεις που εμπεριέχουν τον παράγοντα E δεν περιλαμβάνονται σε αυτές που ενδιαφέρουν τον Ερευνητή, τότε μπορούμε να προχωρήσουμε στη
μελέτη των υπόλοιπων έξι αλληλεπιδράσεων 1ης τάξης (AB, AC, AD, BC, BD και CD) μαζί με τις πέντε
κύριες επιδράσεις. Ο Πίνακας ANOVA που προκύπτει είναι:
Πίνακας 9.26: Πίνακας ANOVA - 25−1 Κλασματικό Παραγοντικό Πείραμα με Αλληλεπιδράσεις
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
10.017
B
1
C
Μέσο
F
p-value
10.017
7.08
0.018
14.861
14.861
10.50
0.009
1
0.062
0.062
0.04
0.776
D
1
63.76
63.76
45.04
0.001
E
1
8.88
8.88
6.27
0.022
B
1
0.456
0.456
0.68
0.457
AC
1
3.168
3.168
4.71
0.096
AD
1
0.065
0.065
0.10
0.771
BC
1
5.712
5.712
8.49
0.044
BD
1
1.782
1.782
2.65
0.179
CD
1
0.281
0.281
0.42
0.553
Σφάλματα
4
2.692
0.673
−
−
Ολική
15
111.738
−
−
−
Άθροισμα
Τετραγώνων
Τα αποτελέσματα δείχνουν ότι από στατιστική πλευρά, άξιζε τον κόπο η διερεύνηση των αλληλεπιδράσεων 1ης τάξης
από όπου διαπιστώθηκε ότι δύο αλληλεπιδράσεις που περιέχουν τον παράγοντα C είναι στατιστικώς σημαντικές (
p-values = 0.044 και 0.096) έστω και αν η δεύτερη είναι σημαντική σε 10% και όχι στο σύνηθες 5% επίπεδο
σημαντικότητας. Ταυτόχρονα, ο Ερευνητής καλείται να αξιολογήσει από πρακτική πλευρά, τη σημαντικότητα των
δύο αυτών αλληλεπιδράσεων που από τον πιο πάνω πίνακα φαίνεται ότι η συμβολή τους στη μεταβλητότητα είναι σχετικά περιορισμένη και αφορά ένα 8% της συνολικής μεταβλητότητας (3.168 + 5.712 μονάδες σε σύνολο
111.738). Με βάση αυτό το σκεπτικό ο Ερευνητής δύναται να επιλέξει τελικά να μην συμπεριλάβει τις αλληλεπιδράσεις αυτές στο τελικό μοντέλο και τότε να πρέπει να απομακρύνει από το μοντέλο και τον παράγοντα C που
θα διατηρούνταν μόνον εφόσον έμενε κάποια από τις συγκεκριμένες αλληλεπιδράσεις. Ακολουθώντας αυτή την
προσέγγιση το τελικό μοντέλο θα μπορούσε να περιέχει 4 μόνο παράγοντες, τους A, B, D και E και ο Πίνακας
ANOVA να πάρει την εξής μορφή:
262
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.27: Πίνακας ANOVA - 25−1 Κλασματικό Παραγοντικό Πείραμα - Σημαντικές Κύριες Επιδράσεις
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
10.017
B
1
D
Μέσο
F
p-value
10.017
7.75
0.018
14.861
14.861
11.50
0.006
1
63.76
63.76
49.33
0.000
E
1
8.88
8.88
6.87
0.024
Σφάλματα
11
14.219
1.293
−
−
Ολική
15
111.738
−
−
−
Άθροισμα
Τετραγώνων
Για τους σκοπούς αυτής της ανάλυσης θα επιλέξουμε να κρατήσουμε το μοντέλο με 5 κύριες επιδράσεις και τις 6
αλληλεπιδράσεις, ώστε μέσω της Ανάλυσης Παλινδρόμησης να προσδιορίσουμε τις τιμές των επιδράσεών τους και
αυτό για να έχει στη διάθεσή του ο Ερευνητής την πλήρη εικόνα, τόσο όλων των κύριων επιδράσεων όσο και των
αλληλεπιδράσεων που συμπεριλήφθηκαν στη μελέτη:
Πίνακας 9.28: Εκτιμητές Συντελεστών Παλινδρόμησης & Επιδράσεων - 25−1 Κλασματικό Παραγοντικό
Πείραμα με Αλληλεπιδράσεις
Όρος
Εκτιμητής
Τυπικό Σφάλμα
Ελεγχοσυνάρτηση t
p-value
Επίδραση
µ
3.671
0.205
17.90
0.000
—
A
0.791
0.205
3.86
0.018
1.582
B
−0.964
0.205
−4.70
0.009
−1.928
C
−0.062
0.205
−0.30
0.776
−0.124
D
1.996
0.205
9.73
0.000
3.992
E
−0.745
0.205
−3.63
0.031
−1.490
B
−0.169
0.205
−0.82
0.457
−0.338
AC
0.445
0.205
2.17
0.096
0.890
AD
−0.164
0.205
−0.31
0.771
−0.328
BC
−0.598
0.205
−2.91
0.044
−1.196
BD
−0.334
0.205
−1.63
0.179
−0.668
CD
0.133
0.205
0.65
0.553
0.266
Από την τελευταία στήλη όπου οι συντελεστές παλινδρόμησης έχουν διπλασιαστεί ώστε να προσδιοριστούν οι επιδράσεις όλων των εμπλεκόμενων παραγόντων, διαπιστώνεται ότι η σημαντικότερη επίδραση οφείλεται στον παράγοντα D (3.992), με τον παράγοντα A να έρχεται δεύτερος σε σημαντικότητα (1.582).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
263
9.2.3 Κλάσματα μικρότερα του ενός δευτέρου
Για τη μελέτη κλασματικών σχεδιασμών μικρότερων του ενός δευτέρου απαιτείται η μελέτη πέντε τουλάχιστον παραγόντων με δύο επίπεδα έκαστος. Αυτό οφείλεται στο γεγονός ότι χρειάζεται να είναι διαθέσιμοι
αρκετοί βαθμοί ελευθερίας για τη μελέτη τουλάχιστον των κύριων επιδράσεων του πειράματος. Είναι προφανές ότι αν υπήρχαν διαθέσιμοι μόνο τέσσερις παράγοντες δύο επιπέδων έκαστος, τότε το πλήρες παραγοντικό
θα είχε 16 θεραπείες, το κλάσμα ενός δευτέρου 8, ενώ το κλάσμα ενός τετάρτου μόνο 4 που δεν θα αρκούσαν
για να αξιολογηθούν οι 4 κύριες επιδράσεις, αφού οι συνολικοί βαθμοί ελευθερίας θα ήταν 4 − 1 = 3. Αντίθετα, με πέντε κατ’ ελάχιστον παράγοντες, το κλάσμα ενός τετάρτου θα είχε 25 /4 = 8 θεραπείες που αρκούν
για τη μελέτη των 5 κύριων επιδράσεων.
Τα κλάσματα ενός τετάρτου 2f −2 προκύπτουν όταν το πλήρες παραγοντικό διασπαστεί σε τέσσερα κλάσματα
(δηλαδή σε τέσσερα τέταρτα) από τα οποία επιλέγεται το ένα. Για τον σκοπό αυτό χρησιμοποιούνται δύο παραγοντικές επιδράσεις, έστω P1 και P2 , οι οποίες συνήθως επιλέγονται να είναι δύο αλληλεπιδράσεις μεγάλης
τάξης και στις οποίες βασίζονται οι προσδιορίζουσες εξισώσεις του σχεδιασμού με σύγχυση με το μοναδιαίο
στοιχείο I, με το θετικό ή το αρνητικό πρόσημο:
I = ±P1 & I = ±P2 .
Είναι χαρακτηριστικό ότι οι δύο πιο πάνω προσδιορίζουσες που αναφέρονται και ως γεννήτριες του σχεδιασμού,
καθορίζουν έμμεσα μία τρίτη προσδιορίζουσα που αναφέρεται ως γενικευμένη αλληλεπίδραση και προκύπτει
από τον πολλαπλασιασμό των δύο παραγοντικών επιδράσεων που έχουν χρησιμοποιηθεί στον κλασματικό
σχεδιασμό:
I = ±P1 P2
η οποία υπολογίζεται όταν πολλαπλασιαστούν οι P1 και P2 καθώς και τα πρόσημά τους.
Είναι σημαντικό να αναφερθεί ότι οι τρεις συνολικά προσδιορίζουσες εξισώσεις του κλασματικού σχεδιασμού
του ενός τετάρτου καθορίζουν μονοσήμαντα την ανάλυση (διακριτική ικανότητα) του σχεδιασμού. Πράγματι,
έχει δειχθεί ότι η διακριτική ικανότητα (ανάλυση) ενός 2f −2 κλασματικού σχεδιασμού ισούται με τον ελάχιστο
αριθμό συμβόλων που περιέχονται μεταξύ των τριών προσδιοριζουσών εξισώσεων.
Για την εύρεση όλων των παραλλαγών ( aliases), πολλαπλασιάζουμε καθεμία από τις τρεις προσδιορίζουσες
εξισώσεις με τις κύριες επιδράσεις και τις αλληλεπιδράσεις.
Παράδειγμα 9.6. Έστω ότι σε πείραμα 5 παραγόντων A − E έχουν επιλεχθεί ως γεννήτριες οι I = −ABC
και I = +CDE για τον σχεδιασμό κλασματικού παραγοντικού πειράματος ενός τετάρτου. Ζητούνται η τρίτη
προσδιορίζουσα, η ανάλυση και το σύνολο των παραλλαγών ( aliases) του πειράματος.
Εύκολα προκύπτει ότι η έμμεση, τρίτη προσδιορίζουσα, είναι η:
I = −ABCCDE = −ABC 2 DE = −ABIDE = ABDE
με αποτέλεσμα τα σύμβολα σε κάθε προσδιορίζουσα να είναι 3, 3 και 4 και άρα η διακριτική ικανότητα του σχεδιασμού να είναι ίση με III.
Για τον προσδιορισμό των παραλλαγών, πολλαπλασιάζουμε καταρχάς κάθε προσδιορίζουσα με κάθε κύρια επίδραση:
A = BC, B = AC, C = AB, D = ABCD, E = ABCE,
A = ACDE, B = BCDE, C = DE, D = CE, E = CD,
264
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
και
A = BDE, B = ADE, C = ABCDE, D = ABE, E = ABD.
Ήδη από τις παραπάνω παραλλαγές διαπιστώνουμε ότι έχουν εντοπιστεί όχι μόνο οι παραλλαγές για την κάθε κύρια επίδραση αλλά και αρκετές από τις παραλλαγές για κάποιες αλληλεπιδράσεις 1ης τάξης (μεταξύ 2 παραγόντων).
Πράγματι, πιο πάνω έχουν καταγραφεί κάποιες παραλλαγές για τις αλληλεπιδράσεις AB, AC, BC, CD, CE
και DE. Σημειώνεται ότι οι παραλλαγές για κάθε επίδραση (κύρια ή αλληλεπίδραση) είναι περισσότερες από μία,
όπως άλλωστε φαίνεται από το προηγούμενο παράδειγμα όπου π.χ. η A συγχέεται με καθεμία από τις αλληλεπιδράσεις BC, BDE και ACDE. Πράγματι, οι παραλλαγές που προκύπτουν είναι τόσες όσες και οι προσδιορίζουσες
εξισώσεις.
Οι παραλλαγές για τις υπόλοιπες αλληλεπιδράσεις 1ης τάξης προκύπτουν πολλαπλασιάζοντας καταλλήλως κάποιες
από τις πιο πάνω εξισώσεις. Για παράδειγμα, οι παραλλαγές για την αλληλεπίδραση AD προκύπτουν αν πολλαπλασιαστούν με D οι τρεις παραλλαγές της κύριας επίδρασης A που έχουν ήδη εντοπιστεί (A = BC, A = ACDE
και A = BDE):
AD = BE, AD = BCD, & AD = ACE.
Το ίδιο αποτέλεσμα θα προκύψει αν επιλεχθούν οι τρεις παραλλαγές που αφορούν την κύρια επίδραση D και πολλαπλασιαστούν με A.
Άσκηση Αυτοαξιολόγησης
Έστω το 26−2 κλασματικό παραγοντικό πείραμα με παράγοντες A − F και γεννήτορες τις
εξισώσεις I = −ABCE και I = −ACDF . Ζητούνται η τρίτη προσδιορίζουσα, η ανάλυση
και το σύνολο των παραλλαγών (aliases) του πειράματος.
Mε τη χρήση του Minitab είναι δυνατόν να σχεδιαστεί ένα κλασματικό πείραμα και να προσδιοριστούν όλες οι
παραλλαγές. Η διαδικασία που θα πρέπει να ακολουθηθεί είναι η ακόλουθη:
Stat
Ê
DOE
Ê
Factorial
Ê
Create Factorial Design
με τους πιο συνήθεις σχεδιασμούς να αντιστοιχούν στις επιλογές 2-level factorial design (default generators) και
2-level factorial design (specify generators). Στην πρώτη περίπτωση, επιλέγεται αυτόματα ο βέλτιστος σχεδιασμός, δηλαδή με προσδιορίζουσα την αλληλεπίδραση μέγιστης τάξης, ενώ στη δεύτερη ο Ερευνητής καθορίζει την
προσδιορίζουσα (ή προσδιορίζουσες) που επιθυμεί να αξιοποιήσει. Στην πρώτη περίπτωση θα πρέπει στην επιλογή Designs να επιλεχθεί/τικαριστεί το κλάσμα για τον σχεδιασμό (π.χ. 1/2 ή 1/4) και στη δεύτερη να επιλεχθεί/τικαριστεί το Full Design και να καταχωριστούν οι προτεινόμενοι γεννήτορες, στην επιλογή Generators.
9.2.4 Σχεδιασμοί ομαδοποίησης
Πριν κλείσουμε το παρόν κεφάλαιο, θα κάνουμε μία σύντομη αναφορά σε σχεδιασμούς ομαδοποίησης. Το κλάσμα του ενός δευτέρου αποτελεί μία ειδική περίπτωση με 2 ομάδες (δηλαδή τα δύο κλάσματα από τα οποία
επιλέγεται τυχαία το ένα).
Όπως είδαμε στις προηγούμενες ενότητες, για την κατασκευή ενός 2f −1 κλασματικού σχεδιασμού έπρεπε να
επιλεχθεί μία προσδιορίζουσα εξίσωση, ενώ για την κατασκευή ενός 2f −2 κλασματικού σχεδιασμού έπρεπε
να επιλεχτούν δύο προσδιορίζουσες εξισώσεις ή γεννήτορες (από τις οποίες προέκυψε έμμεσα και μία τρίτη
προσδιορίζουσα, η γενικευμένη αλληλεπίδραση). Με βάση τα παραπάνω μπορούμε γενικά να πούμε ότι για
την κατασκευή ενός 2f −p κλασματικού σχεδιασμού απαιτούνται p προσδιορίζουσες εξισώσεις και ισοδύναμα,
p γεννήτορες.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
265
Στην περίπτωση που υπάρχει δυνατότητα διαχωρισμού και διενέργειας πειραμάτων σε ομάδες, έστω 2p , απαιτούνται p γεννήτορες μαζί με τις γενικευμένες αλληλεπιδράσεις τους. Έτσι, αν έχουμε το κλάσμα ενός δευτέρου θα έχουμε p = 1 προσδιορίζουσα (γεννήτορα) με 21 = 2 ομάδες (τα 2 κλάσματα από τα οποία επιλέγεται το ένα). Αν έχουμε κλάσμα ενός τετάρτου θα έχουμε p = 2 γεννήτορες και 22 = 4 ομάδες (τα τέσσερα
κλάσματα/τέταρτα του σχεδιασμού από τα οποία επιλέγεται το ένα). Στην τελευταία περίπτωση παρατηρούμε
ότι ο συνολικός αριθμός προσδιοριζουσών (μαζί με τη γενικευμένη αλληλεπίδραση) είναι 22 − 1 = 3. Έτσι,
γενικά για 2p ομάδες απαιτούνται p γεννήτορες και 2p − 1 προσδιορίζουσες εξισώσεις.
Σημειώνεται πάντως ότι για την επιλογή κατάλληλων τέτοιων σχεδιασμών ομαδοποίησης οι οποίοι να έχουν
υψηλή ανάλυση, έχουν προταθεί ειδικοί σχεδιασμοί με τον καθένα να έχει συγκεκριμένη ανάλυση, συγκεκριμένες προσδιορίζουσες και συγκεκριμένες ομαδοποιήσεις που καλύπτουν την πλειονότητα των αναγκών του
Ερευνητή. Εδώ, δεν θα επεκταθούμε περαιτέρω στο θέμα αυτό, αφού μία τέτοια ανάλυση ειδικών σχεδιασμών
ομαδοποίησης ξεφεύγει από τους σκοπούς του παρόντος συγγράματος.
9.3 Εφαρμογές στο Minitab
1. Σε μία μονάδα παραγωγής εφαρμόζεται ποιοτικός έλεγχος για την αξιολόγηση της παραγωγής και
τον εντοπισμό σημαντικών παραγόντων δύο επιπέδων έκαστος (χαμηλό & υψηλό), που επιδρούν στη
μεταβλητή απόκρισης. Οι παράγοντες προς αξιολόγηση με τα επίπεδά τους (με το πρώτο να αντιστοιχεί στο χαμηλό και το δεύτερο στο υψηλό επίπεδο) είναι: A: % λιπαρών (20, 30), B : PH (7, 8),
C : Μοντέλο (Α1, A2), Θερμοκρασία (20, 30), D : % Υγρασία (50, 60). Το πείραμα γίνεται με 4
επαναλήψεις και στον Πίνακα Δεδομένων έχει χρησιμοποιηθεί το σύμβολο 1 για να δηλώσει το υψηλό
επίπεδο και το σύμβολο 2 για να δηλώσει το χαμηλό επίπεδο κάθε παράγοντα.
i. Ζητείται να μελετηθούν όλες οι κύριες επιδράσεις καθώς και όλες οι αλληλεπιδράσεις για τον
εντοπισμό εκείνων που έχουν στατιστικώς σημαντική επίδραση στη μεταβλητή απόκρισης Y .
ii. Μετά την κατάλληλη κωδικοποίηση των τιμών των επιπέδων των παραγόντων, να επαναληφθεί
η μελέτη με τη χρήση κατάλληλου προτύπου παλινδρόμησης.
iii. Να επαναληφθεί η μελέτη του ερωτήματος ( i) μόνο για τους στατιστικώς σημαντικούς παράγοντες (συμπεριλαμβανομένων των αλληλεπιδράσεων) και να εκτιμηθούν οι τιμές των αντίστοιχων επιδράσεων.
iv. Ο Ερευνητής έκρινε ότι τα πειράματα που αναγκάστηκε να εκτελέσει ήταν πολλά (64) και έτσι
επιθυμεί να αξιολογήσει τα κλασματικά παραγοντικά πειράματα για να πειστεί για την αποτελεσματικότητά τους ώστε να τα χρησιμοποιεί αντί των σχεδίων πλήρους τυχαιοποίησης. Για
τον σκοπό αυτό αποφασίζει να επιλέξει έναν κλασματικό παραγοντικό σχεδιασμό ενός δευτέρου
(που να επιτρέπει την αξιολόγηση των ίδιων όρων που αναδείχθηκαν σημαντικοί στο πλήρες παραγοντικό) και να συγκρίνει τα αποτελέσματα με αυτά του πλήρους παραγοντικού πειράματος.
1. Να επιλέξετε ως προσδιορίζουσα εξίσωση του κλάσματος ενός δευτέρου τη σχέση I =
−BCD. Να εξηγήσετε γιατί είναι δυνατή η αξιολόγηση των ίδιων όρων που αναδείχθηκαν σημαντικοί στα ερωτήματα (i) έως (iii) και να προβείτε σε συγκριτικό σχολιασμό των
αποτελεσμάτων. Να προσδιοριστεί η Ανάλυση (Resolution) του κλασματικού σχεδίου.
2. Να επαναλάβετε το ερώτημα (iv(1)) χρησιμοποιώντας ως προσδιορίζουσα την αλληλεπίδραση μέγιστης τάξης. Να προσδιοριστεί η Ανάλυση (Resolution) του κλασματικού σχεδίου.
266
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.29: Πίνακας Δεδομένων - Μονάδα Παραγωγής - n = 4 επαναλήψεις
Θεραπείες
A
B
C
D
Y
abcd
1
1
1
1
36.1, 20.2, 18.2, 33.4
abc
1
1
1
2
32.1, 39.7, 22.1, 27.5
a
1
2
2
2
18.0, 16.0, 24.8, 27.9
b
2
1
2
2
37.0, 34.0, 38.0, 39.0
d
2
2
2
1
35.4, 31.2, 28.1, 39.0
cd
2
2
1
1
33.0, 36.0, 33.0, 37.0
abd
1
1
2
1
18.0, 15.0, 19.0, 22.0
acd
1
2
1
1
33.7, 27.8, 34.5, 30.2
ab
1
1
2
2
18.0, 15.0, 16.0, 29.1
bd
2
1
2
1
35.7, 31.2, 40.0, 44.2
bc
2
1
1
2
44.0, 37.0, 40.0, 41.5
c
2
2
1
2
32.9, 40.0, 41.0, 38.1
bcd
2
1
1
1
33.0, 36.0, 33.0, 40.0
ad
1
2
2
1
17.0, 19.0, 16.0, 22.0
ac
1
2
1
2
35.0, 30.0, 33.0, 31.0
(1)
2
2
2
2
36.0, 35.0, 35.0, 40.0
Ȫ
Λύση
i. Το πρόβλημα είναι ένα 24 παραγοντικό πείραμα που περιλαμβάνει 24 = 16 δυνατούς συνδυασμούς (θεραπείες, αγωγές, πληθυσμούς) μεταξύ των επιπέδων των τεσσάρων παραγόντων
A, B, C και D, καθένας εκ των οποίων χρησιμοποιήθηκε 4 φορές, δηλαδή το πείραμα εκτελέστηκε με 4 επαναλήψεις ανά θεραπεία. Το σύνολο των πειραμάτων που εκτελέστηκαν, όπως
φαίνεται και από τον Πίνακα Δεδομένων, είναι 64.
Το κατάλληλο πρότυπο με αλληλεπίδραση για τη μελέτη είναι το
yijkl = µ + αi + βj + γk + δl + (αβ)ij + (αγ)ik + (αδ)il + (βγ)jk + (βδ)jl + (γδ)kl
+ (αβγδ)ijkl + (αβγ)ijk + (αβδ)ijl + (αγδ)ikl
(9.11)
+ (βγδ)jkl + ϵijklm , i, j, k, l = 1, 2, m = 1, ..., 4.
Σημειώνεται ότι αφού το πείραμα εκτελείται με επανάληψη, είναι δυνατή (και συστήνεται) η
μελέτη των αλληλεπιδράσεων όλων των τάξεων (όπως φαίνεται από το πρότυπο είναι συνολικά
11). Ακόμα και αν το πείραμα δεν γινόταν με επανάληψη, δηλαδή αν είχαν εκτελεστεί 16 μόνο
πειράματα (με 16 − 1 = 15 συνολικά βαθμούς ελευθερίας), θα μπορούσαν, επιπρόσθετα των 4
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
267
κύριων επιδράσεων, να μελετηθούν κάποιες αλληλεπιδράσεις που θα ενδιέφεραν τον Ερευνητή,
αλλά μόνο τόσες ώστε να περίσσευε τουλάχιστον ένας βαθμός ελευθερίας για τα σφάλματα ώστε
να μπορούν να πραγματοποιηθούν οι αναγκαίοι έλεγχοι του προτύπου.
Η μελέτη του προτύπου γίνεται στο Minitab μέσω της διαδρομής:
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
με τη μεταβλητή απόκρισης Y να τίθεται στο Responses και τους παράγοντες A − D στα
Factors. Σημειώνεται ότι για την περίπτωση του προτύπου με αλληλεπίδραση, θα πρέπει στο
Model
να επιλεχθούν οι 4 παράγοντες και να τικαριστεί η επιλογή Interactions through order 4
ώστε να περιληφθούν στο μοντέλο όλες οι αλληλεπιδράσεις, ενώ στο Random/Nest θα πρέπει
να καθοριστεί το Type όλων των εμπλεκόμενων παραγόντων (εδώ είναι όλες Fixed με 2 ακριβώς
επίπεδα). Σημειώνεται ότι το Minitab με τον όρο order 4 θεωρεί τις αλληλεπιδράσεις με 4 παράγοντες και γενικά χρησιμοποιεί (όπως φαίνεται και στην επιλογή Model) τους όρους order 2, 3
και 4 για τις αλληλεπιδράσεις μεταξύ 2, 3 και 4 παραγόντων όταν στο παρόν εγχειρίδιο έχουμε
επιλέξει οι αντίστοιχες αλληλεπιδράσεις να αναφέρονται ως αλληλεπιδράσεις τάξης 1, 2 και 3. Τα
αποτελέσματα της Ανάλυσης Διακύμανσης είναι τα εξής:
Πίνακας 9.30: Πίνακας ANOVA - Μονάδα Παραγωγής
Από τα αποτελέσματα φαίνεται ότι εκτός από τον παράγοντα B, οι υπόλοιποι τρεις παράγοντες
είναι όλοι σημαντικοί ( p-values από 0.000 για τους A και C έως 0.046 για τον παράγοντα D).
Από την άλλη πλευρά, αν και οι περισσότερες αλληλεπιδράσεις δεν είναι στατιστικώς σημαντικές ( p-values από 0.260 για την αλληλεπίδραση BCD μέχρι 0.923 για την αλληλεπίδραση
μέγιστης τάξης), υπάρχουν δύο που μπορούν να θεωρηθούν στατιστικώς σημαντικές, δηλαδή
η αλληλεπίδραση AC με p-value 0.000 και η AB με p-value 0.075, που αν και δεν είναι σημαντική στο σύνηθες επίπεδο σημαντικότητας 5%, δεν μπορεί να αγνοηθεί και συστήνεται να
268
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
συμπεριληφθεί σε οποιαδήποτε περαιτέρω μελέτη.
Έχοντας επιλέξει στα Results τα Default Coefficients, το Minitab δίνει τους εκτιμητές των συντελεστών:
Πίνακας 9.31: Συντελεστές ANOVA - Μονάδα Παραγωγής
Υπενθυμίζεται ότι λόγω των σχέσεων που συνδέουν τους συντελεστές, με το άθροισμά τους
ανά επίδραση να ισούται με το μηδέν, το Minitab δίνει ανά περίπτωση, όλους τους συντελεστές πλην ενός, ο υπολογισμός του οποίου προκύπτει από το άθροισμα όλων των υπολοίπων
με αντίθετο πρόσημο. Για παράδειγμα, αφού ο εκτιμητής για το επίπεδο 1 του παράγοντα A
είναι ίσος με A1 = −5.891 συμπεραίνουμε ότι ο εκτιμητής για το 2ο επίπεδο του ίδιου παράγοντα, είναι A2 = 5.891, ώστε το άθροισμα των δύο αυτών συντελεστών να ισούται με μηδέν. Αξίζει να παρατηρηθεί ότι ακόμα και για τους όρους των αλληλεπιδράσεων, το Minitab
καταγράφει μία μόνο τιμή (π.χ. για την αλληλεπίδραση μεταξύ A και B δίνεται μόνο η τιμή
d
(αβ)
11 = A ∗ B11 = −1.053). Αυτό συμβαίνει γιατί οι συντελεστές που αφορούν τις
αλληλεπιδράσεις αθροίζουν στο μηδέν ξεχωριστά για κάθε εμπλεκόμενο παράγοντα. Έτσι, για
παράδειγμα, για την αλληλεπίδραση μεταξύ των A και B προκύπτουν με βάση τον συντελεστή
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
269
A ∗ B11 = −1.053 (που δίνεται στο output), οι εξής εκτιμητές:
d
d
(αβ)
21 = A ∗ B21 = +1.053, (αβ)12 = A ∗ B12 = +1.053
d
& (αβ)
22 = A ∗ B22 = −1.053.
Αν ο Ερευνητής επιθυμεί να καταγραφούν στο output όλοι οι εκτιμητές, αρκεί στα Results να
επιλέξει το Full Set of Coefficients.
Επίσης, μπορούν να επιλεγούν στα Options οι όροι για τους οποίους επιθυμεί ο Ερευνητής να
καταγραφούν οι μέσες τιμές. Οι κλασικές επιλογές είναι για τις κύριες επιδράσεις, τις αλληλεπιδράσεις 1ης τάξης (ανά δύο) και όλους τους όρους του προτύπου, αν και υπάρχει και η δυνατότητα να επιλεχθούν συγκεκριμένοι όροι ( Specified Terms). Εδώ, έχει επιλεχθεί η περίπτωση
των κύριων επιδράσεων (Main Effects) που δίνει τα εξής αποτελέσματα:
Πίνακας 9.32: Μέσες Τιμές Επιπέδων - Μονάδα Παραγωγής
Tα αποτελέσματα της ανάλυσης υποδεικνύουν ότι θα πρέπει το ιδανικό πρότυπο να περιλαμβάνει τους παράγοντες A, C και D, τις αλληλεπιδράσεις AC και AB και αναγκαστικά τον
παράγοντα B, λόγω της σημαντικότητας της αλληλεπίδρασης AB, η οποία τον περιλαμβάνει. Επαναλαμβάνοντας την ίδια διαδικασία με προηγουμένως, και μόνο με αυτούς τους όρους
(επιλέγοντας κατάλληλα τις συγκεκριμένες μόνο αλληλεπιδράσεις στο Model), έχουμε τα πιο
κάτω αποτελέσματα:
Πίνακας 9.33: Πίνακας ANOVA - Σημαντικές Επιδράσεις - Μονάδα Παραγωγής
270
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Τα αποτελέσματα έχουν ελαφρώς διαφοροποιηθεί σε σχέση με προηγουμένως, όσον αφορά τις
τιμές της ελεγχοσυνάρτησης F (και κατ’ επέκταση τις p-values) και αυτό γιατί έχουν διαφοροποιηθεί το SSE και οι αντίστοιχοι βαθμοί ελευθερίας. Υπενθυμίζεται ότι αυτό έγινε λόγω
του ότι από το τελικό πρότυπο απομακρύνθηκαν όλοι οι όροι που βρέθηκαν στατιστικώς μη
σημαντικοί, με αποτέλεσμα τα αθροίσματα τετραγώνων που αντιστοιχούσαν σε αυτούς (και οι
αντίστοιχοι βαθμοί ελευθερίας) να προστεθούν στο αρχικό άθροισμα τετραγωνικών σφαλμάτων SSE (και τους αρχικούς βαθμούς ελευθερίας που αντιστοιχούσαν σε αυτό). Πράγματι, το
SSE από 1028.72 μονάδες και 48 βαθμούς ελευθερίας έγινε τώρα SSE = 1089.18 με 57
βαθμούς ελευθερίας. Ως αποτέλεσμα, ο εκτιμητής της διασποράς σ 2 από 21.43 στο αρχικό μοντέλο, μειώθηκε σε 19.11. Σημειώνεται ότι αν και το M SE μειώθηκε, οι p-values δεν βελτιώθηκαν (μειώθηκαν) και αυτό γιατί η κατανομή F βασίζεται τώρα σε 1 και 57 έναντι 1 και 48 βαθμούς ελευθερίας που αντιστοιχούσαν προηγουμένως. Παρατηρούμε ότι το Minitab καταγράφει
με σαφήνεια τη διαφοροποίηση μεταξύ του πλήρους παραγοντικού και εκείνου με τους σημαντικούς όρους. Πράγματι, η γραμμή του Πίνακα ANOVA με τίτλο Lack of Fit, αφορά ακριβώς τη
μεταβλητότητα και τους βαθμούς ελευθερίας αθροιστικά όλων των όρων που έχουν αποκλειστεί
από το τελικό πρότυπο. Η μαθηματική σχέση του τελικού μοντέλου είναι η εξής:
Θα πρέπει να τονιστεί ότι το πιο πάνω μοντέλο, όπως δίνεται στο output της διαδικασίας ANOVA
και τιτλοφορείται Regression Equation, μπορεί να χρησιμοποιηθεί για σκοπούς εκτίμησης της
μεταβλητής απόκρισης, αλλά αυτό θα πρέπει να γίνει λαμβάνοντας υπόψη τα επίπεδα των παραγόντων στα οποία θα εκτελεστεί το πείραμα για το οποίο επιθυμεί ο Ερευνητής την εκτίμηση
της μεταβλητής απόκρισης. Έτσι, για τον υπολογισμό της εκτίμησης ŷ θα πρέπει να χρησιμοποιηθούν μόνον οι όροι του μοντέλου που αντιστοιχούν στα επίπεδα των παραγόντων στα οποία
εκτελείται το πείραμα, δηλαδή θα πρέπει να χρησιμοποιηθούν μόνο οι όροι που αντιστοιχούν στη
συγκεκριμένη θεραπεία, ενώ όλοι οι υπόλοιποι πρέπει να αγνοηθούν. Για παράδειγμα, αν ζητείται η εκτίμηση ŷ1122 , όταν δηλαδή η θεραπεία είναι η ab με τους παράγοντες A και B στο υψηλό
(επίπεδο 1) και C και D στο χαμηλό επίπεδο (επίπεδο 2), τότε θα πρέπει να αγνοηθούν από το
πιο πάνω μοντέλο, όλοι οι όροι που περιλαμβάνουν τα A2, B2, C1 και D1 (στις αλληλεπιδράσεις τα επίπεδα καταγράφονται όλα μαζί στο τέλος, έτσι ο όρος A∗ C_12 αφορά το επίπεδο 1 του
A και στο επίπεδο 2 του C) και να χρησιμοποιηθούν μόνον οι υπόλοιποι, λαμβάνοντας υπόψη
μόνο την τιμή του συντελεστή χωρίς το συνοδεύον σύμβολο (A1, B1, C2 και D2):
ŷ1122 = 30.806 − 5.891 − 0.025 − 2.944 + 1.184 − 1.053 − 2.422 = 19.6563.
Η συγκεκριμένη τιμή μπορεί να επιβεβαιωθεί αν ο Ερευνητής ζητήσει να καταχωριστούν οι εκτιμώμενες τιμές της μεταβλητής απόκρισης, στο κεντρικό παράθυρο του Minitab, τικάροντας την
επιλογή Fits στο Storage.
ii. Για να επαναληφθεί η διαδικασία με τη χρήση ενός προτύπου παλινδρόμησης, απαιτείται η κατάλληλη κωδικοποίηση των επιπέδων των εμπλεκόμενων παραγόντων. Για την κωδικοποίηση θα
πρέπει να χρησιμοποιηθούν αποκλειστικά οι κωδικοί −1 και +1. Ο λόγος για τη συγκεκριμένη
κωδικοποίηση είναι ότι επιτρέπει τη σωστή αποτύπωση των αλληλεπιδράσεων στο πρότυπο (οι
οποίες εμπλέκονται στο μοντέλο ως ανεξάρτητες μεταβλητές), οι τιμές των οποίων προκύπτουν
με πολλαπλασιασμό των αντίστοιχων κωδικών των εμπλεκόμενων παραγόντων. Ακόμα και αν
δεν γίνει η ίδια αντιστοίχιση των αρχικών τιμών των επιπέδων με τις κωδικοποιημένες τιμές
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
271
(δηλαδή ακόμα και αν για όλους τους παράγοντες, το −1 αντιστοιχιστεί με το υψηλό και το 1
με το χαμηλό επίπεδο), τα αποτελέσματα θα είναι τα ίδια, με μόνη διαφορά ότι οι εκτιμητές των
επιδράσεων θα έχουν αντίθετα πρόσημα. Για να έχουμε τους ίδιους ακριβώς εκτιμητές (δηλαδή
με τα ίδια πρόσημα και όχι αντίθετα με το ερώτημα (α)) θα πρέπει να αντιστοιχιστεί το επίπεδο 1 για κάθε παράγοντα, με το υψηλό του επίπεδο, δηλαδή με τον κωδικό +1 (και να μην
αλλάξει η αρχική κωδικοποίηση) ενώ το επίπεδο 2 θα πρέπει να αντιστοιχιστεί με το χαμηλό επίπεδο, δηλαδή με τον κωδικό −1 (και να αλλάξει η κωδικοποίηση από 2 σε −1). Προφανώς, ο
Ερευνητής θα μπορούσε από την αρχή να έχει προβλέψει την ανάγκη μελέτης με το πρότυπο
παλινδρόμησης και να είχε εξαρχής προβεί σε αυτή την κωδικοποίηση. H αντιστοίχιση γίνεται
ακολουθώντας την πιο κάτω διαδρομή, δημιουργώντας 4 νέες στήλες/μεταβλητές στο κεντρικό
παράθυρο του Minitab:
Data
Ê
Recode
Ê
To Numeric
όπου θα πρέπει να καταχωριστούν στο Recode Values in the Following Columns: οι μεταβλητές/στήλες, οι τιμές των οποίων θα πρέπει να κωδικοποιηθούν. Επίσης, θα πρέπει να δηλωθεί
στο Method ο τρόπος με τον οποίο θα γίνει η κωδικοποίηση. Εδώ έχει χρησιμοποιηθεί η επιλογή
Recode Individual Values. Άλλες δημοφιλείς επιλογές είναι: Recode Ranges of Values για την αντικατάσταση εύρους τιμών με έναν κωδικό και Recode a Single Value για την κωδικοποίηση μίας
και μοναδικής τιμής (με όλες τις άλλες αμετάβλητες). Αυτή η τελευταία περίπτωση θα μπορούσε
να χρησιμοποιηθεί και στην παρούσα περίπτωση, αφού το επίπεδο 1 ουσιαστικά διατήρησε την
τιμή 1 και μετά την κωδικοποίηση, ενώ μόνο το επίπεδο 2 άλλαξε τιμή. Τέλος, είναι αναγκαίο να
δηλωθεί στο Storage το Location of the Recoded Columns, δηλαδή σε ποιο σημείο στο κεντρικό
παράθυρο θα καταχωριστούν οι νέες (κωδικοποιημένες) μεταβλητές. H ασφαλέστερη επιλογή
είναι At the End of the Current Worksheet ώστε να βρίσκονται στο ίδιο φύλλο εργασίας ( Worksheet) με όλες τις άλλες μεταβλητές, αλλά ταυτόχρονα να διατηρηθούν στο φύλλο εργασίας και οι
αρχικές μεταβλητές/στήλες, για μελλοντική χρήση. Η λιγότερο ασφαλής επιλογή είναι η In the
Original Columns γιατί τότε διαγράφονται τα αρχικά δεδομένα και αντικαθίστανται από τις νέες
(κωδικοποιημένες) τιμές. Οι νέες μεταβλητές διατηρούν το αρχικό τους όνομα με την προσθήκη
του όρου Recoded. Στην περίπτωσή μας, οι νέες μεταβλητές μετά την κωδικοποίηση των A-D,
ονομάζονται Recoded A - Recoded D. Η καταχώριση των νέων μεταβλητών στο κεντρικό
παράθυρο του Minitab συνοδεύεται και από το εξής output:
Πίνακας 9.34: Κωδικοποίηση Επιπέδων Παραγόντων - Μονάδα Παραγωγής
Μετά την ολοκλήρωση της κωδικοποίησης και τη δημιουργία των νέων μεταβλητών Recoded A
- Recoded D, εφαρμόζεται η διαδικασία παλινδρόμησης με τη διαδρομή
Stat
Ê
Regression
Ê
Regression
Ê
Fit Regression Model
272
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
όπου στα Continuous Predictors θα πρέπει να επιλεχθούν οι νέες Recoded Μεταβλητές, ενώ στο
Model θα πρέπει να επιλεχθούν όλες οι αλληλεπιδράσεις μεταξύ δύο, τριών και τεσσάρων παραγόντων, δηλαδή 1ης , 2ης και 3ης τάξης ( Interactions through Order 4, όπως επιλέγει να τις
ονομάζει το Minitab). Tα αποτελέσματα είναι ταυτόσημα με αυτά της διαδικασίας ANOVA στο
ερώτημα (α) και οδηγούν στην ανάδειξη των ίδιων ακριβώς σημαντικών επιδράσεων και αλληλεπιδράσεων (όπου χρησιμοποιούνται οι νέες ονομασίες των μεταβλητών, με τον χαρακτηρισμό
Recoded). Στα αποτελέσματα, η μόνη διαφορά είναι ότι η διαδικασία Regression δίνει και τα βασικά στατιστικά χαρακτηριστικά των συντελεστών παλινδρόμησης (τυπικό σφάλμα, τιμές ελεγχοσυνάρτησης για τη σημαντικότητα των συντελεστών και τις αντίστοιχες p-values). Πιο κάτω
καταγράφονται τα χαρακτηριστικά των συντελεστών παλινδρόμησης για το αρχικό πλήρες παραγοντικό πείραμα:
Πίνακας 9.35: Συντελεστές Παλινδρόμησης - Μονάδα Παραγωγής
iii. Tο τελικό πρότυπο παλινδρόμησης το οποίο περιλαμβάνει μόνο τις σημαντικές επιδράσεις και
αλληλεπιδράσεις είναι το εξής:
Πίνακας 9.36: Συντελεστές Παλινδρόμησης - Σημαντικές Επιδράσεις - Μονάδα Παραγωγής
Υπενθυμίζεται ότι οι εκτιμητές των συντελεστών παραμένουν ίδιοι στο τελικό πρότυπο αλλά οι
λοιπές ποσότητες διαφοροποιούνται, έστω και ελαφρώς, λόγω του ότι το άθροισμα των τετραγωνικών σφαλμάτων SSE και οι βαθμοί ελευθερίας του, έχουν αλλάξει στο τελικό πρότυπο (όπως
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
273
αναφέρθηκε και προηγουμένως στον σχολιασμό των αποτελεσμάτων της Ανάλυσης Διακύμανσης). Στη συγκεκριμένη εφαρμογή παρατηρούμε μία αμυδρή διαφοροποίηση σε τρεις p-values
η οποία τυχαίνει να ενισχύει περαιτέρω τη σημαντικότητα των επιλεχθέντων όρων (δεν είναι
όμως απαραίτητο να συμβαίνει πάντα αυτό), αφού οι p-values για τον παράγοντα D (δηλαδή
Recoded D) και την αλληλεπίδραση A (δηλαδή Recoded AB) μειώθηκαν ελαφρώς από
0.046 και 0.075 σε 0.034 και 0.059 αντιστοίχως.
Σχετικά με τις εκτιμήτριες των επιδράσεων των παραγόντων A − D και των δύο σημαντικών
αλληλεπιδράσεων AB και AC, υπενθυμίζεται ότι αυτές προκύπτουν αν διπλασιαστούν οι εκτιμητές των συντελεστών παλινδρόμησης των αντίστοιχων όρων (είτε στο αρχικό είτε στο τελικό
προτεινόμενο πρότυπο παλινδρόμησης). Έτσι έχουμε:
A = 2 × (−5.891) = −11.782, B = −0.050, C = 5.888,
AB = −2.106 & AC = 4.844,
D = −2.368,
με τον εκτιμητή του γενικού μέσου όρου να δίνεται από τη σταθερά του προτύπου παλινδρόμησης:
µ̂ = 30.806.
Η μαθηματική σχέση του τελικού μοντέλου παλινδρόμησης είναι η εξής:
Αξίζει να αναφερθεί ότι αν και οι διαδικασίες της Ανάλυσης Διακύμανσης και Ανάλυσης Παλινδρόμησης για τα 2f παραγοντικά πειράματα οδηγούν στα ίδια ακριβώς αποτελέσματα, εφόσον
έχουν γίνει οι κατάλληλες κωδικοποιήσεις με τις τιμές −1 και +1, υπάρχει μία σημαντική διαφορά η οποία πρέπει να τύχει σχολιασμού. Η διαφορά αφορά τον τρόπο καταγραφής του προτύπου (είτε του αρχικού είτε του τελικού) στις δύο αυτές προσεγγίσεις και τον τρόπο που αυτό
μπορεί να αξιοποιηθεί για τον υπολογισμό των εκτιμώμενων τιμών της μεταβλητής απόκρισης.
Όπως είναι φανερό, η μαθηματική εξίσωση που προέκυψε πιο πάνω για το τελικό πρότυπο, από
την ανάλυση παλινδρόμησης, δεν είναι ίδια με αυτή που είχε προκύψει νωρίτερα μέσω της ανάλυσης διακύμανσης. Στην περίπτωση της παλινδρόμησης, για κάθε κύριο παράγοντα εμφανίζεται
μόνο ένας όρος (ενώ πριν υπήρχαν δύο) και για κάθε αλληλεπίδραση (από τις δύο που εμπλέκονται στο τελικό πρότυπο) εμφανίζεται και πάλι μόνο ένας όρος (ενώ πριν υπήρχαν τέσσερις).
Αυτή η διαφοροποίηση οφείλεται στη φιλοσοφία των δύο τεχνικών με την ανάλυση παλινδρόμησης να χαρακτηρίζει τόσο τις κύριες επιδράσεις όσο και τις αλληλεπιδράσεις ως ανεξάρτητες
μεταβλητές, με καθεμία να έχει δύο δυνατές τιμές (επιδέξια επιλεγμένες να είναι ίσες με −1 και
+1). Αυτό έχει ως αποτέλεσμα να πρέπει να εντοπιστεί ο συντελεστής παλινδρόμησης για κάθε
όρο ξεχωριστά, με τέτοιο τρόπο που θα προκύπτουν οι σωστές εκτιμήσεις της μεταβλητής απόκρισης για οποιονδήποτε συνδυασμό τιμών των ανεξάρτητων μεταβλητών. Έτσι, για να προκύψει στο πρότυπο παλινδρόμησης η εκτιμώμενη τιμή ŷ1122 = 19.6563 που είχε υπολογιστεί
νωρίτερα στο πρότυπο διακύμανσης, θα πρέπει στη πιο πάνω εξίσωση για τις έξι ανεξάρτητες
μεταβλητές, να χρησιμοποιηθούν οι εξής τιμές:
Recode A = 1, Recode B = 1, Recode C = −1, Recode D = −1
και
Recode A∗ Recode B = 1 × 1 = 1 & Recode A∗ Recode C = 1 × (−1) = −1.
274
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
και έτσι να προκύψει ότι
ŷ1122 = 30.806 − (5.891 × 1) − (0.025 × 1) + (2.944 × (−1)) − (1.184 × (−1))
− (1.053 × 1) + (2.422 × (−1)) = 19.6563.
iv1. Στο τελευταίο μέρος της εφαρμογής ο Ερευνητής ζητάει να απλοποιήσει το πείραμα και να εκτελέσει ένα παραγοντικό πείραμα ενός δευτέρου έτσι ώστε αντί για τις συνολικά 16 θεραπείες να
μελετήσει μόνο τις μισές, με τέσσερις επαναλήψεις την καθεμία. Άρα, τελικά θα γίνουν 32 αντί
64 εκτελέσεις του πειράματος. Στόχος του είναι να μελετηθούν όλες οι κύριες επιδράσεις αλλά να
μπορέσει να αξιολογήσει και τις συγκεκριμένες αλληλεπιδράσεις που χαρακτηρίστηκαν προηγουμένως ως σημαντικές, δηλαδή τις αλληλεπιδράσεις AB και AC.
Αν και στην πράξη δεν είναι ποτέ δυνατόν να έχουμε μία τόσο σαφή εικόνα για τις σημαντικές αλληλεπιδράσεις, ο Ερευνητής εδώ, θέλει να πειστεί ότι υπάρχει κατάλληλος κλασματικός
σχεδιασμός ενός δευτέρου (2f −1 = 23 ) που να μπορεί να είναι εφάμιλλος του πλήρους παραγοντικού. Από τη θεωρία που έχει αναπτυχθεί νωρίτερα, γνωρίζουμε ότι οι αποτελεσματικότεροι
κλασματικοί σχεδιασμοί είναι αυτοί που έχουν την υψηλότερη Ανάλυση ( Resolution) και επίσης
γνωρίζουμε ότι ο αποτελεσματικότερος όλων είναι εκείνος που η προσδιορίζουσα εξίσωση βασίζεται στην αλληλεπίδραση της μέγιστης τάξης, δηλαδή για τη συγκεκριμένη εφαρμογή, την
αλληλεπίδραση τάξης 3 με τους τέσσερις παράγοντες, I = ABCD, χωρίς να έχει σημασία αν
θα επιλεχθεί (τυχαία) το θετικό ή το αρνητικό πρόσημο (εδώ θα επιλεχθεί το θετικό πρόσημο).
Βασιζόμενοι στη θεωρία, γνωρίζουμε ότι η Ανάλυση του συγκεκριμένου σχεδιασμού είναι ίση με
IV , δηλαδή ίση με τον αριθμό f = 4 των εμπλεκόμενων παραγόντων.
Εφαρμόζοντας την ειδική βηματική διαδικασία (βήματα 1 - 6), όπως ακριβώς περιγράφηκε στο
Παράδειγμα 9.5 της Ενότητας 9.2.2, αλλά με τέσσερις αντί πέντε παράγοντες, έχουμε:
Πίνακας 9.37: Πίνακας Αλγεβρικών Προσήμων - Μονάδα Παραγωγής - Προσδιορίζουσα I = ABCD
Επίδραση
A
B
C
D = ABC
Θεραπεία 24−1
(1)
−
−
−
−
(1)
a
+
−
−
+
ad
b
−
+
−
+
bd
ab
+
+
−
−
ab
c
−
−
+
+
cd
ac
+
−
+
−
ac
bc
−
+
+
−
bc
abc
+
+
+
+
abcd
3
Θεραπεία 2
Υπενθυμίζεται ότι με βάση τις θεραπείες του 23 κλάσματος, στην 1η στήλη τοποθετούνται οι
θεραπείες, στις 3 επόμενες τα πρόσημα που αντιστοιχούν στους παράγοντες A, B και C, ενώ η
στήλη για το D προκύπτει κάνοντας τον πολλαπλασιασμό των προσήμων με βάση την προσδιορίζουσα, όπως έχει καταγραφεί στη στήλη για τον παράγοντα D: I = ABCD → D =
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
275
ABC. Εύκολα μπορεί να διαπιστώσει κανείς ότι αν πολλαπλασιαστούν και τα τέσσερα πρόσημα των τεσσάρων παραγόντων στον πιο πάνω πίνακα, το αποτέλεσμα θα είναι συνέχεια θετικό και θα αντιστοιχεί στον μοναδιαίο όρο I, και άρα στην επιθυμητή προσδιορίζουσα εξίσωση
I = ABCD. Ο πιο πάνω πίνακας δίνει τις 8 θεραπείες στις οποίες θα πρέπει να εκτελεστεί το
24−1 κλάσμα του αρχικού πλήρους παραγοντικού πειράματος.
Mε τη χρήση του Minitab είναι δυνατόν να σχεδιαστεί το πιο πάνω κλασματικό πείραμα και να
προσδιοριστούν όλες οι παραλλαγές. Η διαδικασία που θα πρέπει να ακολουθηθεί είναι η ακόλουθη:
Stat
Ê
DOE
Ê
Factorial
Ê
Create Factorial Design
με την επιλογή 2-level factorial design (default generators) να επιλέγει αυτόματα τον βέλτιστο
σχεδιασμό, δηλαδή με προσδιορίζουσα την αλληλεπίδραση μέγιστης τάξης που εδώ είναι η I =
ABCD. Για την εύρεση του σχεδιασμού (δηλαδή τον καθορισμό των επιλεχθέντων θεραπειών)
θα πρέπει να επιλεχθεί η τιμή 4 για το Number of Factors, στην επιλογή Factors να επιβεβαιωθούν οι τιμές των δύο επιπέδων (−1 και 1), στην επιλογή Designs να επιλεχθεί/τικαριστεί το
κλάσμα για τον σχεδιασμό (εδώ θα επιλεχθεί η τιμή 1/2), στα Options να μην τικαριστεί η επιλογή Randomized Runs ώστε να καταχωριστούν οι θεραπείες με την κλασική σειρά, ενώ στο
ίδιο menu να μείνει τικαρισμένη η επιλογή Store Design in Worksheet ώστε στο ίδιο αρχείο να
δημιουργηθεί ένα νέο Worksheet για την καταχώριση των θεραπειών. Ο Ερευνητής θα πρέπει
χειροκίνητα, στο ίδιο Worksheet, να δημιουργήσει μία καινούρια στήλη για να καταχωρίσει τις
τιμές της μεταβλητής απόκρισης Y που αντιστοιχούν στις 8 θεραπείες/πειράματα που εκτελέστηκαν. Αν το πείραμα έχει γίνει με επανάληψη, θα πρέπει να προστεθούν τόσες γραμμές (σε
ομάδες των 8) όσες οι επαναλήψεις του πειράματος (για την εφαρμογή είναι 4). Εναλλακτικά,
μπορεί να επιλεχθεί στα Designs η τιμή 4 στο Number of Replicates for Corner Points.
Πίνακας 9.38: 24−1 Κλασματικός Σχεδιασμός - Προσδιορίζουσα I = ABCD
Το output δίνει όλα τα βασικά χαρακτηριστικά του σχεδιασμού με τον αριθμό επαναλήψεων, τον
αριθμό των εκτελέσεων του πειράματος, την Ανάλυση κλπ. Επίσης, δίνονται και οι παραλλαγές:
276
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.39: 24−1 Κλασματικός Σχεδιασμός - Παραλλαγές - Προσδιορίζουσα I = ABCD
Ο νέος Πίνακας Δεδομένων προκύπτει από τον αρχικό, διαγράφοντας τις θεραπείες που δεν
έχουν επιλεχθεί:
Πίνακας 9.40: Πίνακας Δεδομένων - Μονάδα Παραγωγής - 23 κλάσμα - Προσδιορίζουσα I = ABCD
Θεραπείες
A
B
C
D
Y
abcd
1
1
1
1
36.1, 20.2, 18.2, 33.4
cd
2
2
1
1
33.0, 36.0, 33.0, 37.0
ab
1
1
2
2
18.0, 15.0, 16.0, 29.1
bd
2
1
2
1
35.7, 31.2, 40.0, 44.2
bc
2
1
1
2
44.0, 37.0, 40.0, 41.5
ad
1
2
2
1
17.0, 19.0, 16.0, 22.0
ac
1
2
1
2
35.0, 30.0, 33.0, 31.0
(1)
2
2
2
2
36.0, 35.0, 35.0, 40.0
Ακολουθώντας τη συνήθη διαδρομή
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
εάν αποπειραθούμε να απαιτήσουμε να περιληφθούν στο Model όλες οι αλληλεπιδράσεις, το
Minitab θα τρέξει τη διαδικασία λαμβάνοντας υπόψη μόνο τους όρους που μπορούν να μελετηθούν ανεξάρτητα. Πράγματι, λαμβάνοντας υπόψη τις συγχύσεις που προκύπτουν μεταξύ των
δύο όρων σε κάθε παραλλαγή (που προκύπτει από την προσδιορίζουσα που έχει επιλεχθεί),
αγνοείται και παραλείπεται από την ανάλυση ο ένας εκ των δύο όρων από κάθε ζεύγος παραλλαγών. Οι παραλλαγές όπως προέκυψαν πιο πάνω, μας επιτρέπουν να εκτιμήσουμε ανεξάρτητα
τους όρους στα αριστερά, δηλαδή τους A, B, C, D, AB, AC και AD, και ο όρος στα δεξιά
(που συγχέεται με τον όρο στα αριστερά κάθε παραλλαγής) παραλείπεται από την ανάλυση διακύμανσης. Οπότε, εάν στο μοντέλο περιληφθούν όλες οι κύριες επιδράσεις και όλες οι αλληλεπιδράσεις, η σχετική σημείωση στο ANOVA output θα λέει:
The following terms cannot be estimated and were removed:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
277
B ∗ C, B ∗ D, C ∗ D, A ∗ B ∗ C, A ∗ B ∗ D, A ∗ C ∗ D, B ∗ C ∗ D, A ∗ B ∗ C ∗ D.
Εμείς προχωράμε επιλέγοντας στο μοντέλο μόνο τους όρους που γνωρίζουμε από την προηγούμενη διαδικασία ότι είναι σημαντικοί, δηλαδή: A, B, C και D καθώς και τις αλληλεπιδράσεις
AB και AC (αγνοούμε την αλληλεπίδραση AD, αφού αν και μπορεί να μελετηθεί, γνωρίζουμε
ότι δεν επιδρά στη μεταβλητή απόκρισης). Το αποτέλεσμα, το οποίο υπενθυμίζεται ότι βασίζεται
μόνο στις επιλεχθείσες (με βάση την προσδιορίζουσα εξίσωση) 32 μετρήσεις, είναι:
Πίνακας 9.41: 24−1 Κλασματικός Σχεδιασμός - ANOVA - Προσδιορίζουσα I = ABCD
Για σκοπούς σύγκρισης θα πρέπει να μελετηθούν οι στήλες του μέσου αθροίσματος τετραγώνων, οι τιμές της ελεγχοσυνάρτησης F και οι αντίστοιχες p-values. Ήδη από τις τιμές της F
διαπιστώνουμε ότι:
α. αν και οι τιμές για τους παράγοντες A και B έχουν μειωθεί, παραμένουν εξαιρετικά υψηλές
(61.21 και 11.09), με αποτέλεσμα να αποδεικνύεται ότι οι επιδράσεις και με τον κλασματικό σχεδιασμό είναι στατιστικώς σημαντικές με p-values 0.000 και 0.003 (ενώ ήταν και
οι δύο 0.000, στο πλήρες παραγοντικό),
β. η τιμή της F για τον παράγοντα D επίσης μειώθηκε από 4.70 σε 2.65 με αποτέλεσμα όμως
η p-value να μην μπορέσει να κρατηθεί κάτω από 10% (κατέληξε από 4.3% που ήταν προηγουμένως, 11.6%) και η επίδρασή της να θεωρείται πλέον ως στατιστικώς μη σημαντική,
γ. η τιμή της F για τον παράγοντα B ήταν και παρέμεινε εξαιρετικά χαμηλή ώστε να εξακολουθεί να θεωρείται ως μη σημαντικός ( p-value 0.669 από 0.964),
δ. οι τιμές της F για τις δύο αλληλεπιδράσεις που ήταν σχετικά μικρές (19.65 και 3.71),
μειώθηκαν και έγιναν 9.01 και 2.90 με αποτέλεσμα να αυξηθούν οι αντίστοιχες p-values
σε 0.006 και 0.101 (από 0.000 και 0.059), διατηρώντας τη μία αλληλεπίδραση σημαντική
και την άλλη οριακά σημαντική, σε επίπεδο σημαντικότητας 10%.
Με βάση όλες τις παραπάνω παρατηρήσεις και κυρίως τις τιμές των p-values, καταλήγουμε στο
συμπέρασμα ότι ο κλασματικός σχεδιασμός ήταν σε σημαντικό βαθμό αποτελεσματικός, με τους
τρεις σημαντικότερους όρους που είχαν αναδειχθεί από τον πλήρη παραγοντικό σχεδιασμό (τις
κύριες επιδράσεις A και C και την αλληλεπίδραση AC) να αναδεικνύονται και πάλι ως εξίσου
σημαντικοί, με ασήμαντες διαφοροποιήσεις ως προς τις p-values. Από την άλλη μεριά, παρατηρείται μία καθολική μείωση στις τιμές των ελεγχοσυναρτήσεων F , με αποτέλεσμα οι υπόλοιποι
δύο όροι που είχαν εντοπιστεί ως σημαντικοί (ο παράγοντας D και η αλληλεπίδραση AB) να
αποτυγχάνουν να αναδειχθούν και πάλι σημαντικοί. Πάντως, λόγω των αρκετά οριακών τιμών
των p-values, δεν θα αποτελούσε έκπληξη αν ο Ερευνητής επέλεγε να κρατήσει τους δύο αυτούς
όρους στο τελικό του μοντέλο (συμπεριλαμβάνοντας αναγκαστικά και τον παράγοντα B που αν
278
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
και δεν είναι σημαντικός από μόνος του, εμπλέκεται σε μία οριακά σημαντική αλληλεπίδραση).
Όπως είναι αναμενόμενο, οι πιο πάνω διαφοροποιήσεις επιδρούν αναγκαστικά και στις τιμές
των συντελεστών του τελικού προτύπου που δίνονται από την επόμενη μαθηματική σχέση με τη
σημείωση ότι για την αντιστοίχιση με το αρχικό πρότυπο του πλήρους παραγοντικού, ο κωδικός
2 αντιστοιχεί στον κωδικό −1 και αυτό γιατί το Minitab, για την κατασκευή του σχεδίου και τον
προσδιορισμό των θεραπειών στο Create Factorial Design , βασίζεται στην κωδικοποίηση −1
και +1, εκτός εάν ο Ερευνητής απαιτήσει κάτι διαφορετικό στην επιλογή Factors:
iv2. Σχετικά με τον δεύτερο κλασματικό παραγοντικό σχεδιασμό που προτείνει ο Ερευνητής με προσδιορίζουσα εξίσωση την I = BCD, επαναλαμβάνουμε εδώ τις θεραπείες όπως είχαν προσδιοριστεί νωρίτερα στο Παράδειγμα 9.4:
Πίνακας 9.42: Θεραπείες - Μονάδα Παραγωγής - Προσδιορίζουσα I = BCD
Επίδραση
A
B
C
D
(1)
−
−
−
−
a
+
−
−
−
bc
−
+
+
−
abc
+
+
+
−
bd
−
+
−
+
abd
+
+
−
+
cd
−
−
+
+
acd
+
−
+
+
Θεραπεία
Από τις παραλλαγές που επίσης είχαν προσδιοριστεί σε εκείνο το παράδειγμα και παρατίθενται
στη συνέχεια, χωρίς να καταγράφονται εις διπλούν:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
279
Πίνακας 9.43: Παραλλαγές στο 24−1 Παραγοντικό Πείραμα - Μονάδα Παραγωγής - Προσδιορίζουσα I =
BCD
I = BCD
(I, BCD)
A = ABCD
(A, ABCD)
B = CD
(B, CD)
C = BD
(C, BD)
D = BC
(D, BC)
AB = ACD
(AB, ACD)
AC = ABD
(AC, ABD)
AD = ABC
(AD, ABC)
παρατηρούμε ότι 3 κύριες επιδράσεις συγχέονται με αλληλεπιδράσεις 1ης τάξης (δηλαδή μεταξύ
2 παραγόντων) με αποτέλεσμα η Ανάλυση του σχεδιασμού να είναι ίση με III και φυσικά να μην
είναι δυνατή η αξιολόγηση των συγκεκριμένων αλληλεπιδράσεων, δηλαδή των BC, BD και
CD. Βεβαίως, η συγκεκριμένη προσδιορίζουσα εξυπηρετεί τους σκοπούς του Ερευνητή, αφού
επιτρέπει την ανεξάρτητη αξιολόγηση τόσο των τεσσάρων κύριων παραγόντων A − D όσο
και των αλληλεπιδράσεων AB, AC που τον ενδιαφέρουν, αλλά και της αλληλεπίδρασης AD
(που δεν τον ενδιαφέρει), όπως φαίνεται από τις τρεις τελευταίες παραλλαγές. Ταυτόχρονα, δεν
θα μπορέσουν να αξιολογηθούν οι όροι που βρίσκονται στα δεξιά της ισότητας στις πιο πάνω
παραλλαγές, κάτι που όμως δεν απασχολεί τον Ερευνητή, αφού οι συγκεκριμένοι όροι δεν τον
ενδιαφέρουν.
Με βάση τις πιο πάνω διαπιστώσεις, ο κλασματικός αυτός σχεδιασμός, αν και από άποψη Ανάλυσης είναι υποδεέστερος του προηγούμενου που βασίστηκε στην αλληλεπίδραση μέγιστης τάξης, δεν παύει να είναι κατάλληλος, και άρα αποτελεσματικός, για τους σκοπούς που καλείται να
εξυπηρετήσει. Φυσικά, από τη στιγμή που οι θεραπείες διαφέρουν από αυτές που χρησιμοποιήθηκαν προηγουμένως, αναμένουμε ότι τα αποτελέσματα δεν θα είναι ταυτόσημα με αυτά του
προηγούμενου κλασματικού σχεδιασμού, αν και αναμένονται να είναι ισοδύναμα σε αρκετά σημαντικό βαθμό, όσον αφορά τις συγκεκριμένες επιδράσεις που ενδιαφέρουν τον Ερευνητή.
Πριν προχωρήσουμε στην εφαρμογή της ανάλυσης διακύμανσης θα πρέπει να παρουσιαστεί ο
τρόπος κατασκευής του σχεδιασμού με τη βοήθεια του Minitab. Υπενθυμίζεται ότι ο σχεδιασμός που θα προκύψει είναι ένας 24−1 = 23 σχεδιασμός με 8 θεραπείες (το ήμισυ του 16).
Συνεπώς, το Minitab επιθυμεί να τον αντιμετωπίσει ως έναν 23 σχεδιασμό που αφορά 3 παράγοντες (A, B και C) και στον οποίο θα υπεισέλθει ένας τέταρτος (ο D), μέσω της προσδιορίζουσας εξίσωσης η οποία θα πρέπει να εκφραστεί ως προς τον τέταρτο αυτόν παράγοντα, δηλαδή
I = BCD → D = BC. Ακολουθούμε και πάλι τη διαδρομή
Stat
Ê
DOE
Ê
Factorial
Ê
Create Factorial Design
κάνοντας τις εξής ενέργειες:
– Στο Type of Design επιλέγουμε τη 2η επιλογή 2-level factorial (specify generators), αφού
πρόκειται να δώσουμε εμείς την προσδιορίζουσα εξίσωση.
280
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
– Στο Number of Factors επιλέγουμε την τιμή 3, που αφορά τη δύναμη του 2 στο κλάσμα που
μας ενδιαφέρει (24−1 = 23 ). Υπενθυμίζεται ότι ο 4ος παράγοντας θα δοθεί μόνο μέσω της
προσδιορίζουσας εξίσωσης.
– Στα Designs επιλέγουμε το Full Design με την έννοια ότι ο σχεδιασμός θα έχει 23 = 8 θεραπείες και τρεις παράγοντες (ο 4ος υπεισέρχεται μέσω της προσδιορίζουσας). Εάν υπάρχουν
επαναλήψεις (εδώ υπάρχουν τέσσερις) αυτό μπορεί να καταχωριστεί στην επιλογή Number
of Replicates for Corner.
– Στα Designs θα πρέπει να επιλέξουμε επιπλέον τα Generators, όπου στο άνω τμήμα θα προσθέσουμε τους πρόσθετους παράγοντες (εδώ έχουμε μόνο έναν και έτσι θα καταχωρίσουμε
την προσδιορίζουσα εκπεφρασμένη ως προς τον έξτρα παράγοντα, δηλαδή D = BC).
Σημειώνεται ότι το κάτω τμήμα χρησιμεύει στην περίπτωση που εμπλέκεται στο πείραμα
μεταβλητή πλαισίου.
– Στα Factors μπορούμε να επιβεβαιώσουμε ότι εμφανίζονται τόσο οι αρχικοί τρεις παράγοντες όσο και ο τέταρτος που εισήλθε μέσω της προσδιορίζουσας (στα Generators).
– Στα Options δεν επιλέγουμε το Randomized Runs (στην περίπτωση της εφαρμογής έχουν
ήδη εκτελεστεί τα πειράματα) ενώ συστήνεται να παραμείνει τικαρισμένη η επιλογή Store
Design in Worksheet.
Οι θεραπείες του κλασματικού πειράματος καταχωρίζονται σε ένα νέο Worksheet με την κλασική
σειρά, ενώ στο output δίνονται τα βασικά στοιχεία του σχεδιασμού, δηλαδή ο αριθμός των παραγόντων, ο αριθμός των εκτελέσεων του πειράματος που ισούται με το γινόμενο του αριθμού
των θεραπειών και των επαναλήψεων, το κλάσμα (εδώ 1/2) καθώς και η Ανάλυση ( Resolution)
που εδώ είναι III.
Πίνακας 9.44: 24−1 Κλασματικός Σχεδιασμός - Προσδιορίζουσα I = BCD
Επίσης, στο output καταγράφονται η προσδιορίζουσα εξίσωση και οι παραλλαγές μέχρι k − 1
τάξης σε πείραμα με k συνολικά παράγοντες. Για να καταγραφούν όλες, δηλαδή και η k τάξης
(για τη συγκεκριμένη εφαρμογή μέχρι και 4ης τάξης), θα πρέπει στα Results, και συγκεκριμένα
στο Content of Alias Table, να επιλεχθεί η επιθυμητή τιμή k (για την εφαρμογή είναι η τιμή 4)
στο Interactions up through order:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
281
Πίνακας 9.45: 24−1 Κλασματικός Σχεδιασμός - Παραλλαγές - Προσδιορίζουσα I = BCD
Παρατηρούμε ότι στο output υπάρχει σημείωση ( NOTE) η οποία εφιστά την προσοχή του
Ερευνητή στο γεγονός ότι υφίσταται σύγχυση μεταξύ κύριων επιδράσεων και αλληλεπιδράσεων
1ης τάξης, που φυσικά δικαιολογεί την Ανάλυση του σχεδιασμού (III).
Εφαρμόζουμε και πάλι τη διαδικασία για την κατασκευή του Πίνακα ANOVA και της μαθηματικής σχέσης του προτύπου και επιβεβαιώνουμε τη μεγάλου βαθμού ταύτιση των αποτελεσμάτων
των δύο επιλεχθέντων κλασματικών σχεδιασμών.
Πίνακας 9.46: 24−1 Κλασματικός Σχεδιασμός - ANOVA Προσδιορίζουσα I = BCD
Για σκοπούς μίας ένα προς ένα σύγκρισης, παρατίθεται χωρίς σχόλια, ο πιο κάτω πίνακας με τους
εκτιμητές και τις p-values για τη σημαντικότητα, τόσο για το πλήρες παραγοντικό (2η και 3η
στήλη) όσο και για τα δύο κλασματικά πειράματα (4η και 5η στήλη για το κλάσμα με Ανάλυση
IV και 6η και 7η για το κλάσμα με Ανάλυση III).
282
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Πίνακας 9.47: Συγκριτικός Πίνακας - Πλήρες Πείραμα και Κλασματικά Πειράματα
Πλήρες Πείραμα
Κλάσμα Ανάλυση IV
Κλάσμα Ανάλυση III
Θεραπεία
Εκτιμητής
p-value
Εκτιμητής
p-value
Εκτιμητής
p-value
Constant
30.806
−
30.863
−
31.466
−
A
−5.891
0.000
−6.555
0.000
−0.5947
0.000
B
0.025
0.964
0.363
0.669
0.347
0.654
C
2.944
0.000
2.788
0.003
2.853
0.001
D
−1.184
0.034
−1.362
0.116
−0.822
0.293
AB
−1.053
0.059
−1.425
0.101
−1.441
0.071
AC
2.422
0.000
2.512
0.006
2.578
0.002
9.4 Σχόλια και χρήσιμες σημειώσεις - Minitab
Στην ενότητα αυτή παρατίθενται για διευκόλυνση του αναγνώστη, χρήσιμες σημειώσεις και σχόλια αναφορικά με το Minitab για τα θέματα που μελετήθηκαν στο παρόν κεφάλαιο.
• Στο Minitab υπάρχει η δυνατότητα τροποποίησης της κατασκευής ενός σχεδίου που έχει δημιουργηθεί
από τη διαδρομή
Stat
Ê
DOE
Ê
Factorial
Ê
Create Factorial Design
Συγκεκριμένα, αν ο Ερευνητής επιλέξει τη διαδρομή
Stat
Ê
DOE
Ê
Modify Design
μπορεί μεταξύ άλλων να αλλάξει τους παράγοντες ( Modify Factors) είτε να αλλάξει τον αριθμό των
επαναλήψεων ( Replicate Design) είτε να επιλέξει την τυχαία σειρά για την εκτέλεση των πειραμάτων τικάροντας την επιλογή ( Randomize Design). Σημειώνεται ότι η τυχαία σειρά στην εκτέλεση
των πειραμάτων έχει ιδιαίτερη σημασία γιατί αυξάνεται η αξιοπιστία των αποτελεσμάτων, αφού με τον
τυχαίο τρόπο στη σειρά εκτέλεσης των πειραμάτων, περιορίζεται η επίδραση οποιωνδήποτε εξωγενών
παραγόντων (που εμπλέκονται στο πείραμα). Το Minitab επιλέγει με τρόπο τυχαίο και καταγράφει
τη σειρά με την οποία μπορούν να εκτελεστούν τα πειράματα από τον πειραματιστή. Αν οι μετρήσεις
έχουν ήδη συλλεχθεί, συνηθίζεται να μην κάνουμε τη συγκεκριμένη επιλογή στο Minitab, ώστε να καταχωρίζονται οι μετρήσεις με την κλασική σειρά (έστω και αν έχουν εκτελεστεί με τυχαία σειρά), για
καθαρά πρακτικούς λόγους.
9.5 Άλυτες ασκήσεις
1. Ερευνητής επιθυμεί να αξιολογήσει έξι (6) 2-σταθμικούς παράγοντες A − F , όσον αφορά την επίδρασή τους σε μία μεταβλητή απόκρισης. Για τον σκοπό αυτό επιλέγει κλασματικό παραγοντικό σχεδιασμό 26−2 , χωρίς επανάληψη, με γεννήτορες τις σχέσεις P = ACDE και Q = BCDF , ο οποίος
δίνει τα εξής 16 αποτελέσματα για τη μεταβλητή απόκρισης:
0, 0.25, −0.05, 0.3, 0.08, 0.33, −0.5, 0.26, 0.04, 0.29, −0.1, 0.31, 0.5, 0.54, 0.35, 0.6
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
283
i. Ζητείται η Ανάλυση ( Resolution) του σχεδιασμού.
ii. Ζητείται να προσδιοριστούν οι θεραπείες του σχεδιασμού και να αντιστοιχιστούν με τις μετρήσεις
που δίνονται στην εκφώνηση.
iii. Με τη χρήση του Πίνακα ANOVA να εντοπίσετε σε επίπεδο 10% ποιες είναι οι σημαντικές
κύριες επιδράσεις, αν θεωρήσετε ότι όλες οι αλληλεπιδράσεις είναι αμελητέες.
iv. Με βάση τα αποτελέσματα του Πίνακα ANOVA, ποιος είναι ο μέγιστος αριθμός αλληλεπιδράσεων που θα μπορούσατε να συμπεριλάβετε στη μελέτη; Αν έπρεπε να εντοπίσετε 6 αλληλεπιδράσεις 1ης τάξης (μεταξύ δύο παραγόντων) για να τις συμπεριλάβετε στη μελέτη του ερωτήματος ( iii), ποιες θα ήταν αυτές και ποια τα αποτελέσματα της μελέτης;
2. Ερευνητής επιθυμεί να αξιολογήσει πέντε (5) 2-σταθμικούς παράγοντες A − E, όσον αφορά την
επίδρασή τους σε μία μεταβλητή απόκρισης. Για τον σκοπό αυτό επιλέγει κλασματικό παραγοντικό
σχεδιασμό 25−1 , χωρίς επανάληψη, με προσδιορίζουσα τη σχέση AB = CDE, με τα εξής 16 αποτελέσματα για τη μεταβλητή απόκρισης:
0.46, 1.09, 1.72, 2.04, 0.46, 1.51, 2.04, 3.30, 0.88, 1.41, 1.83, 1.51, 0.67, 0.99, 1.20, 1.30
i. Ζητείται η Ανάλυση ( Resolution) του σχεδιασμού.
ii. Ζητείται να προσδιοριστούν οι θεραπείες του σχεδιασμού και να αντιστοιχιστούν με τις μετρήσεις
που δίνονται στην εκφώνηση.
iii. Με τη χρήση του Πίνακα ANOVA να εντοπίσετε σε επίπεδο 10% ποιες είναι οι σημαντικές
κύριες επιδράσεις, αν θεωρήσετε ότι όλες οι αλληλεπιδράσεις είναι αμελητέες.
iv. Με βάση τα αποτελέσματα του Πίνακα ANOVA, ποιος είναι ο μέγιστος αριθμός αλληλεπιδράσεων που θα μπορούσατε να συμπεριλάβετε στη μελέτη; Αν έπρεπε να εντοπίσετε 6 αλληλεπιδράσεις 1ης τάξης (μεταξύ δύο παραγόντων) για να τις συμπεριλάβετε στη μελέτη του ερωτήματος ( iii), ποιες θα ήταν αυτές και ποια τα αποτελέσματα της μελέτης;
v. Έστω ότι ο Ερευνητής θέλει να περιορίσει το κόστος πειραματισμού και εξετάζει το ενδεχόμενο
να αντικαταστήσει τον προηγούμενο σχεδιασμό με έναν 25−2 κλασματικό παραγοντικό σχεδιασμό με προσδιορίζουσες τις σχέσεις AB = CE και AB = D. Να προσδιορίσετε την Ανάλυση
του νέου σχεδιασμού και να σχολιάσετε αν συστήνετε (ή όχι) τον συγκεκριμένο σχεδιασμό και
γιατί.
3. Ερευνητής επιθυμεί τη μελέτη πέντε (5) 2-σταθμικών παραγόντων A, B, C, D και E με λιγότερες
από τις 32 δοκιμές που απαιτεί το πλήρες παραγοντικό πείραμα. Για τον σκοπό αυτό, μεταξύ περισσότερων προτάσεων, προκρίνει τις ακόλουθες:
Π1: Να εφαρμοστεί κλασματικός σχεδιασμός ενός δευτέρου, με γεννήτρια τη σχέση I = ABD.
Π2: Να εφαρμοστεί κλασματικός σχεδιασμός ενός δευτέρου, με όσο το δυνατόν μεγαλύτερο πλήθος
θεραπειών του να αντιστοιχεί σε κύριες επιδράσεις παραγόντων.
Π3: Να εφαρμοστεί κλασματικός σχεδιασμός ενός τετάρτου, με προσδιορίζουσες τις σχέσεις A =
CD και A = BE.
Για καθέναν από τους τρεις προτεινόμενους σχεδιασμούς:
i. Να κατασκευαστεί ο πίνακας σχεδιασμού και να δοθούν οι αντίστοιχες θεραπείες.
ii. Να προσδιοριστούν οι προσδιορίζουσες εξισώσεις καθώς και το σύνολο των παραλλαγών.
iii. Να προσδιοριστεί η Ανάλυση ( Resolution) και να καταταχτούν σε αύξουσα σειρά προτίμησης.
Να δικαιολογήσετε την απάντησή σας.
284
ΠΕΙΡΑΜΑΤΑ f ΠΑΡΑΓΟΝΤΩΝ ΜΕ 2 ΕΠΙΠΕΔΑ
Για τον σχεδιασμό που προτείνεται στο ερώτημα ( iii), να γίνει ο Πίνακας Διασποράς και να εντοπιστούν οι σημαντικές κύριες επιδράσειςτ αν δίνονται οι παρακάτω 16 μετρήσεις:
Πίνακας 9.48: Σύνολο Δεδομένων - Πέντε Παράγοντες
α/α
1
2
3
4
5
6
7
8
Μέτρηση
33785
26388.6
31622.6
26543.3
32388.8
27269.5
33059
26612.3
α/α
9
10
11
12
13
14
15
16
Μέτρηση
32388.8
27269.5
33059.1
25612.3
33785.3
26338.6
31662.6
26543.3
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Βόντα, Φ., & Καραγρηγορίου, Α. (2012). Εφαρμοσμένη στατιστική ανάλυση & στοιχεία πιθανοτήτων.
Αθήνα: Εκδόσεις Παρασκήνιο.
[2] Δαμιανού, Χ., & Κούτρας, Μ. (1998). Εισαγωγή στη στατιστική, Μέρος ΙΙ. Αθήνα: Εκδόσεις Συμμετρία.
[3] Κουτρουβέλης, Ι. Α. (2015). Εφαρμοσμένες πιθανότητες και στατιστική για μηχανικούς και θετικούς επιστήμονες. Αθήνα: Εκδόσεις Gotsis.
[4] Κουτρουβέλης, Ι. Α. (2000). Προηγμένα εργαλεία και μέθοδοι για τον έλεγχο της ποιότητας, Τόμος Β,
Σχεδιασμός και Ανάλυση Πειραμάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήμιο.
[5] Κολυβά-Μαχαίρα, Φ., & Μπόρα-Σέντα, Ε. (1995). Στατιστική, θεωρία και εφαρμογές. Θεσσαλονίκη:
Εκδόσεις Ζήτη.
[6] Κουνιάς, Σ., Κολυβά-Μαχαίρα, Φ., Μπαγιάτης, Γ., & Μπόρα-Σέντα, Ε. (1985). Εισαγωγή στη στατιστική. Θεσσαλονίκη: Εκτύπωση Γιαχούδη-Γιαπούλη Ο.Ε.
[7] Κούτρας, Μ. Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[8] Παπαδόπουλος, Γ. Κ. (2015). Εισαγωγή στις πιθανότητες και τη στατιστική. Αθήνα: Εκδόσεις Gutenberg.
[9] Παπαϊωάννου, Τ., & Λουκάς, Σ. (2002). Εισαγωγή στη στατιστική. Αθήνα: Εκδόσεις Σταμούλη Α. Ε.
[10] Φερεντίνος, Κ., Ζωγράφος, Κ., & Παπαϊωάννου, Τ. (2020). Εκτιμητική και έλεγχος υποθέσεων. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[11] Barker, T. B., & Milivojevich, A. (2016). Quality by experimental design. Routledge, Taylor and Francis Group.
[12] Blainey, P., Krzywinski, M., & Altman, N. (2014). Points of significance: replication. Nat Meth,
11(9), 879–880.
[13] Box, G. E. P., Hunter, W.G., & Hunter, J. S. (2005). Statistics for experimenters: design, innovation and
discovery (2nd ed.). John Wiley and Sons.
286
ΒΙΒΛΙΟΓΡΑΦΙΑ
[14] Box, G.E.P., Hunter, W.G., & Hunter, J.S. (1978). Statistics for experimenters. John Wiley and Sons.
[15] Field, A. (2021). Μία περιπέτεια στη στατιστική (Ε. Γάκη, Χ. Παρπούλα & Η. Σαντουρίδης, Επιμ.).
Αθήνα: Εκδόσεις Προπομπός.
[16] Hicks, C.R. (1997). Fundamental concepts in the design of experiments (4th ed.). John Wiley and Sons.
[17] Lawson, J. (2014). Design and analysis of experiments with R. Chapman and Hall/CRC.
[18] Martins, M.C.M., Caldana, C., Wolf, L.D., & de Abreu, L.G.F. (2018). The importance of experimental design, quality assurance, and control in plant metabolomics experiments. Methods Mol Biol.,
1778, 3-17. doi: 10.1007/978-1-4939-7819-9_1. PMID: 29761427
[19] Mitra, A. (2016). Fundamentals of quality control and improvement (4th ed.). John Wiley and Sons.
[20] Montgomery, D.C. (2013). Design and analysis of experiments (8th ed.). John Wiley and Sons.
[21] Witte, R.S., Witte, J. S., Ανδρουλάκης, Γ., & Κουνετάς, Κ. (2019). Στατιστική, ανάλυση δεδομένων με
τη χρήση R. Αθήνα: Εκδόσεις Κριτική.
ΚΕΦΑΛΑΙΟ 10
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει ειδικά θέματα στην ανάλυση διακύμανσης, συμπεριλαμβανομένων των πειραμάτων με πολλούς παράγοντες ενδιαφέροντος, των τεχνικών μη παραμετρικής
ανάλυσης διακύμανσης και της ανάλυσης συνδιακύμανσης.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και την κατανόηση των προηγουμένων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• αναγνωρίζει πειράματα με πολλούς παράγοντες ενδιαφέροντος με ή χωρίς μεταβλητές πλαισίου,
• χρησιμοποιεί κατάλληλες τεχνικές της μη παραμετρικής στατιστικής και συγκεκριμένα τις μη
παραμετρικές μεθόδους ανάλυσης διακύμανσης των Kruskal-Wallis και Friedman για τη μελέτη πειραματικών σχεδιασμών που δεν δύνανται να μελετηθούν με παραμετρικές μεθόδους,
• εφαρμόζει την ανάλυση συνδιακύμανσης για τη μελέτη παραγόντων ενδιαφέροντος στην παρουσία συμμεταβλητών που δεν είναι δυνατόν να τεθούν υπό έλεγχο, κατά τον σχεδιασμό της
έρευνας.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
288
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
10.1 f - Παραγοντική ανάλυση διακύμανσης
Στο κεφάλαιο αυτό θα συνεχίσουμε τη μελέτη παραγοντικών πειραμάτων (σχεδιασμών) σχολιάζοντας σε συντομία τα f -παραγοντικά πειράματα, ενώ θα δώσουμε έμφαση στα παραγοντικά πειράματα f παραγόντων
με τρία επίπεδα έκαστος που θα μπορούσαν να θεωρηθούν γενίκευση των 2f παραγοντικών σχεδιασμών του
προηγούμενου κεφαλαίου. Τέλος, θα συζητηθεί η περίπτωση της μη παραμετρικής ανάλυσης διακύμανσης,
καθώς και της ανάλυσης συνδιακύμανσης.
Στη συνέχεια, παρατίθεται το πρότυπο τριών παραγόντων A, B και Γ με αλληλεπιδράσεις 1ου και 2ου βαθμού (δηλαδή μεταξύ δύο, καθώς και τριών παραγόντων), αλλά και χωρίς αλληλεπιδράσεις:
yijkl = µ + αi + βj + γk + (αβ)ij + (αγ)ik + (βγ)jk
+ (αβγ)ijk + ϵijkl , i = 1, ..., a, j = 1, ..., b, k = 1, ..., c, l = 1, ..., n,
και
yijkl = µ + αi + βj + γk + ϵijkl , i = 1, ..., a, j = 1, ..., b, k = 1, ..., c, l = 1, ..., n.
Με ανάλογο τρόπο μπορεί να διατυπωθεί το πρότυπο με f παράγοντες, f > 3. Η περίπτωση που παρουσιάζεται πιο πάνω είναι η περίπτωση ενός ισορροπημένου σχεδιασμού, δηλαδή με ίδιο αριθμό επαναλήψεων n,
ανά θεραπεία.
Στις περιπτώσεις εκείνες που το πείραμα με f > 2 παράγοντες, εκτελείται χωρίς επανάληψη (δηλαδή n =
1), είναι δυνατόν ο Ερευνητής να προβεί στη μελέτη κάποιων αλληλεπιδράσεων. Ένα πείραμα χωρίς αλληλεπίδραση είναι αδύνατον να αξιολογήσει όλες τις αλληλεπιδράσεις, και αυτό γιατί σε αυτή την περίπτωση θα
εξαντλούνταν όλοι οι διαθέσιμοι βαθμοί ελευθερίας και δεν θα έμεναν βαθμοί ελευθερίας για τα σφάλματα.
Σε τέτοιες περιπτώσεις, ο Ερευνητής μπορεί να συμπεριλάβει στο πείραμα την αξιολόγηση των αλληλεπιδράσεων 1ης τάξης και να αγνοήσει την αλληλεπίδραση της 2ης τάξης, η οποία θα παίξει τον ρόλο του σφάλματος.
Στην πράξη, είναι σύνηθες φαινόμενο στη θέση των σφαλμάτων να χρησιμοποιούνται οι όροι που αντιστοιχούν στις μεγαλύτερες τάξεις αλληλεπιδράσεων. Τέτοιες αλληλεπιδράσεις είναι δύσκολο και να ερμηνευθούν
και να αξιολογηθούν, αλλά και πολύ συχνά, έχουν μηδαμινή (έως και μηδενική) επίδραση στη μεταβλητή
απόκρισης, ώστε τελικά να είναι ανέξοδη (δηλαδή να μην αλλοιώνει την ανάλυση) η επιλογή του Ερευνητή
να τις θεωρήσει αμελητέες.
Ειδικά για την περίπτωση των 3f παραγοντικών πειραμάτων, θα πρέπει να σημειωθεί ότι θεωρούνται ιδιαίτερα πολύπλοκα, ακόμα και για σχετικά μικρό αριθμό παραγόντων f . Οι σχεδιασμοί αυτοί επιτρέπουν, πέραν
των συνήθων κύριων επιδράσεων (που εδώ αναφέρονται και ως γραμμικοί) και των συνήθων αλληλεπιδράσεων (μεταξύ των κύριων - εδώ γραμμικών επιδράσεων), να μελετηθούν και οι τετραγωνικοί όροι των κύριων
επιδράσεων, καθώς και οι αλληλεπιδράσεις μεταξύ γραμμικών και τετραγωνικών όρων. Έτσι, προκύπτουν οι
ακόλουθες επιδράσεις:
1. η κύρια επίδραση κάθε παράγοντα (με 2 βαθμούς ελευθερίας) που αναλύεται στον γραμμικό όρο και
στον τετραγωνικό όρο της κύριας επίδρασης με 1 βαθμό ελευθερίας για τον καθένα,
2. η αλληλεπίδραση της μορφής A × B μεταξύ κάθε ζεύγους κύριων επιδράσεων, έστω A και B (με 4
βαθμούς ελευθερίας), που αναλύεται σε τέσσερις όρους με 1 βαθμό ελευθερίας ο καθένας, δηλαδή:
α. η αλληλεπίδραση AL BL μεταξύ των γραμμικών όρων AL και BL των δύο παραγόντων ( L για
Linear),
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
289
β. η αλληλεπίδραση AS BS μεταξύ των τετραγωνικών όρων AS και BS των δύο παραγόντων ( S
για Square) και
γ. η αλληλεπίδραση AL BS και AS BL μεταξύ γραμμικού όρου του ενός και τετραγωνικού όρου
του άλλου παράγοντα.
Με την εφαρμογή κατάλληλου προτύπου παλινδρόμησης για το πρόβλημα, ο Ερευνητής συστήνεται να χρησιμοποιήσει την κωδικοποίηση −1, 0, +1 για την περιγραφή των τριών επιπέδων κάθε παράγοντα που αντιστοιχούν στο χαμηλό, μεσαίο και υψηλό επίπεδο για τον κάθε παράγοντα. Στην ειδική περίπτωση δύο παραγόντων (f = 2), αν ορίσουμε με x1 και x2 τους γραμμικούς όρους των δύο κύριων επιδράσεων, τότε
εκμεταλλευόμενοι την πιο πάνω κωδικοποίηση, οι τετραγωνικοί παράγοντες θα συμβολίζονται με x21 και x22 ,
ενώ οι τέσσερις αλληλεπιδράσεις θα συμβολίζονται με x1 x2 , x21 x22 , x1 x22 και x21 x2 . Έτσι, το μεν μοντέλο παλινδρόμησης θα δίνεται από τη σχέση:
y = β0 + β1 x1 + β2 x2 + β3 x21 + β4 x22 + β5 x1 x2 + β6 x21 x22 + β7 x1 x22 + β8 x21 x2 + ϵ
ενώ οι τιμές των 7 εμπλεκόμενων μεταβλητών παλινδρόμησης θα παίρνουν τιμές με βάση τους προφανείς
πολλαπλασιασμούς των τιμών (−1, 0, +1) των γραμμικών όρων.
Με βάση τα παραπάνω, τα αθροίσματα τετραγώνων μπορούν να αναλυθούν αναλόγως:
SSA = SSAS + SSAL , SSB = SSBS + SSBL ,
και
SSAB = SSAS BS + SSAL BL + SSAS BL + SSAL BS .
Παράδειγμα 10.1. Έστω 32 παραγοντικό πείραμα με τα εξής δεδομένα:
Πίνακας 10.1: Πίνακας Δεδομένων στο 32 Παραγοντικό Πείραμα με n = 1
y
x1
x2
x21
x22
x1 x2
x1 x22
x21 x2
x21 x22
40
−1
−1
+1
+1
+1
−1
−1
+1
370
0
−1
0
+1
0
0
0
0
680
+1
−1
+1
+1
−1
+1
−1
+1
130
−1
0
+1
0
0
0
0
0
350
0
0
0
0
0
0
0
0
740
+1
0
+1
0
0
0
0
0
100
−1
+1
+1
+1
−1
−1
+1
+1
325
0
+1
0
+1
0
0
0
0
770
+1
+1
+1
+1
+1
+1
+1
+1
Στις στήλες x1 και x2 καταγράφονται τα επίπεδα των δύο παραγόντων δημιουργώντας τις 9 θεραπείες του πειράματος, ενώ τα σύμβολα των υπόλοιπων στηλών προκύπτουν από τους πολλαπλασιασμούς των συμβόλων των
στηλών των παραγόντων x1 και x2 .
Σημειώνεται ότι επειδή έχουμε μία μόνο επανάληψη δεν είναι δυνατόν να μελετηθούν και οι 8 όροι του προτύπου παλινδρόμησης, αφού οι διαθέσιμοι βαθμοί ελευθερίας είναι n − 1 = 8 − 1 = 7. Επιπρόσθετα, για τον
290
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
ίδιο λόγο, δεν είναι δυνατόν να γίνει ούτε η ανάλυση διακύμανσης με το πλήρες παραγοντικό δύο παραγόντων με
αλληλεπίδραση για τον ίδιο λόγο. Υπενθυμίζεται ότι κάθε παράγοντας έχει 2 βαθμούς ελευθερίας, ενώ η αλληλεπίδραση 4, με αποτέλεσμα να μην αρκούν οι διαθέσιμοι βαθμοί ελευθερίας ούτε για την ανάλυση διακύμανσης.
Σε τέτοιες περιπτώσεις, ο Ερευνητής επιλέγει κάποιες αλληλεπιδράσεις και εφαρμόζει την ανάλυση διακύμανσης
ή αντιστοίχως κάποιους όρους για να εφαρμόσει το μοντέλο παλινδρόμησης. Για εφαρμογή της μεθοδολογίας θα
θεωρήσουμε αμελητέες τις αλληλεπιδράσεις AS BS μεταξύ των τετραγωνικών όρων και τις AL BS και AS BL
μεταξύ κάθε γραμμικού με κάθε τετραγωνικό όρο και θα μελετήσουμε το απλοποιημένο μοντέλο:
y = β0 + β1 x1 + β2 x2 + β3 x21 + β4 x22 + β5 x1 x2 + ϵ
με αποτέλεσμα να αποδεσμεύσουμε 3 βαθμούς ελευθερίας για το σφάλμα. Ακολουθώντας τη διαδρομή
Stat
Ê
Regression
Ê
Regression
Ê
Fit Regression Model
μπορούμε να προσδιορίσουμε αφενός μεν τους συντελεστές παλινδρόμησης του πιο πάνω απλοποιημένου προτύπου
παλινδρόμησης, αφετέρου δε, τα αθροίσματα τετραγώνων των εμπλεκόμενων παραγόντων και των όρων που τα
συνθέτουν. Ο πίνακας για τους συντελεστές παλινδρόμησης είναι:
Πίνακας 10.2: Παλινδρόμηση - Εκτίμηση Συντελεστών - Παράδειγμα 32 Παραγοντικό Πείραμα
Όρος
Εκτιμητής
Τυπικό Σφάλμα
Ελεγχοσυνάρτηση t
p-value
β0
365.6
33.4
10.95
0.002
A
320.0
18.3
17.50
0.000
B
17.5
18.3
0.96
0.409
A2
61.7
31.7
1.95
0.147
B2
−25.8
31.7
−0.82
0.474
AB
7.5
22.4
0.33
0.760
Για τον προσδιορισμό των επιμέρους αθροισμάτων τετραγώνων, θα πρέπει στην πιο πάνω διαδρομή και στην επιλογή Options να επιλεχθεί το Sequential (type I) στο Sum of Squares for Tests ώστε να υπολογίζεται η πρόσθετη
συνεισφορά του τρέχοντος όρου όταν στο μοντέλο έχουν ήδη ενσωματωθεί μόνο οι προηγούμενοι όροι.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
291
Πίνακας 10.3: Πίνακας ANOVA - Παλινδρόμηση - Παράδειγμα 32 Παραγοντικό Πείραμα
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
614400
B
1
A2
Μέσο
F
p-value
614400
306.21
0.000
1837
18371
0.92
0.409
1
7606
7606
3.79
0.147
B2
1
1335
1335
0.67
0.474
AB
1
225
225
0.11
0.760
Σφάλματα
3
6019
2006
–
–
Ολική
8
631422
–
–
–
Άθροισμα
Τετραγώνων
Με βάση τα αποτελέσματα του Πίνακα ANOVA της ανάλυσης παλινδρόμησης έχουμε:
SSA = SSAL + SSAS = 614400 + 7606 = 622006,
SSB = SSBL + SSBS = 1837 + 1335 = 3172
αφού αθροίζουμε τη συνεισφορά γραμμικού και τετραγωνικού όρου για κάθε παράγοντα και:
SSAB = SSAS BS + SSAL BL + SSAS BL + SSAL BS = 0 + 225 + 0 + 0 = 225,
αφού μόνο η αλληλεπίδραση των γραμμικών όρων των κύριων παραγόντων μελετήθηκε και οι υπόλοιπες θεωρήθηκαν αμελητέες.
Για τη μελέτη του πλήρους πειράματος, αξιοποιώντας τόσο την ανάλυση παλινδρόμησης όσο και την ανάλυση
διακύμανσης, προχωρούμε τώρα στο επόμενο παράδειγμα το οποίο κάνει χρήση των δεδομένων του προηγουμένου παραδείγματος για το οποίο έχει γίνει μία ακόμα επανάληψη:
Παράδειγμα 10.2. Έστω 32 παραγοντικό πείραμα με 2 επαναλήψεις ανά θεραπεία, με τα εξής δεδομένα:
292
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
Πίνακας 10.4: Πίνακας Δεδομένων στο 32 Παραγοντικό Πείραμα με n = 2 επαναλήψεις
y
x1
x2
x21
x22
x1 x2
x1 x22
x21 x2
x21 x22
40
−1
−1
+1
+1
+1
−1
−1
+1
370
0
−1
0
+1
0
0
0
0
680
+1
−1
+1
+1
−1
+1
−1
+1
130
−1
0
+1
0
0
0
0
0
350
0
0
0
0
0
0
0
0
740
+1
0
+1
0
0
0
0
0
100
−1
+1
+1
+1
−1
−1
+1
+1
325
0
+1
0
+1
0
0
0
0
770
+1
+1
+1
+1
+1
+1
+1
+1
70
−1
−1
+1
+1
+1
−1
−1
+1
270
0
−1
0
+1
0
0
0
0
740
+1
−1
+1
+1
−1
+1
−1
+1
140
−1
0
+1
0
0
0
0
0
350
0
0
0
0
0
0
0
0
670
+1
0
+1
0
0
0
0
0
80
−1
+1
+1
+1
−1
−1
+1
+1
330
0
+1
0
+1
0
0
0
0
750
+1
+1
+1
+1
+1
+1
+1
+1
Η διαδικασία στο Minitab για την ανάλυση παλινδρόμησης είναι ίδια με αυτήν του προηγούμενου παραδείγματος
και δίνει τα εξής αποτελέσματα, όσον αφορά τους συντελεστές παλινδρόμησης:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
293
Πίνακας 10.5: Παλινδρόμηση - Εκτίμηση Συντελεστών - Παράδειγμα 32 Παραγοντικό Πείραμα
Όρος
Εκτιμητής
Τυπικό Σφάλμα
Ελεγχοσυνάρτηση t
p-value
β0
350.0
23.8
14.73
0.000
A
285.0
16.8
16.96
0.000
B
3.7
16.8
0.22
0.828
A2
70.0
29.1
2.41
0.040
B2
−26.2
29.1
−0.90
0.391
AB
3.7
11.9
0.32
0.759
AB 2
46.2
20.6
2.25
0.051
A2 B
17.5
20.6
0.85
0.417
A2 B 2
10.0
35.6
0.28
0.785
με τα επιμέρους αθροίσματα τετραγώνων να δίνονται στον πιο κάτω πίνακα:
Πίνακας 10.6: Πίνακας ANOVA Παλινδρόμηση - Παράδειγμα 32 Παραγοντικό Πείραμα
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
1197008
B
1
A2
Μέσο
F
p-value
1197008
1060.08
0.000
2852
2852
2.53
0.146
1
23511
23511
20.82
0.001
B2
1
1534
15345
1.36
0.274
AB
1
113
113
0.10
0.759
AB 2
1
5704
5704
5.05
0.051
A2 B
1
817
8176
0.72
0.417
A2 B 2
1
89
89
0.08
0.785
Σφάλματα
9
10163
1129
–
–
Ολική
17
1241790
–
–
–
Άθροισμα
Τετραγώνων
Με βάση τα αποτελέσματα του Πίνακα ANOVA της ανάλυσης παλινδρόμησης έχουμε
SSA = SSAL + SSAS = 1197008 + 23511 = 1220519,
SSB = SSBL + SSBS = 2852 + 1534 = 4386
και
SSAB = SSAS BS + SSAL BL + SSAS BL + SSAL BS = 113 + 5704 + 817 + 89 = 6722
294
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
τα οποία επιβεβαιώνονται αν εφαρμοστεί η ανάλυση διακύμανσης για το πλήρες παραγοντικό με αλληλεπίδραση
μέσω της διαδικασίας
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
Πίνακας 10.7: Πίνακας ANOVA - Διπαραγοντική Ανάλυση με Αλληλεπίδραση - 32 Παραγοντικό Πείραμα
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
2
1220519
B
2
AB
Μέσο
F
p-value
610260
540.45
0.000
4386
2193
1.94
0.199
4
6722
1681
1.49
0.284
Σφάλματα
9
10163
1129
–
–
Ολική
17
1241790
–
–
–
Άθροισμα
Τετραγώνων
Οι όποιες διαφορές οφείλονται σε στρογγυλοποιήσεις. Τα αποτελέσματα δείχνουν ότι με την Ανάλυση Παλινδρόμησης ο κάθε παράγοντας διασπάται σε γραμμικό και τετραγωνικό όρο (με έναν βαθμό ελευθερίας έκαστος) και
η αλληλεπίδραση διασπάται σε 4 όρους (επίσης με έναν βαθμό ελευθερίας έκαστος), κάτι που δεν υφίσταται στην
Ανάλυση Διακύμανσης όπου για κάθε παράγοντα οι δύο όροι εκπροσωπούνται από έναν μόνο όρο (με 2 βαθμούς
ελευθερίας) και η αλληλεπίδραση επίσης από έναν μόνο όρο (με 4 βαθμούς ελευθερίας). Το φαινόμενο αυτό δεν
παρατηρείται σε 2f πειράματα γιατί εκεί τόσο ο κάθε παράγοντας όσο και η κάθε αλληλεπίδραση έχουν έναν μόνο
βαθμό ελευθερίας, με αποτέλεσμα και στην Παλινδρόμηση και στη Διακύμανση να εκπροσωπούνται από έναν μόνο
όρο.
Στην περίπτωση που απαιτείται η μελέτη ενός 3f παραγοντικού πειράματος με περισσότερους από 3 παράγοντες,
αποφεύγεται η επανάληψη λόγω του μεγάλου πλήθους των δοκιμών που απαιτούνται. Σε αυτές τις περιπτώσεις,
ο Ερευνητής είναι υποχρεωμένος να υποθέσει ότι κάποιες μεγάλης τάξης αλληλεπιδράσεις είναι αμελητέες και να
τις χρησιμοποιήσει για να παίξουν τον ρόλο του σφάλματος. Όταν τα επίπεδα είναι ισαπέχοντα, τότε η διάσπαση
μπορεί να γίνει με 2 όρους για κάθε κύρια επίδραση, τη γραμμική και την τετραγωνική με 1 βαθμό ελευθερίας
έκαστος, με 4 όρους για κάθε αλληλεπίδραση πρώτης τάξης (πάλι με 1 βαθμό ελευθερίας έκαστος) σε 8 όρους για
κάθε αλληλεπίδραση δεύτερης τάξης (πάλι με 1 βαθμό ελευθερίας έκαστος). Η περαιτέρω μελέτη τέτοιων σχεδίων
ξεφεύγει από τους σκοπούς του παρόντος συγγράμματος.
10.2 Μη παραμετρική ανάλυση διακύμανσης
Στην ενότητα αυτή θα μελετηθούν οι δύο κλασικότερες και δημοφιλέστερες μη παραμετρικές μέθοδοι ανάλυσης διακύμανσης για τις περιπτώσεις εκείνες που δεν είναι δυνατόν να εφαρμοστούν οι παραμετρικές μέθοδοι,
συνήθως λόγω παραβίασης των προϋποθέσεων της ανάλυσης διακύμανσης. Η μέθοδος Kruskal-Wallis είναι η
μη παραμετρική μέθοδος που αντιστοιχεί στη μονοπαραγοντική ανάλυση διακύμανσης, και η μέθοδος Friedman αυτή που αντιστοιχεί στο σχέδιο τυχαιοποιημένων πλήρων ομάδων (μεταβλητές πλαισίου).
Ο έλεγχος Kruskal-Wallis ([9]) είναι μη παραμετρική διαδικασία που μπορεί να εφαρμοστεί για τη σύγκριση
δύο ή περισσότερων πληθυσμών με βάση αντίστοιχα ανεξάρτητα δείγματα. Στην απλή περίπτωση, των δύο
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
295
πληθυσμών, ο έλεγχος εκφυλίζεται στον έλεγχο των Mann-Whitney ([11]) και τον ισοδύναμο έλεγχο Wilcoxon
([18]). Στην απλή αυτή περίπτωση, ζητείται η σύγκριση δύο πληθυσμών, δηλαδή κατά πόσο οι συναρτήσεις
κατανομής τους είναι ίσες ή όχι. Αν μάλιστα θεωρηθεί ότι η συναρτησιακή μορφή των δύο κατανομών είναι
ίδια, ο έλεγχος ανάγεται σε έλεγχο των διαμέσων:
H0 : medianx = mediany
vs
H1 : medianx ̸= mediany .
Εναλλακτικά, θα μπορούσε να μελετηθεί και ο μονόπλευρος έλεγχος όπου μία από τις δύο διαμέσους είναι
μεγαλύτερη από την άλλη.
Οι έλεγχοι αυτοί βασίζονται όχι στις τιμές των μετρήσεων αλλά στις τάξεις (βαθμούς, ranks) των μετρήσεων
που είναι διαθέσιμες από τους δύο πληθυσμούς όταν έχουν διαταχθεί (όλες μαζί) σε αύξουσα σειρά. Αν οι πληθυσμοί είναι ίσοι (ίδιοι), τότε αναμένουμε ο μέσος όρος των τάξεων των μετρήσεων από τον έναν πληθυσμό να
ταυτίζονται (να είναι πάρα πολύ κοντά) με τον μέσο των τάξεων των μετρήσεων του άλλου πληθυσμού. Αντίθετα, αν για παράδειγμα, ο μέσος των τάξεων του ενός πληθυσμού είναι πολύ μικρός και ο μέσος των τάξεων
του άλλου πολύ μεγάλος σημαίνει ότι οι μετρήσεις από τον πρώτο πληθυσμό είναι πολύ μικρές συγκρινόμενες
με τις μετρήσεις του δεύτερου, και άρα η κατανομή που αντιστοιχεί στις μικρές μετρήσεις είναι αριστερότερα
από ότι η κατανομή των μεγάλων μετρήσεων. Ο έλεγχος συχνά και ιδιαιτέρως στην περίπτωση συμμετρικών
κατανομών (όπου η μέση τιμή και η διάμεσος ταυτίζονται), ισοδυναμεί με τον έλεγχο της σύγκρισης των μέσων.
Οι δημοφιλέστεροι έλεγχοι στη βιβλιογραφία για τη σύγκριση δύο πληθυσμών, οι οποίοι είναι ισοδύναμοι,
είναι των Wilcoxon και Mann-Whitney. Από την άλλη πλευρά, η πειραματική κατάσταση που αντιστοιχεί
στην περίπτωση k ≥ 2 ανεξαρτήτων τυχαίων δειγμάτων από k πληθυσμούς ή θεραπείες, και για την περίπτωση που ο έλεγχος ισοδυναμεί με έλεγχο των σύγκρισης μέσων, ο σχεδιασμός καθίσταται αντίστοιχος του
πλήρως τυχαιοποιημένου πειραματικού σχεδιασμού.
Έστω xi1 , ..., xini οι μετρήσεις από τον i πληθυσμό, i = 1, ..., k και R (xij ) η τάξη ( rank) της j μέτρησης
από τον i πληθυσμό, i = 1, ..., k, j = 1, ..., ni . Παρατηρούμε ότι αν το συνολικό μέγεθος δείγματος είναι
n = n1 + ... + nk , τότε οι τάξεις που ανατίθενται είναι όλοι οι ακέραιοι 1, 2, ..., n − 1, n.
P
Αν Ri = j R (xij ) το άθροισμα των τάξεων των μετρήσεων από τον πληθυσμό i και R̄i = Ri /ni ο
αντίστοιχος μέσος των τάξεων των μετρήσεων από τον πληθυσμό i, τότε αν η μηδενική υπόθεση είναι ορθή,
αναμένεται ότι όλοι οι μέσοι των R1 , ..., Rk θα είναι ίσοι ή έστω πολύ κοντά:
R2
Rk
R1
≈
≈ ... ≈
.
n1
n2
nk
Παρατηρώντας ότι:
X
Ri =
X
n(n + 1)
(n + 1)
&
R̄i =
2
2
προκύπτει ότι:
(n + 1)
Ri
=
ni
2
και κατά συνέπεια αναμένεται:
X Ri
Ri (n + 1)
n+1
−
≈0→
−
ni
2
ni
2
i
2
≈ 0.
Στην πιο πάνω ιδέα βασίστηκαν οι Kruskal & Wallis και πρότειναν τη στατιστική ελεγχοσυνάρτηση:
k
X
12
1
K −W =
n(n + 1) i=1 ni
Ri n + 1
−
ni
2
2
.
296
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
Εναλλακτικά, χρησιμοποιείται η ελεγχοσυνάρτηση:
k
X
12
Ri2
K −W =
− 3(n + 1).
n(n + 1) i=1 ni
Όπως αναφέρθηκε και νωρίτερα, τιμές κοντά στο μηδέν ισοδυναμούν με αποδοχή της ταύτισης των δύο κατανομών (και άρα των μέσων/διαμέσων τους), ενώ μεγάλες τιμές οδηγούν στην απόρριψη της μηδενικής
υπόθεσης.
Επειδή η εύρεση της κατανομής της ελεγχοσυνάρτησης K − W είναι πολύπλοκη, ακόμα και για σχετικά
μικρές τιμές των k και n, έχει προταθεί μία προσέγγιση με βάση το Κεντρικό Οριακό Θεώρημα, σύμφωνα με
την οποία:
Ri − ERi
√
≈ N (0, 1)
V arRi
έτσι ώστε:
!
X Ri − ERi 2
√
≈ χ2k−1 .
V arRi
i
P
P
Σημειώνεται ότι για τους ακεραίους 1, 2, ...n ισχύει ότι i Ri = n(n+1)/2 και i Ri2 = n(n+1)(2n+
1)/6). Όμως τότε είναι εύκολο να δειχθεί ότι αν ισχύει η μηδενική υπόθεση της ταύτισης των πληθυσμών
(μέσων/διαμέσων), έχουμε ότι:
E (Ri ) = ni
n+1
2
& V ar (Ri ) = ni
(n + 1)(n − ni )
.
12
Με βάση τα παραπάνω οι Kruskal και Wallis έδειξαν ότι κάτω από τη μηδενική υπόθεση της ταύτισης των
πληθυσμών, ισχύει ότι:
k
X
1
ni (n + 1)
12
Ri −
K −W =
n(n + 1) i=1 ni
2
!2
≈ χ2k−1 .
Σημειώνεται ότι σε περίπτωση που έχουμε ταυτίσεις ( ties), δηλαδή αν έχουμε μετρήσεις που ταυτίζονται,
τότε η τάξη της καθεμίας ισούται με τον μέσο όρο των τάξεων που θα αντιστοιχούσαν στις μετρήσεις αυτές,
αν δεν ταυτίζονταν. Έτσι για παράδειγμα, αν όλες οι μετρήσεις από δύο δείγματα μπαίνουν σε αύξουσα σειρά
και προκύπτει το σύνολο μετρήσεων 5, 6, 6, 7, 8, 8, 8, 9, 10, 12, τότε αφενός μεν διαπιστώνεται ότι οι τάξεις
που θα πρέπει να χρησιμοποιηθούν είναι οι ακέραιοι από το 1 έως το 10, αφετέρου δε, οι τάξεις 2 και 3 πρέπει
να χρησιμοποιηθούν για τις δύο μετρήσεις που είναι ίσες με 6 ενώ οι τάξεις 5, 6 και 7 για τις μετρήσεις που
είναι ίσες με 8. Στην περίπτωση αυτή, ανατίθεται σε κάθε μέτρηση ίση με 6 η τάξη 2.5 (δηλαδή ο μέσος των
τάξεων 2 και 3 που θα τους ανατίθεντο αν οι μετρήσεις δεν ήταν ίσες) και η τάξη 6 σε κάθε μέτρηση ίση με την
τιμή 8.
Παράδειγμα 10.3. ([9]) Ένα εργοστάσιο έχει τρεις γραμμές παραγωγής από τις οποίες επιλέγονται δείγματα
προϊόντων μεγέθους n1 = 5, n2 = 3 και n3 = 4 και ζητείται να διερευνηθεί αν παρατηρούνται διαφορές μεταξύ
των τριών επιπέδων του παράγοντα ενδιαφέροντος (γραμμή παραγωγής).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
297
Πίνακας 10.8: Πίνακας Δεδομένων - Παράδειγμα Kruskal - Wallis
Επίπεδο 1
Επίπεδο 2
Επίπεδο 3
340
339
347
345
333
343
330
344
349
342
–
355
338
–
–
Οι τάξεις για το δείγμα που προκύπτει από τη συνένωση των δειγμάτων των τριών γραμμών παραγωγής μαζί,
φαίνονται στον πιο κάτω πίνακα:
Πίνακας 10.9: Πίνακας Δεδομένων και Τάξεων - Παράδειγμα Kruskal - Wallis
Επίπεδο 1
Τάξη 1
Επίπεδο 2
Τάξη 2
Επίπεδο 3
Τάξη 3
340
5
339
4
347
10
345
9
333
2
343
7
330
1
344
8
349
11
342
6
–
–
355
12
338
3
–
–
–
–
Αθροίζοντας κάθετα την καθεμία από τις στήλες των τάξεων (ανά επίπεδο του παράγοντα) προκύπτει το άθροισμα
και ο μέσος των τάξεων ανά επίπεδο:
R1 = 24, R2 = 14, R3 = 40, R̄1 = 4.8, R̄2 = 4.7, R̄1 = 10.3,
από όπου ήδη διαφαίνεται ότι το τελευταίο επίπεδο (Επίπεδο 3) παρουσιάζει σημαντικά μεγαλύτερο μέσο όρο τάξεων από τα άλλα δύο.
Η σχετική διαδικασία στο Minitab είναι η ακόλουθη:
Stat
Ê
Nonparametrics
Ê
Kruskal-Wallis
όπου στο Response τοποθετείται η μεταβλητή απόκρισης και στο Factor ο παράγοντας ενδιαφέροντος.
Ο Πίνακας αποτελεσμάτων του ελέγχου δίνει τα ακόλουθα:
Πίνακας 10.10: Αποτελέσματα Ελέγχου Kruskal-Wallis
Βαθμοί Ελευθερίας
Ελεγχοσυνάρτηση
p-value
2
5.66
0.059
298
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
Παρατηρούμε ότι αν και στο σύνηθες 5% επίπεδο σημαντικότητας η μηδενική υπόθεση γίνεται δεκτή, σε οποιοδήποτε επίπεδο άνω του 5.9% η μηδενική απορρίπτεται και άρα δεν ταυτίζονται οι διάμεσοι των τριών επιπέδων. Ήδη
από τους μέσους των τάξεων που έχουν καταγραφεί παραπάνω (τους οποίους δίνει και το output του Minitab), ο
Ερευνητής έχει μία σημαντική βεβαιότητα ότι η διαφοροποίηση οφείλεται αποκλειστικά στο τρίτο επίπεδο όπου
παρατηρούνται οι υψηλότερες μετρήσεις και κατ’ επέκταση, οι υψηλότερες τάξεις. Σημειώνεται ότι είναι εφικτό να
γίνουν πολλαπλές συγκρίσεις εάν ο Ερευνητής επιθυμεί να εντοπίσει το επίπεδο στο οποίο οφείλεται η στατιστικώς
σημαντική διαφορά.
Ο έλεγχος του Friedman είναι μία μη παραμετρική διαδικασία, αντίστοιχη του σχεδίου τυχαιοποιημένων πλήρων ομάδων. Στην περίπτωση αυτή, η διαδικασία υπολογισμού της στατιστικής συνάρτησης είναι η εξής:
1. Σε κάθε ομάδα j, j = 1, ..., b οι μετρήσεις των θεραπειών κατατάσσονται σε αύξουσα σειρά και αντιστοιχίζονται με την τάξη τους, Ri1 , Ri2 , ...Rib , i = 1, ..., k.
2. Αθροίζονται οι τάξεις για κάθε θεραπεία, Ri. =
Pb
j=1
Rij για κάθε θεραπεία i = 1, ..., k.
3. Υπολογίζεται η στατιστική συνάρτηση του Friedman από τον τύπο:
F =
k
X
12
R2 − 3b(k + 1)
bk(k + 1) i=1 i.
η οποία κάτω από τη μηδενική υπόθεση της ταύτισης των κατανομών των k πληθυσμών (επιπέδων ή
θεραπειών) ακολουθεί τη χ2 κατανομή με k − 1 βαθμούς ελευθερίας.
Εάν η μηδενική υπόθεση απορρίπτεται (και άρα δεν ταυτίζονται οι κατανομές των θεραπειών), ο Ερευνητής
μπορεί να χρησιμοποιήσει μία τεχνική αντίστοιχη των πολλαπλών συγκρίσεων του Tukey για τη σύγκριση
των μέσων των τάξεων των θεραπειών. Η μέθοδος αυτή είναι οι Πολλαπλές Συγκρίσεις Nemenyi ([15]) όπου
η διαφορά των μέσων τάξεων των θεραπειών, ανά δύο, δηλαδή η διαφορά:
|R̄i1 , − R̄i2 . | =
συγκρίνεται με την τιμή:
Ri1 . Ri2 .
−
b
b
s
k(k + 1)
,
12b
όπου q∞,k;α είναι το 100(1 − α)% ποσοστημόριο της κατανομής του τυποποιημένου εύρους για το οποίο
αντί του ∞ επιλέγεται συνήθως μία πάρα πολύ μεγάλη τιμή, π.χ. μερικές χιλιάδες.
q∞,k;α
Παράδειγμα 10.4. ([7]) Ζητείται μη παραμετρική μελέτη για την αξιολόγηση ενός παράγοντα A με τέσσερις
στάθμες (1, 2, 3 και 4) ως προς μεταβλητή πλαισίου με τέσσερις επίσης στάθμες (1, 2, 3 και 4). Οι 16 μετρήσεις
καταγράφονται στον επόμενο Πίνακα:
Πίνακας 10.11: Δεδομένα - Παράδειγμα Friedman
Επίπεδα Μεταβλητής
Πλαισίου
1
2
3
4
1
11
10
9
10
2
1
5
4
3
3
6
8
9
8
4
4
6
7
4
Επίπεδα Παράγοντα
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
299
Η σχετική διαδικασία στο Minitab είναι η ακόλουθη:
Stat
Ê
Nonparametrics
Ê
Friedman
όπου στο Response καταχωρίζεται η μεταβλητή απόκρισης, στο Treatment ο παράγοντας ενδιαφέροντος και στο
Blocks η μεταβλητή πλαισίου. Το output του Minitab δίνει καταρχήν έναν περιγραφικό πίνακα αναφορικά με τις
τάξεις ανά στάθμη (επίπεδο):
Πίνακας 10.12: Περιγραφικά Χαρακτηριστικά - Παράδειγμα Friedman
Επίπεδα Παράγοντα
n
Διάμεσος
Άθροισμα Τάξεων
1
4
10.00
15.50
2
4
3.50
4.00
3
4
8.00
12.50
4
4
5.50
8.00
Σύνολο
16
6.75
–
Η τιμή της ελεγχοσυνάρτησης Friedman ισούται με 11.47 με p-value = 0.009 που σημαίνει ότι δεν γίνεται δεκτή η μηδενική υπόθεση και άρα παρατηρούνται διαφορές μεταξύ των επιπέδων του παράγοντα A σε οποιοδήποτε
επίπεδο σημαντικότητας επιλέξει ο Ερευνητής, μεγαλύτερο από 0.009 ή χρησιμοποιώντας το λεκτικό του output
απορρίπτεται η υπόθεση ότι All Treatment Effects Are Zero.
Πίνακας 10.13: Αποτελέσματα Ελέγχου Friedman
Σημειώνεται ότι ο Ερευνητής θα μπορούσε να πιθανολογήσει το αποτέλεσμα αφενός μεν από τον Πίνακα Δεδομένων και τον Πίνακα των Περιγραφικών Χαρακτηριστικών του output, αφετέρου δε, σχεδιάζοντας το θηκόγραμμα
(boxplot) για τα τέσσερα επίπεδα του παράγοντα A.
300
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
Σχήμα 10.1: Boxplot Friedman
10.3 Ανάλυση συνδιακύμανσης
Στην ενότητα αυτή θα μελετηθεί η ανάλυση συνδιακύμανσης ( Analysis of Covariance, ANCOVA) όπου
συνδυάζονται η ανάλυση παλινδρόμησης και η ανάλυση διακύμανσης. Η μέθοδος αυτή χρησιμοποιείται όταν
υπεισέρχεται στο πρόβλημα της ανάλυσης διακύμανσης μία μεταβλητή της οποίας η μεταβλητότητα δεν είναι
δυνατόν να τεθεί υπό έλεγχο κατά τον σχεδιασμό, αλλά είναι δυνατόν να αξιολογηθεί και να αδρανοποιηθεί,
αν αντιμετωπιστεί ως μία ανεξάρτητη μεταβλητή σε ένα μοντέλο παλινδρόμησης. Η ανεξάρτητη μεταβλητή
ή συμμεταβλητή (covariate) ή (concomitant), υπεισέρχεται στο πρότυπο διακύμανσης ως πρόσθετος όρος,
η συνεισφορά του οποίου μετριέται μέσω ενός συντελεστή παλινδρόμησης.
Το πρόβλημα παραμένει το ίδιο όπως και στα προηγούμενα κεφάλαια, δηλαδή εξετάζεται αν διαφοροποιούνται οι μέσοι όροι της εξαρτημένης μεταβλητής μεταξύ των επιπέδων ενός παράγοντα ενδιαφέροντος (ή και
περισσότερων) αφού προηγουμένως έχει τεθεί υπό έλεγχο (δηλαδή έχει αφαιρεθεί) η επίδραση μίας τρίτης
μεταβλητής ή συμμεταβλητής (ή και περισσότερων), η οποία δύναται να προβλέψει (σε κάποιο βαθμό) τη
μεταβλητή απόκρισης μέσω κάποιας συναρτησιακής σχέσης που συνήθως είναι η γραμμική σχέση, όπως αποτυπώνεται σε ένα μοντέλο παλινδρόμησης. Ουσιαστικά με την ανάλυση συνδιακύμανσης διορθώνονται οι
μέσοι όροι των επιπέδων, ανάλογα με την επίδραση της συμμεταβλητής στη μεταβλητή απόκρισης.
Οι δημοφιλέστερες περιπτώσεις εφαρμογής της ανάλυσης συνδιακύμανσης που θα συζητηθούν στην παρούσα ενότητα, είναι αυτές που αφορούν τη μονοπαραγοντική ανάλυση διακύμανσης και το σχέδιο τυχαιοποιημένων πλήρων ομάδων (μεταβλητές πλαισίου).
10.3.1 Ανάλυση συνδιακύμανσης σε πλήρως τυχαιοποιημένο σχεδιασμό
Όπως έχουμε αναφέρει, το βασικό πρότυπο διακύμανσης κατά έναν παράγοντα με k επίπεδα και n μετρήσεις
ανά επίπεδο/θεραπεία, δίνεται από τον τύπο:
yij = µ + ai + ε∗ij , i = 1, ..., k, j = 1, ..., n.
Αν τώρα μία ανεξάρτητη (συνεχής) μεταβλητή (συμμεταβλητή, covariate ή concomitant) x επιδρά γραμμικά στη μεταβλητή απόκρισης, αυτή μπορεί να υπεισέλθει στο μοντέλο μέσω ενός γραμμικού όρου κατά τα
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
301
πρότυπα της ανάλυσης παλινδρόμησης:
yij = µ + ai + βxij + εij
ή για σκοπούς υπολογιστικής ευκολίας μέσω ενός γραμμικού όρου της διαφοράς της xij από τον μέσο της,
έστω x̄.. :
yij = µ + ai + β(xij − x̄.. ) + εij ,
(10.1)
P
όπου xij = xij /(nk) η τιμή x της μεταβλητής X που αντιστοιχεί στην τιμή yij της μεταβλητής απόκρισης Y και x̄.. ο δειγματικός μέσος των xij .
Εάν πράγματι η συμμεταβλητή X επιδρά στην Y , τότε προφανώς το δεύτερο πρότυπο είναι καταλληλότερο
από το πρώτο. Επιπλέον, η μεταβλητότητα της Y που απομένει ανερμήνευτη (και καταχωρίζεται ως σφάλμα)
θα είναι μικρότερη σε σχέση με το πρώτο μοντέλο και άρα τα αποτελέσματα με το μοντέλο ANCOVA θα είναι
εγκυρότερα. Η ANCOVA μπορεί να θεωρηθεί ότι είναι η Ανάλυση Διακύμανσης ( ANOVA) για την ποσότητα yij − β (xij − x̄..) .
Οι προϋποθέσεις της ανάλυσης συνδιακύμανσης είναι ίδιες με αυτές της ανάλυσης διακύμανσης και κατά συνέπεια, θεωρώντας ότι τα σφάλματα είναι ανεξάρτητες τυχαίες μεταβλητές, τέτοιες ώστε ε ∼ N (0, σ 2 ),
έχουμε:
E (Yij ) = µ + ai + β (xij − x̄.. ) & V ar (Yij ) = σ 2
και άρα:
Yij ∼ N µ + ai + β (xij − x̄.. ) , σ 2 .
Σημειώνεται ότι η γραμμικότητα στο πρότυπο (10.1) δεν αποτελεί προϋπόθεση, αφού οποιουδήποτε βαθμού πολυωνυμική συναρτησιακή σχέση μεταξύ των μεταβλητών Y και X είναι δυνατόν να ενσωματωθεί στο
πρότυπο ANCOVA, όπως στο πιο κάτω πρότυπο όπου η σχέση είναι τετραγωνική:
yij = µ + ai + β (xij − x̄..) + γ (xij − x̄.. )2 + εij ,
ενώ εφικτή είναι και η αξιοποίηση περισσότερων της μίας συμμεταβλητών, όπως στην πιο κάτω σχέση που
υπεισέρχονται δύο συμμεταβλητές, οι x1 και η x2 :
yij = µ + ai + β1 x1ij − x̄1.. + β2 x2ij − x̄2.. + εij .
Τα πρότυπα ANCOVA μπορούν να μελετηθούν είτε με τη χρήση k − 1 δεικτριών μεταβλητών ( indicators)
και τη χρήση του προτύπου παλινδρόμησης είτε με τη χρήση του προτύπου διακύμανσης με κατάλληλη τροποποίηση των αθροισμάτων τετραγώνων ώστε να αδρανοποιηθεί η μεταβλητότητα που οφείλεται στη συμμεταβλητή x. H τελευταία είναι αυτή που θα περιγραφεί στην παρούσα ενότητα όπου θεωρούμε τη γενική
περίπτωση με ni μετρήσεις ανά θεραπεία/πληθυσμό, i = 1, ..., k.
Έστω τα συνήθη αθροίσματα τετραγώνων ξεχωριστά για τα Y = y:
SST Oy =
X
(yij − ȳ.. )2
(10.2)
i,j
SSRy =
X
(ȳi. − ȳ.. )2 =
i,j
SSEy =
X
ni (ȳi. − ȳ.. )2
(10.3)
i
X
i,j
(yij − ȳi. )2
(10.4)
302
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
και για τα x:
SST Ox =
SSRx =
X
(xij − x̄.. )2
i,j
(x̄i. − x̄.. )2 =
i,j
SSEx =
P
X
P
P
X
X
(10.5)
ni (x̄i. − x̄.. )2
(xij − x̄i. )2
(10.7)
i,j
όπου ȳi. = j yij /ni , x̄i. = j xij /ni , ȳ.. = i,j yi,j /(ni k) και x̄.. =
το άθροισμα του γινομένου ( product) των X και Y :
SP T Ox =
X
(10.6)
i
P
i,j
xi,j /(ni k). Τέλος, ορίζουμε
(xij − x̄.. ) (yij − ȳ.. ) .
(10.8)
i,j
To SP T O είναι εύκολο να δειχθεί ότι διασπάται σε δύο όρους, το άθροισμα το οφειλόμενο στις θεραπείες (
Treatment Sum of Products):
SP R =
X
(xi. − x̄.. ) (yi. − ȳ.. ) =
i,j
X
ni (xi. − x̄.. ) (yi. − ȳ.. )
(10.9)
i
και το άθροισμα των σφαλμάτων του γινομένου ( Error Sum of Products) :
SP E =
X
(xij − x̄i. ) (yij − ȳj. )
(10.10)
i,j
έτσι ώστε:
SP T O = SP R + SP E.
Ο Πίνακας ANOVA παρουσιάζει πιο κάτω τόσο τα αθροίσματα τετραγώνων των X, των Y και του γινομένου τους (XY ), όσο και τα Τροποποιημένα Αθροίσματα AdSS ( Adjusted Sum of Squares) τα οποία
έχουν τροποποιηθεί για να απομονώσουν (δηλαδή να αδρανοποιήσουν) την επίδραση της συμμεταβλητής
X. Ο Πίνακας περιλαμβάνει ακόμα τους Τροποποιημένους βαθμούς ελευθερίας Ad β.ε και τα Τροποποιημένα Μέσα Τετράγωνα AdM S. Για περισσότερες λεπτομέρειες, ο αναγνώστης παραπέμπεται στο βιβλίο των
Neter, Wasserman & Kutner (Κεφάλαιο 23, [16]).
Πίνακας 10.14: Πίνακας ANCOVA
Πηγή
Μεταβλητότητας
SS (y)
SS (x)
SS (xy)
β.ε.
AdSS
Ad β.ε.
AdM S
Θεραπείες
SSRy
SSRx
SP R
k−1
SSRadj
k−1
M SRadj
Σφάλματα
SSEy
SSEx
SP E
n−k
SSEadj
n−k−1
M SEadj
Σύνολο
SST Oy
SST Ox
SP T O
n−1
SST Oadj
n−2
—
Ο πιο πάνω Πίνακας αντιπροσωπεύει τον Πίνακα ANCOVA για την Ανάλυση Συνδιακύμανσης, όπου n το
πλήθος των μετρήσεων,
SST Oadj = SST Oy −
(SP E)2
(SP T O)2
, SSEadj = SSEy −
& SSRadj = SST Oadj −SSEadj .
SST Ox
SSEx
Όπως φαίνεται από την τροποποίηση ( adjustment), οι συνολικοί βαθμοί ελευθερίας έχουν μειωθεί κατά έναν
(1) λόγω του ότι έχει αδρανοποιηθεί η συμμεταβλητή και πλέον είναι n − 2, ενώ κατά έναν (1) έχουν μειωθεί
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
303
και οι βαθμοί ελευθερίας του σφάλματος (n − k − 1), ενώ εκείνοι που αντιστοιχούν στις θεραπείες παραμένουν προφανώς, ίσοι με k − 1.
Όπως είναι αναμενόμενο η διαφορά μεταξύ της αρχικής συνολικής μεταβλητότητας SST Oy και της τροποποιημένης συνολικής μεταβλητότητας SST Oadj , δίνει τη μεταβλητότητα που εξηγείται (οφείλεται) στη
συμμεταβλητή x:
SS(x) = SST Oy − SST Oadj
που από την πρώτη από τις προηγούμενες εξισώσεις ισούται με:
SS(x) = SST Oy − SST Oadj
(SP T O)2
=
.
SST Ox
Ο έλεγχος μηδενικών επιδράσεων από τον παράγοντα ενδιαφέροντος, δηλαδή:
H0 : α1 = ... = αk = 0 vs H1 : όχι η H0
μελετάται από το πηλίκο των τροποποιημένων μέσων αθροισμάτων τετραγώνων, από την τελευταία στήλη
του Πίνακα ANOVA:
M SRadj
F =
M SEadj
που κάτω από τη μηδενική υπόθεση ακολουθεί την κατανομή F με k − 1 και n − k − 1 βαθμούς ελευθερίας
και με τη μηδενική υπόθεση να απορρίπτεται σε επίπεδο σημαντικότητας α όταν:
F =
M SRadj
> Fk−1,n−k−1;α .
M SEadj
Σημειώνεται ότι ο εκτιμητής του συντελεστή παλινδρόμησης β διαφοροποιείται ανάλογα με το κατά πόσο η
μηδενική υπόθεση των μηδενικών επιδράσεων του παράγοντα είναι αληθής ή όχι. Έτσι, αν η μηδενική υπόθεση
ισχύει και άρα αi = 0, i = 1..., k, τότε ο εκτιμητής του συντελεστή β είναι ο συνήθης εκτιμητής ελαχίστων
τετραγώνων στο πρότυπο παλινδρόμησης μεταξύ των Y και X:
P
β̂ =
i,j
(xij − x̄.. ) (yij − ȳ.. )
SP T O
.
=
P
2
SST Ox
i,j (xij − x̄.. )
Αν πάλι τα αi είναι διαφορετικά ανά επίπεδο (και άρα οι επιδράσεις του παράγοντα είναι στατιστικώς σημαντικές), τότε ο εκτιμητής του κοινού συντελεστή παλινδρόμησης για όλα τα επίπεδα είναι:
P
β̂ =
i,j
(xij − x̄i. ) (yij − ȳi. )
SP E
=
.
P
2
SSEx
i,j (xij − x̄i. )
(10.11)
Ο συγκεκριμένος εκτιμητής μπορεί να θεωρηθεί ως ο μέσος όρος με βάρη, των εκτιμητών των συντελεστών
παλινδρόμησης που θα προέκυπταν αν για κάθε επίπεδο i ξεχωριστά, εφαρμοζόταν ένα μοντέλο παλινδρόμησης. Πράγματι, σε εκείνη την περίπτωση το εξωτερικό άθροισμα ως προς i στη σχέση (10.11), δεν θα υφίστατο και άρα ο εκτιμητής του συντελεστή παλινδρόμησης για το i επίπεδο του παράγοντα ενδιαφέροντος
θα ήταν:
P
(xij − x̄i. ) (yij − ȳi. )
.
β̂i = j P
2
j (xij − x̄i. )
Είναι εύκολο να διαπιστωθεί ότι αν wi =
P
j
(xij − x̄i. )2 τότε:
P
i
wi β̂i
= β̂.
i wi
P
304
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
Παράδειγμα 10.5. Τα δεδομένα αφορούν τις πωλήσεις Y με παράγοντα ενδιαφέροντος την προωθητική καμπάνια (με 3 διαφορετικούς τρόπους προώθησης του προϊόντος) και με συμμεταβλητή τις πωλήσεις x την τελευταία
περίοδο, πριν την έναρξη της προωθητικής καμπάνιας. Τα δεδομένα (y, x) προέρχονται από το βιβλίο των Neter,
Wasserman & Kutner [16] και δίνονται για 5 σημεία πώλησης ανά τύπο προώθησης του προϊόντος (1, 2 & 3):
Πίνακας 10.15: Πίνακας Δεδομένων - Πωλήσεις
Θεραπεία
1
2
3
y
38
43
24
x
21
34
23
y
39
38
32
x
26
26
29
y
36
38
31
x
22
29
30
y
45
27
21
x
28
18
16
y
33
34
28
x
19
25
29
Επανάληψη
Για την εφαρμογή της ανάλυσης συνδιακύμανσης εφαρμόζεται στο Minitab η ίδια διαδικασία που ακολουθείται για
την ανάλυση διακύμανσης, αξιοποιώντας ταυτόχρονα την επιλογή Covariates :
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
όπου στα Responses τοποθετείται η μεταβλητή απόκρισης, στα Factors ο παράγοντας ενδιαφέροντος και στα Covariates η συμμεταβλητή x. Τα αποτελέσματα συμπεριλαμβανομένων των αρχικών και των τροποποιημένων αθροισμάτων, όπως παρουσιάστηκαν νωρίτερα στην παρούσα ενότητα, δίνονται στον πιο κάτω πίνακα (δεν περιλαμβάνονται στο output του Minitab):
Πίνακας 10.16: Πίνακας ANCOVA - Πωλήσεις
Πηγή
Μεταβλητότητας
SS (y)
SS (x)
SS (xy)
β.ε.
AdSS
Ad β.ε.
AdM S
Θεραπείες
338.8
26.8
−37.4
2
417.151
2
208.575
Σφάλματα
307.6
333.2
299.4
12
38.571
11
3.506
Σύνολο
646.4
360.0
262.0
14
455.722
13
—
Όσον αφορά το Minitab, το output είναι το εξής:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
305
Πίνακας 10.17: Πίνακας ANCOVA - Πωλήσεις
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
x
1
269.029
A
2
Σφάλματα
Ολική
Μέσο
F
p-value
269.029
76.72
0.000
417.151
208.575
59.48
0.000
11
38.571
3.506
–
–
14
646.400
–
–
–
Άθροισμα
Τετραγώνων
και συνοδεύεται από τον πίνακα των εκτιμητών των συντελεστών του προτύπου, δηλαδή:
Πίνακας 10.18: Συντελεστές Προτύπου - Πωλήσεις
Συντελεστής
Εκτιμητής
Τυπικό
Σφάλμα
Ελεγχοσυνάρτηση
p-value
µ̂
11.34
2.61
4.34
0.001
β̂
0.899
0.103
8.76
0.000
â1
6.017
0.708
8.50
0.000
â2
0.942
0.699
1.35
0.205
Από τον προηγούμενο πίνακα προκύπτει ότι:
µ̂ = 11.34, β̂ = 0.899, α̂1 = 6.017, α̂2 = 0.942 & α̂3 = −6.959
με το τελευταίο να προκύπτει λόγω της συνθήκης του προτύπου διακύμανσης, σύμφωνα με την οποία οι επιδράσεις
P
πρέπει να ικανοποιούν τη σχέση αi = 0.
Τα αποτελέσματα της ανάλυσης οδηγούν στο συμπέρασμα ότι τόσο η συμμεταβλητή όσο και τα επίπεδα του παράγοντα ενδιαφέροντος, έχουν στατιστικά σημαντική επίδραση στη μεταβλητή απόκρισης (με p-value = 0.000
και τα δύο σύμφωνα με τον παραπάνω Πίνακα ANOVA). Σημειώνεται ότι η ανάλυση συνδιακύμανσης επιτρέπει
και τη μελέτη της αλληλεπίδρασης μεταξύ της συμμεταβλητής x και του παράγοντα ενδιαφέροντος, που όμως στην
περίπτωση αυτή, εάν μελετηθεί θα διαπιστωθεί ότι δεν είναι στατιστικά σημαντικός, στα συνήθη επίπεδα σημαντικότητας.
Συμπερασματικά, τα πρότυπα για κάθε επίπεδο του παράγοντα ενδιαφέροντος θα έχουν κοινή κλίση (δηλαδή συντελεστή β) όσον αφορά το μέρος που σχετίζεται με την ανάλυση παλινδρόμησης, αλλά διαφορετικό μέσο (µ+αi )
όσον αφορά το τμήμα που σχετίζεται με την ανάλυση διακύμανσης με τις εκτιμήτριες εξισώσεις για τις εκτιμήσεις
των yij να δίνονται από τους τύπους:
(1) :
(2) :
(3) :
αντίστοιχα για τα επίπεδα 1, 2 και 3.
ŷ = 17.35 + 0.899x,
ŷ = 12.28 + 0.899x,
ŷ = 4.38 + 0.899x
306
ΕΙΔΙΚΑ ΘΕΜΑΤΑ ΑΝΑΛΥΣΗΣ ΔΙΑΚΥΜΑΝΣΗΣ
10.3.2 Ανάλυση συνδιακύμανσης με έναν παράγοντα και μεταβλητή πλαισίου
Το πρότυπο ANCOVA που χρησιμοποιήθηκε πιο πάνω, μπορεί να γενικευτεί ώστε να περιλαμβάνει και μία
μεταβλητή πλαισίου (ομάδα) O με m επίπεδα. Στην περίπτωση αυτή, το πρότυπο παίρνει τη μορφή:
yijk = µ + ai + oj + β (xijk − x̄... ) + εijk , i = 1, ..., k, j = 1..., m, k = 1, ..., n,
(10.12)
όπου oj η επίδραση του επιπέδου j της μεταβλητής πλαισίου O. Στην περίπτωση αυτή, στον Πίνακα ANOVA
του προηγούμενου προτύπου, οι όροι που αφορούν τις θεραπείες προκύπτουν από τον συνδυασμό του παράγοντα ενδιαφέροντος, έστω A, και της μεταβλητής πλαισίου O, έτσι ώστε:
SSRy = SSAy + SSOy , SSRx = SSAx + SSOx & SP R = SP A + SP O,
με τους τύπους να είναι αντίστοιχοι με αυτούς του προηγούμενου προτύπου, με μόνη διαφορά ότι τα αθροίσματα, όπως και οι δείκτες όλων των όρων, είναι ως προς i, j και k.
Το πρόβλημα μπορεί να γενικευτεί και περαιτέρω με τη συμπερίληψη και δεύτερου παράγοντα ενδιαφέροντος
(είτε αντί είτε συμπληρωματικά της μεταβλητής πλαισίου) όπου υπεισέρχεται και η μελέτη της αλληλεπίδρασης των δύο παραγόντων. Στη γενικότερη αυτή περίπτωση, το πρότυπο συνδιακύμανσης δύο παραγόντων
A και B με αλληλεπίδραση (AB) και μία μεταβλητή πλαισίου , έχει τα εξής αθροίσματα τετραγώνων:
Πίνακας 10.19: Πίνακας Αθροισμάτων Τετραγώνων - ANCOVA (2 παράγοντες, αλληλεπίδραση, 1 ομάδα)
Πηγή
Μεταβλητότητας
SS (y)
SS (x)
SS (xy)
Βαθμοί
Ελευθερίας
A
SSAy
SSAx
SP A
k−1
B
SSBy
SSBx
SP B
b−1
AB
SSABy
SSABx
SP AB
(k − 1)(b − 1)
O
SSOy
SSOx
SP O
m−1
Σφάλματα
SSEy
SSEx
SP E
n − kbm
Σύνολο
SST Oy
SST Ox
SP T O
n−1
Η μελέτη του προτύπου αυτού έχει σημαντική πολυπλοκότητα και ο αναγνώστης παραπέμπεται στο βιβλίο
των Neter, Wasserman & Kutner [16] για περισσότερες πληροφορίες.
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Κουτρουβέλης, Ι.Α. (2000). Προηγμένα εργαλεία και μέθοδοι για τον έλεγχο της ποιότητας, Τόμος Β,
Σχεδιασμός και Ανάλυση Πειραμάτων. Πάτρα: Ελληνικό Ανοικτό Πανεπιστήμιο.
[2] Κούτρας, Μ.Β., & Ευαγγελάρας, Χ. (2010). Ανάλυση παλινδρόμησης, θεωρία και εφαρμογές. Αθήνα:
Εκδόσεις Σταμούλη Α. Ε.
[3] Barker, T.B., & Milivojevich, A. (2016). Quality by experimental design. Routledge, Taylor and Francis Group.
[4] Blainey, P., Krzywinski, M., & Altman, N. (2014). Points of significance: replication. Nat Meth, 11:
879-880.
[5] Box, G.E.P., Hunter, W.G., & Hunter, J.S. (2005). Statistics for experimenters: design, innovation and
discovery (2nd ed.). John Wiley and Sons.
[6] Box, G.E.P., Hunter, W.G., & Hunter, J.S. (1978). Statistics for experimenters. John Wiley and Sons.
[7] Friedman, M. (1937). The use of ranks to avoid the assumption of normality implicit in the analysis
of variance. J. Amer. Statist. Assoc., 32, 675-701.
[8] Hicks, C.R. (1997). Fundamental concepts in the design of experiments (4th ed.). John Wiley and Sons.
[9] Kruskal, W.H., & Wallis, W.A. (1952). Use of ranks in one-criterion variance analysis. Journal of the
American Statistical Association, 47(260), 583-621.
[10] Lawson, J. (2014). Design and analysis of experiments with R. Chapman and Hall/CRC.
[11] Mann, H.B., & Whitney, D.R. (1947). On a test of whether one of two random variables is stochastically larger than the other. Annals of Mathematical Statistics, 18(1), 50-60.
[12] Martins, M.C.M., Caldana, C., Wolf, L.D., & de Abreu, L.G.F. (2018). The importance of experimental design, quality assurance, and control in plant metabolomics experiments. Methods Mol Biol.,
1778, 3-17. doi: 10.1007/978-1-4939-7819-9_1. PMID: 29761427
[13] Mitra, A. (2016). Fundamentals of quality control and improvement (4th ed.). John Wiley and Sons.
308
ΒΙΒΛΙΟΓΡΑΦΙΑ
[14] Montgomery, D.C. (2013). Design and analysis of experiments (8th ed.). John Wiley and Sons.
[15] Nemenyi, P.B. (1963). Distribution-free multiple comparisons (PhD thesis). Princeton University.
[16] Neter, J., Wasserman, W., & Kutner, M.H. (1990). Applied linear statistical models. Burr Ridge, Illinois: Irwin.
[17] Pohlert, T. (2014). The pairwise multiple comparison of mean ranks package (PMCMR).
[18] Wilcoxon, F. (1945). Individual comparisons by ranking methods. Biometrics Bulletin, 1(6), 80-83.
ΚΕΦΑΛΑΙΟ 11
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Σύνοψη
Το παρόν κεφάλαιο παρουσιάζει εξειδικευμένα θέματα στην ανάλυση παλινδρόμησης, συμπεριλαμβανομένων των μη γραμμικών και γενικευμένων γραμμικών μοντέλων, του δίτιμου λογιστικού
καθώς και του Poisson μοντέλου παλινδρόμησης.
Προαπαιτούμενη γνώση
Το κεφάλαιο προϋποθέτει τη γνώση και κατανόηση των προηγουμένων κεφαλαίων.
Προσδοκώμενα μαθησιακά αποτελέσματα
Μετά τη μελέτη του παρόντος κεφαλαίου ο αναγνώστης αναμένεται να:
• αναγνωρίζει και να μελετά μη γραμμικά μοντέλα,
• αναγνωρίζει και να μελετά γενικευμένα γραμμικά πρότυπα,
• διεξάγει ελέγχους καλής προσαρμογής,
• αναγνωρίζει και να μελετά το δίτιμο λογιστικό μοντέλο παλινδρόμησης,
• αναγνωρίζει και να μελετά το Poisson μοντέλο παλινδρόμησης,
• έχει μία βασική αντίληψη για τα γραμμικά και τα γενικευμένα γραμμικά μεικτά μοντέλα.
Καραγρηγορίου, Α., & Καλλιγέρης, Ε. Ν. (�2023). «Γραμμικά Μοντέλα και Σχεδιασμός & Ανάλυση Πειραμάτων με Εφαρμογές
σε R και Minitab».
Αθήνα: Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-70
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
310
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
11.1 Εισαγωγή
Το 1972, οι Nelder και Wedderburn [14] ανέπτυξαν έναν μηχανισμό ο οποίος στόχευε στην αντικατάσταση
της έως τότε (ευρέως) χρησιμοποιούμενης τεχνικής εκτίμησης παραμέτρων των Newton και Raphson [16].
Ο λόγος για τα Γενικευμένα Γραμμικά Μοντέλα (ΓΓΜ), τα οποία θα αναλυθούν στο παρόν κεφάλαιο και αποτελούν ουσιαστικά την ευθεία γενίκευση των γραμμικών μοντέλων που συζητήθηκαν στα πρώτα έξι κεφάλαια
του παρόντος συγγράμματος.
11.2 Το μη γραμμικό μοντέλο
11.2.1 Γενικό πρότυπο
Το μη γραμμικό μοντέλο αποτελεί επέκταση του γραμμικού, καθώς επιτρέπει συναρτησιακές μορφές διαφορετικές από αυτή της ευθείας. Ορίζεται ως:
yi = f Xi′ , β∼ + ϵi ,
i = 1, ..., n,
(11.1)
όπου yi η i-τιμή της τυχαίας μεταβλητής Yi , Xi′ η i-οστή γραμμή του πίνακα σχεδιασμού και f Xi′ , β∼ μία
μη γραμμική συνάρτηση ως προς το p-διάστατο διάνυσμα παραμέτρων β∼ .
Οι υποθέσεις, που διέπουν τα σφάλματα του μη γραμμικού μοντέλου, είναι όμοιες με αυτές του γραμμικού:
i.i.d.
ϵi ∼
από όπου προκύπτει ότι:
i.i.d.
Yi ∼
0, σ 2 ,
f Xi′ , β∼ , σ 2 .
Για τη διενέργεια στατιστικών ελέγχων, ορίζουμε την κανονική ως την κατανομή των τυχαίων σφαλμάτων:
i.i.d.
ϵi ∼ N 0, σ 2 .
11.2.2 Εκτίμηση παραμέτρων μη γραμμικού μοντέλου
Για την εκτίμηση των παραμέτρων του μοντέλου της (11.1) θα γίνει χρήση της γνωστής μεθόδου των ελαχίστων τετραγώνων. Συγκεκριμένα, θέλουμε να ελαχιστοποιήσουμε την ποσότητα:
min Q β∼ = min
β
β
∼
∼
= min
β
∼
n
X
(yi − E (i ))2
i=1
n X
i=1
yi − f Xi′ , β∼
2
.
Οι ΕΕΤ του μη γραμμικού μοντέλου προκύπτουν από την επίλυση των εξισώσεων:
∂Q β∼
∂βj
= −2
n X
i=1
⇔
n X
i=1
Είναι φανερό ότι η ποσότητα
yi − f Xi′ , β∼
yi − f Xi′ , β∼
∂f (Xi′ ,β )
∼
∂βj
∂f Xi′ , β∼
∂βj
∂f Xi′ , β∼
∂βj
=0
= 0,
j = 1, ..., p.
είναι συνάρτηση του β∼ και άρα για τον υπολογισμό των εκτιμητριών
β̂∼ θα πρέπει γίνει χρήση επαναληπτικών (αριθμητικών) μεθόδων. Για περισσότερες πληροφορίες, ο ενδιαφερόμενος αναγνώστης παραπέμπεται στην [1].
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
311
11.3 Πρότυπο γενικευμένου γραμμικού μοντέλου
Ένα ΓΓΜ ορίζεται από ένα σύνολο ανεξάρτητων τυχαίων μεταβλητών από μία κατανομή, της οποίας η πυκνότητα ανήκει στην εκθετική οικογένεια κατανομών (11.2.) Τα ΓΓΜ έχουν χρησιμοποιηθεί ως επί το πλείστον
σε περιπτώσεις όπου οι παρατηρήσεις είναι συνεχείς. Όμως, το γεγονός αυτό δεν σημαίνει ότι δεν επιτρέπεται η χρήση τους σε περιπτώσεις όπου οι παρατηρήσεις είναι διακριτές. Για παράδειγμα, αν υποθέσουμε
την τυχαία μεταβλητή Y = {έκβαση μίας διεργασίας}, τότε αυτή μπορεί να έχει δύο δυνατές εκβάσεις
{1 (υπό έλεγχο), 0 (εκτός ελέγχου)}. Βάσει των προαναφερθέντων, σε αντίθεση με τα γραμμικά μοντέλα,
στα ΓΓΜ ο Ερευνητής μπορεί να θεωρήσει διάφορες κατανομές για την εξαρτημένη μεταβλητή Y , όπως Κανονική, Διωνυμική, Poisson και Πολυωνυμική.
Η μορφή ενός ΓΓΜ είναι όμοια με αυτή της (11.1), με τη διαφορά ότι η ποσότητα f Xi′ , β∼ είναι απαραιτήτως γραμμική ως προς τις παραμέτρους. Έτσι λοιπόν, η κατασκευή ενός ΓΓΜ προϋποθέτει τη γνώση:
1. της κατανομής των δεδομένων,
2. της συνάρτησης του μέσου (ο οποίος θα μοντελοποιηθεί ως γραμμικός συνδυασμός των επεξηγηματικών μεταβλητών),
3. των επεξηγηματικών μεταβλητών.
Ας υποθέσουμε ένα τυχαίο διάνυσμα ανεξάρτητων παρατηρήσεων y∼ = (y1 , ..., yn )′ από μία κατανομή με
πυκνότητα η οποία ανήκει στην εκθετική οικογένεια:
i.i.d.
Yi = yi ∼ fYi (yi ),
όπου
i = 1, ..., n,
)
(
yi γi − b (γi )
− c (yi , τ ) ,
fYi (yi ) = exp
τ2
(11.2)
με γi να εξαρτάται από την αναμενόμενη τιμή των Yi , τ η παράμετρος κλίμακας (scale parameter) και b, c
αυθαίρετες συναρτήσεις.
Η μορφή, στην οποία παρουσιάζεται η fYi (yi ) στην (11.2), ονομάζεται κανονική μορφή.
Παράδειγμα 11.1. Έστω ότι έχουμε στη διάθεσή μας ανεξάρτητες τυχαίες μεταβλητές y1 , ..., yn από κανονική
κατανομή, και θέλουμε να φέρουμε τη μορφή της συνάρτησης πυκνότητας πιθανότητας σε αυτή της σχέσης (11.2):
(
(yi −µi )2
yi µi − 12 µ2i
1
1
1 yi2
2
fYi (yi ) = √
−
log
2πσ
+
e− 2σ2 = exp
σ2
2
2 σ2
2πσ 2
!)
.
Στόχος μας είναι η διερεύνηση, και εν συνεχεία η αναγνώριση της όποιας σύνδεσης μπορεί να υπάρχει μεταξύ
της μέσης τιμής της εκάστοτε κατανομής και των διαφόρων επεξηγηματικών μεταβλητών. Το εργαλείο το
οποίο επιτυγχάνει το παραπάνω δεν είναι άλλο από την επονομαζόμενη συνάρτηση σύνδεσης (link function).
Η τελευταία αποτελεί μία συνάρτηση, έστω g, της αναμενόμενης τιμής µi των Yi και ορίζεται ως:
g (µi ) = Xi′ β∼ ,
(11.3)
όπου Xi′ είναι η i-οστή γραμμή του πίνακα σχεδιασμού και β∼ το διάνυσμα των παραμέτρων του μοντέλου υπό
εξέταση.
Όπως προδίδει και η μορφή της, η συνάρτηση σύνδεσης αποτελεί την έκφραση της μέσης τιμής των Yi , µi ,
και κατ’ επέκταση των παραμέτρων της κατανομής, ως γραμμική συνάρτηση (ως προς τις παραμέτρους) των
επεξηγηματικών μεταβλητών Xi .
312
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Πίνακας 11.1: Στοιχεία κανονικής μορφής γνωστών κατανομών
b (γi )
τ2
n log (1 + epi )
1
γi
Κατανομή
pi
1−pi
c (yi , τ )
log n
yi
Bin (n, pi )
log
N B (α, pi )
log (1 − pi )
P (λi )
log (λi )
λi
1
log(yi !)
Gamma (α, β)
−β
α log (β)
1
−α log (yi ) + log yi + log Γ (α)
N (µi , σ 2 )
µi
1 2
µ
2 i
σ2
−α log
1−epi
epi
1
log
1
2
yi −1
α−1
log 2πσ 2 +
2
1 yi
2 σ2
11.3.1 Εκτιμητής μέγιστης πιθανοφάνειας
Βασιζόμενοι στη σχέση (11.2), η μορφή της log-πιθανοφάνειας δίνεται από τον τύπο:
l = log L =
n
X
i=1
!
n
X
yi γi − b (γi )
c (yi , τ ) .
−
τ2
i=1
Για την εύρεση των εξισώσεων μεγίστης πιθανοφάνειας, και κατ’ επέκταση των αντίστοιχων εκτιμητών, θα
χρειαστούμε μερικές χρήσιμες ταυτότητες, όπως αυτές απορρέουν από τις σχέσεις:
∂ log fYi (yi )
E
∂γi
και
∂ log fYi (yi )
V ar
∂γi
!
!
=0
(11.4)
!
∂ 2 log fYi (yi )
= −E
.
∂γi2
(11.5)
Αρχικά, εφαρμόζουμε τη σχέση (11.2) στις (11.4) και (11.5), αντίστοιχα:

E
yi −

∂b(γi )
∂γi 
2
τ
=0
(11.6)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
313
Πίνακας 11.2: Συνήθεις συναρτήσεις σύνδεσης γνωστών κατανομών
Συνάρτηση σύνδεσης (g(µi ))
Κατανομή
Μέση τιμή (µi )
B(pi )
pi
P (λi )
λi
log (λi )
Λογαριθμική (log)
N (µi , σ 2 )
µi
µi
Ταυτοτική (Identity)
Gamma (αi , β)
αi β
1
αi β
Αμοιβαία (Reciprocal)
log
pi
1−pi
Ονομασία
logit
ή ισοδύναμα
E (yi ) = µi =
και

V ar 

yi −
∂b(γi )
∂γi 
2
τ
∂b(γi )
.
∂γi
(11.7)
!
1 ∂ 2 b(γi )
= −E − 2
.
τ ∂γi2
(11.8)
Εφαρμόζοντας τη σχέση (11.7) στη σχέση (11.8):
y i − µi
V ar
τ2
ή ισοδύναμα
V ar (yi ) = τ 2
=
1 ∂ 2 b(γi )
τ 2 ∂γi2
∂ 2 b(γi )
≡ τ 2 v (µi ) .
∂γi2
2
b(γi )
καλείται συνάρτηση διασποράς (variance function), καθώς εκφράζει τον
Η ποσότητα v (µi ) = ∂ ∂γ
2
i
τρόπο με τον οποίο η διασπορά των παρατηρήσεων yi εξαρτάται από τον αντίστοιχο μέσο τους.
Τέλος, δύο ακόμη χρήσιμες ταυτότητες είναι οι εξής:
∂γi
=
∂µi
∂µi
∂γi
!−1
=
∂ 2 b (γi )
γi2
!−1
= v (µi )−1 .
(11.9)
314
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Χρησιμοποιώντας τον κανόνα αλυσίδας και τη σχέση (11.3):
∂µi
∂µi ∂g(µi )
=
=
∂β∼
∂g(µi ) ∂β∼
∂g(µi )
∂µi
!−1
∂Xi′ β∼
∂β∼
=
∂g(µi )
∂µi
!−1
Xi′ .
(11.10)
Έχοντας θεσπίσει όλα τα βασικά εργαλεία, μπορούμε να προχωρήσουμε στον υπολογισμό των εξισώσεων μεγίστης πιθανοφάνειας για το β∼ .
!
n
n
X
∂l
∂ X
yi γi − b (γi )
=
−
c (yi , τ )
∂β∼
∂β∼ i=1
τ2
i=1

!

n
∂γ
1 X
∂b(γi ) ∂γi 
yi i −
= 2
τ i=1
∂β∼
∂γi ∂β∼
=
n
1 X
∂γi
(yi − µi )
2
τ i=1
∂β∼
n
∂γi ∂µi
1 X
(yi − µi )
= 2
τ i=1
∂µi ∂β∼
n
1 X
(yi − µi )
= 2
Xi′
τ i=1 v(µi )gµ (µi )
−1
2 (µ )
wi =(v(µi )gµ
i )
====
n
1 X
(yi − µi )wi gµ (µi )Xi′ .
2
τ i=1
(11.11)
Γράφοντας τη σχέση (11.11) σε όρους πινάκων:
1
∂l
),
= 2 X′ W∆(y∼ − µ
∼
∂β∼
τ
(11.12)
όπου W = {d:diagonal wi } και ∆ = {d gµ (µi )}, οι εξισώσεις μεγίστης πιθανοφάνειας (συχνά αναφερόμενες ως κανονικές ή εκτιμητικές εξισώσεις) δίνονται από τον τύπο:
X′ W∆y∼ = X′ W∆µ
.
∼
(11.13)
Το πρόβλημα στις παραπάνω εξισώσεις έγκειται στο γεγονός ότι οι ποσότητες W, ∆ και µ
αποτελούν (συνήθως)
∼
μη γραμμικές συναρτήσεις του β∼ και άρα δεν μπορεί να δοθεί η λύση τους σε αναλυτική/κλειστή μορφή. Για
τον λόγο αυτό, υπάρχουν υπολογιστικές (ή αριθμητικές ή επαναληπτικές) μέθοδοι/αλγόριθμοι, π.χ. ExpectationMaximization, Fisher Scoring, Newton-Raphson, κ.α., οι οποίες συντελούν στην εύρεση των β̂∼ .
Για περισσότερες πληροφορίες επί των υπολογιστικών μεθόδων και των λύσεων της (11.13), ο ενδιαφερόμενος αναγνώστης παραπέμπεται στο βιβλίο των McCulloch και Searle [11].
11.4 Έλεγχος υποθέσεων και διαστήματα εμπιστοσύνης - Ο έλεγχος κατά Wald
11.4.1 Λ - τεστ λόγου πιθανοφανειών
Η κλασική φιλοσοφία των τεστ λόγου πιθανοφανειών (likelihood ratio tests) βασίζεται στη σύγκριση των
μεγιστοποιημένων τιμών της log - πιθανοφάνειας υπό την H0 (ή αλλιώς τους περιορισμούς) και όχι υπό την
H0 , αντίστοιχα. Εάν η απόκλιση μεταξύ των δύο προκυπτουσών τιμών είναι μεγάλη, τότε η H0 απορρίπτεται.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
315
Στην περίπτωση που υπάρχουν πολλαπλές (άγνωστες) παράμετροι, τότε συνήθως επικεντρωνόμαστε σε ένα
′
υποσύνολο αυτών. Έστω θ∼′ = θ∼1 , θ∼2 άγνωστες παράμετροι και έστω ότι το ενδιαφέρον μας επικεντρώνεται γύρω από το διάνυσμα παραμέτρων θ∼1 . Μπορεί το θ∼2 να είναι και αυτό άγνωστο, δεν αποτελεί όμως το
διάνυσμα παραμέτρων ενδιαφέροντος και άρα χαρακτηρίζεται ως οχληρό διάνυσμα παραμέτρων (nuisance
parameter vector).
Έστω ότι μας ενδιαφέρει η διενέργεια του ελέγχου:
H0 : θ∼1 = θ∼10
(11.14)
Σε αυτό το σημείο εγείρεται το εξής ερώτημα: «Αφού κάτω από την H0 η τιμή του θ∼1 είναι ίση με θ∼10 , η τιμή
του θ∼2 υπό την H0 με τι θα ισούται;» Λόγω του ότι το θ∼2 είναι οχληρό διάνυσμα παραμέτρων, θα πρέπει κάτω
από την H0 να εκτιμηθεί από τον αντίστοιχο ΕΜΠ θ̂∼20 (υπό την υπόθεση ότι θ∼1 = θ∼10 ).
Η Λ - στατιστική συνάρτηση ελέγχου της (11.14) ορίζεται ως:
L (υπό την H0 )
−2 log Λ = −2 log
L (όχι υπό την H0 )

= −2 log 
L θ∼10 , θ̂∼20
L θ̂∼1 , θ̂∼2
!


= −2 log L θ∼10 , θ̂∼20 − log L θ̂∼1 , θ̂∼2
= −2 l θ∼10 , θ̂∼20 − l θ̂∼1 , θ̂∼2
προσεγγιστικά
∼ χ2ν ,
(11.15)
όπου θ̂∼1 και θ̂∼2 οι ΕΜΠ, κάτω από τον συνολικό παραμετρικό χώρο, των θ∼1 και θ∼2 , αντίστοιχα και ν η διάσταση του θ∼1 .
Η H0 απορρίπτεται εάν:
−2 log Λ > χ2ν,1−α .
Αξίζει να σημειωθεί ότι το −2, που εμφανίζεται στη Λ - στατιστική συνάρτηση, εξυπηρετεί στη σύγκλιση της
τελευταίας, στην κατανομή χ2ν [15].
11.4.2 Έλεγχος κατά Wald
Μια εναλλακτική προσέγγιση ελέγχου από αυτή της Λ - συνάρτησης, είναι η χρήση της ασυμπτωτικής κανονικότητας του ΕΜΠ. Από τις ασυμπτωτικές ιδιότητες των ΕΜΠ [9] είναι γνωστό ότι:
θ̂∼ ∼ AN θ∼, (I (θ∼))−1 ,
όπου I (θ∼) = E
∂l ∂l
∂θ
∂θ′
∼ ∼
= −E
∂2l
∂θ
∂θ′
∼ ∼
ο πίνακας πληροφορίας κατά Fisher.
Εάν υποθέσουμε για ακόμη μία φορά ότι θ∼′ =
ρεί να γραφεί ως:
′
θ∼1 , θ∼2 , τότε ο πίνακας πληροφορίας κατά Fisher μπο"
#
I
I
I (θ∼) = 11 12 ,
I21 I22
με αποτέλεσμα η ασυμπτωτική διασπορά του θ̂∼1 να έχει ως εξής:
var+∞ θ̂∼1 = I11 − I12 I−1
22 I21
−1
.
316
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Για τον έλεγχο της (11.14), η στατιστική συνάρτηση ελέγχου κατά Wald ορίζεται ως:
W = θ̂∼1 − θ∼10
′ var+∞ θ̂∼1
−1 προσεγγιστικά
θ̂∼1 − θ∼10 ∼ χ2ν ,
όπου ν η διάσταση του θ∼1 .
Η H0 απορρίπτεται εάν:
W > χ2ν,1−α .
Βάσει των παραπάνω, προκύπτει ότι τόσο το Λ - τεστ λόγου πιθανοφανειών όσο και το τεστ κατά Wald, έχουν
την ίδια οριακή κατανομή και είναι ικανά να ελέγξουν τις ίδιες υποθέσεις. Ποιες λοιπόν οι διαφορές μεταξύ
των δύο και πότε το ένα υπερέχει του άλλου; Όταν το μέγεθος του δείγματος είναι μεγάλο και η απόκλιση
από την H0 δεν είναι εξαιρετικά μεγάλη, τότε τα δύο τεστ δίνουν πανομοιότυπα αποτελέσματα [2]. Όταν
όμως το μέγεθος του δείγματος είναι μικρό και η απόκλιση από την H0 μεγάλη, τότε εκεί υπερέχει το Λ - τεστ
λόγου πιθανοφανειών [3, 10]. Βέβαια αν και τα παραπάνω αποτελούν εμπειρικά ευρήματα, δεν καθίσταται
απαγορευτική η χρήση του τεστ κατά Wald, τουναντίον! Το τελευταίο έχει ένα σημαντικό (υπολογιστικό)
πλεονέκτημα έναντι του Λ - τεστ λόγου πιθανοφανειών, καθώς δεν προϋποθέτει τον υπολογισμό του θ̂∼20 .
11.4.3 Σύνολα εμπιστοσύνης
Τα τεστ που συζητήθηκαν στην προηγούμενη ενότητα μπορούν να χρησιμοποιηθούν για την κατασκευή
ασυμπτωτικών συνόλων εμπιστοσύνης (asymptotic confindence sets) για το διάνυσμα παραμέτρων θ∼1 :
• Σύνολο εμπιστοσύνης για το θ∼1 βάσει του Λ - τεστ λόγου πιθανοφανειών:
− 2 l θ∼1 , θ̂∼2,1 − l θ̂∼1 , θ̂∼2
≤ χ2ν,1−α ,
(11.16)
όπου θ̂∼2,1 ο ΕΜΠ του θ∼2 για κάθε τιμή του θ∼1 στο σύνολο.
• Σύνολο εμπιστοσύνης για το θ∼1 βάσει του τεστ κατά Wald:
θ̂∼1 − θ∼1
′ var+∞ θ̂∼1
−1 θ̂∼1 − θ∼1 ≤ χ2ν,1−α .
(11.17)
Συγκρίνοντας τα δύο σύνολα εμπιστοσύνης (11.16) και (11.17), αντίστοιχα, παρατηρούμε ότι το υπολογιστικό κόστος που επέρχεται με τη χρήση του πρώτου, είναι μεγαλύτερο από αυτό του Wald. Παρόλα αυτά, η
απόδοση του διαστήματος εμπιστοσύνης βάσει του Λ - τεστ λόγου πιθανοφανειών, φαίνεται να είναι μεγαλύτερη στην περίπτωση μικρών δειγμάτων.
11.5 Έλεγχοι καλής προσαρμογής
Όπως στα γραμμικά, έτσι και στα γενικευμένα γραμμικά μοντέλα, κρίνεται απαραίτητη η αξιολόγηση της
καλής προσαρμογής (στατιστικής σημαντικότητας) του εκάστοτε υπό εξέταση μοντέλου. Οι τεχνικές που
ακολουθούν είναι μερικές από τις γνωστότερες και ευρέως χρησιμοποιούμενες που εξυπηρετούν τον σκοπό
αυτό.
11.5.1 Deviance
Στο γραμμικό μοντέλο παλινδρόμησης, ο έλεγχος σημαντικότητας του μοντέλου διενεργείται μέσω του Πίνακα ANOVA. Συγκεκριμένα, αφού γίνει διάσπαση της ολικής μεταβλητότητας (SSTO) σε δύο τμήματα:
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
317
(1) στη μεταβλητότητα που οφείλεται στην παλινδρόμηση (SSR) και (2) στη μεταβλητότητα που οφείλεται
στα σφάλματα (SSE), έπειτα κατασκευάζεται η στατιστική συνάρτηση ελέγχου:
Pn
i=1
F =
Pn
(παρατηρήσεις (yi )−κέντρο παρατηρήσεων (ȳ))2 − i=1 (παρατηρήσεις−εκτιμώμενες τιμές (ŷi ))2
#ανεξάρτητων μεταβλητών−1
Pn
(παρατηρήσεις (yi )−εκτιμώμενες τιμές (ŷi ))2
μέγεθος δείγματος−#ανεξάρτητων μεταβλητών
i=1
=
SST O−SSE
p−1
SSE
n−p
n − p SST O − SSE
p−1
SSE
SST O − SSE
∝
.
SSE
=
(11.18)
Στην πραγματικότητα, η παραπάνω στατιστική συνάρτηση ελέγχου αποτυπώνει το αποτέλεσμα της σύγκρισης παρατηρούμενων (yi ) και εκτιμώμενων (ŷi ) τιμών υπό δύο διαφορετικά μοντέλα/εκδοχές:
• Μοντέλο 1 (υπό την H0 : β1 = β2 = ... = βp−1 = 0)
Στον αριθμητή της (11.18), γίνεται η υπόθεση ότι καμία από τις X1 , ..., Xp−1 δεν συνεισφέρει στατιστικώς σημαντικά, με αποτέλεσμα το μοντέλο να παίρνει τη μορφή:
ŷi = β̂0 = ȳ.
(11.19)
Στην περίπτωση αυτή, τα ŷi = ȳ και SSE ισούνται με τη συνολική μεταβλητότητα SSTO. Εάν συμπεριληφθούν οι X1 , ..., Xp−1 στο μοντέλο (11.19), τότε οποιαδήποτε μείωση επέλθει στην τιμή του
SSE θα οφείλεται στο γεγονός ότι θα υπάρχει τουλάχιστον ένα βi το οποίο θα είναι διάφορο του μηδενός (δηλαδή στην παλινδρόμηση). Το προαναφερθέν δεν είναι άλλο από το SSR το οποίο βασίζεται σε
τετραγωνικές αποκλίσεις και χρησιμοποιείται για τη σύγκριση των yi και ŷi = ȳ:
SSR = SST O − SSE =
n
X
(yi − ȳ)2 −
i=1
n
X
(yi − ŷi )2 .
i=1
Τουλάχιστον ένα από τα βi ,
• Μοντέλο 2 υπό την H1 :
i = 1, ..., p − 1, διαφορετικό του 0
!
Ο παρονομαστής της σχέσης (11.18) δομείται από όλες τις διαθέσιμες ανεξάρτητες μεταβλητές X1 , ..., Xp−1
και άρα η μορφή του μοντέλου είναι η εξής:
ŷi = β̂0 + β̂1 Xi1 + ... + β̂p−1 Xip−1 .
Το στατιστικό για τη σύγκριση yi και ŷi , βασίζεται στην τετραγωνική τους απόσταση και δεν είναι
άλλο από το:
n
SSE =
X
(yi − ŷi )2 .
i=1
Την παραπάνω φιλοσοφία μπορούμε να τη μεταφέρουμε και στην περίπτωση των γενικευμένων γραμμικών
μοντέλων, με τη σημαντική διαφορά ότι οι όποιες συγκρίσεις γίνονται στη βάση της log - πιθανοφάνειας.
Θέλουμε να εφαρμόσουμε τον έλεγχο:
H0 : Όχι καλή προσαρμογή μοντέλου
vs
H1 : Καλή προσαρμογή μοντέλου.
(11.20)
318
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Η στατιστική συνάρτηση ελέγχου της (11.20) ορίζεται ως:
L (εξεταζόμενο μοντέλο υπό την H0 )
G = −2 log
L (εξεταζόμενο μοντέλο υπό την H1 )
!
προσεγγιστικά
∼ χ2df1 −df0 ,
(11.21)
όπου dfk , k = 0, 1 οι βαθμοί ελευθερίας υπό την H0 και H1 , αντίστοιχα.
Η μηδενική υπόθεση απορρίπτεται εάν:
G > χ2df1 −df0 ,1−α .
Έστω τώρα ότι στη σχέση (11.21) διαιρούμε αριθμητή και παρονομαστή με την πιθανοφάνεια του κορεσμένου μοντέλου:
 L(εξεταζόμενο μοντέλο υπό την H ) 
0
G=
L(κορεσμένο μοντέλο)
−2 log  L(εξεταζόμενο μοντέλο υπό την H1 ) 
L(κορεσμένο μοντέλο)
!
!
L (εξεταζόμενο μοντέλο υπό την H0 )
L (εξεταζόμενο μοντέλο υπό την H1 )
= −2 log
+ 2 log
L (κορεσμένο μοντέλο)
L (κορεσμένο μοντέλο)
(11.22)
= DH0 − DH1 .
H ποσότητα
!
DHk
L (εξεταζόμενο μοντέλο υπό την Hk )
= −2 log
, k = 0, 1,
L (κορεσμένο μοντέλο)
(11.23)
ονομάζεται Deviance (Απόκλιση) και αποτελεί τον «πρωταγωνιστή» της (11.21).
Σχόλιο: Πολλές φορές η ποσότητα DH0 αναφέρεται ως μηδενική απόκλιση (null deviance), ενώ η ποσότητα DH1 ως απόκλιση καταλοίπων (residual deviance).
Με τον όρο «κορεσμένο (saturated) μοντέλο», εννοούμε εκείνο το μοντέλο το οποίο έχει μία ξεχωριστή παράμετρο για κάθε παρατήρηση του συνόλου δεδομένων. Ως απόρροια του προαναφερθέντος, το κορεσμένο
μοντέλο:
1) έχει την «τέλεια» προσαρμογή και
2) ανάμεσα σε όλα τα πιθανά γενικευμένα γραμμικά μοντέλα για την περιγραφή του υπό εξέταση προβλήματος, είναι εκείνο που επιτυγχάνει τη μεγαλύτερη τιμή στη συνάρτηση πιθανοφάνειας.
Έτσι, το στατιστικό της (11.23) μετρά την απόκλιση (deviance) του υπό εξέταση μοντέλου από το ιδεατό
(κορεσμένο).
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
319
Πίνακας 11.3: Πιθανοφάνεια κορεσμένου γενικευμένου γραμμικού μοντέλου κάτω από διάφορες κατανομές
Κατανομή
Πιθανοφάνεια κορεσμένου μοντέλου
Qn
B (pi = yi )
yi ={0,1}
i=1
yiyi (1 − yi )1−yi ==== 1
Qn
Bin (n, pi = yi )
n
yi
i=1
Qn
N B (α, pi = yi )
i=1
e−
P (λi = yi )
yiyi (1 − yi )n−yi
α+yi −1
yi
yiα (1 − yi )yi
Pn
Qn
i=1
N (µi = yi , σ 2 )
yi
y
yi i
i=1 yi !
√ 1
2πσ 2
n
11.5.2 χ2 - έλεγχοι καλής προσαρμογής
Οι χ2 - έλεγχοι καλής προσαρμογής αποτελούν τεχνικές οι οποίες αναπτύχθηκαν αποκλειστικά για την περίπτωση της λογιστικής παλινδρόμησης (Υποκεφάλαιο 11.6) και για ομαδοποιημένες παρατηρήσεις. Ένα από
τα ιδιαίτερα χαρακτηριστικά των ελέγχων αυτών, είναι ότι έχουν αντίστροφη H0 και H1 σε σχέση με αυτή
του G τεστ. Συγκεκριμένα, αντί της (11.20) έχουμε:
H0 : Καλή προσαρμογή μοντέλου vs H1 : Όχι καλή προσαρμογή μοντέλου.
Όπως γίνεται αντιληπτό, είναι πλέον θεμιτή η μη απόρριψη της H0 .
Δύο από τους γνωστότερους ελέγχους αποτελούν αυτοί του Pearson και των Hosmer & Lemeshow, οι οποίοι
και θα συζητηθούν παρακάτω.
11.5.2.1 Ο έλεγχος κατά Pearson
Έστω yi ανεξάρτητες τυχαίες μεταβλητές από Bin(ni , pi ), i = 1, ..., n. O χ2 - έλεγχος καλής προσαρμογής
κατά Pearson ορίζεται ως:
n
X
(Πi − Ai )2
X2 =
,
(11.24)
Δi
i=1
όπου Π οι Παρατηρούμενες τιμές (yi ), Α οι Αναμενόμενες (ni pi ) και Δ οι Διασπορές (ni pi (1 − pi )).
Αντικαθιστώντας στην (11.24) προκύπτει:
(yi − ni pi )
=
i=1 ni pi (1 − pi )
n
X
2
n
X
i=1
ni
yi − ni
g (µi )
e
1+eg(µi )
eg(µi )
1+eg(µi )
1−
2
g (µi )
e
1+eg(µi )
προσεγγιστικά
∼ χ2n .
(11.25)
Στην περίπτωση που τα pi είναι άγνωστα, και άρα χρήζουν εκτίμησης, τότε η (11.25) γράφεται ως:
(yi − ni p̂i )2 προσεγγιστικά 2
∼ χn−p .
i=1 ni p̂i (1 − p̂i )
n
X
όπου p το πλήθος των άγνωστων παραμέτρων β∼ προς εκτίμηση.
(11.26)
320
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
11.5.2.2 Ο έλεγχος κατά Hosmer και Lemeshow
Στην περίπτωση όπου οι παρατηρήσεις yi αποτελούν ανεξάρτητες τυχαίες μεταβλητές από Bernoulli κατανομή με παράμετρο pi (B(pi )), i = 1, ..., n, (και άρα κάθε i-ομάδα περιέχει ni = 1 παρατήρηση), οι
ελεγχοσυναρτήσεις D και X 2 δεν μπορούν να χρησιμοποιηθούν, καθώς δεν ισχύει η ασυμπτωτική θεωρία.
Για την αντιμετώπιση του προαναφερθέντος περιορισμού, οι Hosmer και Lemeshow [7] βασιζόμενοι στη
φιλοσοφία της X 2 ελεγχοσυνάρτησης, πρότειναν τον ομώνυμο έλεγχο καλής προσαρμογής.
Η βασική ιδέα του Hosmer-Lemeshow ελέγχου είναι η ομαδοποίηση των παρατηρήσεων σε g (συνήθως
10) το πλήθος ομάδες οι οποίες δημιουργούνται ως εξής:
1. Υπολογίζουμε τις εκτιμώμενες πιθανότητες p̂i για καθεμία από τις παρατηρήσεις yi :
p̂i =
yi
,
n
i = 1, ..., n.
2. Διατάσσουμε τις p̂i , σε αύξουσα σειρά.
3. Κατασκευάζουμε την πρώτη ομάδα με τις yi που αντιστοιχούν στο χαμηλότερο g% των p̂i . Η δεύτερη
ομάδα κατασκευάζεται από τις yi που αντιστοιχούν στο αμέσως επόμενο χαμηλότερο g% των p̂i , κ.ο.κ.
Έχοντας τις ομάδες στη διάθεσή μας, οι οποίες αποτελούνται από 0 και 1, υπολογίζουμε την ελεγχοσυνάρτηση:
2
XHL
=
g X
1
X
i=1 j=0
Πij − Α̂ij
Δ̂ij
2
∼ χ2g−2 ,
όπου Πi0 το πλήθος των Παρατηρούμενων μηδενικών στην i-οστή ομάδα, Πi1 το πλήθος των Παρατηρούμενων άσων στην i-οστή ομάδα, Αi0 ο Αναμενόμενος αριθμός μηδενικών στην i-οστή ομάδα, Αi1 ο Αναμενόμενος αριθμός άσων στην i-οστή ομάδα, Δi0 η Διασπορά των μηδενικών στην i-οστή ομάδα και Δi1 η διασπορά
των άσων στην i-οστή ομάδα.
Πώς να επιλέξω το πλήθος των ομάδων, g;
Η επιλογή του g δεν βασίζεται σε κάποια συγκεκριμένη μεθοδολογία παρά μόνο σε εμπειρικά ευρήματα, όπως
αυτά προέκυψαν από τις προσομοιώσεις που διενήργησαν οι Hosmer και Lemeshow. Συγκεκριμένα, ακολουθούμε τον κανόνα g > p, όπου p το πλήθος των άγνωστων παραμέτρων του υπό εξέταση μοντέλου, παρόλο
που αυτό δεν αναφέρεται σε κανένα εγχειρίδιο ή στατιστικό πακέτο.
Βέβαια, ο παραπάνω κανόνας δεν πρέπει να ακολουθείται «κατά γράμμα», καθώς ενέχει δύο σημαντικές πα2
γίδες οι οποίες και αποτελούν αδυναμίες του XHL
ελέγχου:
1. Η επιλογή μικρού g θα οδηγήσει σε μικρότερη πιθανότητα εντοπισμού λανθασμένης συναρτησιακής
μορφής του μοντέλου. Αντιθέτως, η επιλογή μεγάλης τιμής για το g ελλοχεύει τον κίνδυνο δημιουργίας ομάδων με εξαιρετικά μικρό πλήθος παρατηρήσεων, γεγονός που θα δυσκολέψει στην απόφαση
σχετικά με το εάν οι διαφορές μεταξύ Π και Α υφίστανται λόγω τυχαιότητας ή λόγω λανθασμένης συναρτησιακής μορφής του μοντέλου.
2. Για δεδομένο δείγμα, μία αλλαγή στην τιμή του g μπορεί να επηρεάσει σημαντικά στην απόφαση σχετικά με το εάν το υπό εξέταση μοντέλο προσαρμόζεται καλά στα δεδομένα.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
321
11.5.3 Ψευδο-συντελεστής προσδιορισμού R2
Σε αντίθεση με τα γραμμικά μοντέλα στα οποία οι παράμετροι εκτιμώνται μέσω των ελαχίστων τετραγώνων,
στα γενικευμένα γραμμικά οι παράμετροι εκτιμώνται μέσω της μεγίστης πιθανοφάνειας. Ως απόρροια του
προαναφερθέντος, η χρήση του συντελεστή προσδιορισμού R2 δεν ενδείκνυται στην περίπτωση των γενικευμένων γραμμικών μοντέλων, καθώς αυτός βασίζεται εξ ολοκλήρου σε αθροίσματα τετραγώνων της εξαρτημένης μεταβλητής. Έχουν προταθεί διάφορες εκδοχές του R2 (Efron [5], Cox και Snell [4], Nagelkerke
[13] κ.ά.) ως επέκταση του κλασικού R2 στην κλάση των γενικευμένων γραμμικών μοντέλων, χωρίς όμως να
καταφέρνει κάποια να αποτελέσει την ακριβή γενίκευσή του. Για τον λόγο αυτό, τα R2 που αφορούν τα γενικευμένα γραμμικά μοντέλα αναφέρονται στη βιβλιογραφία ως ψευδο-R2 (pseudo-R2 ) και δεν έχουν ουδεμία
σχέση με κάποιον συντελεστή συσχέτισης.
Ανάμεσα στα πιο διαδεδομένα ψευδο-R2 , είναι αυτό που προτάθηκε από τον McFadden [12]:
2
RM
cF adden = 1 −
DH1
,
DH0
2
0 ≤ RM
cF adden ≤ 1.
(11.27)
2
2
Το RM
cF adden τείνει να έχει τιμές αρκετά μικρότερες από αυτές του R . Είναι χαρακτηριστικό ότι σύμφωνα με
τον McFadden, τιμές μεταξύ 0.2 και 0.4, υποδεικνύουν «εξαιρετική προσαρμογή» του μοντέλου. Επιπλέον,
από τη δομή του είναι βασισμένο σε αποκλίσεις, γεγονός που καθιστά την ερμηνεία του αρκετά διαφορετική
από αυτή του R2 . Συγκεκριμένα, τιμές πλησίον της μονάδος υποδηλώνουν ότι το πλήρες (υπό εξέταση) μοντέλο είναι καλύτερο από κορεσμένο, και το ανάποδο.
Αξίζει να παρατηρήσουμε ότι στη σχέση (11.27), η ποσότητα DH1 παίζει τον ρόλο του SSE στην περίπτωση του κλασικού R2 , ενώ η ποσότητα DH0 τον ρόλο του SST O.
11.6 Το δίτιμο λογιστικό μοντέλο παλινδρόμησης
Στη γραμμική παλινδρόμηση μας ενδιέφερε η επίδραση μίας ή περισσότερων ανεξάρτητων μεταβλητών X
πάνω σε μία συνεχή εξαρτημένη μεταβλητή Y. Υπάρχει όμως μία πληθώρα περιπτώσεων όπου μας ενδιαφέρει
η μελέτη της επίδρασης μίας ή περισσότερων ανεξάρτητων μεταβλητών πάνω σε μία διακριτή εξαρτημένη μεταβλητή. Εάν τα πιθανά αποτελέσματα/εκβάσεις της εξαρτημένης μεταβλητής είναι δύο (έστω 1: “επιτυχία”
και 0: “αποτυχία”), η καταλληλότερη τεχνική μελέτης της σχέσης μεταξύ ανεξάρτητης/των και εξαρτημένης
μεταβλητής είναι αυτή της δίτιμης λογιστικής παλινδρόμησης (binary logistic regression), η οποία αποτελεί
μία από τις δημοφιλέστερες ειδικές περιπτώσεις Γενικευμένων Γραμμικών Μοντέλων. Παραδείγματα δίτιμων
εκβάσεων είναι: η κατάσταση της υγείας ενός ασθενούς (“Επιδείνωση” ή “Όχι επιδείνωση”), η εθνικότητα
(“Έλληνας” ή “Όχι Έλληνας”), το φύλο (“Αρσενικό” ή “Θηλυκό”), η κατάσταση ενός προϊόντος από μία
γραμμή παραγωγής προϊόντων (“Αποδεκτή” ή “Όχι Αποδεκτή”) κ.ο.κ.
Έστω λοιπόν η Bernoulli τυχαία μεταβλητή:
(Y )
Y = I{“επιτυχία”} =

1,
“επιτυχία”
,
0, “αποτυχία”
(11.28)
με E (Y ) = p, V ar (Y ) = p(1 − p) και p, p ∈ (0, 1), η πιθανότητα επιτυχίας.
Επιπλέον, έστω το πολλαπλό γραμμικό μοντέλο με:
E y∼ = pi = Xi′ β∼ = β0 +
p−1
X
i=1
βi Xi .
(11.29)
322
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Ο τρόπος με τον οποίο ορίσαμε στη σχέση (11.28) την εξαρτημένη μεταβλητή y, επιφέρει ένα ιδιαιτέρως
σοβαρό πρόβλημα στην (11.29). Συγκεκριμένα, το αριστερό μέλος έχει ως πεδίο τιμών το (0, 1) ενώ το δεξί
το R. Θα πρέπει, λοιπόν, να βρεθεί ένας επιδέξιος τρόπος ώστε τα δύο μέλη να αποκτήσουν το ίδιο πεδίο τιμών.
Αρχικά, θα πρέπει να αντικαταστήσουμε την πιθανότητα επιτυχίας p με μία ανάλογη αυτής. Μια παραπλήσια
έννοια με αυτή της πιθανότητας, είναι τα λεγόμενα odds τα οποία ορίζονται ως:
P (“επιτυχίας”)
p
p
= =
.
P (“αποτυχίας”)
q
1−p
Το πλεονέκτημα των odds σε σχέση με την κλασική πιθανότητα p, είναι ότι ενώ έχουν παρόμοια ερμηνεία με
το τελευταίο, έχουν πεδίο τιμών το διάστημα (0, +∞).
Το πρώτο βήμα διόρθωσης του προβλήματος έγινε καθώς η (11.29) έχει μετατραπεί σε:
pi
= Xi′ β∼ .
1 − pi
Για την πλήρη επίλυση του προβλήματος, θα εφαρμόσουμε τον μετασχηματισμό του λογαρίθμου στα odds
ώστε να μεταβούμε από το (0, +∞) στο R.
Άρα, η σχέση (11.29) έχει πάρει πλέον τη μορφή:
pi
log
1 − pi
!
= Xi′ β∼ = g (µi ) .
(11.30)
Η ποσότητα στο αριστερό μέλος της σχέσης (11.30):
!
pi
log
,
1 − pi
ονομάζεται logit - μετασχηματισμός και αποτελεί τη συνάρτηση σύνδεσης (βλ. (11.3)) της Bernoulli με τις
ανεξάρτητες μεταβλητές του μοντέλου (11.29).
Για τον υπολογισμό της πιθανότητας επιτυχίας, αρκεί να λύσουμε την (11.30) ως προς pi :
′
E(y∼) = pi =
eXi ∼β
′
1 + eXi ∼β
=
eg(µi )
.
1 + eg(µi )
(11.31)
11.6.1 Εκτίμηση παραμέτρων
Για την εκτίμηση των παραμέτρων του μοντέλου (logit) θα χρησιμοποιηθεί η τεχνική της μέγιστης πιθανοφάνειας (Ενότητα 11.3.1).
Η συνάρτηση πιθανοφάνειας δίνεται από τη σχέση:
L β∼ =
n
Y
i=1
fYi (yi ) =
n
Y
yi
pi (1 − pi )1−yi .
(11.32)
i=1
Αξίζει να παρατηρήσουμε ότι στη σχέση (11.32) μπορεί η άγνωστη παράμετρος να είναι το pi , όμως αυτό
είναι άρρηκτα συνδεδεμένο με τα β∼ (βλ. (11.30)):
l=
n
X
i=1
(yi log (pi ) + (1 − yi ) log (1 − pi ))
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
=
n
X
i=1
pi
yi log
1 − pi
n από (11.30) και (11.31) X
====
=
(yi (g (µi ))) −
i=1
!
+ log (1 − pi )
yi (g (µi )) − log 1 + eg(µi )
i=1
n
X
!
323
n X
log 1 + eg(µi )
.
(11.33)
i=1
Επόμενο βήμα, η παραγώγιση της (11.33) ως προς β∼ :
!
n
n X
∂l
∂ X
=
(yi (g (µi ))) −
log 1 + eg(µi )
.
∂β∼
∂β∼ i=1
i=1
(11.34)
Οι εξισώσεις (11.34) είναι υπερβατικές και έτσι η λύση τους δεν μπορεί να δοθεί σε κλειστή μορφή. Αντ’ αυτού,
θα πρέπει να γίνει χρήση υπολογιστικών μεθόδων, όπως αναφέρθηκε και στο τέλος της Ενότητας 11.3.1.
11.6.2 Ερμηνεία συντελεστών δίτιμου λογιστικού μοντέλου παλινδρόμησης
Αφού προσδιοριστούν οι εκτιμητές β̂∼ , των β∼ , θα πρέπει να ερμηνευτούν με ιδιαίτερη προσοχή. Η ερμηνεία
τους διαφέρει σημαντικά από αυτή που συναντάμε στην περίπτωση του γραμμικού μοντέλου παλινδρόμησης.
• β̂0 : Εκφράζει τα εκτιμώμενα log-odds “επιτυχίας”, όταν όλες οι ανεξάρτητες μεταβλητές είναι ίσες με
το 0.
Εναλλακτικά, εκφράζει την πιθανότητα μέσω της σχέσης p =
όταν όλες οι ανεξάρτητες μεταβλητές είναι ίσες με το 0.
eβ0
,
1+eβ0
βλ. (11.30) εμφάνισης “επιτυχίας”,
• β̂i , i = 1, ..., p − 1: Οι ανεξάρτητες μεταβλητές Xi μπορεί να είναι είτε ποσοτικές είτε κατηγορικές.
Ανάλογα με το είδος τους, αλλά και το πρόσημο του συντελεστή β̂i , δίνεται και η αντίστοιχη ερμηνεία
του.
Το παράδειγμα που ακολουθεί είναι χαρακτηριστικό για τον τρόπο ερμηνείας των συντελεστών β̂i .
Παράδειγμα 11.2. Έστω ότι θέλουμε να μελετήσουμε εάν η ηλικία και το κάπνισμα συμβάλλουν σημαντικά στη νόσηση ενός ατόμου από μία συγκεκριμένη ασθένεια.
Για τον παραπάνω σκοπό εξήχθη τυχαίο δείγμα 20 ατόμων και προέκυψε το παρακάτω εκτιμώμενο μοντέλο:
!
p̂i
= −2.1597 + 0.0268xi1 + 0.38xi2 , i = 1, ..., 20,
log
1 − p̂i
όπου:
• y = Νόσηση =
(y)
I{Ναι}

1,
=
Ναι
,
0, Όχι
• X1 = Ηλικία,
(X )
2
• X2 = Καπνιστής = I{Ναι}
=

1,
Ναι
.
0, Όχι
Παρατηρούμε ότι η πρώτη ανεξάρτητη μεταβλητή (Ηλικία) είναι ποσοτική, ενώ η δεύτερη (Καπνιστής)
κατηγορική. Έτσι, η προσέγγιση στην ερμηνεία του β̂1 θα είναι διαφορετική από ότι για του β̂2 .
324
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
- β̂1 : Εάν η μεταβλητή “Ηλικία” αυξηθεί κατά ένα έτος, τότε τα odds νόσησης (αυτό δηλαδή που ορίσαμε ως “επιτυχία” στη συγκεκριμένη μελέτη) του i-οστού ατόμου θα αυξηθούν κατά e0.0268 − 1 =
1.026 − 1 = 0.026, δεδομένου ότι η μεταβλητή “Καπνιστής” παραμένει σταθερή.
Σχόλιο 1: Στην περίπτωση όπου η τιμή του β̂1 ήταν −0.0268, τότε η ερμηνεία του θα είχε ως εξής:
Εάν η μεταβλητή “Ηλικία” αυξηθεί κατά ένα έτος, τότε τα odds νόσησης (αυτό δηλαδή που ορίσαμε
ως “επιτυχία” στη συγκεκριμένη μελέτη) του i-οστού ατόμου θα μειωθούν κατά 1 − e−0.0268 =
1 − 0.974 = 0.026, δεδομένου ότι η μεταβλητή “Καπνιστής” παραμένει σταθερή.
- β̂2 : Αφού ο συντελεστής β̂2 έχει θετικό πρόσημο η ερμηνεία του είναι η εξής:
Εάν το i-οστό άτομο είναι καπνιστής, τότε έχει e0.38 − 1 = 1.46 − 1 = 0.46 φορές περισσότερα
odds νόσησης συγκριτικά με έναν μη καπνιστή, δεδομένου ότι η μεταβλητή “Ηλικία” παραμένει σταθερή.
Σχόλιο 2: Στην περίπτωση που η τιμή του β̂2 ήταν ίση με −0.38, τότε η ερμηνεία του θα είχε ως
εξής:
Εάν το i-οστό άτομο είναι καπνιστής, τότε έχει 1−e−0.38 = 1−0.68 = 0.32 φορές λιγότερα odds
νόσησης συγκριτικά με έναν μη καπνιστή, δεδομένου ότι η μεταβλητή “Ηλικία” παραμένει σταθερή.
Από τον τρόπο με τον οποίο δόθηκαν οι ερμηνείες των συντελεστών στο παραπάνω παράδειγμα, φαίνεται ότι η μοναδιαία αύξηση στην τιμή της ανεξάρτητης μεταβλητής Xi σχετίζεται άμεσα με μία πολλαπλασιαστική αλλαγή, μέσω του eβi , στα odds “επιτυχίας” του υπό εξέταση γεγονότος.
Πράγματι, έστω:
και
′
′
X
∼ = (X1 , X2 , ...Xk−1 , Xk , Xk+1 , ..., Xp )
′
′
X̃
∼ = (X1 , X2 , ...Xk−1 , Xk + 1, Xk+1 , ..., Xp ) .
Ουσιαστικά, η X̃
∼ είναι όσο και η X
∼ , με τη μόνη διαφορά ότι ο k-οστός όρος της πρώτης είναι αυξημένος κατά μία μονάδα.
Έστω επίσης:
′
′
p=
eX∼ ∼β
′
1 + eX∼ ∼β
και p̃ =
eX̃∼ ∼β
′
1 + eX̃∼ ∼β
.
Υπολογίζοντας τον λόγο των odds (odds ratio) έχουμε:
p̃
1−p̃
p
1−p
log
=e
p̃
1−p̃
p
1−p
p̃
p
= elog( 1−p̃ )−log( 1−p )
′
′
= eX̃∼ ∼β −X∼ ∼β
αφού διαφέρουν μόνο στον
k-οστό όρο
====
e(Xk +1)βk −Xk βk = eβk
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
⇔
p̃
p
= eβk
.
1 − p̃
1−p
325
(11.35)
Η σχέση (11.35) υποδεικνύει ότι τα odds να συμβεί “επιτυχία” στην τιμή Xk + 1 ισούνται με eβk
φορές τα odds να συμβεί “επιτυχία” στην τιμή Xk .
11.7 Το Poisson μοντέλο παλινδρόμησης
Υπάρχουν περιπτώσεις όπου εξαρτημένη μεταβλητή περιέχει δεδομένα τα οποία αποτελούν απαρίθμηση (count)
ή συχνότητα (frequency) εμφάνισης ενός χαρακτηριστικού/συμβάντος/περιστατικού/γεγονότος. Μερικά
χαρακτηριστικά παραδείγματα είναι ο αριθμός των φορών που χτύπησε το τηλέφωνο ενός τηλεφωνικού κέντρου, το πλήθος των κρουσμάτων ενός ιού στον πληθυσμό κλπ. Τέτοιου είδους μεταβλητές μοντελοποιούνται
συνήθως από την Poisson κατανομή (ενίοτε και από την Αρνητική Διωνυμική) γύρω και από την οποία θα
επικεντρωθεί η συζήτησή μας στην παρούσα ενότητα.
Έστω Y1 , ..., Yn ανεξάρτητες τυχαίες μεταβλητές από κατανομή Poisson με συνάρτηση μάζας πιθανότητας:
e−λi λyi i (yi )
fYi (yi ) =
I + ,
yi ! {Z }
i = 1, ..., n,
με λi > 0.
H παράμετρος λi δύναται να αντιπροσωπεύει είτε τον μέσο αριθμό εμφάνισης ενός γεγονότος είτε τον ρυθμό
εμφάνισής του. Για παράδειγμα, αν τα Yi αποτελούν πλήθος ατυχημάτων στην Εγνατία οδό για τον μήνα
Δεκέμβριο, τότε το λi αντιπροσωπεύει τον μέσο αριθμό ατυχημάτων. Αν όμως τα Yi αποτελούν πλήθος ατυχημάτων στην Εγνατία οδό ανά 1000 οχήματα για τον μήνα Δεκέμβριο, τότε το λi αντιπροσωπεύει τον ρυθμό
με τον οποίο συμβαίνουν τα ατυχήματα.
Έστω το πολλαπλό γραμμικό μοντέλο με:
E (y) = λi = Xi′ β∼ .
(11.36)
Παρατηρούμε ότι στην (11.36) υφίσταται παρόμοιο πρόβλημα με αυτό που είχε δημιουργηθεί και στην (11.29).
Το δεξί μέλος δεν τηρεί τον περιορισμό λi > 0. Για την επίλυση του προαναφερθέντος προβλήματος, θα
εφαρμοστεί ο μετασχηματισμός του Νεπέριου λογαρίθμου στη μέση τιμή λi , με αποτέλεσμα το μοντέλο της
(11.36) να μετατρέπεται σε:
log(λi ) = Xi′ β∼ = g (µi ) .
(11.37)
Η ποσότητα:
log(λi ),
αποτελεί τη συνάρτηση σύνδεσης της Poisson με τις ανεξάρτητες μεταβλητές του μοντέλου (11.36).
Λύνοντας την (11.37) ως προς λi έχουμε τελικά:
′
λi = eXi ∼β = eg(µi ) .
(11.38)
11.7.1 Εκτίμηση παραμέτρων
Η συνάρτηση πιθανοφάνειας δίνεται από τη σχέση:
L β∼ =
n
Y
i=1
fYi (yi ) =
n
Y
e−λi λyi i
i=1
yi !
.
(11.39)
326
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Λογαριθμίζοντας την (11.39):
l=
n
X
(−λi +
i=1
n από (11.38) X
yi log (λi ) − log (yi !))
−eg(µi ) + yi g (µi ) − log (yi !) .
====
(11.40)
i=1
Προφανώς, σε αυτό το σημείο η (11.40) θα πρέπει, αφού πρώτα παραγωγισθεί ως προς β∼ και τεθεί ίση με το
μηδέν, να λυθεί ως προς β∼ . Όπως και στην περίπτωση του δίτιμου λογιστικού μοντέλου παλινδρόμησης, έτσι
και εδώ, οι προκύπτουσες εξισώσεις είναι υπερβατικές, και ως αποτέλεσμα οι λύσεις τους δίνονται κάνοντας
χρήση αριθμητικών μεθόδων.
11.7.2 Ερμηνεία συντελεστών Poisson μοντέλου παλινδρόμησης
Η ερμηνεία των συντελεστών του Poisson μοντέλου παλινδρόμησης, είναι όμοια με αυτή του δίτιμου λογιστικού. Η μόνη διαφορά έγκειται στο γεγονός ότι πλέον δεν μιλάμε για τα odds εμφάνισης ενός γεγονότος,
αλλά για τα odds του μέσου αριθμού ή του ρυθμού εμφάνισης ενός γεγονότος.
11.7.3 Poisson μοντέλο παλινδρόμησης με αντιστάθμιση
Υπάρχουν περιπτώσεις όπου το μέγεθος του δείγματος πρέπει να ληφθεί υπόψη στο Poisson μοντέλο παλινδρόμησης. Για παράδειγμα, έστω Yi το πλήθος των ατόμων που θέλουν να αγοράσουν ένα συγκεκριμένο
smartphone. Σε μία τέτοια περίπτωση, η E (Yi ) = λi θα αποτελεί συνάρτηση δύο παραγόντων: (1) του
πλήθους των διαθέσιμων τεμαχίων του συγκεκριμένου smartphone από την εταιρεία παραγωγής, ni και (2)
μερικών ανεξάρτητων μεταβλητών οι οποίες συνδέονται με το λi μέσω της (11.38), όπως η ηλικία των αγοραστών, η απήχηση της εταιρείας στη γεωγραφική περιοχή ζήτησης, η ημερομηνία πρώτης κυκλοφορίας του
smartphone κ.ά.
Η ποσότητα:
θi = ni λi ,
(11.41)
ονομάζεται αντισταθμισμένη παράμετρος της Poisson.
Λογαριθμίζοντας την ποσότητα (11.41):
log (θi ) = log (ni ) + log (λi )
από (11.37)
==== log (ni ) + Xi′ β∼ ,
(11.42)
παρατηρούμε ότι η προσθήκη του ni ισοδυναμεί με τη συμπερίληψη μίας ακόμα ανεξάρτητης μεταβλητής
(log (ni )) στο μοντέλο, της οποίας όμως ο συντελεστής είναι μονάδα και άρα δεν χρήζει εκτίμησης. Άρα, η
προσέγγιση για την εκτίμηση των παραμέτρων του μοντέλου (11.42) είναι ίδια με αυτή που περιγράφηκε
πρωτύτερα στην παρούσα ενότητα.
Η ποσότητα log (ni ) ονομάζεται αντιστάθμιση (offset) και εμφανίζεται σε ποικίλα Γενικευμένα Γραμμικά
Μοντέλα πέραν του Poisson.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
327
11.8 Επεκτάσεις
11.8.1 Γραμμικά μεικτά μοντέλα
Στα γραμμικά μοντέλα, είχαμε υποθέσει ότι τόσο ο πίνακας σχεδιασμού Xi όσο και οι συντελεστές παλινδρόμησης β∼ θεωρούνται σταθερά (fixed). Υπάρχουν όμως περιπτώσεις, όπως αυτή των συσχετισμένων παρατηρήσεων, όπου χρειάζεται να υποθέσουμε ότι κάποιοι από τους συντελεστές παλινδρόμησης είναι τυχαίοι
(random). Για παράδειγμα, σε ιατρικές μελέτες οι παρατηρήσεις συχνά συλλέγονται από τα ίδια υποκείμενα
σε διαφορετικές περιόδους. Είναι λοιπόν λογικό να υποθέσουμε ότι παρατηρήσεις που προέρχονται από το
ίδιο υποκείμενο είναι πολύ πιθανό να συσχετίζονται, ειδικά όταν αυτές λαμβάνονται ανά τακτά χρονικά διαστήματα. Για τον λόγο αυτό, χρειαζόμαστε γραμμικά μοντέλα τα οποία συνδυάζουν ταυτόχρονα σταθερούς
και τυχαίους συντελεστές παλινδρόμησης. Τα μοντέλα αυτά ονομάζονται γραμμικά μεικτά μοντέλα (linear
mixed models).
Για τον καθορισμό της συνάρτησης σύνδεσης ενός γραμμικού μεικτού μοντέλου (ΓΜΜ), θα πρέπει να ορίσουμε τη δεσμευμένη κατανομή των παρατηρήσεων yi , δοθέντος των τυχαίων επιδράσεων, έστω :
id
∼ Nn µ
, σ 2 In .
Y∼ |u
∼
∼
Η συνάρτηση σύνδεσης δίνεται από την ακόλουθη σχέση:
g (µi ) = Xi′ β∼ + Zi′ ,
(11.43)
όπου Xi′ η i-οστή γραμμή του πίνακα σχεδιασμού για τις σταθερές επιδράσεις, β∼ το διάνυσμα των παραμέτρων
το
των σταθερών επιδράσεων, Zi′ η i-οστή γραμμή του πίνακα σχεδιασμού για τις τυχαίες επιδράσεις και u
∼
iid
2
διάνυσμα των παραμέτρων των τυχαίων επιδράσεων, με u
∼ N (0, σu ).
∼
11.8.2 Γενικευμένα γραμμικά μεικτά μοντέλα
Τα γενικευμένα γραμμικά μικτά μοντέλα (generalized linear mixed models) αποτελούν μία ισχυρή κατηγορία στατιστικών μοντέλων που συνδυάζουν τα χαρακτηριστικά των ΓΓΜ και των ΓΜΜ. Είναι ικανά να διαχειριστούν, πέραν της κανονικής, ένα ευρύ φάσμα κατανομών απόκρισης. Παρόλο που δεν αποδίδουν πάντοτε
ικανοποιητικά, υπάρχει πληθώρα περιπτώσεων που χρησιμοποιούνται, καθώς είναι γρήγορα και το κυριότερο,
ευέλικτα, αφού μπορούν να χειριστούν πολύπλοκες περιπτώσεις, όπως αυτή των μηδενο-διογκωμένων (zeroinflated) αποκρίσεων.
Η δεσμευμένη κατανομή των παρατηρήσεων, δοθέντος των τυχαίων επιδράσεων ορίζεται ως:
id
Y∼ |u
∼ µ
, σ 2 In .
∼
∼
Η μορφή της συνάρτησης σύνδεσης του γενικευμένου γραμμικού μεικτού μοντέλου (ΓΓΜΜ) είναι όμοια με
αυτή της σχέσης (11.43) με τη διαφορά πλέον ότι η κατανομή των παρατηρήσεων καθώς και των παραμέτρων των τυχαίων επιδράσεων, δεν είναι πλέον (απαραίτητα) η κανονική.
Για περισσότερες πληροφορίες πάνω στα ΓΜΜ και τα ΓΓΜΜ, ο αναγνώστης παραπέμπεται στο βιβλίο του
Jiang [8].
11.9 Εφαρμογές στην R
1. Το αρχείο ch11ex1.xlsx περιέχει δεδομένα από μελέτη η οποία διεξήχθη μεταξύ 1958 και 1970 στο
University of Chicago’s Billings Hospital [6] και αφορά ασθενείς που χειρουργήθηκαν για καρκίνο
328
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
του μαστού.
Αν:
Y = Κατάσταση επιβίωσης ασθενούς μετά το χειρουργείο [1 (επιβίωσε από 5 έτη και πάνω), 0
(επιβίωσε λιγότερο από 5 έτη)],
X1 = Ηλικία ασθενούς τη στιγμή του χειρουργείου (σε έτη) και
X2 = Πλήθος θετικών μασχαλιαίων λεμφαδένων που ανιχνεύτηκαν.
i. Να προσαρμοστεί κατάλληλο μοντέλο γραμμικής παλινδρόμησης και να ερμηνευθούν οι τιμές
των συντελεστών.
ii. Nα γίνει έλεγχος καλής προσαρμογής του μοντέλου βάσει του G τεστ (α = 5%).
iii. Να επαναληφθεί το ερώτημα (ii) κάνοντας χρήση του στατιστικού Hosmer-Lemeshow.
iv. Να υπολογιστεί ο ψευδο-συντελεστής προσδιορισμού του M cF adden.
v. Να ελεγχθεί η στατιστική σημαντικότητα των συντελεστών του μοντέλου (α = 5%).
vi. Να εκτιμηθεί η πιθανότητα επιβίωσης από 5 έτη και πάνω, ενός ασθενούς ηλικίας 29 ετών, με
26 διαγεγνωσμένους μασχαλιαίους λεμφαδένες.
vii. Να γίνει ο έλεγχος:
H0 : β0 = β2 = 0
vs
H1 : Όχι η H0 .
Ȫ
Λύση
Εισαγωγή δεδομένων & δημιουργία μεταβλητών
library(readxl)
data <‐ read_xlsx('ch11ex1.xlsx')
X1 <‐ data$X1
X2 <‐ data$X2
Y <‐ data$Y
i. Στο πρόβλημα υπό εξέταση, η μεταβλητή απόκρισης είναι δίτιμη (1 και 0), με αποτέλεσμα το
καταλληλότερο μοντέλο παλινδρόμησης να είναι το δίτιμο λογιστικό. Για την προσαρμογή ενός
οποιουδήποτε γενικευμένου γραμμικού μοντέλου στην R, κάνουμε χρήση της εντολής glm [stats].
Είναι πολύ σημαντικό να ορίσουμε την κατανομή της Y , ώστε να «καταλάβει» η R ποια συνάρτηση σύνδεσης θα πρέπει να θεωρήσει. Εδώ, χρειαζόμαστε τη logit συνάρτηση σύνδεσης και άρα
στο όρισμα family γράφουμε binomial (δεν υπάρχει η επιλογή bernoulli).
Δημιουργία δίτιμου λογιστικού μοντέλου παλινδρόμησης
genlm <‐ glm(Y ~ X1 + X2, family = binomial) # Αν είχαμε π.χ. Poisson
παλινδρόμηση, τότε θα θέταμε family = poisson
summary(genlm)
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
329
> summary(genlm)
Call:
glm(formula = Y ~ X1 + X2, family = binomial)
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept)
2.4629
0.7064
3.49 0.00049
X1
‐0.0197
0.0127
‐1.55 0.12144
X2
‐0.0883
0.0198
‐4.46 8.3e‐06
Null deviance: 353.69
Residual deviance: 328.31
AIC: 334.3
on 305
on 303
degrees of freedom
degrees of freedom
Number of Fisher Scoring iterations: 4
Το εκτιμώμενο μοντέλο δίνεται από τη σχέση:
p̂i
log
1 − p̂i
!
= 2.4629 − 0.0197xi1 − 0.0883xi2 ,
i = 1, ..., 306.
Ερμηνεία συντελεστών παλινδρόμησης:
• β̂1 : Εάν η ηλικία του ατόμου που χειρουργήθηκε για καρκίνο του μαστού αυξηθεί κατά ένα
έτος, τότε τα odds επιβίωσής του από 5 έτη και πάνω θα μειωθούν κατά 1 − e−0.0197 =
1 − 0.9805 = 0.0195, δεδομένου ότι το πλήθος των μασχαλιαίων λεμφαδένων που ανιχνεύτηκαν παραμείνει σταθερό.
• β̂2 : Εάν το πλήθος των μασχαλιαίων λεμφαδένων που ανιχνεύτηκαν σε ένα άτομο που χειρουργήθηκε για καρκίνο του μαστού αυξηθεί κατά ένα, τότε τα odds επιβίωσής του από 5
έτη και πάνω θα μειωθούν κατά 1 − e−0.0883 = 1 − 0.9155 = 0.0845, δεδομένου ότι η
ηλικία παραμείνει σταθερή.
ii. Θέλουμε να εφαρμόσουμε τον ακόλουθο έλεγχο:
H0 : Όχι καλή προσαρμογή μοντέλου
vs
H1 : Καλή προσαρμογή μοντέλου.
To εν λόγω ερώτημα δύναται να προσεγγιστεί με ποικίλους τρόπους. Δύο εξ αυτών είναι οι ακόλουθοι:
Τρόπος 1ος
Στα αποτελέσματα του ερωτήματος (ii) εμφανίζονται οι ποσότητες Null και Residual deviance.
Από την αφαίρεση των δύο, θα προκύψει η τιμή της ελεγχοσυνάρτησης G (βλ. (11.22)).
G = Null Deviance − Residual Deviance = 353.69 − 328.31 = 25.38.
Τρόπος 2ος
Στα γενικευμένα γραμμικά μοντέλα, δεν υφίσταται η έννοια του Πίνακα ANOVA. Αντ’ αυτού,
330
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
υπάρχει ο Πίνακας Ανάλυσης Απόκλισης (Analysis of Deviance Table), ο οποίος περιέχει όλες
τις απαραίτητες πληροφορίες για τον υπολογισμό του G. Εφαρμόζοντας την εντολή anova
[stats] πάνω στο genlm, θα προκύψει ο Πίνακας Ανάλυσης Απόκλισης. Η R είναι αρκετά
«έξυπνη» ώστε να καταλάβει ότι πρόκειται περί γενικευμένου γραμμικού μοντέλου και να μην
εκτυπώσει τον Πίνακα ANOVA.
Εξαγωγή Πίνακα Ανάλυσης Απόκλισης
deviance.table <‐ anova(genlm)
deviance.table
> deviance.table
Analysis of Deviance Table
Model: binomial , link: logit
Response: Y
Terms added sequentially (first to last)
Df Deviance Resid. Df Resid. Dev
NULL
305
354
X1
1
1.41
304
352
X2
1
23.97
303
328
Αθροίζοντας τα στοιχεία της στήλης “ Deviance Resid.” προκύπτει η τιμή του G.
G = 1.41 + 23.97 = 25.38.
Υπολογισμός χ22;0.95
qchisq(.95, 2)
> qchisq(.95, 2)
[1] 5.9915
Αφού G = 25.38 > 5.9915 = χ22;0.95 , απορρίπτεται η H0 και άρα το μοντέλο φαίνεται να
έχει καλή προσαρμογή στα δεδομένα.
iii. Ο έλεγχος Hosmer-Lemeshow προσφέρεται μέσω της εντολής
hoslem.test [ResourceSelection].
Υπολογισμός Hosmer-Lemeshow στατιστικού
library(ResourceSelection)
hl <‐ hoslem.test(Y, genlm$fitted.values)
hl
> hl
Hosmer and Lemeshow goodness of fit (GOF) test
data: Y, genlm$fitted.values
X‐squared = 8.2, df = 8, p‐value = 0.41
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
331
Αφού p-value = 0.41 > 0.05 = α, δεν απορρίπτεται η H0 και άρα (όπως είναι λογικό)
καταλήγουμε στο ίδιο συμπέρασμα με αυτό του G τεστ.
iv. Η εντολή PseudoR2 [DescTools] εκτός του M cF adden, παρέχει μία πληθώρα ψευδο-R2
στατιστικών.
Υπολογισμός Hosmer-Lemeshow στατιστικού
library(DescTools)
PseudoR2(genlm, which = "McFadden") # Εάν θέλαμε π.χ. το
R2 τότε θα θέταμε which = "CoxSnell"
Cox‐Snell
> PseudoR2(genlm, which = "McFadden")
McFadden
0.071751
2
Λόγω του ότι η τιμή του RM
cF adden (7.175%) είναι αρκετά μικρή, καταλήγουμε (με κάποια
επιφύλαξη) ότι το υπό εξέταση μοντέλο δεν είναι πολύ καλύτερο του κορεσμένου.
v. Θέλουμε να εφαρμόσουμε τον ακόλουθο έλεγχο:
H0 : βi = 0
vs
H1 : βi ̸= 0,
i = 0, 1, 2.
Για ακόμη μία φορά, θα χρειαστεί να ανατρέξουμε στα αποτελέσματα του ερωτήματος (i) καθώς εκεί, και συγκεκριμένα στη στήλη “ Pr(>|z|)”, βρίσκονται οι p-values του ελέγχου κατά
W ald για καθέναν από τους τρεις συντελεστές. Παρατηρούμε ότι, εκτός του συντελεστή β1 ,
οι υπόλοιποι εμφανίζουν p-values πολύ μικρότερες του α = 5% (αλλά και από οποιοδήποτε
σύνηθες επίπεδο σημαντικότητας) και άρα χαρακτηρίζονται ως στατιστικά σημαντικοί.
Από τα παραπάνω, συμπεραίνουμε ότι από τις X1 (Ηλικία ασθενούς τη στιγμή του χειρουργείου (σε έτη)) και X2 (Πλήθος θετικών μασχαλιαίων λεμφαδένων που ανιχνεύτηκαν), μόνο η
X2 επηρεάζει σημαντικά τα odds επιβίωσης του ασθενούς από 5 έτη και πάνω.
vi. Ορίζουμε το διάνυσμα X = (1, 29, 26). Η ζητούμενη πιθανότητα δίνεται από τη σχέση:
X ′ β̂
p̂ =
e
1+e
∼
X ′ β̂
.
∼
Υπολογισμός p̂
X = c(1, 29, 26)
phat = exp(t(X) %*% genlm$coefficients) / (1 + exp(t(X) %*%
genlm$coefficients))
> phat
[,1]
[1,] 0.4005
Άρα, p̂ = 0.4005.
vii. Ο έλεγχος θα διενεργηθεί μέσω του W ald′ s τεστ, ο οποίος προσφέρεται μέσω της εντολής
wald.test [aod].
332
ΕΙΣΑΓΩΓΗ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ
Διενέργεια Wald′ s τεστ
library(aod)
wald.test(b = coef(genlm),
Sigma = vcov(genlm),
Terms = c(1,3)) # Στο διάνυσμα γράφουμε τη θέση που έχει ο
κάθε συντελεστής υπό εξέταση μέσα στο μοντέλο. Έτσι, εάν
μας ενδιέφερε ο αντίστοιχος έλεγχος για τους συντελεστές
π.χ. β0 και β1 , τότε θα γράφαμε Terms=c(1,2)
Wald test:
‐‐‐‐‐‐‐‐‐‐
Chi‐squared test:
X2 = 26.2, df = 2, P(> X2) = 2.1e‐06
Αφού η p-value είναι (πολύ) μικρότερη από το α = 5%, η H0 απορρίπτεται.
ΒΙΒΛΙΟΓΡΑΦΙΑ
[1] Καρώνη, Χ., & Οικονόμου, Π. (2017). Στατιστικά μοντέλα παλινδρόμησης: Με χρήση M initab και R
(2η έκδ.). Αθήνα: Συμεών.
[2] Bishop, Y.M., Fienberg, S.E., & Holland, P.W. (1975). Discrete multivariate analysis. Massachusetts:
The M.I.T. Press, Cambridge.
[3] Cox, D.R., & Hinkley, D.V. (1974). Theoretical statistics (1st ed.). Chapman and Hall/CRC.
[4] Cox, D.R., & Snell, E.J. (1989). The analysis of binary data (2nd ed.). London: Chapman and Hall.
[5] Efron, B. (1978). Regression and ANOVA with zero-one data: Measures of residual variation. Journal of the American Statistical Association, 73, 113-121.
[6] Haberman, S.J. (1976). Generalized residuals for log-linear models. Boston: Proceedings of the 9th
International Biometrics Conference, 104-122.
[7] Hosmer, D.W. & Lemeshow, S. (1980). A goodness-of-fit tests for the multiple logistic regression
model. Communications in Statistics, 9(10), 1043-1069.
[8] Jiang, J. (2007). Linear and generalized linear mixed models and their applications. Springer Series in
Statistics.
[9] Lehmann, E.L. (1983). Theory of point estimation. Wiley.
[10] McCullagh, P., & Nelder, J.A. (1989). Generalized linear models, (2nd ed.). Chapman and Hall.
[11] McCulloch, C.E., & Searle, S.R. (2001). Generalized, linear, and mixed models (Wiley Series in Probability and Statistics) (1st ed.). Wiley-Interscience.
[12] McFadden, D. (1974). Conditional logit analysis of qualitative choice behavior. In P. Zarembka
(Ed.), Frontiers in Econometrics, 105-142, Academic Press.
[13] Nagelkerke, N.J.D. (1991). A note on a general definition of the coefficient of determination.
Biometrika, 78(3), 691-692.
334
ΒΙΒΛΙΟΓΡΑΦΙΑ
[14] Nelder, J.A., & Wedderburn R.W.M. (1972). Generalized linear models. Journal of the Royal Statistical Society. Series A (General), 135(3), 370-84.
[15] Wilks, S.S. (1938). The large-sample distribution of the likelihood ratio for testing composite hypotheses. The Annals of Mathematical Statistics, 9(1), 60-62.
[16] Ypma, T.J. (1995). Historical development of the Newton-Raphson method. SIAM Review, 37(4),
531-551.
ΠΑΡΑΡΤΗΜΑΤΑ
ΠΑΡΑΡΤΗΜΑ Α
ΑΠΑΝΤΗΣΕΙΣ ΑΣΚΗΣΕΩΝ ΑΥΤΟΑΞΙΟΛΟΓΗΣΗΣ
Α.1 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 2
Κατά την αξιολόγηση των συντελεστών παλινδρόμησης σε ένα πρότυπο παλινδρόμησης είτε αυτό είναι απλό
γραμμικό είτε πολλαπλό, ο Ερευνητής θα πρέπει εκ των προτέρων να επιλέξει το σφάλμα τύπου I το οποίο
επιτρέπει στον εαυτό του, ανάλογα με το πρόβλημα που έχει κληθεί να μελετήσει. Το σφάλμα αυτό γνωστό
και ως επίπεδο σημαντικότητας α, είναι σχεδόν πάντα μικρότερο από 10%, με πιο συνήθεις τιμές τις 5% και
1%.
Στους ελέγχους υποθέσεων, τόσο για τους συντελεστές παλινδρόμησης όσο και για οποιοδήποτε άλλο χαρακτηριστικό του υπό εξέταση φαινομένου, συστήνεται η εύρεση της p-value και αυτό γιατί ο καθορισμός
της επιτρέπει στον Ερευνητή να γνωρίζει το εύρος των τιμών του επιπέδου σημαντικότητας α όπου η υπό
εξέταση μηδενική υπόθεση απορρίπτεται, δηλαδή το διάστημα [p-value, 1] καθώς και το εύρος των τιμών
του α όπου η υπό εξέταση μηδενική υπόθεση γίνεται δεκτή, δηλαδή το διάστημα [0, p-value).
Για να έχουν καταλήξει οι δύο Ερευνητές σε διαφορετικό συμπέρασμα, η τιμή του α που επέλεξε ο Ερευνητής Α (ο οποίος δέχθηκε ότι η κλίση είναι μηδέν και άρα αποδέχθηκε τη μηδενική υπόθεση) είναι εντός του
διαστήματος [0, p-value), σε αντίθεση με τον Ερευνητή Β που η τιμή του α που εκείνος επέλεξε (ο οποίος
απέρριψε τη μηδενική υπόθεση, ότι η κλίση είναι 0) είναι εντός του διαστήματος [p-value, 1].
Α.2 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 3
Όπως αναφέρθηκε και στην απάντηση της Άσκησης Αυτοαξιολόγησης του Κεφαλαίου 2, αν το επίπεδο σημαντικότητας είναι μικρότερο από την τιμή της p-value, δηλαδή ανήκει στο διάστημα [0, p-value), ο Ερευνητής
θα πρέπει να αποδεχτεί τη μηδενική υπόθεση, η οποία στην περίπτωση της ανάλυσης παλινδρόμησης ισοδυναμεί με απομάκρυνση από το πρότυπο, της συγκεκριμένης ανεξάρτητης μεταβλητής.
338
ΑΠΑΝΤΗΣΕΙΣ ΑΣΚΗΣΕΩΝ ΑΥΤΟΑΞΙΟΛΟΓΗΣΗΣ
Στην πράξη, ο Ερευνητής δεν θα πρέπει να ακολουθεί και να τηρεί ευλαβικά τους γενικούς κανόνες χωρίς
κριτική σκέψη. Στη συγκεκριμένη περίπτωση, θα πρέπει να τονιστεί ότι η τιμή της p-value είναι πολύ οριακή
και θα ήταν φρόνιμο να επανεξεταστεί το θέμα είτε επαναλαμβάνοντας το πείραμα με νέα δεδομένα είτε αυξάνοντας τον αριθμό των πειραμάτων, ώστε να διαπιστωθεί αν η νέα p-value θα μετακινηθεί προς τη μία ή την
άλλη κατεύθυνση. Η ασφαλέστερη απόφαση είναι η περαιτέρω διερεύνηση του θέματος. Σημειώνεται ότι αν ο
Ερευνητής επιλέξει μία τιμή του επιπέδου σημαντικότητας από 6% και άνω (αντί του 5%) θα πρέπει να πάρει
την αντίθετη απόφαση και να διατηρήσει τη μεταβλητή στο πρότυπο (βλ. απάντηση Άσκησης Αυτοαξιολόγησης Κεφαλαίου 2). Μια τέτοια απόφαση συχνά συνδέεται τόσο με τη σοβαρότητα του προβλήματος υπό
εξέταση, όσο και με θέματα περιορισμένων πόρων (π.χ. η μέτρηση της συγκεκριμένης ανεξάρτητης μεταβλητής έχει μεγάλο κόστος ή η χρηματοδότηση της έρευνας είναι περιορισμένη) ή περιορισμένου χρόνου (π.χ. η
μέτρηση της συγκεκριμένης μεταβλητής είναι χρονοβόρα ή η χρονική περίοδος της μελέτης έχει λήξει).
Α.3 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 4
Όπως έχει αναφερθεί, είναι πολύ σημαντικό, προτού γίνει η ανάλυση των δεδομένων και εξαχθούν τα οποιαδήποτε συμπεράσματα, να διερευνηθεί η καταλληλότητα/ορθότητα του προτύπου που έχει επιλεγεί. Για τον
σκοπό αυτό, υπάρχουν τόσο γραφικές όσο και στατιστικές τεχνικές οι οποίες βασίζονται στα σφάλματα, κάτι
που είναι αναμενόμενο, αφού οι προϋποθέσεις των προτύπων παλινδρόμησης αφορούν αποκλειστικά τα σφάλματα εi .
Όπως γνωρίζουμε, το σφάλμα ή διαταρακτικός όρος δεν είναι παρατηρήσιμο και άρα τα εi δεν είναι διαθέσιμα στον Ερευνητή ώστε αυτός να προβεί στην ανάλυσή τους. Ο Ερευνητής αναγκαστικά πρέπει να αναζητήσει τις τιμές εκείνες που προσεγγίζουν (εκτιμούν) τις πραγματικές αλλά άγνωστες τιμές εi . Για τον σκοπό
αυτό προβαίνει στη στατιστική ανάλυση (ωσάν να πληρούνται οι προϋποθέσεις) και υπολογίζει τα κατάλοιπα
(residuals) μέσω του τύπου εˆi = yi − ŷi , τα οποία στη συνέχεια τα χρησιμοποιεί ως εκτιμήτριες τιμές
των αγνώστων σφαλμάτων και προχωρά στη λεγόμενη ανάλυση καταλοίπων. Με άλλα λόγια, τα κατάλοιπα
μπορούν να θεωρηθούν σαν τα παρατηρηθέντα σφάλματα, σε αντιδιαστολή με τα άγνωστα (πραγματικά)
σφάλματα. Συμπερασματικά, πάντοτε στην ανάλυση παλινδρόμησης ο Ερευνητής διεκπεραιώνει τη στατιστική ανάλυση χωρίς στην πραγματικότητα να γνωρίζει αν αυτή είναι η ενδεδειγμένη. Πάντως, αν πράγματι
η συγκεκριμένη ανάλυση δεν είναι η ενδεδειγμένη, τότε τα κατάλοιπα που θα προκύψουν δεν θα αποτελούν
αξιόπιστες εκτιμήσεις των άγνωστων σφαλμάτων και η ανάλυση καταλοίπων θα οδηγήσει στο συμπέρασμα
ότι τουλάχιστον κάποιες από τις προϋποθέσεις παραβιάζονται και άρα το πρότυπο δεν είναι το ενδεδειγμένο.
Α.4 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 5 - Ενότητα 5.4
Για την επίλυση του προβλήματος θα πρέπει να προσδιοριστεί η μορφή της πιθανοφάνειας για δείγμα μεγέθους
n από την κατανομή N (µ, σ 2 ). Αξιοποιώντας τους δειγματικούς εκτιμητές µ̂p και σ̂p2 της μέσης τιμής µ και
σ 2 αντίστοιχα για το πρότυπο διάστασης p, προκύπτει ότι
−2 log L̂ = −n log σ̂p2 − n log(2π) −
n
2
με τους 2 τελευταίους όρους να μπορούν να αγνοηθούν, αφού δεν σχετίζονται με το υπό εξέταση, κάθε φορά,
μοντέλο. Άρα, η ελαχιστοποίηση του AIC ισοδυναμεί με την ελαχιστοποίηση της ποσότητας
AICp = −n log σ̂p2 + 2p.
Ομοίως για το κριτήριο BIC.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
339
Α.5 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 5 - Ενότητα 5.5
Από τους τύπους των δύο κριτηρίων, διαπιστώνεται ότι η ταύτιση προκύπτει στην περίπτωση του απλού γραμμικού μοντέλου, δηλαδή όταν p = 1.
Α.6 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 7
Τα πολλαπλά διαστήματα εμπιστοσύνης Tukey είναι τόσα όσοι οι συνδυασμοί ανά δύο, των εμπλεκόμενων
επιπέδων του παράγοντα ενδιαφέροντος. Από την άλλη πλευρά, ο αριθμός των πολλαπλών διαστημάτων εμπιστοσύνης Dunnett ισούται με τον αριθμό των επιπέδων του παράγοντα ενδιαφέροντος, μείον ένα, αφού κάθε
επίπεδο συγκρίνεται με το συγκεκριμένο επίπεδο που ενδιαφέρει τον Ερευνητή. Άρα, αν σε μία μελέτη ο παράγοντας
ενδιαφέροντος έχει k επίπεδα, τότε ο συνολικός αριθμός των πολλαπλών διαστημάτων Tukey ισούται
με k2 , ενώ ο συνολικός αριθμός των πολλαπλών διαστημάτων Dunnett ισούται με k − 1.
Α.7 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 8
Στην πρώτη στήλη του 3 × 3 Λατινικού Τετραγώνου, μπορούν να τοποθετηθούν 6 διαφορετικοί συνδυασμοί
των A, B και C, ήτοι (A, B, C), (A, C, B), (B, C, A), (B, A, C), (C, A, B) και (C, B, A). Για καθέναν
από τους 6 αυτούς συνδυασμούς προκύπτουν 2 Λατινικά Τετράγωνα, με το δεύτερο σε σχέση με το πρώτο, να
έχει αντιμετατεθειμένες τις δύο τελευταίες στήλες (2η και 3η ). Υπενθυμίζεται ότι η ανάθεση των A, B και C
στις 2 τελευταίες στήλες γίνεται με τέτοιο τρόπο ώστε κάθε σύμβολο/γράμμα να εμφανίζεται μία μόνο φορά
σε κάθε γραμμή και κάθε στήλη του 3 × 3 Λατινικού Τετραγώνου. Τα δύο Λατινικά Τετράγωνα, όταν στην
πρώτη στήλη του τετραγώνου αντιστοιχεί ο συνδυασμός A, B, C, είναι τα ακόλουθα:
Πίνακας Α.1: 3 × 3 Σχέδιο Λατινικού Τετραγώνου 1η περίπτωση
Επίπεδα Μεταβλητής
Πλαισίου 2
ΟΟ1
ΟΟ2
ΟΟ3
O1
A
B
C
O2
B
C
A
O3
C
A
B
Επίπεδα Μεταβλητής
Πλαισίου 1
340
ΑΠΑΝΤΗΣΕΙΣ ΑΣΚΗΣΕΩΝ ΑΥΤΟΑΞΙΟΛΟΓΗΣΗΣ
Πίνακας Α.2: 3 × 3 Σχέδιο Λατινικού Τετραγώνου 2η περίπτωση
Επίπεδα Μεταβλητής
Πλαισίου 2
ΟΟ1
ΟΟ2
ΟΟ3
O1
A
C
B
O2
B
A
C
O3
C
B
A
Επίπεδα Μεταβλητής
Πλαισίου 1
Ομοίως για καθέναν από τους άλλους πέντε συνδυασμούς των A, B και C.
Α.8 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.1
Εφαρμόζοντας τους τύπους για τον υπολογισμό των επιδράσεων, προκύπτουν τα εξής:
µ̂ = 64.25, A = 11.50, B = −2.50, C = 0.75, AB = 0.75, AC = 5.0, BC = 0.00, ABC = 0.25.
Ακολουθώντας τη συνήθη διαδικασία στο Minitab, δηλαδή
Stat
Ê
ANOVA
Ê
General Linear Model
Ê
Fit General Linear Model
μπορούμε να δημιουργήσουμε τον Πίνακα Ανάλυσης Διασποράς για το πρότυπο με τρεις σταθερούς παράγοντες και τις αλληλεπιδράσεις τους. Ο Πίνακας ANOVA συνοδεύεται και από τον πίνακα των συντελεστών
παλινδρόμησης που ταυτίζεται με αυτόν που δίνει το πρότυπο παλινδρόμησης και γι’ αυτό δεν επαναλαμβάνεται εδώ.
Πίνακας Α.3: Πίνακας ANOVA - Παράδειγμα 23 Παραγοντικό Πείραμα με n = 2 επαναλήψεις
Πηγή
Μεταβλητότητας
Βαθμοί
Ελευθερίας
Άθροισμα
Τετραγώνων
A
1
2116
B
1
C
Μέσο
F
p-value
2166
264.5
0.000
100
100
12.5
0.008
1
9
9
1.12
0.320
AB
1
9
9
1.13
0.320
AC
1
400
400
50
0.000
BC
1
0
0
0
1.000
ABC
1
1
1
0.13
0.733
Σφάλματα
8
64
8
−
−
Ολική
15
2699
−
−
−
Άθροισμα
Τετραγώνων
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
341
Α.9 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.1
Αφού δεν είναι επιτρεπτή η σύγχυση μεταξύ των I, A, C και BC, συνεπάγεται ότι θα πρέπει να αναζητηθεί
η προσδιορίζουσα εξίσωση μεταξύ των I = B, I = AB, I = AC και I = ABC.
Με απλή διερεύνηση των παραλλαγών, διαπιστώνεται άμεσα ότι η πρώτη επιλογή οδηγεί (πολλαπλασιάζοντας
και τα δύο μέρη της προσδιορίζουσας με C) στη σύγχυση των C και BC (C = BC). Με τον ίδιο τρόπο,
η τρίτη περίπτωση οδηγεί στη σύγχυση των A και C, αφού πολλαπλασιάζοντας με A και τα δύο μέλη της
προσδιορίζουσας, προκύπτει ότι A = C. Η τελευταία περίπτωση οδηγεί στην παραλλαγή A = BC
(πολλαπλασιάζοντας με A και τα δύο μέλη της προσδιορίζουσας). H επιθυμητή προσδιορίζουσα είναι η I =
AB η οποία δεν αποτελεί ιδανική αλλά μάλλον αναγκαστική επιλογή, αφού οδηγεί στη σύγχυση των κύριων
επιδράσεων A και B (πολλαπλασιάζοντας με A προκύπτει ότι A = B), με αποτέλεσμα ο προτεινόμενος
σχεδιασμός να έχει Ανάλυση ίση με II.
Α.10 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.2 - 1η Άσκηση
Για την εύρεση των παραλλαγών, πολλαπλασιάζουμε τα δύο μέλη της προσδιορίζουσας (I = ABCDE)
με καθεμία κύρια επίδραση και στη συνέχεια με κάθε αλληλεπίδραση 1ης τάξης (μεταξύ 2 παραγόντων). Οι
παραλλαγές που προκύπτουν είναι A = BCDE, B = ACDE, C = ABDE, D = ABCE και
E = ABCD για τις κύριες επιδράσεις, και AB = CDE, AC = BDE, AD = BCE, AE = BCD,
BC = ADE, BD = ACE, BE = ACD, CD = ABE, CE = ABD και DE = ABC για τις αλληλεπιδράσεις 1ης τάξης. Τα αποτελέσματα δείχνουν ότι τόσο οι κύριες επιδράσεις όσο και οι αλληλεπιδράσεις
1ης τάξης δεν συγχέονται μεταξύ τους και άρα ικανοποιείται ο ορισμός της Ανάλυσης V .
Α.11 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.2 - 2η Άσκηση
Από τη στιγμή που η προσδιορίζουσα είναι η αλληλεπίδραση μέγιστης τάξης (όπου εμπλέκονται όλοι οι παράγοντες), εφαρμόζεται η ειδική βηματική διαδικασία και ο πίνακας που προκύπτει δίνεται κατωτέρω:
Επίδραση
A
B
C
D = BC
Θεραπεία 24−1
(1)
−
−
−
−
(1)
a
+
−
−
+
ad
b
−
+
−
+
bd
ab
+
+
−
−
ab
c
−
−
+
+
cd
ac
+
−
+
−
ac
bc
−
+
+
−
bc
abc
+
+
+
+
abcd
3
Θεραπεία 2
342
ΑΠΑΝΤΗΣΕΙΣ ΑΣΚΗΣΕΩΝ ΑΥΤΟΑΞΙΟΛΟΓΗΣΗΣ
Α.12 Άσκηση Αυτοαξιολόγησης Κεφάλαιο 9 - Ενότητα 9.2.3
Για την εύρεση της τρίτης προσδιορίζουσας απαιτείται ο πολλαπλασιασμός των δύο βασικών προσδιοριζουσών
(γεννητόρων):
I = (−ABCE) × (−ACDF ) = A2 BC 2 DEF = BDEF.
Αφού ο ελάχιστος αριθμός συμβόλων/γραμμάτων στις τρεις προσδιορίζουσες είναι τέσσερα (4), η Ανάλυση
του σχεδιασμού είναι ίση με IV .
Για τις παραλλαγές, κάθε προσδιορίζουσα θα πρέπει να πολλαπλασιαστεί με κάθε κύρια επίδραση και στη
συνέχεια με κάθε αλληλεπίδραση 1ης τάξης. Οι συγκεκριμένες παραλλαγές θα δώσουν μία σαφή εικόνα για
τις βασικές συγχύσεις και θα επιβεβαιωθεί ότι κάποιες αλληλεπιδράσεις 1ης τάξης θα συγχέονται με άλλες
αλληλεπιδράσεις 1ης τάξης (κάτι που θα συμφωνεί με την Ανάλυση του σχεδιασμού). Οι παραλλαγές που
αφορούν τις κύριες επιδράσεις είναι:
(A = BCE), (B = ACE), (C = ABE), (D = ABCDE), (E = ABC), (F = ABCEF ),
(A = CDF ), (B = ABCDF ), (C = ADF ), (D = ACF ), (E = ACDEF ), (F = ACD),
(A = ABDEF ), (B = DEF ), (C = BCDEF ), (D = BEF ), (E = BDF ) & (F = BDE).
ΕΙΣΑΓΩΓΗ ΣΤΟ MINITAB
Το στατιστικό πακέτο Minitab δημιουργήθηκε το 1972 και χρησιμοποιείται, ως επί το πλείστον, από στατιστικούς για την ανάλυση και παρουσίαση δεδομένων. Παρακάτω παρουσιάζονται οι βασικές πτυχές της
έκδοσης 19.0, συνοδευόμενες από χρήσιμα στιγμιότυπα.
Α.13 Λήψη και Εγκατάσταση
Για να γίνει λήψη του Minitab, θα χρειαστεί να μεταβούμε στην ιστοσελίδα www.minitab.com. Εκεί θα βρούμε
δύο επιλογές, μία δωρεάν δοκιμαστική έκδοση (διαρκείας 30 ημερών) και μία έκδοση με (επί πληρωμή) άδεια
χρήσης. Αφού κατεβάσουμε το αρχείο, πατάμε διπλό αριστερό κλικ επάνω του και ακολουθούμε τις σχετικές
οδηγίες εγκατάστασης.
Α.14 Διεπαφή χρήστη
Η διεπαφή χρήστη (user interface) του Minitab είναι σχετικά απλή και χωρίζεται σε 4 βασικά τμήματα:
• Γραμμή εργαλειών (Toolbar): Γίνεται (σχεδόν) όλη η διαχείριση του Minitab (π.χ. εισαγωγή και
επεξεργασία δεδομένων, στατιστική ανάλυση, δημιουργία διαγραμμάτων κ.ά.).
• Φύλλο εργασίας (Worksheet): Εμφανίζονται οι τιμές (σε στήλες) των εκάστοτε μεταβλητών υπό
εξέταση.
• Περιοχή αποτελεσμάτων (Output area): Εμφανίζονται τα αποτελέσματα της όποιας ανάλυσης.
• Περιηγητής (Navigator): Εμφανίζονται οι ονομασίες των τεχνικών ανάλυσης που έχουν διενεργηθεί.
344
ΕΙΣΑΓΩΓΗ ΣΤΟ MINITAB
Α.15 Γραμμή εργαλειών
Η γραμμή εργαλειών αποτελεί τον «πυρήνα» του Minitab, καθώς από εκεί γίνεται όλη η διαχείρισή του. Παρακάτω, παρουσιάζονται (συνοπτικά) οι 6 βασικές καρτέλες File, Edit, Data, Calc, Stat και Graph.
Α.15.1 File
Στην καρτέλα File δίνονται επιλογές που σχετίζονται, ανάμεσα σε άλλα, με τη δημιουργία νέων Minitab projects, φύλλων εργασίας καθώς και εισαγωγή δεδομένων.
Τα πιο χρήσιμα...
• New: Δημιουργία νέου project ή φύλλου εργασίας.
• Open: Εισαγωγή δεδομένων από αρχείο τύπου minitab, excel ή text.
• Save Project: Αποθήκευση project.
• Print: Εκτύπωση περιοχής αποτελεσμάτων.
• Options: Παραμετροποίηση Minitab (π.χ. γλώσσα).
• Recent Files: Άνοιγμα προσφάτως επεξεργασμένων projects.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
Α.15.2 Edit
Στην καρτέλα Edit παρέχονται επιλογές που αφορούν τα κελιά του φύλλου εργασιών (π.χ. διαγραφή, αντιγραφή, επικόλληση κ.ά.).
Τα πιο χρήσιμα...
• Undo/Redo: Αναίρεση βήματος προς τα πίσω/εμπρός.
• Clear Cells: Εκκαθάριση στοιχείων στα επιλεγμένα κελιά.
• Copy/Cut/Paste Cells: Αντιγραφή/Αποκοπή/Επικόλληση επιλεγμένων κελιών.
Α.15.3 Data
Στην καρτέλα Data θα βρούμε οτιδήποτε αφορά τη χειραγώγηση των δεδομένων
στο φύλλο εργασίας (π.χ. Αντιστροφή στηλών, Ταξινόμηση, Επανακωδικοποίηση
κ.ά.).
Τα πιο χρήσιμα...
• Merge Worksheets: Συγχώνευση φύλλων εργασίας.
• Transpose Columns: Αντιστροφή στηλών.
• Sort: Ταξινόμηση δεδομένων.
• Recode: Επανακωδικοποίηση μεταβλητών.
• Change Data Type: Αλλαγή τύπου δεδομένων.
Α.15.4 Calc
Οτιδήποτε αφορά υπολογισμούς (π.χ. αθροιστική συνάρτηση κατανομής, παραγωγή τυχαίων τιμών, Πίνακες κ.ά.), θα το βρούμε στην καρτέλα Calc.
Τα πιο χρήσιμα...
• Calculate: Υπολογισμός συναρτήσεων (π.χ. τριγωνομετρικών, εκθετικών, κ.α.)
• Random Data: Παραγωγή τυχαίων τιμών από μία πληθώρα διακριτών και
συνεχών κατανομών.
• Probability Distributions: Υπολογισμός αθροιστικής συνάρτησης,
αντίστροφης συνάρτησης και συνάρτησης πιθανότητας.
• Matrices: Υπολογισμοί πινάκων (π.χ. αντίστροφος, ανάστροφος, ιδιοτιμές, κ.ά.).
345
346
ΕΙΣΑΓΩΓΗ ΣΤΟ MINITAB
Α.15.5 Stat
Η καρτέλα Stat περιέχει τεχνικές και μεθόδους περιγραφικής στατιστικής και
στατιστικής συμπερασματολογίας (περιγραφικά χαρακτηριστικά, ανάλυση παλινδρόμησης, ανάλυση διακύμανσης, στατιστικός έλεγχος ποιότητας κ.ά.).
Τα πιο χρήσιμα...όλα!
Α.15.6 Graph
Στην καρτέλα Graph, συναντάμε οτιδήποτε αφορά τη γραφική ανάλυση των δεδομένων (π.χ. διάγραμμα διασποράς, ιστόγραμμα, ραβδόγραμμα κ.ά.).
Τα πιο χρήσιμα...
• Scatterplot: Δημιουργία διαγράμματος διασποράς.
• Histogram: Δημιουργία ιστογράμματος.
• Boxplot: Δημιουργία θηκογράμματος.
• Bar Chart: Δημιουργία ραβδογράμματος.
• Pie Chart: Δημιουργία γραφήματος πίτας.
• Time Series Plot: Δημιουργία διαγράμματος χρονοσειράς.
Α.16 Φύλλο εργασίας
Τα δεδομένα που εισάγονται είτε χειροκίνητα είτε μέσω κάποιου αρχείου, εμφανίζονται στο φύλλο εργασίας
σε μορφή στηλών. Έτσι, τα δεδομένα της πρώτης μεταβλητής καταχωρίζονται στη στήλη C1, της δεύτερης
στη στήλη C2 κ.ο.κ. Αξίζει να παρατηρήσουμε ότι, ενώ όλες οι γραμμές έχουν αρίθμηση, η πρώτη (με γκρίζο
φόντο) δεν έχει. Αυτό συμβαίνει γιατί τα κελιά της πρώτης γραμμής αποτελούν τα ονόματα των εκάστοτε
μεταβλητών.
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
Κάνοντας δεξί κλικ πάνω σε οποιαδήποτε στήλη, εμφανίζονται διάφορες επιλογές,
εκ των οποίων άξιες σχολιασμού είναι οι ακόλουθες:
• Find and Replace: Εύρεση και αντικατάσταση μίας ποσότητας.
• Sort Columns: Ταξινόμηση στηλών.
• Cell Properties: Ιδιότητες κελιών, όπως σχολιασμός, καθαρισμός κ.ά.
• Column Properties: Ιδιότητες στηλών, όπως περιγραφή, πλάτος κ.ά.
• Formulas: Καταχώριση εξίσωσης.
347
348
ΕΙΣΑΓΩΓΗ ΣΤΟ MINITAB
ΠΑΡΑΡΤΗΜΑ Β
ΕΓΚΑΘΙΣΤΩΝΤΑΣ ΤΗΝ R ΚΑΙ ΤΟ R-STUDIO
Η (στατιστική) γλώσσα προγραμματισμού R έκανε την εμφάνισή της περί τα μέσα του 1993 και την τελευταία
δεκαετία αποτελεί ένα από τα κυρίαρχα, αν όχι το κυρίαρχο, εργαλεία στατιστικής ανάλυσης. Οι κυριότεροι
λόγοι που την καθιστούν ελκυστική, τόσο στον ακαδημαϊκό χώρο όσο και στον ιδιωτικό τομέα είναι: (1) η ταχύτητά της στην εκτέλεση εντολών σχετικών με τη στατιστική ανάλυση και (2) το γεγονός ότι είναι δωρεάν.
Β.1 Λήψη και Εγκατάσταση
Η διεπαφή χρήστη (user interface, UI) της R είναι σχετικά απλή και κάπως «αφιλόξενη» προς τον χρήστη
και ως εκ τούτου είθισται να δουλεύουμε πάνω σε κάποιο Ενσωματωμένο Αναπτυξιακό Περιβάλλον (Integrated Development Environment, IDE). Το πιο γνωστό IDE για την R, είναι το R-Studio χωρίς όμως να
σημαίνει ότι δεν υπάρχουν και άλλα IDEs (π.χ. Atom, Eclipse, Visual Studio Code κ.ά.).
Για τη λήψη και την ορθή εγκατάσταση των R και R-Studio, ακολουθούμε την εξής διαδικασία:
Βήμα 1o : Μεταβαίνουμε στον ιστότοπο https://cran.r-project.org και κατεβάζουμε την τελευταία
διαθέσιμη έκδοση της R για το λειτουργικό μας σύστημα (π.χ. Windows). Αφού εντοπίσουμε το αρχείο
που κατεβάσαμε, πατάμε επάνω του διπλό κλικ και προχωράμε στην εγκατάστασή του.
Βήμα 2o : Μεταβαίνουμε στον ιστότοπο https://www.rstudio.com/products/rstudio/download/
και κατεβάζουμε την τελευταία διαθέσιμη έκδοση του R-Studio για το λειτουργικό μας σύστημα (π.χ.
Mac OS). Αφού εντοπίσουμε το αρχείο που κατεβάσαμε, πατάμε επάνω του διπλό κλικ και προχωράμε
στην εγκατάστασή του.
Β.2 Η διεπαφή χρήστη του R-Studio
Η διεπαφή χρήστη (user interface) του R-Studio απαρτίζεται από 3 βασικά τμήματα:
350
ΕΓΚΑΘΙΣΤΩΝΤΑΣ ΤΗΝ R ΚΑΙ ΤΟ R-STUDIO
Σχήμα Β.1: Διεπαφή χρήστη Minitab
• Console: Τυπώνονται τα αποτελέσματα του κώδικα που εκτελέσαμε.
• Environment: Εμφανίζονται οι τιμές των μεταβλητών οι οποίες ορίστηκαν κατά τη διάρκεια συγγραφής/εκτέλεσης του κώδικά μας.
• Files/Plots/Packages: Εύρεση αρχείων στον υπολογιστή μας/Εμφάνιση γραφημάτων του κώδικα
που εκτελέσαμε (αν υπάρχουν)/Εγκατάσταση πακέτων.
Για περισσότερες πληροφορίες σχετικά με την ανάπτυξη κώδικα στην R, ο ενδιαφερόμενος αναγνώστης
παραπέμπεται στα βιβλία:
• Ντζούφρας, Ι., & Καρλής, Δ. (2015). Εισαγωγή στον προγραμματισμό και στη στατιστική ανάλυση με
R [Προπτυχιακό εγχειρίδιο]. Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://hdl.handle.n
et/11419/2601
• Φουσκάκης, Δ. (2021). Ανάλυση δεδομένων με χρήση της R (2η έκδ.). Αθήνα: Εκδόσεις Τσότρας.
• Field, A., Miles, J., & Field, Z. (2012). Discovering Statistics Using R (1st ed.). SAGE Ltd.
ΠΙΝΑΚΕΣ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ
Πίνακας Β.1: Διακριτές κατανομές
Κατανομή
Συμβολισμός
(X ∼ (·))
Συνάρτηση
(Μάζας)
Πιθανότητας
(fX (x))
Bernoulli
B(p), p ∈ (0, 1)
px(1 − p)1−xI{0,1}
Διωνυμική
Bin(n, p), n ∈ N, p ∈ (0, 1)
Γεωμετρική
Geo(p), p ∈ (0, 1)
Αρνητική Διωνυμική N B(α, p), α ∈ N, p ∈ (0, 1)
Poisson
P (λ), λ > 0
(x)
n x
x p (1
(x)
− p)n−x I{0,1,2,...}
(x)
p(1 − p)xI{Z+}
n+x−1 α
p (1
x
(x)
− p)xI{Z+}
e−λ λx (x)
x! I{Z+ }
Ροπογεννήτρια
(mX (t))
Μέση Τιμή Διασπορά
(E(X)) (V ar(X))
p
p(1 − p)
(1 − p) + pet
np
np(1 − p)
((1 − p) + pet )
1−p
p
1−p
p2
α(1−p)
p
α(1−p)
p2
λ
λ
n
p
1−(1−p)et , για t
1−p α
t
1−pe
< − log(1 − p)
για t < − log p
exp [λ(et − 1)]
Πίνακας Β.2: Συνεχείς κατανομές
Κατανομή
Συμβολισμός
(X ∼ (·))
Συνάρτηση
Πυκνότητας
Πιθανότητας
(fX (x))
Μέση Τιμή
(E(X))
Διασπορά
(V ar(X))
Εκθετική
Exp(λ), n ∈ N, p ∈ (0, 1)
1 − λx (x)
I[0,+∞)
λe
λ
λ2
(1 − tλ)−1, για t <
1
λ
Γάμμα
Gamma(α, β), α, β ∈ (0, +∞)
xα−1 e β (x)
β α Γ(α) I(0,+∞)
αβ
αβ 2
(1 − tβ)−α , για t <
1
β
Κανονική
N (µ, σ ) , µ ∈ R, σ > 0
IR
µ
σ2
eµt+σ
Χι-τετράγωνο
Xn2, n ∈ N
x 2 −1 e− 2 (x)
I
n
2 2 Γ( n2 ) (0,+∞)
n
2n
Student’s t
2
2
tn, n ∈ N
−x
(x−µ)2
√ 1 e− 2σ2
2πσ 2
n
Γ( n+1 ) √ 2 n
1
nπΓ( 2 )
(x)
x
+
x2
n
− n+1
2
(x)
IR
Fn,m, n, m ∈ N
n 2 2 −1
Γ( n+m
2 )( m ) x
n
Γ( n2 )Γ( m
2 )(1+ m x)
n+m
2
(x)
I(0,+∞)
2 t2
2
exp [λ(et − 1)]
0
n
n−2 , για n
m
m−2
2m2 (n+m−2)
, για m
n(m−2)2 (m−4)
n n
F
Ροπογεννήτρια
(mX (t))
>1
−
>4
−
354
ΠΙΝΑΚΕΣ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ
Z
Φ (zα ) = P (Z ≤ zα ) = 1 − α
0
za
+∞
Πίνακας Β.3: Αθροιστική συνάρτηση τυπικής κανονικής κατανομής
z
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
2
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
3
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
0
0.5000
0.5398
0.5793
0.6179
0.6554
0.6915
0.7257
0.7580
0.7881
0.8159
0.8413
0.8643
0.8849
0.9032
0.9192
0.9332
0.9452
0.9554
0.9641
0.9713
0.9772
0.9821
0.9861
0.9893
0.9918
0.9938
0.9953
0.9965
0.9974
0.9981
0.9987
0.9990
0.9993
0.9995
0.9997
0.9998
0.9998
0.9999
0.9999
1.0000
0.01
0.5040
0.5438
0.5832
0.6217
0.6591
0.6950
0.7291
0.7611
0.7910
0.8186
0.8438
0.8665
0.8869
0.9049
0.9207
0.9345
0.9463
0.9564
0.9649
0.9719
0.9778
0.9826
0.9864
0.9896
0.9920
0.9940
0.9955
0.9966
0.9975
0.9982
0.9987
0.9991
0.9993
0.9995
0.9997
0.9998
0.9998
0.9999
0.9999
1.0000
0.02
0.5080
0.5478
0.5871
0.6255
0.6628
0.6985
0.7324
0.7642
0.7939
0.8212
0.8461
0.8686
0.8888
0.9066
0.9222
0.9357
0.9474
0.9573
0.9656
0.9726
0.9783
0.9830
0.9868
0.9898
0.9922
0.9941
0.9956
0.9967
0.9976
0.9982
0.9987
0.9991
0.9994
0.9995
0.9997
0.9998
0.9999
0.9999
0.9999
1.0000
0.03
0.5120
0.5517
0.5910
0.6293
0.6664
0.7019
0.7357
0.7673
0.7967
0.8238
0.8485
0.8708
0.8907
0.9082
0.9236
0.9370
0.9484
0.9582
0.9664
0.9732
0.9788
0.9834
0.9871
0.9901
0.9925
0.9943
0.9957
0.9968
0.9977
0.9983
0.9988
0.9991
0.9994
0.9996
0.9997
0.9998
0.9999
0.9999
0.9999
1.0000
0.04
0.5160
0.5557
0.5948
0.6331
0.6700
0.7054
0.7389
0.7704
0.7995
0.8264
0.8508
0.8729
0.8925
0.9099
0.9251
0.9382
0.9495
0.9591
0.9671
0.9738
0.9793
0.9838
0.9875
0.9904
0.9927
0.9945
0.9959
0.9969
0.9977
0.9984
0.9988
0.9992
0.9994
0.9996
0.9997
0.9998
0.9999
0.9999
0.9999
1.0000
0.05
0.5199
0.5596
0.5987
0.6368
0.6736
0.7088
0.7422
0.7734
0.8023
0.8289
0.8531
0.8749
0.8944
0.9115
0.9265
0.9394
0.9505
0.9599
0.9678
0.9744
0.9798
0.9842
0.9878
0.9906
0.9929
0.9946
0.9960
0.9970
0.9978
0.9984
0.9989
0.9992
0.9994
0.9996
0.9997
0.9998
0.9999
0.9999
0.9999
1.0000
0.06
0.5239
0.5636
0.6026
0.6406
0.6772
0.7123
0.7454
0.7764
0.8051
0.8315
0.8554
0.8770
0.8962
0.9131
0.9279
0.9406
0.9515
0.9608
0.9686
0.9750
0.9803
0.9846
0.9881
0.9909
0.9931
0.9948
0.9961
0.9971
0.9979
0.9985
0.9989
0.9992
0.9994
0.9996
0.9997
0.9998
0.9999
0.9999
0.9999
1.0000
0.07
0.5279
0.5675
0.6064
0.6443
0.6808
0.7157
0.7486
0.7794
0.8078
0.8340
0.8577
0.8790
0.8980
0.9147
0.9292
0.9418
0.9525
0.9616
0.9693
0.9756
0.9808
0.9850
0.9884
0.9911
0.9932
0.9949
0.9962
0.9972
0.9979
0.9985
0.9989
0.9992
0.9995
0.9996
0.9997
0.9998
0.9999
0.9999
0.9999
1.0000
0.08
0.5319
0.5714
0.6103
0.6480
0.6844
0.7190
0.7517
0.7823
0.8106
0.8365
0.8599
0.8810
0.8997
0.9162
0.9306
0.9429
0.9535
0.9625
0.9699
0.9761
0.9812
0.9854
0.9887
0.9913
0.9934
0.9951
0.9963
0.9973
0.9980
0.9986
0.9990
0.9993
0.9995
0.9996
0.9997
0.9998
0.9999
0.9999
0.9999
1.0000
0.09
0.5359
0.5753
0.6141
0.6517
0.6879
0.7224
0.7549
0.7852
0.8133
0.8389
0.8621
0.8830
0.9015
0.9177
0.9319
0.9441
0.9545
0.9633
0.9706
0.9767
0.9817
0.9857
0.9890
0.9916
0.9936
0.9952
0.9964
0.9974
0.9981
0.9986
0.9990
0.9993
0.9995
0.9997
0.9998
0.9998
0.9999
0.9999
0.9999
1.0000
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
tn
P (T > tn;α ) = α
0
tn;a
+∞
Πίνακας Β.4: Ποσοστιαία σημεία tn;α
α
n
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
0.1
0.05
0.025
0.01
0.005
3.0777
1.8856
1.6377
1.5332
1.4759
1.4398
1.4149
1.3968
1.3830
1.3722
1.3634
1.3562
1.3502
1.3450
1.3406
1.3368
1.3334
1.3304
1.3277
1.3253
1.3232
1.3212
1.3195
1.3178
1.3163
1.3150
1.3137
1.3125
1.3114
1.3104
6.3138
2.9200
2.3534
2.1318
2.0150
1.9432
1.8946
1.8595
1.8331
1.8125
1.7959
1.7823
1.7709
1.7613
1.7531
1.7459
1.7396
1.7341
1.7291
1.7247
1.7207
1.7171
1.7139
1.7109
1.7081
1.7056
1.7033
1.7011
1.6991
1.6973
12.7062
4.3027
3.1824
2.7764
2.5706
2.4469
2.3646
2.3060
2.2622
2.2281
2.2010
2.1788
2.1604
2.1448
2.1314
2.1199
2.1098
2.1009
2.0930
2.0860
2.0796
2.0739
2.0687
2.0639
2.0595
2.0555
2.0518
2.0484
2.0452
2.0423
31.8205
6.9646
4.5407
3.7469
3.3649
3.1427
2.9980
2.8965
2.8214
2.7638
2.7181
2.6810
2.6503
2.6245
2.6025
2.5835
2.5669
2.5524
2.5395
2.5280
2.5176
2.5083
2.4999
2.4922
2.4851
2.4786
2.4727
2.4671
2.4620
2.4573
63.6567
9.9248
5.8409
4.6041
4.0321
3.7074
3.4995
3.3554
3.2498
3.1693
3.1058
3.0545
3.0123
2.9768
2.9467
2.9208
2.8982
2.8784
2.8609
2.8453
2.8314
2.8188
2.8073
2.7969
2.7874
2.7787
2.7707
2.7633
2.7564
2.7500
40
60
80
100
1.3031
1.2958
1.2922
1.2901
1.6839
1.6706
1.6641
1.6602
2.0211
2.0003
1.9901
1.9840
2.4233
2.3901
2.3739
2.3642
2.7045
2.6603
2.6387
2.6259
200
500
1.2858
1.2832
1.6525
1.6479
1.9719
1.9647
2.3451
2.3338
2.6006
2.5857
+∞
1.2816
1.6449
1.9600
2.3263
2.5758
355
356
ΠΙΝΑΚΕΣ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ
Xn2
P X 2 > x2n;α = α
0
+∞
x2n;α
2
Πίνακας Β.5: Ποσοστιαία σημεία Xn;α
α
n
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
0.995
0.99
0.975
0.95
0.9
0.1
0.05
0.025
0.01
0.005
7.8794
10.5966
12.8382
14.8603
16.7496
18.5476
20.2777
21.9550
23.5894
25.1882
26.7568
28.2995
29.8195
31.3193
32.8013
34.2672
35.7185
37.1565
38.5823
39.9968
41.4011
42.7957
44.1813
45.5585
46.9279
48.2899
49.6449
50.9934
52.3356
53.6720
55.0027
56.3281
57.6484
58.9639
60.2748
61.5812
62.8833
64.1814
65.4756
66.7660
6.6349
9.2103
11.3449
13.2767
15.0863
16.8119
18.4753
20.0902
21.6660
23.2093
24.7250
26.2170
27.6882
29.1412
30.5779
31.9999
33.4087
34.8053
36.1909
37.5662
38.9322
40.2894
41.6384
42.9798
44.3141
45.6417
46.9629
48.2782
49.5879
50.8922
52.1914
53.4858
54.7755
56.0609
57.3421
58.6192
59.8925
61.1621
62.4281
63.6907
5.0239
7.3778
9.3484
11.1433
12.8325
14.4494
16.0128
17.5345
19.0228
20.4832
21.9200
23.3367
24.7356
26.1189
27.4884
28.8454
30.1910
31.5264
32.8523
34.1696
35.4789
36.7807
38.0756
39.3641
40.6465
41.9232
43.1945
44.4608
45.7223
46.9792
48.2319
49.4804
50.7251
51.9660
53.2033
54.4373
55.6680
56.8955
58.1201
59.3417
3.8415
5.9915
7.8147
9.4877
11.0705
12.5916
14.0671
15.5073
16.9190
18.3070
19.6751
21.0261
22.3620
23.6848
24.9958
26.2962
27.5871
28.8693
30.1435
31.4104
32.6706
33.9244
35.1725
36.4150
37.6525
38.8851
40.1133
41.3371
42.5570
43.7730
44.9853
46.1943
47.3999
48.6024
49.8018
50.9985
52.1923
53.3835
54.5722
55.7585
2.7055
4.6052
6.2514
7.7794
9.2364
10.6446
12.0170
13.3616
14.6837
15.9872
17.2750
18.5493
19.8119
21.0641
22.3071
23.5418
24.7690
25.9894
27.2036
28.4120
29.6151
30.8133
32.0069
33.1962
34.3816
35.5632
36.7412
37.9159
39.0875
40.2560
41.4217
42.5847
43.7452
44.9032
46.0588
47.2122
48.3634
49.5126
50.6598
51.8051
0.0158
0.2107
0.5844
1.0636
1.6103
2.2041
2.8331
3.4895
4.1682
4.8652
5.5778
6.3038
7.0415
7.7895
8.5468
9.3122
10.0852
10.8649
11.6509
12.4426
13.2396
14.0415
14.8480
15.6587
16.4734
17.2919
18.1139
18.9392
19.7677
20.5992
21.4336
22.2706
23.1102
23.9523
24.7967
25.6433
26.4921
27.3430
28.1958
29.0505
0.0039
0.1026
0.3518
0.7107
1.1455
1.6354
2.1673
2.7326
3.3251
3.9403
4.5748
5.2260
5.8919
6.5706
7.2609
7.9616
8.6718
9.3905
10.1170
10.8508
11.5913
12.3380
13.0905
13.8484
14.6114
15.3792
16.1514
16.9279
17.7084
18.4927
19.2806
20.0719
20.8665
21.6643
22.4650
23.2686
24.0749
24.8839
25.6954
26.5093
0.0010
0.0506
0.2158
0.4844
0.8312
1.2373
1.6899
2.1797
2.7004
3.2470
3.8157
4.4038
5.0088
5.6287
6.2621
6.9077
7.5642
8.2307
8.9065
9.5908
10.2829
10.9823
11.6886
12.4012
13.1197
13.8439
14.5734
15.3079
16.0471
16.7908
17.5387
18.2908
19.0467
19.8063
20.5694
21.3359
22.1056
22.8785
23.6543
24.4330
0.0002
0.0201
0.1148
0.2971
0.5543
0.8721
1.2390
1.6465
2.0879
2.5582
3.0535
3.5706
4.1069
4.6604
5.2293
5.8122
6.4078
7.0149
7.6327
8.2604
8.8972
9.5425
10.1957
10.8564
11.5240
12.1981
12.8785
13.5647
14.2565
14.9535
15.6555
16.3622
17.0735
17.7891
18.5089
19.2327
19.9602
20.6914
21.4262
22.1643
0.0000
0.0100
0.0717
0.2070
0.4117
0.6757
0.9893
1.3444
1.7349
2.1559
2.6032
3.0738
3.5650
4.0747
4.6009
5.1422
5.6972
6.2648
6.8440
7.4338
8.0337
8.6427
9.2604
9.8862
10.5197
11.1602
11.8076
12.4613
13.1211
13.7867
14.4578
15.1340
15.8153
16.5013
17.1918
17.8867
18.5858
19.2889
19.9959
20.7065
Fn,m
P (F > Fn,m;0.1 ) = 0.1
+∞
Fn,m;0.1
0
1
2
3
4
5
6
7
8
9
10
12
15
20
24
30
40
60
120
+∞
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
39.8635
49.5000
53.5932
55.8330
57.2401
58.2044
58.9060
59.4390
59.8576
60.1950
60.4727
60.7052
60.9028
61.0727
61.2203
61.3499
61.4644
61.5664
61.6579
61.7403
8.5263
9.0000
9.1618
9.2434
9.2926
9.3255
9.3491
9.3668
9.3805
9.3916
9.4006
9.4081
9.4145
9.4200
9.4247
9.4289
9.4325
9.4358
9.4387
9.4413
5.5383
5.4624
5.3908
5.3426
5.3092
5.2847
5.2662
5.2517
5.2400
5.2304
5.2224
5.2156
5.2098
5.2047
5.2003
5.1964
5.1929
5.1898
5.1870
5.1845
4.5448
4.3246
4.1909
4.1072
4.0506
4.0097
3.9790
3.9549
3.9357
3.9199
3.9067
3.8955
3.8859
3.8776
3.8704
3.8639
3.8582
3.8531
3.8485
3.8443
4.0604
3.7797
3.6195
3.5202
3.4530
3.4045
3.3679
3.3393
3.3163
3.2974
3.2816
3.2682
3.2567
3.2468
3.2380
3.2303
3.2234
3.2172
3.2117
3.2067
3.7759
3.4633
3.2888
3.1808
3.1075
3.0546
3.0145
2.9830
2.9577
2.9369
2.9195
2.9047
2.8920
2.8809
2.8712
2.8626
2.8550
2.8481
2.8419
2.8363
3.5894
3.2574
3.0741
2.9605
2.8833
2.8274
2.7849
2.7516
2.7247
2.7025
2.6839
2.6681
2.6545
2.6426
2.6322
2.6230
2.6148
2.6074
2.6008
2.5947
3.4579
3.1131
2.9238
2.8064
2.7264
2.6683
2.6241
2.5893
2.5612
2.5380
2.5186
2.5020
2.4876
2.4752
2.4642
2.4545
2.4458
2.4380
2.4310
2.4246
3.3603
3.0065
2.8129
2.6927
2.6106
2.5509
2.5053
2.4694
2.4403
2.4163
2.3961
2.3789
2.3640
2.3510
2.3396
2.3295
2.3205
2.3123
2.3050
2.2983
3.2850
2.9245
2.7277
2.6053
2.5216
2.4606
2.4140
2.3772
2.3473
2.3226
2.3018
2.2841
2.2687
2.2553
2.2435
2.2330
2.2237
2.2153
2.2077
2.2007
3.1765
2.8068
2.6055
2.4801
2.3940
2.3310
2.2828
2.2446
2.2135
2.1878
2.1660
2.1474
2.1313
2.1173
2.1049
2.0938
2.0839
2.0750
2.0670
2.0597
3.0732
2.6952
2.4898
2.3614
2.2730
2.2081
2.1582
2.1185
2.0862
2.0593
2.0366
2.0171
2.0001
1.9853
1.9722
1.9605
1.9501
1.9407
1.9321
1.9243
2.9747
2.5893
2.3801
2.2489
2.1582
2.0913
2.0397
1.9985
1.9649
1.9367
1.9129
1.8924
1.8745
1.8588
1.8449
1.8325
1.8214
1.8113
1.8022
1.7938
2.9271
2.5383
2.3274
2.1949
2.1030
2.0351
1.9826
1.9407
1.9063
1.8775
1.8530
1.8319
1.8136
1.7974
1.7831
1.7703
1.7587
1.7483
1.7388
1.7302
2.8807
2.4887
2.2761
2.1422
2.0492
1.9803
1.9269
1.8841
1.8490
1.8195
1.7944
1.7727
1.7538
1.7371
1.7223
1.7090
1.6970
1.6862
1.6763
1.6673
2.8354
2.4404
2.2261
2.0909
1.9968
1.9269
1.8725
1.8289
1.7929
1.7627
1.7369
1.7146
1.6950
1.6778
1.6624
1.6486
1.6362
1.6249
1.6146
1.6052
2.7911
2.3933
2.1774
2.0410
1.9457
1.8747
1.8194
1.7748
1.7380
1.7070
1.6805
1.6574
1.6372
1.6193
1.6034
1.5890
1.5760
1.5642
1.5534
1.5435
2.7478
2.3473
2.1300
1.9923
1.8959
1.8238
1.7675
1.7220
1.6842
1.6524
1.6250
1.6012
1.5803
1.5617
1.5450
1.5300
1.5164
1.5039
1.4926
1.4821
2.7055
2.3026
2.0838
1.9449
1.8473
1.7741
1.7167
1.6702
1.6315
1.5987
1.5705
1.5458
1.5240
1.5046
1.4871
1.4714
1.4570
1.4439
1.4318
1.4206
40
60
120
62.5291
62.7943
63.0606
9.4662
9.4746
9.4829
5.1597
5.1512
5.1425
3.8036
3.7896
3.7753
3.1573
3.1402
3.1228
2.7812
2.7620
2.7423
2.5351
2.5142
2.4928
2.3614
2.3391
2.3162
2.2320
2.2085
2.1843
2.1317
2.1072
2.0818
1.9861
1.9597
1.9323
1.8454
1.8168
1.7867
1.7083
1.6768
1.6433
1.6407
1.6073
1.5715
1.5732
1.5376
1.4989
1.5056
1.4672
1.4248
1.4373
1.3952
1.3476
1.3676
1.3203
1.2646
1.2951
1.2400
1.1686
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
+∞
63.3281
9.4912
5.1337
3.7607
3.1050
2.7222
2.4708
2.2926
2.1592
2.0554
1.9036
1.7551
1.6074
1.5327
1.4564
1.3769
1.2915
1.1926
1.0000
357
Πίνακας Β.6: Ποσοστιαία σημεία Fn,m;0.1
m
n
358
Fn,m
ΠΙΝΑΚΕΣ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ
P (F > Fn,m;0.05 ) = 0.05
+∞
Fn,m;0.05
0
Πίνακας Β.7: Ποσοστιαία σημεία Fn,m;0.05
m
1
2
3
4
5
6
7
8
9
10
12
15
20
24
30
40
60
120
+∞
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
161.4476
199.5000
215.7073
224.5832
230.1619
233.9860
236.7684
238.8827
240.5433
241.8817
242.9835
243.9060
244.6898
245.3640
245.9499
246.4639
246.9184
247.3232
247.6861
248.0131
18.5128
19.0000
19.1643
19.2468
19.2964
19.3295
19.3532
19.3710
19.3848
19.3959
19.4050
19.4125
19.4189
19.4244
19.4291
19.4333
19.4370
19.4402
19.4431
19.4458
10.1280
9.5521
9.2766
9.1172
9.0135
8.9406
8.8867
8.8452
8.8123
8.7855
8.7633
8.7446
8.7287
8.7149
8.7029
8.6923
8.6829
8.6745
8.6670
8.6602
7.7086
6.9443
6.5914
6.3882
6.2561
6.1631
6.0942
6.0410
5.9988
5.9644
5.9358
5.9117
5.8911
5.8733
5.8578
5.8441
5.8320
5.8211
5.8114
5.8025
6.6079
5.7861
5.4095
5.1922
5.0503
4.9503
4.8759
4.8183
4.7725
4.7351
4.7040
4.6777
4.6552
4.6358
4.6188
4.6038
4.5904
4.5785
4.5678
4.5581
5.9874
5.1433
4.7571
4.5337
4.3874
4.2839
4.2067
4.1468
4.0990
4.0600
4.0274
3.9999
3.9764
3.9559
3.9381
3.9223
3.9083
3.8957
3.8844
3.8742
5.5914
4.7374
4.3468
4.1203
3.9715
3.8660
3.7870
3.7257
3.6767
3.6365
3.6030
3.5747
3.5503
3.5292
3.5107
3.4944
3.4799
3.4669
3.4551
3.4445
5.3177
4.4590
4.0662
3.8379
3.6875
3.5806
3.5005
3.4381
3.3881
3.3472
3.3130
3.2839
3.2590
3.2374
3.2184
3.2016
3.1867
3.1733
3.1613
3.1503
5.1174
4.2565
3.8625
3.6331
3.4817
3.3738
3.2927
3.2296
3.1789
3.1373
3.1025
3.0729
3.0475
3.0255
3.0061
2.9890
2.9737
2.9600
2.9477
2.9365
4.9646
4.1028
3.7083
3.4780
3.3258
3.2172
3.1355
3.0717
3.0204
2.9782
2.9430
2.9130
2.8872
2.8647
2.8450
2.8276
2.8120
2.7980
2.7854
2.7740
4.7472
3.8853
3.4903
3.2592
3.1059
2.9961
2.9134
2.8486
2.7964
2.7534
2.7173
2.6866
2.6602
2.6371
2.6169
2.5989
2.5828
2.5684
2.5554
2.5436
4.5431
3.6823
3.2874
3.0556
2.9013
2.7905
2.7066
2.6408
2.5876
2.5437
2.5068
2.4753
2.4481
2.4244
2.4034
2.3849
2.3683
2.3533
2.3398
2.3275
4.3512
3.4928
3.0984
2.8661
2.7109
2.5990
2.5140
2.4471
2.3928
2.3479
2.3100
2.2776
2.2495
2.2250
2.2033
2.1840
2.1667
2.1511
2.1370
2.1242
4.2597
3.4028
3.0088
2.7763
2.6207
2.5082
2.4226
2.3551
2.3002
2.2547
2.2163
2.1834
2.1548
2.1298
2.1077
2.0880
2.0703
2.0543
2.0399
2.0267
4.1709
3.3158
2.9223
2.6896
2.5336
2.4205
2.3343
2.2662
2.2107
2.1646
2.1256
2.0921
2.0630
2.0374
2.0148
1.9946
1.9765
1.9601
1.9452
1.9317
4.0847
3.2317
2.8387
2.6060
2.4495
2.3359
2.2490
2.1802
2.1240
2.0772
2.0376
2.0035
1.9738
1.9476
1.9245
1.9037
1.8851
1.8682
1.8529
1.8389
4.0012
3.1504
2.7581
2.5252
2.3683
2.2541
2.1665
2.0970
2.0401
1.9926
1.9522
1.9174
1.8870
1.8602
1.8364
1.8151
1.7959
1.7784
1.7625
1.7480
3.9201
3.0718
2.6802
2.4472
2.2899
2.1750
2.0868
2.0164
1.9588
1.9105
1.8693
1.8337
1.8026
1.7750
1.7505
1.7285
1.7085
1.6904
1.6739
1.6587
3.8415
2.9957
2.6049
2.3719
2.2141
2.0986
2.0096
1.9384
1.8799
1.8307
1.7886
1.7522
1.7202
1.6918
1.6664
1.6435
1.6228
1.6038
1.5865
1.5705
40
60
120
251.1432
252.1957
253.2529
19.4707
19.4791
19.4874
8.5944
8.5720
8.5494
5.7170
5.6877
5.6581
4.4638
4.4314
4.3985
3.7743
3.7398
3.7047
3.3404
3.3043
3.2674
3.0428
3.0053
2.9669
2.8259
2.7872
2.7475
2.6609
2.6211
2.5801
2.4259
2.3842
2.3410
2.2043
2.1601
2.1141
1.9938
1.9464
1.8963
1.8920
1.8424
1.7896
1.7918
1.7396
1.6835
1.6928
1.6373
1.5766
1.5943
1.5343
1.4673
1.4952
1.4290
1.3519
1.3940
1.3180
1.2214
+∞
254.3144
19.4957
8.5264
5.6281
4.3650
3.6689
3.2298
2.9276
2.7067
2.5379
2.2962
2.0658
1.8432
1.7330
1.6223
1.5089
1.3893
1.2539
1.0000
n
Fn,m
P (F > Fn,m;0.025 ) = 0.025
+∞
Fn,m;0.025
0
m
2
3
4
5
6
7
8
9
10
12
15
20
24
30
40
60
120
+∞
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
647.7890
799.5000
864.1630
899.5833
921.8479
937.1111
948.2169
956.6562
963.2846
968.6274
973.0252
976.7079
979.8368
982.5278
984.8668
986.9187
988.7331
990.3490
991.7973
993.1028
38.5063
39.0000
39.1655
39.2484
39.2982
39.3315
39.3552
39.3730
39.3869
39.3980
39.4071
39.4146
39.4210
39.4265
39.4313
39.4354
39.4391
39.4424
39.4453
39.4479
17.4434
16.0441
15.4392
15.1010
14.8848
14.7347
14.6244
14.5399
14.4731
14.4189
14.3742
14.3366
14.3045
14.2768
14.2527
14.2315
14.2127
14.1960
14.1810
14.1674
12.2179
10.6491
9.9792
9.6045
9.3645
9.1973
9.0741
8.9796
8.9047
8.8439
8.7935
8.7512
8.7150
8.6838
8.6565
8.6326
8.6113
8.5924
8.5753
8.5599
10.0070
8.4336
7.7636
7.3879
7.1464
6.9777
6.8531
6.7572
6.6811
6.6192
6.5678
6.5245
6.4876
6.4556
6.4277
6.4032
6.3814
6.3619
6.3444
6.3286
8.8131
7.2599
6.5988
6.2272
5.9876
5.8198
5.6955
5.5996
5.5234
5.4613
5.4098
5.3662
5.3290
5.2968
5.2687
5.2439
5.2218
5.2021
5.1844
5.1684
8.0727
6.5415
5.8898
5.5226
5.2852
5.1186
4.9949
4.8993
4.8232
4.7611
4.7095
4.6658
4.6285
4.5961
4.5678
4.5428
4.5206
4.5008
4.4829
4.4667
7.5709
6.0595
5.4160
5.0526
4.8173
4.6517
4.5286
4.4333
4.3572
4.2951
4.2434
4.1997
4.1622
4.1297
4.1012
4.0761
4.0538
4.0338
4.0158
3.9995
7.2093
5.7147
5.0781
4.7181
4.4844
4.3197
4.1970
4.1020
4.0260
3.9639
3.9121
3.8682
3.8306
3.7980
3.7694
3.7441
3.7216
3.7015
3.6833
3.6669
6.9367
5.4564
4.8256
4.4683
4.2361
4.0721
3.9498
3.8549
3.7790
3.7168
3.6649
3.6209
3.5832
3.5504
3.5217
3.4963
3.4737
3.4534
3.4351
3.4185
6.5538
5.0959
4.4742
4.1212
3.8911
3.7283
3.6065
3.5118
3.4358
3.3736
3.3215
3.2773
3.2393
3.2062
3.1772
3.1515
3.1286
3.1081
3.0896
3.0728
6.1995
4.7650
4.1528
3.8043
3.5764
3.4147
3.2934
3.1987
3.1227
3.0602
3.0078
2.9633
2.9249
2.8915
2.8621
2.8360
2.8128
2.7919
2.7730
2.7559
5.8715
4.4613
3.8587
3.5147
3.2891
3.1283
3.0074
2.9128
2.8365
2.7737
2.7209
2.6758
2.6369
2.6030
2.5731
2.5465
2.5228
2.5014
2.4821
2.4645
5.7166
4.3187
3.7211
3.3794
3.1548
2.9946
2.8738
2.7791
2.7027
2.6396
2.5865
2.5411
2.5019
2.4677
2.4374
2.4105
2.3865
2.3648
2.3452
2.3273
5.5675
4.1821
3.5894
3.2499
3.0265
2.8667
2.7460
2.6513
2.5746
2.5112
2.4577
2.4120
2.3724
2.3378
2.3072
2.2799
2.2554
2.2334
2.2134
2.1952
5.4239
4.0510
3.4633
3.1261
2.9037
2.7444
2.6238
2.5289
2.4519
2.3882
2.3343
2.2882
2.2481
2.2130
2.1819
2.1542
2.1293
2.1068
2.0864
2.0677
5.2856
3.9253
3.3425
3.0077
2.7863
2.6274
2.5068
2.4117
2.3344
2.2702
2.2159
2.1692
2.1286
2.0929
2.0613
2.0330
2.0076
1.9846
1.9636
1.9445
5.1523
3.8046
3.2269
2.8943
2.6740
2.5154
2.3948
2.2994
2.2217
2.1570
2.1021
2.0548
2.0136
1.9773
1.9450
1.9161
1.8900
1.8663
1.8447
1.8249
5.0239
3.6889
3.1161
2.7858
2.5665
2.4082
2.2875
2.1918
2.1136
2.0483
1.9927
1.9447
1.9027
1.8656
1.8326
1.8028
1.7759
1.7515
1.7291
1.7085
40
60
120
1005.5981
1009.8001
1014.0202
39.4729
39.4812
39.4896
14.0365
13.9921
13.9473
8.4111
8.3604
8.3092
6.1750
6.1225
6.0693
5.0125
4.9589
4.9044
4.3089
4.2544
4.1989
3.8398
3.7844
3.7279
3.5055
3.4493
3.3918
3.2554
3.1984
3.1399
2.9063
2.8478
2.7874
2.5850
2.5242
2.4611
2.2873
2.2234
2.1562
2.1460
2.0799
2.0099
2.0089
1.9400
1.8664
1.8752
1.8028
1.7242
1.7440
1.6668
1.5810
1.6141
1.5299
1.4327
1.4835
1.3883
1.2684
+∞
1018.2583
39.4979
13.9021
8.2573
6.0153
4.8491
4.1423
3.6702
3.3329
3.0798
2.7249
2.3953
2.0853
1.9353
1.7867
1.6371
1.4821
1.3104
1.0000
359
1
n
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
Πίνακας Β.8: Ποσοστιαία σημεία Fn,m;0.025
360
Fn,m
ΠΙΝΑΚΕΣ ΠΟΣΟΣΤΙΑΙΩΝ ΣΗΜΕΙΩΝ
P (F > Fn,m;0.01 ) = 0.01
+∞
Fn,m;0.01
0
Πίνακας Β.9: Ποσοστιαία σημεία Fn,m;0.01
m
1
2
3
4
5
6
7
8
9
10
12
15
20
24
30
40
60
120
+∞
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
4052.1807
4999.5000
5403.3520
5624.5833
5763.6496
5858.9861
5928.3557
5981.0703
6022.4732
6055.8467
6083.3168
6106.3207
6125.8647
6142.6740
6157.2846
6170.1012
6181.4348
6191.5287
6200.5756
6208.7302
98.5025
99.0000
99.1662
99.2494
99.2993
99.3326
99.3564
99.3742
99.3881
99.3992
99.4083
99.4159
99.4223
99.4278
99.4325
99.4367
99.4404
99.4436
99.4465
99.4492
34.1162
30.8165
29.4567
28.7099
28.2371
27.9107
27.6717
27.4892
27.3452
27.2287
27.1326
27.0518
26.9831
26.9238
26.8722
26.8269
26.7867
26.7509
26.7188
26.6898
21.1977
18.0000
16.6944
15.9770
15.5219
15.2069
14.9758
14.7989
14.6591
14.5459
14.4523
14.3736
14.3065
14.2486
14.1982
14.1539
14.1146
14.0795
14.0480
14.0196
16.2582
13.2739
12.0600
11.3919
10.9670
10.6723
10.4555
10.2893
10.1578
10.0510
9.9626
9.8883
9.8248
9.7700
9.7222
9.6802
9.6429
9.6096
9.5797
9.5526
13.7450
10.9248
9.7795
9.1483
8.7459
8.4661
8.2600
8.1017
7.9761
7.8741
7.7896
7.7183
7.6575
7.6049
7.5590
7.5186
7.4827
7.4507
7.4219
7.3958
12.2464
9.5466
8.4513
7.8466
7.4604
7.1914
6.9928
6.8400
6.7188
6.6201
6.5382
6.4691
6.4100
6.3590
6.3143
6.2750
6.2401
6.2089
6.1808
6.1554
11.2586
8.6491
7.5910
7.0061
6.6318
6.3707
6.1776
6.0289
5.9106
5.8143
5.7343
5.6667
5.6089
5.5589
5.5151
5.4766
5.4423
5.4116
5.3840
5.3591
10.5614
8.0215
6.9919
6.4221
6.0569
5.8018
5.6129
5.4671
5.3511
5.2565
5.1779
5.1114
5.0545
5.0052
4.9621
4.9240
4.8902
4.8599
4.8327
4.8080
10.0443
7.5594
6.5523
5.9943
5.6363
5.3858
5.2001
5.0567
4.9424
4.8491
4.7715
4.7059
4.6496
4.6008
4.5581
4.5204
4.4869
4.4569
4.4299
4.4054
9.3302
6.9266
5.9525
5.4120
5.0643
4.8206
4.6395
4.4994
4.3875
4.2961
4.2198
4.1553
4.0999
4.0518
4.0096
3.9724
3.9392
3.9095
3.8827
3.8584
8.6831
6.3589
5.4170
4.8932
4.5556
4.3183
4.1415
4.0045
3.8948
3.8049
3.7299
3.6662
3.6115
3.5639
3.5222
3.4852
3.4523
3.4228
3.3961
3.3719
8.0960
5.8489
4.9382
4.4307
4.1027
3.8714
3.6987
3.5644
3.4567
3.3682
3.2941
3.2311
3.1769
3.1296
3.0880
3.0512
3.0183
2.9887
2.9620
2.9377
7.8229
5.6136
4.7181
4.2184
3.8951
3.6667
3.4959
3.3629
3.2560
3.1681
3.0944
3.0316
2.9775
2.9303
2.8887
2.8519
2.8189
2.7892
2.7624
2.7380
7.5625
5.3903
4.5097
4.0179
3.6990
3.4735
3.3045
3.1726
3.0665
2.9791
2.9057
2.8431
2.7890
2.7418
2.7002
2.6632
2.6301
2.6003
2.5732
2.5487
7.3141
5.1785
4.3126
3.8283
3.5138
3.2910
3.1238
2.9930
2.8876
2.8005
2.7274
2.6648
2.6107
2.5634
2.5216
2.4844
2.4511
2.4210
2.3937
2.3689
7.0771
4.9774
4.1259
3.6490
3.3389
3.1187
2.9530
2.8233
2.7185
2.6318
2.5587
2.4961
2.4419
2.3943
2.3523
2.3148
2.2811
2.2507
2.2230
2.1978
6.8509
4.7865
3.9491
3.4795
3.1735
2.9559
2.7918
2.6629
2.5586
2.4721
2.3990
2.3363
2.2818
2.2339
2.1915
2.1536
2.1194
2.0885
2.0604
2.0346
6.6349
4.6052
3.7816
3.3192
3.0173
2.8020
2.6393
2.5113
2.4073
2.3209
2.2477
2.1847
2.1299
2.0815
2.0385
2.0000
1.9652
1.9336
1.9048
1.8783
40
60
120
6286.7821
6313.0301
6339.3913
99.4742
99.4825
99.4908
26.4108
26.3164
26.2211
13.7454
13.6522
13.5581
9.2912
9.2020
9.1118
7.1432
7.0567
6.9690
5.9084
5.8236
5.7373
5.1156
5.0316
4.9461
4.5666
4.4831
4.3978
4.1653
4.0819
3.9965
3.6192
3.5355
3.4494
3.1319
3.0471
2.9595
2.6947
2.6077
2.5168
2.4923
2.4035
2.3100
2.2992
2.2079
2.1108
2.1142
2.0194
1.9172
1.9360
1.8363
1.7263
1.7628
1.6557
1.5330
1.5923
1.4730
1.3246
+∞
6365.8644
99.4992
26.1252
13.4631
9.0204
6.8800
5.6495
4.8588
4.3105
3.9090
3.3608
2.8684
2.4212
2.2107
2.0062
1.8047
1.6006
1.3805
1.0000
n
ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ ΚΑΙ ΣΧΕΔΙΑΣΜΟΣ & ΑΝΑΛΥΣΗ ΠΕΙΡΑΜΑΤΩΝ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΕ R ΚΑΙ MINITAB
Πίνακας Β.10: Ποσοστιαία σημεία Kolmogorov-Smirnov Dn (α)
α
n
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
0.1
0.05
0.025
0.01
0.005
0.9000
0.6838
0.5648
0.4927
0.4470
0.4104
0.3815
0.3583
0.3391
0.3226
0.3083
0.2958
0.2847
0.2748
0.2659
0.2578
0.2504
0.2436
0.2373
0.2316
0.2262
0.2212
0.2165
0.2120
0.2079
0.2040
0.2003
0.1968
0.1935
0.1903
0.1873
0.1844
0.1817
0.1791
0.1766
0.1742
0.1719
0.1697
0.1675
0.1655
0.9500
0.7764
0.6360
0.5652
0.5094
0.4680
0.4361
0.4096
0.3875
0.3687
0.3524
0.3382
0.3255
0.3142
0.3040
0.2947
0.2863
0.2785
0.2714
0.2647
0.2586
0.2528
0.2475
0.2424
0.2377
0.2332
0.2290
0.2250
0.2212
0.2176
0.2141
0.2108
0.2077
0.2047
0.2018
0.1991
0.1965
0.1939
0.1915
0.1891
0.9750
0.8419
0.7076
0.6239
0.5633
0.5193
0.4834
0.4543
0.4300
0.4092
0.3912
0.3754
0.3614
0.3489
0.3376
0.3273
0.3180
0.3094
0.3014
0.2941
0.2872
0.2809
0.2749
0.2693
0.2640
0.2591
0.2544
0.2499
0.2457
0.2417
0.2379
0.2342
0.2308
0.2274
0.2242
0.2212
0.2183
0.2154
0.2127
0.2101
0.9900
0.9000
0.7846
0.6889
0.6272
0.5774
0.5384
0.5065
0.4796
0.4566
0.4367
0.4192
0.4036
0.3897
0.3771
0.3657
0.3553
0.3457
0.3369
0.3287
0.3210
0.3139
0.3073
0.3010
0.2952
0.2896
0.2844
0.2794
0.2747
0.2702
0.2660
0.2619
0.2580
0.2543
0.2507
0.2473
0.2440
0.2409
0.2379
0.2349
0.9950
0.9293
0.8290
0.7342
0.6685
0.6166
0.5758
0.5418
0.5133
0.4889
0.4677
0.4490
0.4325
0.4176
0.4042
0.3920
0.3809
0.3706
0.3612
0.3524
0.3443
0.3367
0.3295
0.3229
0.3166
0.3106
0.3050
0.2997
0.2947
0.2899
0.2853
0.2809
0.2768
0.2728
0.2690
0.2653
0.2618
0.2584
0.2552
0.2521
> 40
√
1.07/ n
√
1.22/ n
√
1.36/ n
√
1.52/ n
√
1.63/ n
361