Κρησάρισμα μεταβλητών και επιλογή χαρακτηριστικών σε δεδομένα υψηλής διάστασης - Λοϊζου, Μάριος (Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών, 2016)
Στατιστικά προβλήματα υψηλής διάστασης προκύπτουν από διάφορα πεδία επιστημονικής έρευνας, και τεχνολογικής ανάπτυξης. Το κρησάρισμα μεταβλητών (feature screening) και η επιλογή χαρακτηριστικών (feature selection) παίζει σημαντικό ρόλο στην σύγχρονη στατιστική συμπερασματολογία και στις επιστημονικές ανακαλύψεις. Με τον όρο “κρησάρισμα μεταβλητών” αναφερόμαστε στην διαδικασία σκαρταρίσματος επεξηγηματικών μεταβλητών σε δεδομένα υψηλής διάστασης, έτσι ώστε να μειωθεί ο αριθμός τους αισθητά, χωρίς όμως να εκδιωχθούν από το μοντέλο οι πραγματικά σημαντικές μεταβλητές. Βλέποντας πιο προσεκτικά τον όρο αυτό βλέπουμε ότι ένα επιτυχές κρησάρισμα αποτελεί σπουδαίο επίτευγμα και διευκολύνει δραστικά την ανάλυση των δεδομένων αφού κλασσικές στατιστικές μέθοδοι που πριν αποτύγχαναν, τώρα μπορούν να χρησιμοποιηθούν. Έτσι η επιλογή χαρακτηριστικών γίνεται εφικτή, πιο εύκολη και πιο ακριβής. Την πρώτη μέθοδο κρησαρίσματος την πρότειναν οι Fan και Li (2008) και την ονόμασαν μέθοδος σίγουρου ανεξάρτητου κρησαρίσματος (Sure Independence Screening (SIS)) η οποία βασίζεται στη μάθηση συσχέτισης (correlation learning) . Στο ίδιο άρθρο πρότειναν μια επαναληπτική μορφή της SIS, την επαναληπτική μέθοδο σίγουρου ανεξάρτητου κρησαρίσματος (Iterative Sure Independence Screening (ISIS)) η οποία προτάθηκε για την επίλυση κάποιων προβλημάτων που αντιμετώπιζε η SIS. Οι Li, Zhong και Zhu (2012) πρότειναν μια άλλη μέθοδο κρησαρίσματος, την μέθοδο συσχέτισης της απόστασης βασισμένη στο σίγουρο ανεξάρτητο κρησάρισμα (Distance Correlation-based Sure Independence Screening (DC-SIS)), η οποία βασίζεται στην μάθηση συσχέτισης της απόστασης (Distance Correlation) που αποτελεί ένα νέος είδος συσχέτισης μεταβλητών που προτάθηκε από τους Szekely, Rizzo και Bakirov (2007). Λόγω του ότι η DC-SIS παρουσιάζει παρόμοια προβλήματα με την SIS, οι Zhong και Zhu (2015) πρότειναν μια επαναληπτική DC-SIS την Iterative DC-SIS που προσπαθεί να λύσει τέτοιου είδους προβλήματα. Οι Wang και Leng (2015) πρότεινα την μέθοδο προβολής κανονικών ελάχιστων τετραγώνων σε υψηλής διάστασης δεδομένα (High Dimensional Ordinary Least Square Screening (HOLP)) η οποία δεν ασχολείται με τη συσχέτιση μεταβλητών όπως οι προηγούμενες μέθοδοι. Στην παρούσα διπλωματική εργασία ασχολούμαστε κυρίως με μεθόδους κρησαρίσματος καθώς και με την επιλογή μεταβλητών χρησιμοποιώντας ποινικοποιημένες μεθόδους. Πιο συγκεκριμένα, στο πρώτο κεφάλαιο γίνεται αναφορά στο γενικό γραμμικό μοντέλο και στις βασικές τεχνικές εκτίμησης παραμέτρων καθώς επίσης και στις μεθόδους επιλογής μεταβλητών και εκτίμησης παραμέτρων που βασίζονται στη εισαγωγή μιας συνάρτησης ποινής στην μέθοδο ελάχιστων τετραγώνων. Το κεφάλαιο 2 εισαγάγει τις έννοιες δεδομένων υψηλής διάστασης και σίγουρου κρησαρίσματος και εξετάζει εκτενώς τις μεθόδους SIS και Iterative-SIS. Στο κεφάλαιο 3 παρουσιάζεται η μέθοδος σίγουρου κρησαρίσματος προβολή κανονικών ελάχιστων τετραγώνων σε υψηλής διάστασης δεδομένα (High Dimensional Ordinary Least Square Screening (HOLP)). Το τέταρτο κεφάλαιο παρουσιάζει συνοπτικά την συσχέτιση της απόσταση μεταβλητών (Distance Correlation) και ασχολείται με τις μεθόδους DC-SIS και DC-ISIS. Στο κεφάλαιο 5 γίνονται αριθμητικές συγκρίσεις μεταξύ των μεθόδων κρησαρίσματος, με την βοήθεια του στατιστικού πακέτου R.