Κριτήρια Πληροφορίας για την Επιλογή Μεταβλητών στις Μηχανές Διανυσματικής Υποστήριξης και Εφαρμογές - Στουφή, Ευγενία (Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών, 2015)
Η πρόοδος στην ψηφιακή απόκτηση δεδομένων και στην τεχνολογία αποθήκευσης έχει σαν αποτέλεσμα την αύξηση των τεραστίων βάσεων δεδομένων. Η ανάλυση αυτών των βάσεων για την εύρεση ανυποψίαστων σχέσεων και τη σύνοψη των δεδομένων με νέους τρόπους που να είναι κατανοητοί όσο και χρήσιμοι, αποτελεί την Εξόρυξη Δεομένων (Data Mining). Κύριοι στόχοι του D.M είναι η πρόβλεψη και η περιγραφή, ένας από τους τρόπους επίτευξής τους είναι η ταξινόμηση, δηλαδή η εκμάθηση μιας λειτουργίας που να ταξινομεί ένα στοιχείο δεδομένων σε μία από τις πολλές προκαθορισμένες κλάσεις. Στην παρούσα εργασία, θα αναλυθούν θεωρητικά οι μηχανές διανυσματικής υποστήριξης δύο και περισσοτέρων κλάσεων, οι οποίες αποτελούν μια νέα μέθοδο ταξινόμησης. Ο πρωταρχικός στόχος, όμως, του D.M. είναι η εξαγωγή νέων πληροφοριών από τα δεδομένα, ο οποίος μπορεί να επιτευχθεί με διάφορες τεχνικές που διακρίνονται στις μεθόδους με επίβλεψη και χωρίς επίβλεψη. Η πρώτη κατηγορία απαρτίζεται από τα στάδια της επιλογής και της εκτίμησης μοντέλου, για αυτά τα δύο στάδια έχει αναπτυχθεί μια μεγάλη ποικιλία μεθόδων και κριτηρίων. Στόχος και κύριο θέμα της παρούσης εργασίας είναι η παρουσίαση αυτών των κριτηρίων και μεθόδων και η εισαγωγή νέων Κριτηρίων πληροφορίας για τα δυαδικά και τα multiclass SVMs και η πειραματική σύγκριση της απόδοσής τους. Στο τέλος της συγκεκριμένης εργασίας, αξιολογείται και η πειραματική εφαρμογή των μεθόδων διανυσματικής υποστήριξης σε προβλήματα ταξινόμησης δύο και τριών κλάσεων. Πιο συγκεκριμένα: • Το πρώτο Κεφάλαιο, αποτελεί μια εισαγωγή για τις βασικές έννοιες της Εξόρυξης Δεδομένων όπως είναι η διαδικασία του, οι συνιστώσες των δεδομένων, οι μέθοδοί του, τα συστατικά των αλγορίθμων του, οι κατηγορίες του, τα είδη μάθησής του και οι εφαρμογές του. • Στο δεύτερο Κεφάλαιο, αναλύεται το θεωρητικό υπόβαθρο των δυαδικών SVMs, και πιο συγκεκριμένα, το βέλτιστο διαχωριστικό υπερεπίπεδο, ο ταξινομητής διανυσματικής υποστήριξης, το δυαδικό SVM, οι πυρήνες, το τέχνασμα πυρήνα, και τέλος το SVM ως μέθοδος ποινικοποίησης. • Στο τρίτο Κεφάλαιο, το δυικό SVM εφαρμόζεται και σε προβλήματα ταξινόμησης με περισσότερες από δύο κλάσεις μέσω των μεθόδων one-against-all, one-against-one και των error-correcting output codes. • Στο τέταρτο Κεφάλαιο, παρουσιάζεται μια μεγάλη ποικιλία κριτηρίων και μεθόδων που χρησιμοποιούνται για την επιλογή και την εκτίμηση μοντέλου όπως τα: AIC, BIC, διασταυρωμένη επικύρωση, διασταυρωμένα επικυρωμένο ποσοστό σφάλματος, ένδειξη υπολογισμένη με τη μέθοδο Laplace, ξα-εκτίμηση, GRM, MDL και bootstrap. Επίσης, αναλύεται το θεωρητικό τους υπόβαθρο και παρουσιάζονται τα αντίστοιχα πειραματικά αποτελέσματα για την απόδοσή τους. • Στο πέμπτο Κεφάλαιο, παρουσιάζονται τα νέα Κριτήρια πληροφορίας για τα δυαδικά SVMs, και συγκεκριμένα τα: RIC, KRIC, SVMICa και SVMICb, το θεωρητικό τους υπόβαθρο, κάποιες προαπαιτούμενες έννοιες, η προσεγγιστική μέθοδος του Nystrom για τον υπολογισμό του KRIC και πειραματική σύγκριση της απόδοσής τους με αυτή των κριτηρίων του τετάρτου Κεφαλαίου μέσω μοτίβων προσομοίωσης αλλά και δοκιμών σε σύνολα δεδομένων του πραγματικού κόσμου. • Στο έκτο Κεφάλαιο, παρουσιάζονται δύο νέα Κριτήρια πληροφορίας για τα SVMs περισσοτέρων των δύο κλάσεων, τα οποία χρησιμοποιούν το σφάλμα ακτινωτού περιθωρίου για τα δυαδικά SVMs, κάποιες προαπαιτούμενες έννοιες, μια πειραματική σύγκριση της αποδοτικότητάς τους για την επιλογή μοντέλου στα multiclass SVMs, μια σύγκριση του υπολογιστικού τους κόστους με αυτό άλλων μεθόδων και τέλος κάποια πειραματικά αποτελέσματα για τα σύνολα δεδομένων αναφοράς. • Στο έβδομο Κεφάλαιο, αναλύεται θεωρητικά ο Στατιστικός Έλεγχος Υποθέσεων και τα κριτήρια απόδοσης του μοντέλου (Confusion Matrix). Επιπλέον, αξιολογείται πειραματικά η εφαρμογή των μεθόδων διανυσματικής υποστήριξης σε προβλήματα δύο και τριών κλάσεων. • Τέλος, στο όγδοο Κεφάλαιο παρουσιάζεται μια σύνοψη της εργασίας και εξάγονται κάποια γενικά συμπεράσματα.