Βαθιά μηχανική μάθηση για κατηγοριοποίηση προτάσεων - Κόκκινος, Φιλιππος (Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής, 2017)
Καθώς το πλήθος των αδόμητων δεδομένων στο διαδίκτυο μεγαλώνει, γίνεται πλέον επιτακτική ανάγκη η εύρεση τρόπων για συστηματική επεξεργασία τους και η εξαγω- γή πολύτιμης γνώσης από αυτά. Το αντικείμενο της διπλωματικής εργασίας είναι η ανάπτυξη μοντέλων που μπορούν να εξαγάγουν αναπαραστάσεις από τη φυσική γλώσ- σα και συγκεκριμένα από τη συντακτική δομή και τη σημασία με σκοπό την επίλυση άλλων υψηλότερων προβλγημάτων όπως είναι η ανάλυση συναισθήματος. Ο σκοπός είναι η ανάπτυξη μια τεχνολογία για επεξεργασία φυσικής γλώσσας που μπορεί να δη- μιουργήσει αναπαραστάσεις φράσεις και προτάσεις. Επιπλέον, για τη δημιουργία των αναπαραστάσεων το αρχικό κομμάτι κειμένου δεν υπόκειται καμία επεξεργασία και δεν γίνεται κάποια υπόθεση απλοποίησης όπως για παράδειγμα αναξαρτησία των λέξων μεταξύ τους, σύνηθες τεχνική για αλγορίθμους επεξεργασίας λέξεων. Συγκεκριμένα, τα αναδρομικά νευρωνικά δίκτυα που αναπτύχθηκαν είναι μια κα- τηγορία νευρωνικών δικτύων που εφαρμόζονται σε δεδομένα με ιεραρχική δομή, πχ δυαδικά δέντρα. Η προσθήκη πληροφορίας για δομή έχει αποτελέσει καθοριστικό στοι- χείο για την καλή απόδοση αυτών των δικτύων ειδικά όταν αυτά εφαρμόζονται πάνω σε προβλήματα φυσικής γλώσσας όπως είναι η ανάλυση συναισθήματος, η συντακτική ανάλυση και η μοντελοποίηση γλώσσας. Η δύναμη τους βρίσκεται στο γεγονός οτι μπορούν να δημιουργήσουν αναπαραστάσεις προτάσεων μέσω της σύνθεσης λεκτικών αναπαραστάσεων, επιτυγχάνοντας με αυτό τον τρόπο τη δημιουργία ενός πολυδιάστα- του χώρου που μπορεί να ταξινομηθεί. Στα κεφάλαια παρουσιάζεται η θεωρία και αναπτύσσουμε αρχιτεκτονικές αναδρομι- κών δικτύων με μνήμες που υπολογίζουν σε μονή (TreeGRU) και διπλή κατεύθυνση (TreeBiGRU) και η εφαρμογή τους πάνω στο πρόβλημα της ανάλυσης συναισθήματος. Επομένω, χρησιμοποιώντας τη συντακτική δομή μιας πρότασης, δημιουργούνται αναπαραστάσεις για τη πρόταση και τις επιμέρους υπο-προτάσεις οι οποίες μετά ταξινο- μούνται με βάση το συναίσθημα. Στη σύνεχεια, προτάσσεται ο μηχανισμός προσοχής σε δομή (structural attention mechanism) και εφαρμόζεται πάνω στα δίκτυα που α- ναπτύχθηκαν. Ο μηχανισμός προσοχής πάνω σε δομή λειτουργεί στο πλαίσιο οτι οι αναπαραστάσεις υπο-προτάσεων δεν έχουν την ίδια βαρύτητα για τη σωστή αναπα- ράσταση μιας πρότασης. Τέλος, γίνεται ανάλυση διαφόρων παραλλαγών των δικτύων που αναπτύχθηκαν στη διπλωματική καθώς και δικτύων που παρουσιάζονται στη βιβλιογραφία.