Αναγνώριση Ανθρώπινης Δράσης και Χειρονομιών χρησιμοποιώντας Συνελικτικά και Αναδρομικά Νευρωνικά Δίκτυα - Πίσσας, Θεόδωρος (Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Ρομποτικής και Αυτοματισμού, 2017)
Στην παρούσα διπλωματική επιδιώκεται να επιλυθεί το πρόβλημα της αναγνώρισης δράσεων και χειρονομιών χρησιμοποιώντας μοντέλα Τεχνητών Νευρωνικών Δικτύων. Συγκεκριμένα εξετάζονται δύο κατηγορίες εξειδικευμένων νευρωνικών μοντέλων, τα Συνελικτικά Νευρωνικά Δίκτυα και τα Αναδρομικά Νευρωνικά Δίκτυα.Τα πρώτα έχουν τη δυνατότητα να εντοπίζουν και να εξάγουν τοπικά χωρικά ή χωρικά-χρονικά χαρακτηριστικά από βίντεο,ενώ τα δεύτερα είναι κατάλληλα για τη συνολική χρονική μοντελοποίηση μίας δράσης.Προκειμένου να εξετασθεί η συνεισφορά των δύο κατηγοριών μοντέλων διεξήχθησαν πειράματα για τρία διαφορετικά μοντέλα: Ένα Νευρωνικό Δίκτυο Τρισδιάστατης Συνέλιξης (3D-CNN) το οποίο εξάγει μόνο τοπικά χωροχρονικά χαρακτηριστικά από τμήματα (δηλαδή έναν αριθμό συνεχόμενων καρέ) ενός βίντεο και δύο Αναδρομικά Νευρωνικά Δίκτυα που αποτελούνται από στρώματα νευρώνων Μακράς και Βραχείας Μνήμης (Long and Short Term Memory ή LSTM),εκ των οποίων,το πρώτο (3D-CNN-LSTM) χρησιμοποιεί τα τοπικά χωροχρονικά χαρακτηριστικά που εξάγει ένα Νευρωνικό Δίκτυο Τρισδιάστατης Συνέλιξης από τμήματα ενός βίντεο και το δεύτερο (CNN-LSTM) χρησιμοποιεί τα χωρικά χαρακτηριστικά που εξάγει ένα Νευρωνικό Δίκτυο Δισδιάστατης Συνέλιξης (2D-CNN ή απλά CNN) από κάθε καρέ ενός βίντεο.Τα παραπάνω μοντέλα εκπαιδεύτηκαν και αξιολογήθηκαν επί τριών βάσεων δεδομένων μεσαίας κλίμακας (KTH, SKIG). Στη βάση SKIG, που περιέχει βίντεο με δυναμικές χειρονομίες,εκπαιδεύονται ξεχωριστά μοντέλα για δύο διαφορετικές τροπικότητες το RGB βίντεο και το βίντεο βάθους (Depth). Κατά συνέπεια, εκτιμάται η επίδραση του είδους της οπτικής πληροφορίας στην απόδοση των μοντέλων και αξιολογείται η βελτίωση που προσφέρει η σύμμειξη τους. Επιπλέον, στα πλαίσια των πειραμάτων γίνεται πειραματική αξιολόγηση της επίδρασης κάποιων εμπειρικά επιβεβαιωμένων μεθοδολογιών (Προγραμματισμός ρυθμού μάθησης και Επαύξηση Δεδομένων) και τεχνικών κανονικοποίησης (Dropout και Batch Normalization) που αποσκοπούν στην βελτίωση της ικανότητας γενίκευσης των μοντέλων καθώς και στην επιτάχυνση της διαδικασίας εκπαίδευσης.Τέλος,επιδιώχθηκε να ενσωματωθούν τα εκπαιδευμένα μοντέλα σε ένα σύστημα on-line αναγνώρισης χειρονομιών,το οποίο αναπτύχθηκε εντός του περιβάλλοντος του R.O.S(Robotics Operating System).Το σύστημα αυτό επιτρέπει την ταχύτατη επεξεργασία και αναγνώριση χειρονομιών (της τάξης μεγέθους των εκατοντάδων mseconds ανά χειρονομία) σε σχέση με άλλες κλασσικές μεθόδους αναγνώρισης που βασίζονται στην εξαγωγή κατασκευασμένων χαρακτηριστικών,όπως οι πυκνές τροχιές, που απαιτούν σημαντικά περισσότερο χρόνο για τον υπολογισμό τους.