Πολυτροπική αναγνώριση και κατάτμηση δράσεων λεπτομέρειας σε βίντεο - Γκανάτσιος, Νικόλαος (Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής, 2017)
Ο βασικός στόχος-κίνητρο της παρούσας διπλωματικής εργασίας είναι η εξαγωγή αλγορίθμου δραστηριότητας από βίντεο σύνθετων ανθρώπινων δράσεων. Η πορεία μας εκκινεί από την παρουσίαση μιας γενικής και αφηρημένης μεθοδολογίας σχεδίασης ενός συστήματος που συνδυάζει πολυτροπική πληροφορία σε ένα ενιαίο σύστημα αναγνώρισης και κατάτμησης δράσεων σε βίντεο. Στη συνέχεια, προβαίνουμε στην υλοποίηση ενός τέτοιου συστήματος εστιάζοντας σε δράσεις λεπτομέρειας και πειραματιζόμενοι με την εξαγωγή και τον συνδυασμό χαρακτηριστικών πολλών καναλιών πληροφορίας, από οπτική (Πυκνές Τροχιές) μέχρι ακουστική (πληροφορίες υποτίτλων) και σημασιολογική (σχέσεις αντικειμένων-δράσεων και δράσεων-τύπων λαβής (grasping types)), με την τελευταία να εξάγεται και μέσω ανάλυσης κειμένου. Εξάγουμε χαρακτηριστικά από ανάλυση με τη μέθοδο Πυκνών Τροχιών, από ανίχνευση αντικειμένων, τόσο οπτικά, μέσα σε μια δυναμική περιοχή ενδιαφέροντος που παρακολουθούμε με χρήση ανιχνευτή ανθρώπων και προσκηνίου, όσο και μέσω υποτίτλων και από την εξαγωγή τύπων λαβής με χρήση ενός εύρωστου ανιχνευτή χεριών και συνελικτικών χαρακτηριστικών με χρήση ResNet. Εκτελούμε σειρά πειραμάτων σχετικά με την κωδικοποίηση και τις μεθόδους ταξινόμησης αυτών των χαρακτηριστικών και καταλήγουμε στο ενδιαφέρον συμπέρασμα ότι το σχήμα Tf-Idf (ολικής συχνότητας - αντίστροφης συχνότητας κειμένου) ή και η απλή σώρρευση χαρακτηριστικών μπορούν να αντικαταστήσουν τον χ^2 μετασχηματισμό πυρήνων κατά τη σύμμειξη καναλιών διαφορετικής πληροφορίας αυξάνοντας ελαφρά την ακρίβεια αλλά σημαντικά την επίδοση από άποψη ταχύτητας όταν συνδυαστεί με μια γραμμική Μηχανή Διανυσμάτων Στήριξης (SVM). Η ιδιότητα αυτή επιτρέπει στο σχήμα αυτό να χρησιμοποιηθεί αποδοτικά από αλγορίθμους κατάτμησης βίντεο. Η προσέγισή μας στο ζήτημα της κατάτμησης είναι η ελαχιστοποίηση της συνάρτησης κόστους SVM με χρήση πιθανοτήτων και ενός νέου αλγορίθμου δυναμικού προγραμματισμού που είναι αμερόληπτος ως προς το μέγεθος των τελικών τμημάτων. Τελικά, από το αποτέλεσμα της κατάτμησης εξάγουμε τον αλγόριθμο της δραστηριότητας κρατώντας τη χρήσιμη πληροφορία. Το σχήμα που χρησιμοποιούμε μας δίνει επιπλέον την πληροφορία αλληλεπίδρασης με τα αντικείμενα στον τελικό αλγόριθμο.