Ανάλυση μεγάλων γεωχωρικών δεδομένων σε περιβάλλον cluster υπολογιστών για εφαρμογές παρατήρησης της γης - Κάρμας, Αθανάσιος (Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών, 2016)
Τα δορυφορικά δεδομένα παρατήρησης γης αυξάνονται με ιλιγγιώδη ρυθμό σε όγκο, ποικιλομορφία και πολυπλοκότητα με συνέπεια να δημιουργούνται νέες προκλήσεις σχετικά με την πρόσβαση, αρχειοθέτηση, επεξεργασία και ανάλυσή τους. Για την άμεση εξυπηρέτηση αυτού του πρωτοφανούς όγκου δεδομένων και την εξαγωγή γνώσης, νέες τεχνολογίες υπολογιστικών συστημάτων και αρχιτεκτονικών όπως επίσης και εργαλεία διαχείρισης αναπτύσσονται διαρκώς. Για να είναι δυνατόν να εκμεταλλευθούμε αυτή την πληθώρα δεδομένων, υπολογιστικών μηχανών, προγραμματιστικών μοντέλων, βιβλιοθηκών και εργαλείων τα οποία είναι διαθέσιμα χρειαζόμαστε συντονισμένες, προσαρμοστικές και ολοκληρωτικές προσπάθειες ώστε να συνδυάσουμε αρμονικά τις υπάρχουσες τεχνολογίες. Προς την κατεύθυνση αυτή παρουσιάζεται σε αυτή την εργασία μια πλατφόρμα ανάλυσης μεγάλων γεωχωρικών δεδομένων για εφαρμογές παρατήρησης της γης η οποία για την επίτευξη των στόχων της αποδοτικής ανάλυσης, αποθήκευσης και διαχείρισης μεγάλων δεδομένων ενσωματώνει μια σειρά από εργαλεία, βιβλιοθήκες και υπολογιστικά μοντέλα σε ένα κατανεμημένο περιβάλλον cluster υπολογιστών. Ειδικότερα, η βασική λειτουργικότητα συνίσταται από το Geotrellis, μια μηχανή επεξεργασίας γεωχωρικών δεδομένων για εφαρμογές υψηλών επιδόσεων για την αποθήκευση, διαχείριση και επεξεργασία των δεδομένων και το framework Apache Spark για την κατανομή υπολογισμών και δεδομένων κατά μήκος του cluster. Διάφοροι αλγόριθμοι υλοποιήθηκαν στη γλώσσα προγραμματισμού Scala τόσο για εργασίες ETL (Extract, Transform, Load) πάνω στα raw δεδομένα όσο και για την πρόσβαση και την κατανεμημένη επεξεργασία πολυφασματικών δορυφορικών εικόνων. Το ανεπτυγμένο σύστημα στην τρέχουσα μορφή του καλύπτει μερικώς τον Ελλαδικό χώρο με πολυφασματικά δεδομένα τα οποία προέρχονται από το δορυφόρο Landsat 8, τα οποία αποθηκεύονται και προ-επεξεργάζονται αυτόματα στο υλικό το οποίο έχουμε στη διάθεσή μας, για σκοπούς επίδειξης. Τα ανεπτυγμένα ερωτήματα επεξεργασίας των δεδομένων εστιάζουν σε αγροτικές εφαρμογές και παράγουν τόσο τεχνητά έγχρωμα σύνθετα με βάση καλώς ορισμένους δείκτες, τα οποία και παρέχουν πληροφορία σχετικά με την κατάσταση των καλλιεργειών διαχρονικά ανά pixel και ανά έτος, όσο και χάρτες αποτύπωσης της εποχικότητας από τους οποίους είναι δυνατόν να εξαχθούν μοτίβα για τον κύκλο ζωής των υπό παρακολούθηση καλλιεργειών.