Μεγάλα δεδομένα (big data) και σύγχρονες επιχειρήσεις -Εργαλεία - Εφαρμογές - Δαραμάρα, Χριστίνα (Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Μηχανολόγων Μηχανικών. Τομέας Βιομηχανικής Διοίκησης και Επιχειρησιακής Έρευνας, 2017)
Σύμφωνα με την IBM, δημιουργούνται πάνω από 2,5 τετράκις εκατομμύρια bytes δεδομένων ανά έτος, ενώ παράλληλα η ποσότητα των δεδομένων που παράγεται αυξάνεται σε ένα τέτοιο εκπληκτικό ποσοστό ώστε το 90% εξ’ αυτών να έχει δημιουργηθεί μόλις μέσα στα τελευταία δύο χρόνια. Ολόκληρη η πληροφορία που είχε παράξει το ανθρώπινο είδος τα προηγούμενα δεκάδες χιλιάδες χρόνια της ιστορίας του, αποτελούσαν μόλις το 10% του συνόλου. Η ανθρωπότητα σήμερα παράγει δεδομένα με ιλιγγιώδεις ρυθμούς και, πλέον, το ποσοστό αυτών που είναι αποθηκευμένο σε αναλογική μορφή είναι απειροελάχιστο. Οι άνθρωποι και οι τεχνολογίες που χρησιμοποιούν παράγουν αχανείς ποσότητες από ψηφιακά data, οι οποίες συσσωρεύονται ολοένα και δημιουργούν νέες ευκαιρίες, μετασχηματίζοντας παράλληλα ολόκληρες αγορές και, κατά μία έννοια, την ίδια τη ζωή στον πλανήτη. Η μεγάλη τεχνολογική και επιχειρηματική πρόκληση της εποχής είναι η αποτελεσματική διαχείριση του τεράστιου όγκου δεδομένων που πλέον βρίσκεται στην διάθεση εταιρειών και καταναλωτών. Όροι όπως “Big Data” και “Data Analytics” βρίσκονται πλέον στο επίκεντρο των συζητήσεων των ΙΤ τμημάτων ανά τον κόσμο. Ο όρος “Big Data” είναι ένας αρκετά γενικός και ασαφής όρος που περιγράφει κάθε συλλογή δεδομένων που έχει μεγάλο μέγεθος και περίπλοκη διάρθρωση. Κατά κανόνα ως “big data” νοούνται τα datasets που είναι υπερβολικά μεγάλα και περίπλοκα για να τα διαχειριστούν οι συνήθεις υπολογιστικές λύσεις του εμπορίου. Η διαχείριση αυτού του όγκου δεδομένων είναι ένα έργο δύσκολο υπολογιστικά, που όμως μπορεί να δώσει πολλά και πολύτιμα αποτελέσματα με τη σωστή επεξεργασία. Τα Big Data δημιουργούνται ουσιαστικά από τα πάντα γύρω μας ανά πάσα στιγμή. Κάθε ψηφιακή αλληλεπίδραση με μέσα μαζικής δικτύωσης παράγει δεδομένα, από το browsing στον υπολογιστή και το online λιανεμπόριο μέχρι τις αγορές στο iTunes και τα likes στο Facebook. Τα δεδομένα αυτά αλιεύονται από πολλαπλές πηγές, με τρομακτική ταχύτητα, όγκο και ποικιλία. Για να εξαγάγει όμως κάνεις ουσιαστική αξία από αυτά, θα πρέπει να έχει στην κατοχή του τη βέλτιστη επεξεργαστική ισχύ, τα κατάλληλα εργαλεία ανάλυσης και φυσικά, τις ανάλογες δεξιότητες. Σκοπός της παρούσας διπλωματικής εργασίας είναι η παρουσίαση της υφιστάμενης κατάστασης των “Big Data”, των εξελίξεων και των προοπτικών στη λήψη αποφάσεων στις σύγχρονες επιχειρήσεις. Επίσης, αντικείμενο της παρούσας διπλωματικής εργασίας είναι η μελέτη των εργαλείων “Big Data” και πιο συγκεκριμένα η λεπτομερής περιγραφή του Hadoop και του Hue, το οποίο είναι μία web διεπαφή που υποστηρίζει το Apache Hadoop και το οικοσύστημά του. Μέσω του Hue θα γίνουν κάποιες πρακτικές εφαρμογές ανάλυσης δεδομένων σε ανοιχτά σύνολα δεδομένων. Αυτά τα σύνολα δεδομένων θα είναι από πραγματικές επιχειρήσεις και πιο συγκεκριμένα πρόκειται για δεδομένα από τις επιχειρήσεις Airbnb, Walmart και Yelp. Μάλιστα το dataset του Yelp έχει δημιουργηθεί στα πλαίσια ενός διαγωνισμού που διοργανώνει η εταιρεία κάθε χρόνο και προκαλεί φοιτητές να επεξεργαστούν τα παρεχόμενα δεδομένα και να δημιουργήσουν το δικό τους project, το οποίο θα αξιολογηθεί από την εταιρεία και μπορεί να κερδίσει ένα βραβείο.