Διαδικτυακό σεμινάριο από το Τμήμα ΗΜΜΥ για την ανάπτυξη εφαρμογών Python με WSL2, Hadoop, Yarn – Spark – Σάββατο 7 Μαΐου
Ένα εξαιρετικά ενδιαφέρον και απόλυτα χρήσιμο διαδικτυακό σεμινάριο για τους φοιτητές όλων των βαθμίδων, συμπεριλαμβανομένων μεταπτυχιακών φοιτητών και υποψήφιων διδακτόρων του Τμήματος Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, με θέμα «Ενιαίο περιβάλλον ανάπτυξης εφαρμογών Python σε Pseudo Cluster με την χρήση των τεχνολογιών WSL2, Hadoop, Yarn – Spark» διοργανώνεται το Σάββατο 7 Μαΐου (15:00- 18:00) από το Τμήμα ΗΜΜΥ σε συνεργασία με το IEEE Student Branch του Πανεπιστημίου Πελοποννήσου.
Ο εισηγητής του σεμιναρίου, κ. Ευάγγελος Πεφάνης, μέλος ΕΤΕΠ του Τμήματος και το Εργαστήριο Σχεδιασμού Ενσωματωμένων Συστημάτων και εφαρμογών προσκαλούν κάθε ενδιαφερόμενο φοιτητή/φοιτήτρια να παρακολουθήσουν το σεμινάριο που θα πραγματοποιηθεί μέσω Microsoft Teams, δηλώνοντας ενδιαφέρον συμμετοχής στην φόρμα.
Στο σεμινάριο θα παρουσιαστεί η υλοποίηση βήμα-βήμα ενός πρωτότυπου ενιαίου περιβάλλοντος ανάπτυξης εφαρμογών με τις τεχνολογίες WSL2, Hadoop ver 3.3, Yarn-Spark ver. 3.2.1 που αναπτύχθηκε από τον εισηγητή, δημιουργώντας ένα Pseudo cluster με έναν master και έναν worker σε έναν μόνο υπολογιστή, που επιτρέπει την εκτέλεση υποδειγμάτων εφαρμογών μεγάλων δεδομένων με την γλώσσα προγραμματισμού Python.
Το περιβάλλον αυτό παρέχει πλήρη εξομοίωση Cluster οποιουδήποτε μεγέθους με τις τεχνολογίες Hadoop-Yarn και Spark. Θα παρουσιαστούν επίσης εφαρμογές και συγκριτικές μέθοδοι εκτέλεσης αυτών εντός και εκτός του πλαισίου Hadoop-Spark για να επισημανθούν οι διαφορές στους χρόνους εκτέλεσης.
Το περιβάλλον αυτό προσφέρει τη δυνατότητα ανάπτυξης και εκτέλεσης εφαρμογών μεγάλων δεδομένων από έναν μόνο υπολογιστή και χωρίς να απαιτούνται μεγάλοι υπολογιστικοί πόροι, ενώ ακόμα επιτρέπεται η ανάπτυξη, δοκιμή και βελτιστοποίηση της εφαρμογής, ώστε, στη συνέχεια να μπορεί να μεταφερθεί σε ένα πραγματικό Cluster Hadοop-Spark.
Θα παρουσιαστούν επίσης οι δυνατότητες αυτόματης βελτιστοποίησης (Performance) που δίνει το περιβάλλον με μία πρωτότυπη τεχνική που μπορεί να εφαρμοστεί σε οποιοδήποτε αυτόνομο σύστημα ή Cluster που εκτελεί εφαρμογές με τεχνολογίες Hadoop-Spark.
Το σεμινάριο φιλοδοξεί να αποτελέσει ένα πολύτιμο εργαλείο για μεταπτυχιακούς και διδακτορικούς φοιτητές που ασχολούνται ήδη με τεχνολογίες ή και ανάπτυξη εφαρμογών Big Data.
Το υλικό που απαιτείται για την παρακολούθηση θα ολοκληρωθεί και θα αναρτηθεί για τους ενδιαφερόμενους περί τις 2 Μαΐου (5 ημέρες πριν το σεμινάριο).
