Ερευνητικά προγράμματα

Στα πλαίσια της έρευνας σχεδιάστηκε, υλοποιήθηκε και δοκιμάστηκε πειραματικά το Ηχητικό Παιχνίδι Επαυξημένης Πραγματικότητας “Audio Legends” με στόχο την αξιολόγηση τρόπων ηχητικής αλληλεπίδρασης μέσω χειρονομιών σε ένα ακουστικώς επαυξημένο περιβάλλον. Tα αποτελέσματα της έρευνας καταγράφηκαν στις παρακάτω δημοσιεύσεις σε διεθνή επιστημονικά περιοδικά και πρακτικά συνεδρίων, και διατίθενται στην Ενότητα "Δημοσιεύσεις" :

Rovithis, E., Moustakas, N., Floros, A., & Vogklis, K. (2019) Audio Legends: Investigating Sonic Interaction in an Augmented Reality Audio Game. Multimodal Technologies Interact.

Rovithis, E., Floros, A., Moustakas, N., Vogklis, K., & Kotsira, L. (2019). Bridging Audio and Augmented Reality towards a new Generation of Serious Audio-only Games. The Electronic Journal of e-Learning, 17(2), pp. 144-156

Moustakas, N., Floros, A., Rovithis, E., & Vogklis, K. (2019). Augmented Audio-Only Games:A New Generation of Immersive Acoustic Environments through Advanced Mixing. In Audio Engineering Society Convention 146. Audio Engineering Society (AES)

Το Σενάριο του Παιχνιδιού

Το Audio Legends είναι ένα Ακουστικώς Επαυξημένο Ηχητικό Παιχνίδι (Augmented Reality Audio Game - ARAG) σχεδιασμένο να διερευνήσει την ηχητική αλληλεπίδραση ως το μέσο αφενός πλοήγησης μέσα στο επαυξημένο περιβάλλον και αφετέρου αλληλεπίδρασης με τους εικονικούς ήχους μέσω των απαραίτητων χειρονομιών για την επίτευξη των παιγνιακών στόχων. Η διερεύνηση χρηστικότητας και της εμβυθιστικότητας τέτοιων μηχανικών απαίτησε τον σχεδιασμό διαφορετικών δοκιμασιών μακρινής και κοντινής εμβέλειας. Το σενάριο που περικλείει αυτές τις δοκιμασίες αντλήθηκε από τη λαϊκή κουλτούρα της Κέρκυρας και συγκεκριμένα από τους τοπικούς μύθους σχετικούς με τον προστάτη του νησιού Άγιο Σπυρίδωνα, στον οποίο αποδίδεται η προστασία του νησιού σε τέσσερις περιπτώσεις:

• τον 16^ο αιώνα έδωσε τέλος στον λιμό οδηγώντας ιταλικά πλοία γεμάτα σιτάρι στους πεινασμένους νησιώτες,
• δύο φορές κατά τον 17^ο αιώνα έδιωξε το τέρας της πανούκλα από το νησί χτυπώντας το με έναν σταυρό, και
• τον 18^ο αιώνα αμύνθηκε ενάντια στη θαλασσινή πολιορκία των Τούρκων καταστρέφοντας τον στόλο τους με μια καταιγίδα

Για την αναπαράσταση των παραπάνω κατορθωμάτων σχεδιάστηκαν τρεις αντίστοιχες παιγνιακές δοκιμασίες:

• “ο Λιμός”, στον οποίο οι παίκτες εντοπίζουν και οδηγούν έναν εικονικό Ιταλό ναύτη στο σημείο τερματισμού,
• “η Πανούκλα”, στην οποία οι παίκτες εντοπίζουν και ραπίζουν ένα εικονικό τέρας,
• “η Πολιορκία”, στην οποία οι παίκτες εντοπίζουν τον τουρκικό στόλο και αποκρούουν τις εισερχόμενες οβίδες.

Η Μηχανική του Παιχνιδιού

Και οι τρεις δοκιμασίες αποτελούνται από δύο Φάσεις Αλληλεπίδρασης, την "Εξερεύνηση" και τη "Δράση". Η πρώτη αναφέρεται στον εντοπισμό του εικονικού ήχου και την πλοήγηση προς αυτόν, ενώ η δεύτερη ενεργοποιείται όταν ο παίκτης εισέρχεται σε ακτίνα 5 μέτρων γύρω από τον εικονικό ήχο και εστιάζει στην απόκριση με χειρονομίες προς τα εικονικά ηχητικά ερεθίσματα.

Στη φάση της Εξερεύνησης χρησιμοποιούνται τυπικές τεχνικές Ακουστικώς Επαυξημένης Πραγματικότητας σχετικά με τη συμπεριφορά της έντασης και της στερεοφωνικής τοποθέτησης που επιτρέπουν τον εντοπισμό εικονικών ηχητικών πηγών. Το πεδίο του παιχνιδιού χωρίζεται σε ζώνες εγγύτητας γύρω από κάθε πηγή μετάδοσης. Η θέση των παικτών ανιχνεύεται μέσω GPS και αποδίδεται στην αντιστοιχη ζώνη διαμορφώνοντας ανάλογα την ένταση του εικονικού ήχου: όσο πιο κοντά είναι ο παίκτης στην πηγή τόσο πιο δυνατά την ακούει. Η στερεοφώνική θέση διαμορφώνεται επίσης δυναμικά ανάλογα με την κατεύθυνση, στην οποία είναι στραμμένη η φορητή συσκευή. Στις δοκιμασίες "Λιμός" και "Πανούκλα" οι εικονικοί ήχοι ακούγονται μόνο όταν το τάμπλετ του παίκτη τους αντικρύζει, ενώ στην "Πολιορκία" ακούγονται ανεξάρτητα από τη συμπεριφορά της συσκευής. 

Η φάση της Δράσης για κάθε μια από τις δοκιμασίες σχεδιάστηκε ως εξής: Στον "Λιμό", μόλις ο παίκτης εισέλθει στην εγγύτατη ζώνη της εικονικής πηγής, ο ήχος προσκολλάται σε αυτόν και τον ακολουθεί. Κάθε 20 - 30 δευτερόλεπτα όμως σταματάει και μεταφέρεται σε ένα από τα προαποφασισμένα σημεία των πιθανών διαδρομών. Ο παίκτης πρέπει να επανακτήσει τον ήχο και η διαδικασία επαναλαμβάνεται μέχρι να ολοκληρωθεί ο παιγνιακός στόχος. Στην "Πανούκλα", ο ήχος στην εγγύτατη ζώνη εμφανίζεται σε τυχαίες θέσεις μέσα σε κωνικό πεδίο 150o οριζόντιου και 60o κάθετου άξονα έμπροσθεν του παίκτη, ο οποίος χρειάζεται να στοχεύσει με τη συσκευή και να εκτελέσει απότομη κίνηση ραπίσματος επτά επιτυχείς φορές για την επιτυχή ολοκλήρωση της δοκιμασίας. Τέλος στην "Πολιορκία", ο εικονικός ήχος προερχόμενος από ανάλογες τυχαίες θέσεις του κωνικού έπμπροσθεν πεδίου διαγράφει καμπυλωτή πορεία προς τον παίκτη, ο οποίος πρέπει να τον αποκρούσει κρατώντας τη συσκευή ως ασπίδα στο κατάλληλο σημείο. Πέντε επιτυχείς αποκρούσεις ολοκληρώνουν τη δοκιμασία. 

Τεχνική Υλοποίηση

Το Audio Legends σχεδιάστηκε για εξωτερικό χώρο έκτασης 120 x 46 μέτρων. Ο εντοπισμός των εικονικών ήχων πραγματοποιείται μέσω GPS με ελάχιστη ακρίβεια 10 μέτρων. Η ανάπτυξη έγινε σε πλατφόρμα Xcode 10.2 με χρήση Swift 5. Βασική σχεδιαστική αρχή αποτέλεσε η συμβατότητα με όσες περισσότερες iOS συσκευές. Για αυτόν τον λόγο αξιοποιήθηκαν οι βασικές Swift βιβλιοθήκες: "Core Location" (για GPS εντοπισμό), "MapBox" (για προβολή στον χάρτη), "Core Motion" (για τις κινήσεις με τη συσκευή) και "SceneKit" (για τρισδιάστατο ήχο). Ο εξοπλισμός του παίκτη αποτελείται από ακουστικά αμφιωτικής ηχογράφησης (Sennheiser Ambeo Smart Headset) και ένα iPad Air (μοντέλο early 2014).

To ηχητικό περιεχόμενο του παιχνιδιού αποτελείται από ηχογραφημένα και ηλεκτρονικά δημιουργημένα ηχητικά δείγματα, τα οποία τροποποιήθηκαν αναλόγως μέσω λογισμικών ηχητικού σχεδιασμού, επεξεργασίας και χωροθέτησης.