και παρέχοντας τη δυνατότητα διάδρασης με το συνθετικό κόσμο σε πραγματικό χρόνο, αποτελούν ένα νέο πλαίσιο το οποίο εφαρμοζόμενο στην εκπαιδευτική διαδικασία, τη μετατρέπει σε μια βιωματική εμπειρία. Στο πλαίσιο λοιπόν αύξησης του βαθμού εμβύθισης σε ένα τέτοιο περιβάλλον καθώς και της βελτίωση του μηχανισμού διάδρασης – επικοινωνίας με τον εικονικό χώρο, η προσπάθεια ενσωμάτωσης της τεχνολογίας ιχνηλάτησης – καταγραφής και αναπαραγωγής κίνησης (Motion Capture) σε πραγματικό χρόνο, είναι σίγουρα δικαιολογημένη.
Ο σχετικός μηχανισμός βασίζεται σε αισθητήρες αδράνειας, σε εμβιομηχανικά μοντέλα (biomechanical models) (δηλαδή εφαρμογή μηχανικών μοντέλων σε βιολογικούς οργανισμούς) καθώς και σε σχετικούς αλγορίθμους οι οποίοι συνδυάζουν – συγχωνεύουν αισθητηριακά δεδομένα τα οποία προέρχονται από το σύνολο των αισθητήρων. Οι αισθητήρες είναι προσαρμοσμένοι σε μια ειδική φόρμα την οποία ο χρήστης / ελεγκτής / χορευτής /… του συστήματος πρέπει να φορέσει. Η θέση των αισθητήρων στη ειδική στολή είναι τέτοια ώστε να μπορούν να καταγραφούν τις μεταβολές των τμημάτων της σκελετικής δομής του χρήστη (χέρια – πόδια – ώμοι – λεκάνη – κεφαλή κτλ ) ενώ αυτός κινείται. Η καταγραφή γίνεται σε υψηλή συχνότητα για να διασφαλιστεί η αποφυγή απώλειας πληροφορίας (30-120 δειγματοληψίες το δευτερόλεπτο). Στη συνέχεια τα δεδομένα κίνησης από τη στολή μεταφέρονται ασύρματα (έτσι διασφαλίζεται η ελευθερία κίνησης του προσώπου που φοράει τη στολή) σε ένα άλλο ηλεκτρονικό υπολογιστή οποίος αναλαμβάνει μέσω ειδικού λογισμικού να αναπαράγει τη κίνηση την οποία κατέγραψε το δίκτυο αισθητήρων σε ένα οποιοδήποτε ψηφιακό τρισδιάστατο χαρακτήρα (avatar). Συνεπώς ενώ ο χρήστης κινείται, οι κινήσεις του καταγράφονται και σε πραγματικό χρόνο κινούν το αντίστοιχο avatar του οποίου η σκελετική τοπολογία έχει μοντελοποιηθεί κατ’ αντιστοιχία με τη θέση των αισθητήρων στο σώμα του φυσικού προσώπου.
Κατά κύριο λόγο η διαδικασία αυτή χρησιμοποιείται από την βιομηχανία παιχνιδιών Η/Υ, ειδικών εφφε για τον κινηματογράφο και απαιτεί επεξεργασία και διόρθωση των αποτελεσμάτων της καταγραφής κίνησης πριν αυτά μπορέσουν να χρησιμοποιηθούν και να προβληθούν. Οι εφαρμογές πραγματικού χρόνου είναι ελάχιστες και δεν υποστηρίζονται από το λογισμικό λόγω του ότι κάθε σύστημα ιχνηλάτησης παρουσιάζει προβλήματα κατά την καταγραφή κίνησης όπως η απόκρυψη δεικτών (marker occlusion) στα οπτικά και οι ηλεκτρομαγνητικές παρεμβολές αντίστοιχα στα μαγνητικά/αδρανειας.
Η ερευνητική ομάδα του ΙΜΕ κάνοντας κάποιες τροποποιήσεις στο λογισμικό κατάφερε να ενσωματώσει πειραματικά και να προβάλει σε πραγματικό χρόνο τη διάδραση ενός ψηφιακού τρισδιάστατου avatar με ηθοποιούς επί σκηνής στην θεατρική παράσταση για τη γιορτή των 12 χρόνων του Ελληνικού Κόσμου. Ο Avatar που ζωντάνεψε ξανά τον Αίσωπο, έδωσε την ευκαιρία για πρώτη φορά στα ελληνικά δεδομένα να συνδυαστεί η εικονική πραγματικότητα με την ψηφιακή κίνηση και τους πραγματικούς διαλόγους από φυσικά πρόσωπα. Όπως είδαμε, η δυνατότητα κίνησης του avatar σε πραγματικό χρόνο με βάση τις κινήσεις ενός πραγματικού ανθρώπου, επέτρεψε έναν απόλυτα φυσικό τρόπο διάδρασης με το εικονικό και φυσικό περιβάλλον καθώς επίσης δημιούργησε ένα διαρκές κανάλι επικοινωνίας (bidirectional) μεταξύ πραγματικού και ψηφιακού κόσμου.
Οι θεατές προσπαθούσαν αρχικά να αντιληφθούν τι γίνεται. Καταλάβαιναν ότι δεν επρόκειτο για βίντεο, γιατί ο συγχρονισμός ήταν απόλυτος. O «Αίσωπος» ήταν σύνθεση τριών προσώπων: ένας ηθοποιός που έδωσε τη φωνή του, άλλος αποτελούσε τον κρυφό οδηγό του, και ο ίδιος ο Αίσωπος ήταν η εικονική αναπαράσταση, δηλαδή ο Avatar. Τα στοιχεία αυτά συνέθεσαν σε πραγματικό χρόνο μια ζωντανή μορφή που αλληλεπιδρούσε με τους ηθοποιούς και τους θεατές. Και ποια καλύτερη απόδειξη, όταν στη σκηνή βγήκε ο ηθοποιός φορώντας το ειδικό κοστούμι με τους 18 μαγνητικούς αισθητήρες και έδειξε πώς αυτοί καταγράφουν σε πραγματικό χρόνο τις κινήσεις του, και τις ενσωματώνουν επίσης σε πραγματικό χρόνο, στην εικονική του αναπαράσταση, τον Αίσωπο. Τα χειροκροτήματα των θεατών έδειξαν τον ενθουσιασμό τους.
Αλέξανδρος Χέμερυ
Senior 3D Artist & υπεύθυνος συστημάτων Motion Capture
