Robotic Arm Control through a Brain–Computer Interface Using EEG Motor Imagery · Διπλωματική εργασία
Με το συνηθισμένο 10-fold cross-validation σχεδόν όλοι οι συμμετέχοντες έμοιαζαν επιτυχημένοι. Όταν όμως ο ταξινομητής εκπαιδεύεται σε τρία runs και ελέγχεται σε ένα τέταρτο που δεν έχει δει ποτέ (leave-one-run-out, με permutation test), μόνο 6 από τους 14 γενικεύουν πραγματικά. Αυτή η απόσταση ανάμεσα στο εργαστήριο και την πραγματική χρήση είναι το ερώτημα που θέλω να συνεχίσω να ψάχνω.
Όταν κλείνεις νοερά το χέρι σου χωρίς να το κουνήσεις, ο αισθητικοκινητικός φλοιός αντιδρά σχεδόν όπως στην πραγματική κίνηση. Το ερώτημα εδώ είναι πόσο μακριά φτάνει αυτό το ίχνος.
Η εργασία κατασκευάζει ολόκληρη την αλυσίδα, από το τριχωτό της κεφαλής μέχρι τα δάχτυλα: οκτώ ηλεκτρόδια πάνω από την κεντρική ζώνη, ένας ταξινομητής που μαθαίνει να ξεχωρίζει τη νοερή κίνηση από την ηρεμία, και ένα ρομποτικό χέρι InMoov i2 που ανοίγει και κλείνει ανάλογα με την απόφασή του. Όλα τα εξαρτήματα είναι ανοιχτού κώδικα και χαμηλού κόστους, με συνολικό κόστος υλικού κάτω από 1.500 €.
Το ζητούμενο δεν ήταν ένα εντυπωσιακό βίντεο. Ήταν να μετρηθεί, με το αυστηρότερο σχήμα αξιολόγησης που επιτρέπουν τα δεδομένα, πόσο αξιόπιστα δουλεύει αυτή η αλυσίδα σε ανθρώπους που δεν έχουν ξαναδεί ποτέ διεπαφή εγκεφάλου–υπολογιστή. Η απάντηση είναι ότι δουλεύει, αλλά όχι για όλους, και η διαφορά ανάμεσα στους δύο τρόπους μέτρησης αποδείχθηκε το πιο ενδιαφέρον εύρημα της εργασίας.
Ο συμμετέχων δεν κουνάει το χέρι του, απλώς φαντάζεται ότι το κλείνει. Αυτό αφήνει ένα μικρό αλλά μετρήσιμο ίχνος στο EEG. Το σύστημα το ανιχνεύει και το μετατρέπει σε εντολή για το ρομποτικό χέρι, σε τέσσερα βήματα.
Όταν φαντάζεσαι μια κίνηση του δεξιού χεριού χωρίς να την κάνεις, ο ρυθμός μ (8–13 Hz) πάνω από τον αριστερό κινητικό φλοιό εξασθενεί. Το φαινόμενο λέγεται αποσυγχρονισμός σχετιζόμενος με γεγονός (ERD) και είναι το σήμα που ψάχνει όλο το σύστημα.
Οκτώ ηλεκτρόδια πάνω από τον κινητικό φλοιό καταγράφουν το σήμα με το OpenBCI Cyton. Κάθε οδηγία στην οθόνη σημειώνεται στον χρόνο μέσω Lab Streaming Layer, ώστε να ξέρουμε τι ζητήθηκε σε κάθε στιγμή.
Το σήμα καθαρίζεται από θόρυβο, το CSP βρίσκει τους συνδυασμούς καναλιών που ξεχωρίζουν καλύτερα τις δύο καταστάσεις, και ένας γραμμικός ταξινομητής αποφασίζει: νοερή κίνηση ή ηρεμία. Αναλυτικά, βήμα βήμα, παρακάτω.
Η απόφαση φεύγει από τη σειριακή θύρα. Ένα Arduino με οδηγό PCA9685 κινεί πέντε σερβοκινητήρες που τραβούν τους τένοντες: η νοερή κίνηση κλείνει το χέρι, η ηρεμία το ανοίγει.
Κόκκινο: υλικό. Γαλάζιο: λογισμικό.
Στη ζωντανή λειτουργία το παράθυρο ανάλυσης του ενός δευτερολέπτου ολισθαίνει ανά 125 ms, και η εντολή φεύγει μόνο όταν συμφωνούν τουλάχιστον πέντε από τις επτά τελευταίες αποφάσεις. Μαζί με τον χρόνο που χρειάζεται το παράθυρο για να γεμίσει με φρέσκο σήμα, από την αλλαγή κατάστασης ως την κίνηση μεσολαβεί περίπου ένα με ενάμισι δευτερόλεπτο.
Τι παθαίνει το σήμα από τη στιγμή που φεύγει από το κεφάλι μέχρι να γίνει εντολή στο χέρι. Τα βήματα 1 έως 5 καθαρίζουν το σήμα, με τη σειρά που εφαρμόζονται.
8 κανάλια στα 250 Hz. Εδώ τρέχει ο έλεγχος ποιότητας της ενότητας 07, πριν από κάθε φίλτρο.
Κόβει την αργή μετατόπιση και τον θόρυβο από τους μύες.
Βγάζει το βουητό του ηλεκτρικού δικτύου.
Αφαιρεί από κάθε κανάλι ό,τι είναι κοινό σε όλα.
Κομμάτια γύρω από κάθε δοκιμή. Όσα ξεπερνούν τα 200 µV απορρίπτονται.
Μένουν οι ρυθμοί μ και β, εκεί που φαίνεται το ERD.
Τέσσερα χωρικά φίλτρα. Από κάθε δοκιμή μένουν τέσσερις τιμές ισχύος.
Αποφασίζει: νοερή κίνηση ή ηρεμία.
Η εντολή φεύγει μόνο αν συμφωνούν οι 5 από τις 7 τελευταίες αποφάσεις.
Κάθε συμμετέχων πέρασε τέσσερα runs των ογδόντα δοκιμών, εναλλάξ νοερή κίνηση και ηρεμία, κατά το πρωτόκολλο Graz-BCI.
Ο marker καταγράφεται τη στιγμή που η οδηγία σβήνει και μένει μόνο ο σταυρός προσήλωσης. Το ηχητικό σήμα μισό δευτερόλεπτο νωρίτερα προετοιμάζει τον συμμετέχοντα χωρίς να προλαβαίνει να μολύνει το παράθυρο ανάλυσης. Ο τυχαίος χρόνος ηρεμίας εμποδίζει τον εγκέφαλο να προβλέψει πότε έρχεται η επόμενη οδηγία.
14 συμμετέχοντες × 4 runs × 80 δοκιμές = 4.480 δοκιμές συνολικά, μοιρασμένες ισόποσα ανάμεσα στη νοερή κίνηση και την ηρεμία. Κάθε συνεδρία ξεκινούσε με καταγραφή βάσης με ανοιχτά και κλειστά μάτια, ώστε να ελέγχεται η ποιότητα επαφής πριν αρχίσουν τα runs.
14 υγιείς εθελοντές, 19–27 ετών (6 άνδρες, 8 γυναίκες· 8 δεξιόχειρες, 6 αριστερόχειρες). Οι 13 από τους 14 δεν είχαν χρησιμοποιήσει ποτέ διεπαφή εγκεφάλου–υπολογιστή. Όλοι έκαναν νοερή κίνηση του δεξιού χεριού, ανεξάρτητα από το ποιο χέρι χρησιμοποιούν. Οι καταγραφές έγιναν Μάιο–Ιούνιο 2026, μία συνεδρία ο καθένας, με γραπτή ενημερωμένη συναίνεση.
Οι δοκιμές των δύο κλάσεων εναλλάσσονται σε τυχαία σειρά μέσα σε κάθε run, ώστε ούτε ο συμμετέχων ούτε ο ταξινομητής να μπορούν να στηριχθούν σε μοτίβο. Ανάμεσα στα runs μεσολαβεί υποχρεωτικό διάλειμμα.
Ο ρυθμός μ, γύρω στα 10 Hz, είναι ο ρυθμός ηρεμίας του κινητικού φλοιού. Μόλις ο φλοιός ενεργοποιηθεί, ακόμη και μόνο νοερά, ο ρυθμός σπάει.
Η πτώση αυτή ονομάζεται αποσυγχρονισμός σχετιζόμενος με γεγονός και είναι το σήμα που ψάχνει όλη η αλυσίδα. Το διάγραμμα δίπλα δείχνει τον μέσο όρο και των 320 δοκιμών του συμμετέχοντα S11: η ισχύς στη ζώνη 8–13 Hz, ως ποσοστιαία μεταβολή σε σχέση με το δευτερόλεπτο πριν από τον marker.
Η γραμμή βάσης εδώ δεν είναι χαλαρή ανάπαυση: τη στιγμή εκείνη η οδηγία είναι ακόμη στην οθόνη και ο συμμετέχων είναι σε εγρήγορση, οπότε ο ρυθμός μ είναι ήδη κατεσταλμένος και στις δύο κλάσεις. Ό,τι ακολουθεί μετά τον marker είναι η διαφορά τους. Στις δοκιμές ηρεμίας ο ρυθμός επανέρχεται και ανεβαίνει είκοσι μονάδες πάνω από τη βάση. Στις δοκιμές νοερής κίνησης μένει καθηλωμένος στη βάση για όλα τα τέσσερα δευτερόλεπτα.
Αυτή ακριβώς η απόσταση ανάμεσα στις δύο καμπύλες, γύρω στις είκοσι ποσοστιαίες μονάδες και στα δύο κανάλια, είναι που ο ταξινομητής προσπαθεί να εκμεταλλευτεί. Στη μεμονωμένη δοκιμή όμως, εκεί που πραγματικά δουλεύει, το σήμα είναι πολύ πιο θορυβώδες από ό,τι στον μέσο όρο.
Πραγματικές δοκιμές, πραγματικός ταξινομητής, χέρι σε τρεις διαστάσεις. Ο ταξινομητής εκπαιδεύτηκε στα runs 1–3 και εδώ βλέπει το run 4 για πρώτη φορά.
Κάθε δοκιμή που παίζει είναι καταγεγραμμένο σήμα από τον δίσκο, όχι προσομοίωση. Οι κυματομορφές είναι τα κανάλια C3 και C4 μετά από φιλτράρισμα 1–40 Hz και κοινή μέση αναφορά. Η απόφαση εμφανίζεται στα 3,5 δευτερόλεπτα, μόλις κλείσει το παράθυρο ταξινόμησης, και τότε ακριβώς φεύγει η εντολή προς το χέρι.
Οι κυματομορφές των συμμετεχόντων δεν δημοσιεύονται σε αυτή την έκδοση. Το ΗΕΓ συλλέχθηκε με ενημερωμένη συναίνεση για τη μελέτη και είναι προσωπικό δεδομένο.
Η ανάλυση που προκύπτει από αυτές παραμένει εδώ: οι καμπύλες ERD στην ενότητα 04 και τα αποτελέσματα και των 14 συμμετεχόντων στην ενότητα 06. Το χέρι δίπλα ανοίγει και κλείνει από τα κουμπιά.
Στη ζωντανή επίδειξη ο ταξινομητής εκπαιδεύεται στα runs 1–3 και αποφασίζει πάνω στο run 4:
S11 72,5% · S01 60,0% · S02 48,1%
Το μοντέλο παραπάνω δείχνει την απόφαση του ταξινομητή. Εδώ είναι το ίδιο πράγμα στο φυσικό χέρι, καταγεγραμμένο την ώρα που ο ταξινομητής έδινε τις εντολές.
Το μοντέλο παραπάνω δείχνει την απόφαση του ταξινομητή. Εδώ είναι το ίδιο πράγμα στο φυσικό χέρι: το βίντεο της επίδειξης, και η ζωντανή κάμερα για την ώρα της παρουσίασης, ώστε το χέρι να φαίνεται στην ίδια οθόνη με τα δεδομένα.
Η ζωντανή κάμερα ζητά άδεια από τον περιηγητή και δεν στέλνει πουθενά την εικόνα: η ροή μένει μέσα στη σελίδα, στον υπολογιστή που παρουσιάζει. Χρειάζεται σελίδα σε https ή localhost. Την ώρα της παρουσίασης το φυσικό χέρι το οδηγεί το replay_demo.py μέσω της σειριακής, ενώ η κάμερα το δείχνει εδώ.
Το τρισδιάστατο μοντέλο αναπαράγει τη γεωμετρία του χεριού που κατασκευάστηκε: τρία τμήματα ανά δάχτυλο, δύο στον αντίχειρα, ελατήρια επαναφοράς στις αρθρώσεις και τένοντες που περνούν από την παλάμη προς τον πήχη. Όταν ο ταξινομητής αποφασίσει νοερή κίνηση, οι τένοντες τραβούν και το χέρι κλείνει, όπως ακριβώς κάνει το φυσικό χέρι όταν λάβει την εντολή min. Ο ήχος των σερβοκινητήρων παράγεται από τη σελίδα τη στιγμή της κίνησης και διαρκεί όσο και η διαδρομή: πιο σύντομος στο κλείσιμο, που το τραβά ο κινητήρας, πιο αργός στο άνοιγμα, που το επιστρέφουν τα ελατήρια.
Δύο σχήματα αξιολόγησης δίνουν δύο διαφορετικές απαντήσεις για το ίδιο σύνολο δεδομένων. Η διαφορά τους είναι το κύριο εύρημα της εργασίας.
Οι δοκιμές ανακατεύονται. Το κομμάτι ελέγχου έρχεται από όλα τα runs, οπότε ο ταξινομητής έχει ήδη δει κάθε run.
Ένα ολόκληρο run μένει έξω και ο ταξινομητής κρίνεται σε καταγραφή που δεν έχει δει ποτέ, όπως στην πραγματική χρήση. Επαναλαμβάνεται τέσσερις φορές, μία για κάθε run.
Το 10-fold cross-validation ανακατεύει όλες τις δοκιμές και κρατά ένα δέκατο για έλεγχο. Επειδή όμως οι δοκιμές του ίδιου run μοιάζουν μεταξύ τους, ο ταξινομητής έχει ήδη δει κάθε run κατά την εκπαίδευση. Το νούμερο που βγαίνει είναι αισιόδοξο.
Το Leave-One-Run-Out κρατά ολόκληρο ένα run εκτός εκπαίδευσης. Είναι το σχήμα που αντιστοιχεί στην πραγματική χρήση, όπου ο χρήστης φοράει το ακουστικό και το σύστημα καλείται να δουλέψει σε φρέσκο σήμα.
Με τον ίδιο ταξινομητή και στα δύο σχήματα, η μετάβαση από το πρώτο στο δεύτερο κοστίζει κατά μέσο όρο 1,7 μονάδες ακρίβειας, αλλά η ζημιά δεν μοιράζεται ισότιμα: για κάποιους συμμετέχοντες είναι αμελητέα, για άλλους καταρρέει τελείως η αποκωδικοποίηση.
Με 10-fold οι τέσσερις ταξινομητές δίνουν σχεδόν το ίδιο αποτέλεσμα: LDA 60,8%, γραμμικό SVM 61,1%, SVM με πυρήνα RBF 60,5%, Riemannian MDM 60,5%. Γι' αυτό η σύγκριση εδώ γίνεται με τον γραμμικό διαχωριστή και στα δύο σχήματα.
Και τα δύο σχήματα ξεπερνούν το επίπεδο τύχης στατιστικά σημαντικά, με μονόπλευρο έλεγχο προσημασμένων βαθμίδων Wilcoxon στους 14 συμμετέχοντες: 10-fold W=104, p<0,001 · LORO W=94, p=0,003. Το φαινόμενο δηλαδή είναι υπαρκτό ακόμη και με το αυστηρό σχήμα.
| Συμμ. | 10-fold | LORO | κ | p | Διατήρηση εποχών | Τάση στα runs | Ετυμηγορία |
|---|
Η ετυμηγορία είναι επιτυχία όταν ο έλεγχος μετάθεσης με 1.000 επαναλήψεις δίνει p<0,05 και ταυτόχρονα η ακρίβεια ξεπερνά το 60% με κ>0,2. Αποτυχία σημαίνει ότι η αποκωδικοποίηση δεν ξεχωρίζει από την τύχη. Το κ είναι ο συντελεστής Cohen, που διορθώνει για συμφωνία που θα προέκυπτε τυχαία.
Το 72,5% της επίδειξης είναι ένα μόνο fold: εκπαίδευση στα runs 1–3 και έλεγχος στο run 4, με 58 σωστές εντολές στις 80. Η στήλη LORO δίνει τον μέσο όρο και των τεσσάρων folds, γι' αυτό ο S11 εμφανίζει εκεί 74,7%.
Το ποσοστό εποχών που επιβιώνουν από την απόρριψη τεχνουργημάτων φαινόταν εξαιρετικό σχεδόν παντού. Αποδείχθηκε ότι κρύβει το πρόβλημα αντί να το δείχνει.
Ο λόγος είναι η σειρά των πράξεων. Η απόρριψη εφαρμόζεται μετά το ζωνοπερατό φίλτρο και την κοινή μέση αναφορά, που έχουν ήδη αφαιρέσει τις μεγάλες αποκλίσεις συνεχούς συνιστώσας. Ένα κανάλι με κακή επαφή περνάει έτσι τον έλεγχο θριαμβευτικά.
Προστέθηκαν δύο έλεγχοι που τρέχουν στο ακατέργαστο σήμα, πριν από κάθε φίλτρο: ποσοστό δειγμάτων που χτυπούν στο όριο του μετατροπέα, και χρόνιο μονόπλευρο offset, δηλαδή κανάλια κολλημένα σε ένα πρόσημο για ολόκληρη τη συνεδρία.
Το εύρημα οδήγησε σε αλλαγή στο ίδιο το λογισμικό καταγραφής. Ο έλεγχος τρέχει πλέον αυτόματα αμέσως μετά την καταγραφή βάσης και προειδοποιεί τον πειραματιστή να ξαναδεί την επαφή του ηλεκτροδίου αναφοράς, πριν χαθεί μια ολόκληρη ωριαία συνεδρία.
Οι S12 και S13 φέρουν μονόπλευρο offset και παρ' όλα αυτά περνούν το LORO. Ο S02 είναι από τις δύο καθαρότερες καταγραφές και αποτυγχάνει κάτω από το επίπεδο τύχης. Οι δύο έλεγχοι απαντούν σε διαφορετικά ερωτήματα και πρέπει να παρουσιάζονται μαζί.
Το χέρι τυπώθηκε και συναρμολογήθηκε από την αρχή. Η μηχανική του είναι ο λόγος που το τρισδιάστατο μοντέλο παραπάνω κινείται όπως κινείται.
min κλείνει το χέρι, η mid το ανοίγει.Η οδήγηση με κορδόνι σημαίνει ότι ο κινητήρας μπορεί μόνο να τραβήξει. Το άνοιγμα το αναλαμβάνουν τα ελατήρια, γι' αυτό και είναι πάντα λίγο πιο αργό από το κλείσιμο, κάτι που φαίνεται και στο τρισδιάστατο μοντέλο.
Το ίδιο σκεπτικό εξηγεί γιατί η εντολή είναι δυαδική. Με οκτώ κανάλια και δύο κλάσεις, το ρεαλιστικό ζητούμενο είναι μια αξιόπιστη διάκριση ανάμεσα σε δύο καταστάσεις, όχι ο ανεξάρτητος έλεγχος πέντε δαχτύλων.
Σε δεδομένα που ο ταξινομητής δεν είχε ξαναδεί, το σύστημα εκτέλεσε σωστά το 72,5% των εντολών για τον καλύτερο συμμετέχοντα. Το φαινόμενο είναι στατιστικά σημαντικό σε επίπεδο ομάδας ακόμη και με το αυστηρό σχήμα αξιολόγησης. Τα ερευνητικά συστήματα που χρησιμοποιούνται συνήθως για το ίδιο έργο κοστίζουν πάνω από 20.000 €.
Ο S02 βγάζει 55,5% με 10-fold και 46,7% με LORO, κάτω από την τύχη. Το μοντέλο του απλώς προβλέπει σχεδόν πάντα ηρεμία: ο βαθμός F1 είναι 0,28 για τη νοερή κίνηση έναντι 0,58 για την ηρεμία. Το ανακάτεμα των δοκιμών έκρυβε τελείως αυτή την αποτυχία γενίκευσης.
Ποσοστό 36%, πάνω από το 15 έως 30% που αναφέρει η βιβλιογραφία για την αδυναμία χρήσης διεπαφών εγκεφάλου–υπολογιστή. Με μία μόνο συνεδρία ανά συμμετέχοντα και χωρίς εξοικείωση με το πρωτόκολλο, η διαφορά είναι αναμενόμενη αλλά πρέπει να δηλώνεται.
Εννιά από τους δεκατέσσερις δείχνουν φθίνουσα τάση από το πρώτο προς το τέταρτο run, ακόμη και όσοι περνούν συνολικά. Μια ώρα συγκεντρωμένης νοερής κίνησης είναι κουραστική, και αυτό μετριέται.
Το ποσοστό επιβίωσης εποχών δεν αρκεί. Ο έλεγχος πρέπει να γίνεται στο ακατέργαστο σήμα και πριν αρχίσει η συνεδρία, όχι στην ανάλυση μετά.
Η αξιολόγηση είναι εκτός σύνδεσης: οι δοκιμές αναπαράγονται από τον δίσκο και όχι από ζωντανό ακουστικό, οπότε δεν μετράται η επίδραση της ανατροφοδότησης στον χρήστη. Τα οκτώ κανάλια είναι το ελάχιστο για CSP και περιορίζουν τη χωρική ανάλυση. Κάθε συμμετέχων έδωσε μία μόνο συνεδρία, χωρίς περιθώριο εκμάθησης, και δεν αξιολογήθηκε η σταθερότητα του μοντέλου από μέρα σε μέρα. Έξι από τους δεκατέσσερις είναι αριστερόχειρες, αλλά όλοι φαντάστηκαν κίνηση του δεξιού χεριού, οπότε η υπόθεση ότι το ERD εμφανίζεται στο C3 ισχύει λιγότερο σίγουρα γι' αυτούς.
Το κενό ανάμεσα στο 10-fold και το LORO είναι αυτό που θέλω να συνεχίσω να ψάχνω. Το LORO το μέτρησε μέσα σε μία συνεδρία. Τα επόμενα βήματα είναι να μετρηθεί και να κλείσει ανάμεσα σε μέρες, ανθρώπους και πραγματική χρήση.
Riemannian ή Euclidean alignment ώστε ένα μοντέλο να μεταφέρεται σε νέα συνεδρία ή σε νέο χρήστη χωρίς νέα βαθμονόμηση, αξιολογημένο πάντα σε δεδομένα που δεν έχει δει.
Online λειτουργία όπου ο χρήστης βλέπει το χέρι να αντιδρά, με ταξινομητή που προσαρμόζεται κατά τη χρήση. Εκεί κρίνεται αν οι πέντε που απέτυχαν μπορούν να μάθουν.
Για να ξεχωρίσει η πραγματική αδυναμία χρήσης από την απλή έλλειψη εξάσκησης, και να μετρηθεί η σταθερότητα του μοντέλου στον χρόνο.
EEGNet και ShallowConvNet απέναντι στο CSP με γραμμικό διαχωριστή, με την ίδια αυστηρή αξιολόγηση LORO.
Υβριδικά συστήματα που συνδυάζουν νοερή κίνηση με SSVEP ή P300, αξιολόγηση με ανθρώπους με κινητικές αναπηρίες, και φορητή έκδοση με ενσωματωμένη επεξεργασία.
Η διπλωματική είναι γραμμένη στα ελληνικά και ξεκινά με αγγλική περίληψη. Αυτή η σελίδα είναι η αναλυτικότερη σύνοψή της στα αγγλικά. Ο κώδικας, από την καταγραφή μέχρι το firmware του χεριού, είναι ανοιχτός με άδεια MIT.
Ευχαριστώ τον επιβλέποντά μου, Αθανάσιο Κούτρα, για την καθοδήγηση και την εμπιστοσύνη, και τους φίλους που φόρεσαν το κάλυμμα ηλεκτροδίων και πέρασαν μια ώρα νοερής κίνησης ο καθένας για να υπάρξουν αυτά τα δεδομένα.