InMoov·BCI
Πανεπιστήμιο Πελοποννήσου · Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Έλεγχος Ρομποτικού Βραχίονα μέσω Brain–Computer Interface με χρήση EEG και Νοερών Κινήσεων

Robotic Arm Control through a Brain–Computer Interface Using EEG Motor Imagery · Διπλωματική εργασία

Το ολοκληρωμένο ρομποτικό χέρι InMoov i2 με τον πήχη, τυπωμένο σε μαύρο PLA, με κόκκινους τένοντες και καλωδιώσεις σερβοκινητήρων.
Το χέρι InMoov i2 όπως κατασκευάστηκε: κάθε δάχτυλο από τρία τυπωμένα τμήματα, δύο ο αντίχειρας, με κόκκινους τένοντες που καταλήγουν στους πέντε σερβοκινητήρες μέσα στον πήχη.
14
συμμετέχοντες, πρωτογενές σύνολο δεδομένων
4.480
δοκιμές νοερής κίνησης και ηρεμίας
8 κανάλια
OpenBCI Cyton στα 250 Hz
72,5%
σωστές εντολές σε run εκτός εκπαίδευσης (S11)
Το βασικό εύρημα

Με το συνηθισμένο 10-fold cross-validation σχεδόν όλοι οι συμμετέχοντες έμοιαζαν επιτυχημένοι. Όταν όμως ο ταξινομητής εκπαιδεύεται σε τρία runs και ελέγχεται σε ένα τέταρτο που δεν έχει δει ποτέ (leave-one-run-out, με permutation test), μόνο 6 από τους 14 γενικεύουν πραγματικά. Αυτή η απόσταση ανάμεσα στο εργαστήριο και την πραγματική χρήση είναι το ερώτημα που θέλω να συνεχίσω να ψάχνω.

Δες τα αποτελέσματα ανά συμμετέχοντα ↓

01

Το ερώτημα

Όταν κλείνεις νοερά το χέρι σου χωρίς να το κουνήσεις, ο αισθητικοκινητικός φλοιός αντιδρά σχεδόν όπως στην πραγματική κίνηση. Το ερώτημα εδώ είναι πόσο μακριά φτάνει αυτό το ίχνος.

Η εργασία κατασκευάζει ολόκληρη την αλυσίδα, από το τριχωτό της κεφαλής μέχρι τα δάχτυλα: οκτώ ηλεκτρόδια πάνω από την κεντρική ζώνη, ένας ταξινομητής που μαθαίνει να ξεχωρίζει τη νοερή κίνηση από την ηρεμία, και ένα ρομποτικό χέρι InMoov i2 που ανοίγει και κλείνει ανάλογα με την απόφασή του. Όλα τα εξαρτήματα είναι ανοιχτού κώδικα και χαμηλού κόστους, με συνολικό κόστος υλικού κάτω από 1.500 €.

Το ζητούμενο δεν ήταν ένα εντυπωσιακό βίντεο. Ήταν να μετρηθεί, με το αυστηρότερο σχήμα αξιολόγησης που επιτρέπουν τα δεδομένα, πόσο αξιόπιστα δουλεύει αυτή η αλυσίδα σε ανθρώπους που δεν έχουν ξαναδεί ποτέ διεπαφή εγκεφάλου–υπολογιστή. Η απάντηση είναι ότι δουλεύει, αλλά όχι για όλους, και η διαφορά ανάμεσα στους δύο τρόπους μέτρησης αποδείχθηκε το πιο ενδιαφέρον εύρημα της εργασίας.

02

Πώς δουλεύει το σύστημα

Ο συμμετέχων δεν κουνάει το χέρι του, απλώς φαντάζεται ότι το κλείνει. Αυτό αφήνει ένα μικρό αλλά μετρήσιμο ίχνος στο EEG. Το σύστημα το ανιχνεύει και το μετατρέπει σε εντολή για το ρομποτικό χέρι, σε τέσσερα βήματα.

ΒΗΜΑ 1 · ΕΓΚΕΦΑΛΟΣ

Νοερή κίνηση

Όταν φαντάζεσαι μια κίνηση του δεξιού χεριού χωρίς να την κάνεις, ο ρυθμός μ (8–13 Hz) πάνω από τον αριστερό κινητικό φλοιό εξασθενεί. Το φαινόμενο λέγεται αποσυγχρονισμός σχετιζόμενος με γεγονός (ERD) και είναι το σήμα που ψάχνει όλο το σύστημα.

ERD · 8–13 Hz · C3 έναντι C4
ΒΗΜΑ 2 · ΚΑΤΑΓΡΑΦΗ

EEG οκτώ καναλιών

Οκτώ ηλεκτρόδια πάνω από τον κινητικό φλοιό καταγράφουν το σήμα με το OpenBCI Cyton. Κάθε οδηγία στην οθόνη σημειώνεται στον χρόνο μέσω Lab Streaming Layer, ώστε να ξέρουμε τι ζητήθηκε σε κάθε στιγμή.

250 Hz · 24-bit ADS1299 · C3 C4 FC3 FC4 CP3 CP4 Cz FCz
ΒΗΜΑ 3 · ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΗ

Καθαρισμός και ταξινόμηση

Το σήμα καθαρίζεται από θόρυβο, το CSP βρίσκει τους συνδυασμούς καναλιών που ξεχωρίζουν καλύτερα τις δύο καταστάσεις, και ένας γραμμικός ταξινομητής αποφασίζει: νοερή κίνηση ή ηρεμία. Αναλυτικά, βήμα βήμα, παρακάτω.

Python · MNE · CSP + LDA
ΒΗΜΑ 4 · ΕΝΕΡΓΟΠΟΙΗΣΗ

Ρομποτικό χέρι

Η απόφαση φεύγει από τη σειριακή θύρα. Ένα Arduino με οδηγό PCA9685 κινεί πέντε σερβοκινητήρες που τραβούν τους τένοντες: η νοερή κίνηση κλείνει το χέρι, η ηρεμία το ανοίγει.

9600 baud · I²C · min = κλείσιμο · mid = άνοιγμα

Κόκκινο: υλικό. Γαλάζιο: λογισμικό.

Στη ζωντανή λειτουργία το παράθυρο ανάλυσης του ενός δευτερολέπτου ολισθαίνει ανά 125 ms, και η εντολή φεύγει μόνο όταν συμφωνούν τουλάχιστον πέντε από τις επτά τελευταίες αποφάσεις. Μαζί με τον χρόνο που χρειάζεται το παράθυρο για να γεμίσει με φρέσκο σήμα, από την αλλαγή κατάστασης ως την κίνηση μεσολαβεί περίπου ένα με ενάμισι δευτερόλεπτο.

Από μέσα: ο καθαρισμός και η απόφαση, βήμα βήμα

Τι παθαίνει το σήμα από τη στιγμή που φεύγει από το κεφάλι μέχρι να γίνει εντολή στο χέρι. Τα βήματα 1 έως 5 καθαρίζουν το σήμα, με τη σειρά που εφαρμόζονται.

ΠΗΓΗ

Ακατέργαστο EEG

8 κανάλια στα 250 Hz. Εδώ τρέχει ο έλεγχος ποιότητας της ενότητας 07, πριν από κάθε φίλτρο.

8 × 250 Hz
ΚΑΘΑΡΙΣΜΟΣ · 1

Ζωνοπερατό

Κόβει την αργή μετατόπιση και τον θόρυβο από τους μύες.

1–40 Hz FIR
ΚΑΘΑΡΙΣΜΟΣ · 2

Notch

Βγάζει το βουητό του ηλεκτρικού δικτύου.

50 Hz
ΚΑΘΑΡΙΣΜΟΣ · 3

Κοινή μέση αναφορά

Αφαιρεί από κάθε κανάλι ό,τι είναι κοινό σε όλα.

CAR
ΚΑΘΑΡΙΣΜΟΣ · 4

Εποχές

Κομμάτια γύρω από κάθε δοκιμή. Όσα ξεπερνούν τα 200 µV απορρίπτονται.

κατώφλι 200 µV
ΚΑΘΑΡΙΣΜΟΣ · 5

Ζώνη και παράθυρο

Μένουν οι ρυθμοί μ και β, εκεί που φαίνεται το ERD.

8–30 Hz · 0,5–3,5 s
ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΗ · 6

CSP

Τέσσερα χωρικά φίλτρα. Από κάθε δοκιμή μένουν τέσσερις τιμές ισχύος.

4 συνιστώσες · Ledoit-Wolf
ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΗ · 7

LDA

Αποφασίζει: νοερή κίνηση ή ηρεμία.

γραμμικός διαχωριστής
ΕΝΤΟΛΗ · 8

Ψηφοφορία

Η εντολή φεύγει μόνο αν συμφωνούν οι 5 από τις 7 τελευταίες αποφάσεις.

min = κλείσιμο · mid = άνοιγμα
03

Το πείραμα

Κάθε συμμετέχων πέρασε τέσσερα runs των ογδόντα δοκιμών, εναλλάξ νοερή κίνηση και ηρεμία, κατά το πρωτόκολλο Graz-BCI.

Η δομή μιας δοκιμής

t = 0 · marker beep 70 ms Ηρεμία 1,5–2,5 s Ετοιμασία 2,0 s Οδηγία 2,25 s Νοερή κίνηση ή ηρεμία 4,0 s Διάλειμμα 1,5 s παράθυρο ταξινόμησης 0,5–3,5 s

Ο marker καταγράφεται τη στιγμή που η οδηγία σβήνει και μένει μόνο ο σταυρός προσήλωσης. Το ηχητικό σήμα μισό δευτερόλεπτο νωρίτερα προετοιμάζει τον συμμετέχοντα χωρίς να προλαβαίνει να μολύνει το παράθυρο ανάλυσης. Ο τυχαίος χρόνος ηρεμίας εμποδίζει τον εγκέφαλο να προβλέψει πότε έρχεται η επόμενη οδηγία.

Τα οκτώ ηλεκτρόδια

FC3 FCz FC4 C3 Cz C4 CP3 CP4 πρόσοψη · σύστημα 10–20
C3 · C4
Πάνω από τον κινητικό φλοιό κάθε ημισφαιρίου. Εκεί εμφανίζεται καθαρότερα το ERD.
FC · CP
Πλαισιώνουν την κεντρική ζώνη και δίνουν στο CSP χωρική πληροφορία.
Cz · FCz
Μεσαία γραμμή, χωρίς δική τους πλευρά. Μπαίνουν και αυτά στον μέσο όρο της κοινής αναφοράς.

Το σύνολο δεδομένων

4.480 δοκιμές

14 συμμετέχοντες × 4 runs × 80 δοκιμές = 4.480 δοκιμές συνολικά, μοιρασμένες ισόποσα ανάμεσα στη νοερή κίνηση και την ηρεμία. Κάθε συνεδρία ξεκινούσε με καταγραφή βάσης με ανοιχτά και κλειστά μάτια, ώστε να ελέγχεται η ποιότητα επαφής πριν αρχίσουν τα runs.

Οι συμμετέχοντες

14 υγιείς εθελοντές, 19–27 ετών (6 άνδρες, 8 γυναίκες· 8 δεξιόχειρες, 6 αριστερόχειρες). Οι 13 από τους 14 δεν είχαν χρησιμοποιήσει ποτέ διεπαφή εγκεφάλου–υπολογιστή. Όλοι έκαναν νοερή κίνηση του δεξιού χεριού, ανεξάρτητα από το ποιο χέρι χρησιμοποιούν. Οι καταγραφές έγιναν Μάιο–Ιούνιο 2026, μία συνεδρία ο καθένας, με γραπτή ενημερωμένη συναίνεση.

Οι δοκιμές των δύο κλάσεων εναλλάσσονται σε τυχαία σειρά μέσα σε κάθε run, ώστε ούτε ο συμμετέχων ούτε ο ταξινομητής να μπορούν να στηριχθούν σε μοτίβο. Ανάμεσα στα runs μεσολαβεί υποχρεωτικό διάλειμμα.

04

Το φαινόμενο που ψάχνουμε

Ο ρυθμός μ, γύρω στα 10 Hz, είναι ο ρυθμός ηρεμίας του κινητικού φλοιού. Μόλις ο φλοιός ενεργοποιηθεί, ακόμη και μόνο νοερά, ο ρυθμός σπάει.

Η πτώση αυτή ονομάζεται αποσυγχρονισμός σχετιζόμενος με γεγονός και είναι το σήμα που ψάχνει όλη η αλυσίδα. Το διάγραμμα δίπλα δείχνει τον μέσο όρο και των 320 δοκιμών του συμμετέχοντα S11: η ισχύς στη ζώνη 8–13 Hz, ως ποσοστιαία μεταβολή σε σχέση με το δευτερόλεπτο πριν από τον marker.

Η γραμμή βάσης εδώ δεν είναι χαλαρή ανάπαυση: τη στιγμή εκείνη η οδηγία είναι ακόμη στην οθόνη και ο συμμετέχων είναι σε εγρήγορση, οπότε ο ρυθμός μ είναι ήδη κατεσταλμένος και στις δύο κλάσεις. Ό,τι ακολουθεί μετά τον marker είναι η διαφορά τους. Στις δοκιμές ηρεμίας ο ρυθμός επανέρχεται και ανεβαίνει είκοσι μονάδες πάνω από τη βάση. Στις δοκιμές νοερής κίνησης μένει καθηλωμένος στη βάση για όλα τα τέσσερα δευτερόλεπτα.

Αυτή ακριβώς η απόσταση ανάμεσα στις δύο καμπύλες, γύρω στις είκοσι ποσοστιαίες μονάδες και στα δύο κανάλια, είναι που ο ταξινομητής προσπαθεί να εκμεταλλευτεί. Στη μεμονωμένη δοκιμή όμως, εκεί που πραγματικά δουλεύει, το σήμα είναι πολύ πιο θορυβώδες από ό,τι στον μέσο όρο.

Αποσυγχρονισμός του ρυθμού μ — συμμετέχων S11
Μέση ισχύς 8–13 Hz ως ποσοστιαία μεταβολή από το δευτερόλεπτο πριν τον marker, όσο η οδηγία ήταν ακόμη στην οθόνη. Μέσος όρος 160 δοκιμών ανά κλάση.
Νοερή κίνηση Ηρεμία Marker
05

Το demo

Πραγματικές δοκιμές, πραγματικός ταξινομητής, χέρι σε τρεις διαστάσεις. Ο ταξινομητής εκπαιδεύτηκε στα runs 1–3 και εδώ βλέπει το run 4 για πρώτη φορά.

Κάθε δοκιμή που παίζει είναι καταγεγραμμένο σήμα από τον δίσκο, όχι προσομοίωση. Οι κυματομορφές είναι τα κανάλια C3 και C4 μετά από φιλτράρισμα 1–40 Hz και κοινή μέση αναφορά. Η απόφαση εμφανίζεται στα 3,5 δευτερόλεπτα, μόλις κλείσει το παράθυρο ταξινόμησης, και τότε ακριβώς φεύγει η εντολή προς το χέρι.

Συμμετέχων
εκπαίδευση runs 1–3 · αναπαραγωγή run 4
InMoov i2 · δεξί χέρι
Κατάσταση χεριού Ανοιχτό
σύρε για περιστροφή
Αναπαραγωγή δοκιμών

Οι κυματομορφές των συμμετεχόντων δεν δημοσιεύονται σε αυτή την έκδοση. Το ΗΕΓ συλλέχθηκε με ενημερωμένη συναίνεση για τη μελέτη και είναι προσωπικό δεδομένο.

Η ανάλυση που προκύπτει από αυτές παραμένει εδώ: οι καμπύλες ERD στην ενότητα 04 και τα αποτελέσματα και των 14 συμμετεχόντων στην ενότητα 06. Το χέρι δίπλα ανοίγει και κλείνει από τα κουμπιά.

Στη ζωντανή επίδειξη ο ταξινομητής εκπαιδεύεται στα runs 1–3 και αποφασίζει πάνω στο run 4:
S11 72,5% · S01 60,0% · S02 48,1%

Ταχύτητα
Χέρι

Το πραγματικό χέρι

Το μοντέλο παραπάνω δείχνει την απόφαση του ταξινομητή. Εδώ είναι το ίδιο πράγμα στο φυσικό χέρι, καταγεγραμμένο την ώρα που ο ταξινομητής έδινε τις εντολές.

—

Το τρισδιάστατο μοντέλο αναπαράγει τη γεωμετρία του χεριού που κατασκευάστηκε: τρία τμήματα ανά δάχτυλο, δύο στον αντίχειρα, ελατήρια επαναφοράς στις αρθρώσεις και τένοντες που περνούν από την παλάμη προς τον πήχη. Όταν ο ταξινομητής αποφασίσει νοερή κίνηση, οι τένοντες τραβούν και το χέρι κλείνει, όπως ακριβώς κάνει το φυσικό χέρι όταν λάβει την εντολή min. Ο ήχος των σερβοκινητήρων παράγεται από τη σελίδα τη στιγμή της κίνησης και διαρκεί όσο και η διαδρομή: πιο σύντομος στο κλείσιμο, που το τραβά ο κινητήρας, πιο αργός στο άνοιγμα, που το επιστρέφουν τα ελατήρια.

06

Τα αποτελέσματα

Δύο σχήματα αξιολόγησης δίνουν δύο διαφορετικές απαντήσεις για το ίδιο σύνολο δεδομένων. Η διαφορά τους είναι το κύριο εύρημα της εργασίας.

Δύο τρόποι να χωρίσεις τα ίδια δεδομένα
Κάθε τετράγωνο είναι τέσσερις δοκιμές ενός συμμετέχοντα. Γκρι: εκπαίδευση. Κόκκινο: έλεγχος.
10-fold cross-validation

Οι δοκιμές ανακατεύονται. Το κομμάτι ελέγχου έρχεται από όλα τα runs, οπότε ο ταξινομητής έχει ήδη δει κάθε run.

Σχεδόν όλοι μοιάζουν επιτυχημένοι
run 1
run 2
run 3
run 4
Leave-One-Run-Out

Ένα ολόκληρο run μένει έξω και ο ταξινομητής κρίνεται σε καταγραφή που δεν έχει δει ποτέ, όπως στην πραγματική χρήση. Επαναλαμβάνεται τέσσερις φορές, μία για κάθε run.

Μόνο 6 από τους 14 γενικεύουν
run 1
run 2
run 3
run 4
εκπαίδευσηέλεγχος

Το 10-fold cross-validation ανακατεύει όλες τις δοκιμές και κρατά ένα δέκατο για έλεγχο. Επειδή όμως οι δοκιμές του ίδιου run μοιάζουν μεταξύ τους, ο ταξινομητής έχει ήδη δει κάθε run κατά την εκπαίδευση. Το νούμερο που βγαίνει είναι αισιόδοξο.

Το Leave-One-Run-Out κρατά ολόκληρο ένα run εκτός εκπαίδευσης. Είναι το σχήμα που αντιστοιχεί στην πραγματική χρήση, όπου ο χρήστης φοράει το ακουστικό και το σύστημα καλείται να δουλέψει σε φρέσκο σήμα.

Με τον ίδιο ταξινομητή και στα δύο σχήματα, η μετάβαση από το πρώτο στο δεύτερο κοστίζει κατά μέσο όρο 1,7 μονάδες ακρίβειας, αλλά η ζημιά δεν μοιράζεται ισότιμα: για κάποιους συμμετέχοντες είναι αμελητέα, για άλλους καταρρέει τελείως η αποκωδικοποίηση.

Με 10-fold οι τέσσερις ταξινομητές δίνουν σχεδόν το ίδιο αποτέλεσμα: LDA 60,8%, γραμμικό SVM 61,1%, SVM με πυρήνα RBF 60,5%, Riemannian MDM 60,5%. Γι' αυτό η σύγκριση εδώ γίνεται με τον γραμμικό διαχωριστή και στα δύο σχήματα.

Έλεγχος σε επίπεδο ομάδας

Και τα δύο σχήματα ξεπερνούν το επίπεδο τύχης στατιστικά σημαντικά, με μονόπλευρο έλεγχο προσημασμένων βαθμίδων Wilcoxon στους 14 συμμετέχοντες: 10-fold W=104, p<0,001 · LORO W=94, p=0,003. Το φαινόμενο δηλαδή είναι υπαρκτό ακόμη και με το αυστηρό σχήμα.

Πόσο κοστίζει το αυστηρό σχήμα αξιολόγησης
Ακρίβεια ανά συμμετέχοντα με τα δύο σχήματα. Η γραμμή δείχνει την απόσταση μεταξύ τους.
10-fold, γραμμικός διαχωριστής LORO, γραμμικός διαχωριστής

Αναλυτικά ανά συμμετέχοντα

Συμμ.10-foldLOROκp Διατήρηση εποχώνΤάση στα runsΕτυμηγορία

Η ετυμηγορία είναι επιτυχία όταν ο έλεγχος μετάθεσης με 1.000 επαναλήψεις δίνει p<0,05 και ταυτόχρονα η ακρίβεια ξεπερνά το 60% με κ>0,2. Αποτυχία σημαίνει ότι η αποκωδικοποίηση δεν ξεχωρίζει από την τύχη. Το κ είναι ο συντελεστής Cohen, που διορθώνει για συμφωνία που θα προέκυπτε τυχαία.

Το 72,5% της επίδειξης είναι ένα μόνο fold: εκπαίδευση στα runs 1–3 και έλεγχος στο run 4, με 58 σωστές εντολές στις 80. Η στήλη LORO δίνει τον μέσο όρο και των τεσσάρων folds, γι' αυτό ο S11 εμφανίζει εκεί 74,7%.

07

Μια παγίδα στην ποιότητα του σήματος

Το ποσοστό εποχών που επιβιώνουν από την απόρριψη τεχνουργημάτων φαινόταν εξαιρετικό σχεδόν παντού. Αποδείχθηκε ότι κρύβει το πρόβλημα αντί να το δείχνει.

Ο λόγος είναι η σειρά των πράξεων. Η απόρριψη εφαρμόζεται μετά το ζωνοπερατό φίλτρο και την κοινή μέση αναφορά, που έχουν ήδη αφαιρέσει τις μεγάλες αποκλίσεις συνεχούς συνιστώσας. Ένα κανάλι με κακή επαφή περνάει έτσι τον έλεγχο θριαμβευτικά.

Προστέθηκαν δύο έλεγχοι που τρέχουν στο ακατέργαστο σήμα, πριν από κάθε φίλτρο: ποσοστό δειγμάτων που χτυπούν στο όριο του μετατροπέα, και χρόνιο μονόπλευρο offset, δηλαδή κανάλια κολλημένα σε ένα πρόσημο για ολόκληρη τη συνεδρία.

Το εύρημα οδήγησε σε αλλαγή στο ίδιο το λογισμικό καταγραφής. Ο έλεγχος τρέχει πλέον αυτόματα αμέσως μετά την καταγραφή βάσης και προειδοποιεί τον πειραματιστή να ξαναδεί την επαφή του ηλεκτροδίου αναφοράς, πριν χαθεί μια ολόκληρη ωριαία συνεδρία.

Τι έδειξε ο έλεγχος στο ακατέργαστο σήμα
Και οι 14 συνεδρίες περνούν τον έλεγχο φυσιολογικού φάσματος μετά το φιλτράρισμα. Οι σημάνσεις αφορούν την ποιότητα της καταγραφής, όχι το αν το σήμα είναι ανακτήσιμο.
Μονόπλευρο offset
S04, S07, S08, S10, S12, S13 — τουλάχιστον τα έξι από τα οκτώ κανάλια κολλημένα σε ένα πρόσημο για όλη τη συνεδρία. Πιθανότερη αιτία η επαφή του ηλεκτροδίου αναφοράς.
Κορεσμός
S01 στο 6,0% των δειγμάτων, S03 στο 3,4%, S14 στο 2,7%, S06 στο 2,4%, S09 στο 1,9%, S05 στο 1,5%. Χαρακτηριστικό διακοπτόμενων τεχνουργημάτων κίνησης.
Καθαρές
S02 και S11 — καμία από τις δύο σημάνσεις.
Η σήμανση δεν προδικάζει την απόδοση

Οι S12 και S13 φέρουν μονόπλευρο offset και παρ' όλα αυτά περνούν το LORO. Ο S02 είναι από τις δύο καθαρότερες καταγραφές και αποτυγχάνει κάτω από το επίπεδο τύχης. Οι δύο έλεγχοι απαντούν σε διαφορετικά ερωτήματα και πρέπει να παρουσιάζονται μαζί.

08

Η κατασκευή

Το χέρι τυπώθηκε και συναρμολογήθηκε από την αρχή. Η μηχανική του είναι ο λόγος που το τρισδιάστατο μοντέλο παραπάνω κινείται όπως κινείται.

Ο σκελετός της παλάμης τυπωμένος σε μαύρο PLA, με τα κόκκινα κορδόνια των τενόντων περασμένα μέσα από τα κανάλια της παλάμης προς τα δάχτυλα.
Η παλάμη πριν από το κάλυμμα. Κάθε δάχτυλο τραβιέται από ένα κορδόνι που περνά μέσα από κανάλια στη ραχιαία πλευρά και καταλήγει στον πήχη.
Ο πήχης ανοιχτός, με τη συστοιχία σερβοκινητήρων στο εσωτερικό και τα καλώδια σήματος και τροφοδοσίας να βγαίνουν από το άνοιγμα.
Ο πήχης ανοιχτός. Πέντε σερβοκινητήρες, ένας ανά δάχτυλο, τυλίγουν το κορδόνι και το τραβούν. Η επαναφορά γίνεται από ελατήρια στις αρθρώσεις.
Σκελετός
InMoov i2, τρισδιάστατη εκτύπωση σε μαύρο PLA. Τρία τμήματα ανά δάχτυλο, δύο στον αντίχειρα.
Κίνηση
Πέντε σερβοκινητήρες στον πήχη, ένας ανά δάχτυλο, με οδήγηση από κορδόνι σε ανταγωνισμό με ελατήρια επαναφοράς.
Έλεγχος
Arduino με οδηγό PCA9685 μέσω I²C. Ομαλή μετάβαση θέσης, ώστε το κλείσιμο να μη γίνεται απότομα.
Διεπαφή
Σειριακή στα 9600 baud. Η εντολή min κλείνει το χέρι, η mid το ανοίγει.
Λογισμικό
Δικός μου κώδικας σε Python: το παράδειγμα καταγραφής σε pygame με markers μέσω Lab Streaming Layer, σύνδεση με το Cyton μέσω BrainFlow, προεπεξεργασία με MNE-Python, CSP και ταξινομητές με scikit-learn και pyRiemann, και firmware Arduino για τους σερβοκινητήρες.

Η οδήγηση με κορδόνι σημαίνει ότι ο κινητήρας μπορεί μόνο να τραβήξει. Το άνοιγμα το αναλαμβάνουν τα ελατήρια, γι' αυτό και είναι πάντα λίγο πιο αργό από το κλείσιμο, κάτι που φαίνεται και στο τρισδιάστατο μοντέλο.

Το ίδιο σκεπτικό εξηγεί γιατί η εντολή είναι δυαδική. Με οκτώ κανάλια και δύο κλάσεις, το ρεαλιστικό ζητούμενο είναι μια αξιόπιστη διάκριση ανάμεσα σε δύο καταστάσεις, όχι ο ανεξάρτητος έλεγχος πέντε δαχτύλων.

09

Τι δείχνει η εργασία

  1. Το σύστημα δουλεύει με υλικό κάτω από 1.500 €

    Σε δεδομένα που ο ταξινομητής δεν είχε ξαναδεί, το σύστημα εκτέλεσε σωστά το 72,5% των εντολών για τον καλύτερο συμμετέχοντα. Το φαινόμενο είναι στατιστικά σημαντικό σε επίπεδο ομάδας ακόμη και με το αυστηρό σχήμα αξιολόγησης. Τα ερευνητικά συστήματα που χρησιμοποιούνται συνήθως για το ίδιο έργο κοστίζουν πάνω από 20.000 €.

  2. Το ανακατεμένο cross-validation υπερεκτιμά συστηματικά

    Ο S02 βγάζει 55,5% με 10-fold και 46,7% με LORO, κάτω από την τύχη. Το μοντέλο του απλώς προβλέπει σχεδόν πάντα ηρεμία: ο βαθμός F1 είναι 0,28 για τη νοερή κίνηση έναντι 0,58 για την ηρεμία. Το ανακάτεμα των δοκιμών έκρυβε τελείως αυτή την αποτυχία γενίκευσης.

  3. Πέντε στους δεκατέσσερις δεν αποκωδικοποιούνται καθόλου

    Ποσοστό 36%, πάνω από το 15 έως 30% που αναφέρει η βιβλιογραφία για την αδυναμία χρήσης διεπαφών εγκεφάλου–υπολογιστή. Με μία μόνο συνεδρία ανά συμμετέχοντα και χωρίς εξοικείωση με το πρωτόκολλο, η διαφορά είναι αναμενόμενη αλλά πρέπει να δηλώνεται.

  4. Η απόδοση πέφτει μέσα στην ίδια τη συνεδρία

    Εννιά από τους δεκατέσσερις δείχνουν φθίνουσα τάση από το πρώτο προς το τέταρτο run, ακόμη και όσοι περνούν συνολικά. Μια ώρα συγκεντρωμένης νοερής κίνησης είναι κουραστική, και αυτό μετριέται.

  5. Η ποιότητα καταγραφής χρειάζεται δικό της έλεγχο

    Το ποσοστό επιβίωσης εποχών δεν αρκεί. Ο έλεγχος πρέπει να γίνεται στο ακατέργαστο σήμα και πριν αρχίσει η συνεδρία, όχι στην ανάλυση μετά.

Περιορισμοί

Η αξιολόγηση είναι εκτός σύνδεσης: οι δοκιμές αναπαράγονται από τον δίσκο και όχι από ζωντανό ακουστικό, οπότε δεν μετράται η επίδραση της ανατροφοδότησης στον χρήστη. Τα οκτώ κανάλια είναι το ελάχιστο για CSP και περιορίζουν τη χωρική ανάλυση. Κάθε συμμετέχων έδωσε μία μόνο συνεδρία, χωρίς περιθώριο εκμάθησης, και δεν αξιολογήθηκε η σταθερότητα του μοντέλου από μέρα σε μέρα. Έξι από τους δεκατέσσερις είναι αριστερόχειρες, αλλά όλοι φαντάστηκαν κίνηση του δεξιού χεριού, οπότε η υπόθεση ότι το ERD εμφανίζεται στο C3 ισχύει λιγότερο σίγουρα γι' αυτούς.

10

Τι θα έκανα μετά

Το κενό ανάμεσα στο 10-fold και το LORO είναι αυτό που θέλω να συνεχίσω να ψάχνω. Το LORO το μέτρησε μέσα σε μία συνεδρία. Τα επόμενα βήματα είναι να μετρηθεί και να κλείσει ανάμεσα σε μέρες, ανθρώπους και πραγματική χρήση.

  1. Γενίκευση από μέρα σε μέρα

    Riemannian ή Euclidean alignment ώστε ένα μοντέλο να μεταφέρεται σε νέα συνεδρία ή σε νέο χρήστη χωρίς νέα βαθμονόμηση, αξιολογημένο πάντα σε δεδομένα που δεν έχει δει.

  2. Κλειστός βρόχος με ανατροφοδότηση

    Online λειτουργία όπου ο χρήστης βλέπει το χέρι να αντιδρά, με ταξινομητή που προσαρμόζεται κατά τη χρήση. Εκεί κρίνεται αν οι πέντε που απέτυχαν μπορούν να μάθουν.

  3. Πολλές συνεδρίες ανά συμμετέχοντα

    Για να ξεχωρίσει η πραγματική αδυναμία χρήσης από την απλή έλλειψη εξάσκησης, και να μετρηθεί η σταθερότητα του μοντέλου στον χρόνο.

  4. Μοντέλα που μαθαίνουν τα χαρακτηριστικά

    EEGNet και ShallowConvNet απέναντι στο CSP με γραμμικό διαχωριστή, με την ίδια αυστηρή αξιολόγηση LORO.

  5. Πιο μακριά

    Υβριδικά συστήματα που συνδυάζουν νοερή κίνηση με SSVEP ή P300, αξιολόγηση με ανθρώπους με κινητικές αναπηρίες, και φορητή έκδοση με ενσωματωμένη επεξεργασία.

11

Το πλήρες κείμενο και ο κώδικας

Η διπλωματική είναι γραμμένη στα ελληνικά και ξεκινά με αγγλική περίληψη. Αυτή η σελίδα είναι η αναλυτικότερη σύνοψή της στα αγγλικά. Ο κώδικας, από την καταγραφή μέχρι το firmware του χεριού, είναι ανοιχτός με άδεια MIT.

Διπλωματική (PDF, ελληνικά, 113 σελ.) Κώδικας στο GitHub CV (PDF) Email
Ευχαριστίες

Ευχαριστώ τον επιβλέποντά μου, Αθανάσιο Κούτρα, για την καθοδήγηση και την εμπιστοσύνη, και τους φίλους που φόρεσαν το κάλυμμα ηλεκτροδίων και πέρασαν μια ώρα νοερής κίνησης ο καθένας για να υπάρξουν αυτά τα δεδομένα.