ShadowRealms AI 0.16 έως 0.22: η συνομιλία αποκτά φωνή

Από το βράδυ της 16ης Οκτωβρίου ως το πρωί της 17ης, το ShadowRealms AI, ο τοπικός AI Αφηγητής μου για χρονικά World of Darkness, πήγε από το 0.15.0 στο 0.22.1. Επτά εκδόσεις, και όλες για ένα πράγμα: τη φωνή. Πλέον μπορείς να ακούς τη συνομιλία και να λες τις ατάκες σου αντί να τις γράφεις, στα ελληνικά ή στα αγγλικά. Ο στόχος ήταν απλός: ένας παίκτης με το κινητό στο χέρι, στο τραπέζι ή στον καναπέ, που ακούει τον Αφηγητή και απαντά φωναχτά.

Όλα τρέχουν στον server της εφαρμογής: τις φωνές τις φτιάχνουν το Piper (αγγλικά) και το Pocket TTS (ελληνικά), τη μεταγραφή το Whisper (large-v3-turbo) στην κάρτα γραφικών, και τις μεταφράσεις το Llama-Krikri, που η εφαρμογή ήδη χρησιμοποιεί για τα ελληνικά. Τίποτα δεν πηγαίνει σε υπηρεσία στο cloud, εκτός αν ένας παίκτης διαλέξει τις φωνές ή την υπαγόρευση του κινητού του, οπότε το αναλαμβάνει το κινητό.

Ακρόαση σε ένα δωμάτιο: το μήνυμα που διαβάζεται τονίζεται, και η πρόταση που ακούγεται φαίνεται στη γραμμή πάνω από το πλαίσιο του μηνύματος.

Ακρόαση

Στην κεφαλίδα του δωματίου υπάρχει ένα αυτί. Το ανοίγεις, και τα νέα μηνύματα διαβάζονται φωναχτά μόλις φτάνουν: ο Αφηγητής, οι άλλοι παίκτες, τα ζάρια. Οι δικές σου ατάκες παραλείπονται.

• Φωνή ανά χαρακτήρα. Κάθε χαρακτήρας έχει πια φύλο φωνής στο χαρτί του χαρακτήρα: γυναικεία, ανδρική ή ουδέτερη. Ο χαρακτήρας μιλά με φωνή του φύλου του, κι αν δεν έχει οριστεί, με την ουδέτερη, ενώ το χαρτί του χαρακτήρα θυμίζει στον παίκτη να το ορίσει. Ο παίκτης μπορεί επίσης να διαλέξει μια συγκεκριμένη φωνή για τον χαρακτήρα του.
• Αφηγητής ανά χρονικό. Όταν φτιάχνεται ένα χρονικό, ο Αφηγητής του διαλέγει τη φωνή του αφηγητή για αμερικάνικα αγγλικά, βρετανικά αγγλικά και ελληνικά, με κουμπί για να την ακούσει πρώτα. Ο αφηγητής διαβάζει τον Αφηγητή, τις πράξεις και τα ζάρια.
• Το χρονικό ορίζει τις προεπιλογές, ο παίκτης αποφασίζει. Αυτός που φτιάχνει το χρονικό διαλέγει τι διαβάζεται εξ ορισμού (ο Αφηγητής, εντός χαρακτήρα, εκτός χαρακτήρα, ζάρια). Κάθε παίκτης μπορεί να κλείσει όποιο από αυτά θέλει για τον εαυτό του, γιατί δεν θέλουν όλοι να ακούν τα πάντα.
• Οι δικές σου ρυθμίσεις: οι φωνές του κινητού ή του server, αμερικάνικη ή βρετανική προφορά, ταχύτητα από 0,75× ως 2×, και ένταση.

Οι ρυθμίσεις φωνής ενός παίκτη · ενός χρονικού: τι διαβάζεται εξ ορισμού, οι φωνές του αφηγητή, η μεγαλύτερη ηχογράφηση. (Οι εικόνες είναι από την αγγλική διεπαφή.)

Τα ζάρια δεν διαβάζονται από την κάρτα. Γίνονται μία σύντομη πρόταση στη γλώσσα αυτού που ακούει: «Ρίψη Brawl, 7 ζάρια, 4 επιτυχίες, κρίσιμη επιτυχία», ή “Roll: Intelligence plus Investigation, 7 dice, 1 Hunger”.

Διάβασμα μαζί

Η τελευταία έκδοση, η 0.22.0 «Read along», βγήκε από μια δοκιμή στο κινητό. Μια μεγάλη απάντηση του Αφηγητή αργούσε να ξεκινήσει, και δεν φαινόταν τι διαβαζόταν. Τώρα:

• Πρόταση προς πρόταση. Μια ατάκα λέγεται σε κομμάτια, και τα επόμενα φτιάχνονται όσο παίζει το πρώτο, οπότε μια μεγάλη απάντηση ξεκινά μετά την πρώτη της πρόταση (περίπου τρία δευτερόλεπτα).
• Τονισμός και παρακολούθηση. Το μήνυμα που διαβάζεται σημειώνεται, και η γραμμή δείχνει την πρόταση που ακούγεται. Η συνομιλία ακολουθεί το διάβασμα· αν κυλήσεις με το χέρι σταματά να ακολουθεί, και ένα κουμπί «Ακολούθηση» το επαναφέρει.
• Διάβασε αυτό, διάβασε από εδώ. Με παρατεταμένο πάτημα σε ένα μήνυμα στο κινητό, ή από το μενού … στον υπολογιστή, βγαίνουν το «Διάβασε αυτό» και το «Διάβασε από εδώ». Δουλεύουν και με την ακρόαση κλειστή.
• Για να προλάβεις. Όταν ανοίγεις την ακρόαση, διαλέγεις: τα 3 τελευταία μηνύματα, τα 10 τελευταία, από εκεί που σταμάτησες, ή κανένα.

Διάβασμα μαζί: η γραμμή ακολουθεί την πρόταση που ακούγεται (σε γρηγορότερη ταχύτητα).

Στο κινητό: το μενού ενός μηνύματος, η ηχογράφηση, και ο έλεγχός της πριν τη μεταγραφή.

Ομιλία

Το μικρόφωνο στο πλαίσιο του μηνύματος ανοίγει τη θέση του την ηχογράφηση. Μια ηχογράφηση φτάνει τα τρία λεπτά (κάθε χρονικό μπορεί να βάλει το δικό του όριο).

• Ο χρονομετρητής είναι μεγάλος, και ο δακτύλιος γύρω από το κουμπί πάλλεται κάθε πέντε δευτερόλεπτα: χρυσός στην αρχή, άλλο χρώμα μετά το πρώτο λεπτό, και κόκκινος σαν αίμα μετά το δεύτερο, όλο και πιο έντονος καθώς πλησιάζει το τέλος.
• Πριν σταλεί οτιδήποτε, ακούς την ηχογράφησή σου, με μπάρα για να πηγαίνεις μπρος πίσω και κουμπί ταχύτητας από 0,75× ως 2×. Τίποτα δεν φεύγει από το κινητό όσο ηχογραφείς ή ακούς.
• Τη γλώσσα που μίλησες, ελληνικά 🇬🇷 ή αγγλικά (🇺🇸 ή 🇬🇧, ανάλογα με την προφορά σου), τη διαλέγεις με μια σημαία, ώστε η μεταγραφή να γίνει στη σωστή γλώσσα.
• Μετά πατάς Μεταγραφή, και το κείμενο γυρίζει για να το ελέγξεις και να το διορθώσεις. Το στέλνεις εντός χαρακτήρα, ως παράθεση (λόγια σε εισαγωγικά), ή εκτός χαρακτήρα.
• Στον υπολογιστή μπορείς να κρατάς πατημένο το Space για να μιλάς, και να το αφήνεις για να ελέγξεις.
• Όποιος προτιμά, μπορεί να χρησιμοποιεί την υπαγόρευση του κινητού του.

Περνώντας το πρώτο λεπτό: ο δακτύλιος πάλλεται και αλλάζει χρώμα.

Τα φωνητικά μηνύματα έχουν ένα μικρό μικρόφωνο που το βλέπουν όλοι, όχι μόνο ο Αφηγητής, και η ηχογράφηση παίζει μέσα από τη συνομιλία. Οι ηχογραφήσεις κρατιούνται όσο ζει το χρονικό, συμπιεσμένες (Opus στα 16 kbps, περίπου 7 MB την ώρα), και φεύγουν όταν σβηστεί το μήνυμα ή το χρονικό. Ο Αφηγητής μπορεί να σβήσει όλες τις ηχογραφήσεις ενός χρονικού μαζί.

Ο έλεγχος της μεταγραφής

Το Whisper ακούει καλά τα ελληνικά, όχι όμως τέλεια, και μια συνομιλία World of Darkness είναι γεμάτη ονόματα, φυλές (clans) και καμιά βρισιά. Γι’ αυτό, από το 0.21.0, η μεταγραφή ελέγχεται πριν τη δεις:

• Το Whisper παίρνει ως βοήθεια τα ονόματα του χρονικού και ένα σύντομο γλωσσάρι με όρους του παιχνιδιού.
• Το Laya-words, ένα μοντέλο που εκπαίδευσα για το RecMeets και δημοσίευσα στο Hugging Face, σημειώνει τις λέξεις που μάλλον ακούστηκαν λάθος.
• Το Llama-Krikri διορθώνει μόνο αυτές τις λέξεις, και αφήνει την αργκό και τις βρισιές όπως είναι. Έτσι το «βλυχ άρα» ξαναγίνεται «βλαχάρα».

Στη γλώσσα σου

Από το 0.19.0 κάθε παίκτης μπορεί να διαλέξει να διαβάζει και να ακούει τη συνομιλία στη γλώσσα του. Ένα μήνυμα στην άλλη γλώσσα μεταφράζεται μόλις γραφτεί, φαίνεται στη γλώσσα σου, και το πρωτότυπο είναι ακριβώς από κάτω, με ένα κουμπί «Δείξε το πρωτότυπο». Μεταφραστής είναι το Llama-Krikri με γλωσσάρι όρων του παιχνιδιού, και τα ονόματα του χρονικού μένουν έξω από τη μετάφραση, οπότε η Ελένη μένει Ελένη και ο Marcus μένει Marcus.

Δουλεύει και ανάποδα: μπορείς να μιλάς ελληνικά και να στέλνεις αγγλικά. Η ηχογράφηση σού δείχνει και τα δύο κείμενα για έλεγχο, το πρωτότυπο μένει με το μήνυμα, και το βλέπουν όλοι.

Μικρότερα

• 0.20.0: μια σελίδα «υγεία της φωνής» για τους διαχειριστές (η υπηρεσία φωνής, οι ουρές της, η ελεύθερη μνήμη της κάρτας γραφικών, ο δίσκος που πιάνουν οι ηχογραφήσεις), και όρια στον δίσκο που μπορούν να πιάσουν οι φωνές και οι ηχογραφήσεις.
• 0.21.1: το PDF του χαρτιού του χαρακτήρα που συμπληρώνεται έδειχνε στο Adobe Acrobat τελείες αντί για γράμματα όταν ξαναζωγραφιζόταν ένα πεδίο. Διορθώθηκε.
• 0.22.1: οι αγγλικές φωνές συλλάβιζαν τα ελληνικά ονόματα γράμμα γράμμα («Kappa Omega…»). Τώρα τα λένε όπως στα ελληνικά: το Κωνσταντίνος ακούγεται «Konstantinos». Και στο κινητό, το μενού μιας κάρτας ζαριών δεν κρύβεται πια κάτω από το όνομα της κάρτας.

Τι μένει ανοιχτό

Η πραγματική δοκιμή είναι το τραπέζι: κινητά στο χέρι, με φίλους. Κάποια πράγματα θέλουν πραγματικά κινητά και πραγματικές φωνές για να ρυθμιστούν, όπως το πόσο αυστηρός πρέπει να είναι ο έλεγχος της μεταγραφής, και το παρατεταμένο πάτημα σε διάφορα κινητά. Φωνές από το cloud (για ακόμα καλύτερη ελληνική φωνή) δεν υπάρχουν· η εφαρμογή τρέχει μόνο με τις δικές της φωνές για την ώρα.

Κάθε αλλαγή, μία προς μία, είναι στο CHANGELOG, το πώς δουλεύει η φωνή είναι στο docs/VOICE.md, και η ίδια η εφαρμογή στη σελίδα του ShadowRealms AI.