Forscher der Northwestern University haben das erste intelligente tragbare Gerät entwickelt, das kontinuierlich verfolgt, wie oft Menschen ihre Stimme verwenden, und sie vor Überbeanspruchung warnt, bevor Stimmermüdung und mögliche Verletzungen eintreten.
Das erste batteriebetriebene, drahtlose Gerät seiner Art und die dazugehörigen Algorithmen könnten für professionelle Sänger, Lehrer, Politiker, Call-Center-Mitarbeiter, Trainer und alle, die sich auf ihre Stimme verlassen, um effektiv zu kommunizieren und zu machen, ein Wendepunkt sein ein Leben. Es könnte auch Ärzten helfen, Patienten mit Stimmstörungen während ihrer gesamten Behandlung aus der Ferne und kontinuierlich zu überwachen.
Die von einem interdisziplinären Team aus Materialwissenschaftlern, biomedizinischen Ingenieuren, Opernsängern und einem Sprachpathologen entwickelte Forschungsarbeit hinter der neuen Technologie wird in der Woche vom 20. Februar im veröffentlicht Proceedings of the National Academy of Sciences.
Das weiche, flexible, briefmarkengroße Gerät schmiegt sich bequem an die obere Brust, um die subtilen Vibrationen zu spüren, die mit Sprechen und Singen verbunden sind. Von dort werden die erfassten Daten sofort über Bluetooth auf das Smartphone oder Tablet der Benutzer gestreamt, sodass sie ihre Stimmaktivitäten den ganzen Tag über in Echtzeit überwachen und die kumulative Gesamtstimmnutzung messen können. Benutzerdefinierte maschinelle Lernalgorithmen unterscheiden zwischen Sprechen und Singen, sodass Sänger jede Aktivität separat verfolgen können.
Mit der App können Benutzer ihre personalisierten Stimmschwellen einstellen. Wenn sie sich dieser Schwelle nähern, gibt ihr Smartphone, ihre Smartwatch oder ein begleitendes Gerät am Handgelenk ein haptisches Echtzeit-Feedback als Alarm. Dann können sie ihre Stimme ausruhen, bevor sie es zu weit treiben.
„Das Gerät misst präzise die Amplitude und Frequenz beim Sprechen und Singen“, sagte John A. Rogers von Northwestern, ein Pionier der Bioelektronik, der die Entwicklung des Geräts leitete. „Diese beiden Parameter sind am wichtigsten, um die Gesamtbelastung zu bestimmen, die auf die Stimmlippen auftritt. Die Kenntnis dieser Parameter, sowohl zu einem bestimmten Zeitpunkt als auch kumulativ im Laufe der Zeit, ist für das Management gesunder Stimmmuster unerlässlich.“
„Die Leute vergessen leicht, wie oft sie ihre Stimme benutzen“, sagte Theresa Brancaccio von Northwestern, eine Stimmexpertin, die die Studie mitleitete. „Erfahrene klassische Sänger sind sich ihres Stimmgebrauchs bewusster, weil sie gelebt und gelernt haben. Aber manche Menschen – insbesondere weniger ausgebildete Sänger oder Menschen wie Lehrer, Politiker und Sporttrainer, die für ihren Job viel sprechen müssen – – erkennen oft nicht, wie sehr sie es treiben. Wir möchten ihnen ein größeres Bewusstsein vermitteln, um Verletzungen vorzubeugen.“
Rogers ist Louis Simpson and Kimberly Querrey Professor of Materials Science and Engineering, Biomedical Engineering and Neurological Surgery an der McCormick School of Engineering und der Northwestern University Feinberg School of Medicine. Er ist außerdem Direktor des Querrey Simpson Institute for Bioelectronics. Brancaccio, eine angesehene Opernsängerin und Mezzosopranistin, ist Dozentin an der Northwestern’s Bienen School of Music, wo sie Gesang und Gesangspädagogik unterrichtet.
Überbeanspruchung nicht bewusst
Für die Millionen von Menschen in den USA, die ihren Lebensunterhalt mit Sprechen oder Singen verdienen, ist Stimmermüdung eine ständige Bedrohung. Die häufige Erkrankung tritt auf, wenn überbeanspruchte Stimmlippen anschwellen, die Stimme kratzig klingt und die Ausdauer verliert. Stimmermüdung wirkt sich insbesondere negativ auf Sänger aus und verändert ihre Fähigkeit, klar zu singen oder die gleichen Töne zu treffen wie ihre gesunde Stimme. Bestenfalls kann eine kurze Stimmermüdung die Pläne eines Sängers kurzzeitig unterbrechen. Im schlimmsten Fall kann es zu genug Schaden führen, um eine Karriere zu entgleisen.
Mangelndes Bewusstsein ist das zugrunde liegende Problem. Menschen stellen selten eine Verbindung zwischen stimmlichen Aktivitäten und der Auswirkung dieser Aktivitäten auf ihre Stimme her. Obwohl einer von 13 Erwachsenen in den USA schon einmal Stimmermüdung erlebt hat, bemerken die meisten Menschen nicht, dass sie ihre Stimme überstrapazieren, bis die Heiserkeit bereits einsetzt.
„Was Menschen in Schwierigkeiten bringt, ist, wenn sich Ereignisse häufen“, sagte Brancaccio. „Sie haben vielleicht Proben, geben Unterricht, sprechen während der Unterrichtsdiskussionen und gehen dann zu einer lauten Party, wo sie die Hintergrundgeräusche übertönen müssen. Dann werfen sie eine Erkältung oder Krankheit in die Mischung. Die Leute haben keine Ahnung, wie viel sie sind Husten oder Räuspern. Wenn sich diese Ereignisse über Tage häufen, kann das die Stimme stark belasten.“
Fächerübergreifende Verbindung
Als Verfechterin der Stimmgesundheit hat Brancaccio Jahrzehnte damit verbracht, Wege zu finden, ihre Schüler darauf aufmerksam zu machen, wie oft sie ihre Stimme einsetzen. 2009 forderte sie ihre Schüler auf, ein Papierbudget zu führen – unter anderem jedes Mal, wenn sie sprachen, sangen und Wasser tranken, schriftlich aufzuschreiben. Etwa 10 Jahre später wandelte sie das System in Singer Savvy um, eine App, die jedem Benutzer ein personalisiertes Gesangsbudget bietet und den Benutzern hilft, dieses Budget einzuhalten.
Unabhängig davon hatte Rogers in Zusammenarbeit mit Forschern des Shirley Ryan AbilityLab ein drahtloses tragbares Gerät entwickelt, um das Schlucken und Sprechen bei Schlaganfallpatienten zu verfolgen. Der verbandähnliche Sensor misst Schluckfähigkeiten und Sprachmuster, um den Genesungsprozess von Schlaganfallpatienten zu überwachen. In den ersten Wochen der COVID-19-Pandemie modifizierte das Team von Rogers die Technologie, um Husten als Schlüsselsymptom der Krankheit zu überwachen.
„Ich wollte mehr Daten sammeln und unser Tracking-System präziser und genauer machen“, sagte Brancaccio. „Also habe ich mich an John gewandt, um zu sehen, ob seine Sensoren uns helfen könnten, mehr Informationen zu sammeln.“
„Ich dachte, es wäre eine großartige Gelegenheit für uns, unsere Technologien über unsere sehr wichtigen, aber eng zielgerichteten Anwendungen im Gesundheitswesen hinaus auf etwas auszudehnen, das eine breitere Bevölkerung von Benutzern erreichen könnte“, sagte Rogers. „Jeder, der seine Stimme ausgiebig einsetzt, könnte davon profitieren.“
Das Paar arbeitete auch mit dem Logopäden und Stimmexperten Aaron M. Johnson zusammen, um zu untersuchen, wie die Geräte zur Bewertung und Überwachung der Behandlung von Patienten mit Stimmstörungen eingesetzt werden könnten. Johnson, der das Voice Center der NYU Langone mitleitet, sagte, das kleine drahtlose Gerät könne helfen, die Stimmen der Patienten in der realen Welt zu verfolgen – außerhalb einer klinischen Umgebung.
„Ein wichtiger Teil der Stimmtherapie besteht darin, Menschen zu helfen, zu ändern, wie – und wie viel – sie ihre Stimme verwenden“, sagte Johnson, Co-Autor der Studie und außerordentlicher Professor in der Abteilung für Hals-Nasen-Ohrenheilkunde an der NYU Grossman School of Medicine. „Dieses Gerät wird es Patienten und ihren Ärzten ermöglichen, Stimmgebrauchsmuster zu verstehen und Anpassungen an der Stimmforderung vorzunehmen, um die Stimmermüdung zu reduzieren und die Erholung von Stimmstörungen zu beschleunigen. Die Generalisierung von Stimmtechniken und -übungen aus Therapiesitzungen in das tägliche Leben ist einer der herausforderndsten Aspekte von Stimmtherapie, und dieses Gerät könnte diesen Prozess erheblich verbessern.“
Von Sängern trainierte Algorithmen
Das Team modifizierte die vorhandenen Geräte von Rogers, um die Stimmbelastung im Laufe der Zeit präzise zu messen. Dazu gehören Frequenz, Lautstärke, Amplitude, Dauer und Tageszeit. Wie die früheren Geräte von Rogers für COVID-19- und Schlaganfallpatienten erfasst auch das neue Gerät Vibrationen, anstatt Audio aufzuzeichnen. Dadurch kann das Gerät die Stimmaktivität des Benutzers genau erkennen und nicht die ihn umgebenden Umgebungsgeräusche.
Die größte Herausforderung bestand darin, Algorithmen zu entwickeln, die Sprechen von Singen unterscheiden können. Um diese Herausforderung zu meistern, rekrutierte Brancaccio Gesangs- und Opernstudenten, um eine Vielzahl von Gesangsübungen durchzuführen, um die maschinellen Lernalgorithmen zu trainieren. Ein Team klassischer Sänger mit unterschiedlichen Stimmlagen – von Bass bis Sopran – trug die Geräte beim Summen, Singen von Staccato-Tonleitern und Liedern, Lesen und mehr. Jeder Sänger erzeugte 2.500 einsekündige Gesangsfenster und 2.500 einsekündige Sprechfenster.
Der resultierende Algorithmus kann das Singen mit einer Genauigkeit von über 95 % vom Sprechen trennen. Und wenn es in einer Chorumgebung verwendet wird, erfasst das Gerät nur Daten des Trägers und keine Geräusche von Sängern in der Nähe.
„Langes Reden ist eine der anstrengendsten Aktivitäten für Leute, die sich zu professionellen Sängern ausbilden lassen“, sagte Brancaccio. „Durch die Trennung von Singen und Sprechen kann es den Menschen helfen, mehr Bewusstsein dafür zu entwickeln, wie viel sie sprechen. Es gibt Hinweise darauf, dass selbst kurze 15- bis 20-minütige Perioden völliger Stille, die über den Tag verteilt sind, dem Stimmlippengewebe helfen können, sich zu erholen und zu reparieren. „
Wie man es benutzt
Um das Gerät zu verwenden, klebt der Träger es einfach auf das Brustbein unterhalb des Halses und synchronisiert das Gerät mit der zugehörigen App. Das Team von Rogers arbeitet derzeit an einer Methode, um die Gesangsbudgets für jeden Benutzer zu personalisieren. Hier drücken Benutzer eine Taste in der App, wenn sie zu irgendeinem Zeitpunkt während des Tages Stimmbeschwerden verspüren, wodurch die momentane und kumulative Stimmbelastung zu diesem Zeitpunkt effektiv erfasst wird. Diese Daten können als personalisierte Schwelle für Stimmermüdung dienen. Wenn sich der Benutzer seinem personalisierten Schwellenwert nähert oder diesen überschreitet, vibriert ein haptisches Gerät als Alarm.
Dieses haptische Gerät ähnelt in Größe und Form einer Armbanduhr und enthält mehrere Motoren, die in unterschiedlichen Mustern und mit unterschiedlicher Intensität aktiviert werden können, um unterschiedliche Botschaften zu übermitteln. Benutzer können auch eine grafische Anzeige innerhalb der App überwachen, die Informationen in Sprech- und Gesangskategorien aufteilt.
„Es verwendet Bluetooth, sodass es mit jedem Gerät kommunizieren kann, in das ein haptischer Motor eingebettet ist“, sagte Rogers. „Sie müssen also nicht unser Armband verwenden. Sie können einfach eine Standard-Smartwatch für haptisches Feedback nutzen.“
Obwohl es andere Stimmüberwachungsgeräte gibt, verwenden diese große Halsbänder, Haltedrähte und sperrige Geräte. Einige verwenden auch eingebettete Mikrofone, um hörbare Stimmdaten zu erfassen, was zu Datenschutzbedenken führt.
„Diese funktionieren nicht für die kontinuierliche Überwachung in einer realen Umgebung“, sagte Brancaccio. „Anstatt umständliche, kabelgebundene Ausrüstung zu tragen, kann ich dieses weiche, tragbare Gerät aufkleben. Sobald es eingeschaltet ist, merke ich es nicht einmal. Es ist superleicht und einfach.“
Was kommt als nächstes
Da die früheren Geräte von Rogers Körpertemperatur, Herzfrequenz und Atemaktivität erfassen, haben die Forscher diese Fähigkeiten in das Stimmüberwachungsgerät integriert. Sie glauben, dass diese zusätzlichen Daten dazu beitragen werden, grundlegende Forschungsfragen zur Stimmermüdung zu untersuchen.
„Das ist eher spekulativ, aber es könnte interessant sein zu sehen, wie sich körperliche Aktivität auf die Stimmermüdung auswirkt“, sagte Rogers. „Wenn jemand beim Singen tanzt, ist das für die Stimmlippen mehr Stress als jemand, der sich nicht körperlich anstrengt? Das sind die Fragen, die wir stellen und quantitativ beantworten können.“
In der Zwischenzeit freut sich Brancaccio, dass ihre Schüler ein Werkzeug haben, das ihnen helfen kann, Verletzungen vorzubeugen. Sie hofft, dass andere – einschließlich Nicht-Sänger – den Vorteil erkennen, ihre Stimmbänder gesund zu halten.
„Ihre Stimme ist Teil Ihrer Identität – ob Sie Sängerin sind oder nicht“, sagte sie. „Es ist ein wesentlicher Bestandteil des täglichen Lebens und es lohnt sich, es zu schützen.“
Die Studie „Closed-Loop Network of Skin-Interfaced Wireless Devices for Quantifying Vocal Ermüdung und Bereitstellung von Benutzer-Feedback“ wurde vom Querrey Simpson Institute for Bioelectronics an der Northwestern University unterstützt.