Спектральные характеристики ЭЭГ при прослушивании музыкальных мелодий, выражающих эмоциональные состояния

Abstract — Проведены исследования эмоционального влияния на человека музыкальных мелодий. В рамках разработки и тестирования методики экспресс-оценки настроя мелодий проводилась регистрация электрических потенциалов мозга во время их прослушивания. Последующий анализ измерений ставил цель – определить соответствие полученных достоверных изменений алгоритму прогнозирования развития у человека доминирующих эмоций при влиянии акустического воздействия на комплексный психоэмоциональный фон.

Полученные результаты показали закономерности чередования ритмов активности мозга, характерные для эмоционального восприятия каждой отдельной мелодии. Музыкальные мелодии сопровождения (аудиотрек) имеют значение не только в разработках инженерной психологии, применяемых для повышения производительности труда, эффективности принятия решений, развития творческих идей и интуиции. Полученные данные о механизмах влияния мелодий на эмоции человека могут быть использованы также для развития концепции эмоциональной составляющей искусственного интеллекта.

Keywords — эмоции, музыка, психоакустика, электроэнцефалограмма, искусственный интеллект.

1.        INTRODUCTION

Любое прослушивание музыки связано с её эмоциональным восприятием. Для саморегуляции своего эмоционального состояния человек нередко обращается к прослушиванию определённых мелодий. Действительно, слушание музыки пробуждает эмоции. Но они могут восприниматься людьми по-разному [1,2,3]. Существуют определённые стратегии восприятия эмоций у целевых групп [4], у лиц с различной национальной культурой [5,6,7]. Поэтому для объективной оценки эмоционального состояния человека, вызванного восприятием музыкальной мелодии, необходимо разрабатывать специальные методики. К настоящему времени с помощью уже известных методик (вегетативных реакций, психоэмоциональных тестов, поведенческих реакций и регистрации ЭЭГ) исследователи могли определить знак (положительные или отрицательные) и силу эмоций [7,8]. Однако сохраняется необходимость объективной оценки вида базовых эмоций, проявляющихся у человека. Для решения этой проблемы были сформулированы следующие задачи.

• Найти мелодии, наиболее адекватно отражающие базовые эмоции.
• Определить условия прослушивания мелодий и стандартизовать их.
• Использовать объективные методы регистрации состояния человека в процессе прослушивания мелодий.
• По полученным объективным данным провести анализ состояния человека – оператора (испытуемого), оценить индивидуальную и групповую вариативность и выделить объективные параметры, отражающие характерные признаки базовых эмоций.
• Оценить возможность использования разработанной методики для оценки эмоционального состояния человека при прослушивании различных мелодий.

II. МЕТОДИКА

В исследовании участвовала группа испытуемых, занимающихся интеллектуальным трудом (13 чел., из них 5 женщин и 8 мужчин), в возрасте от 30 до 60 лет.

Для тестирования и оценки эмоционального состояния была использована система акустического воздействия. Предполагалось, что идентификация эмоциональных значений испытуемыми проходит на уровне слухового восприятия информации намного точнее, нежели с опорой, например, на мимические или иные изображения эмоциональных значений [9]. Поэтому предпочли использовать музыкальные мелодии с определённым эмоциональным содержанием. Но при этом учитывали, что музыка может вызывать два типа эмоций: распознаваемые и испытываемые [10]. Это означает, что при прослушивании какой-либо эмоциональной музыки участники исследования могут испытывать двойственные ощущения. Например, если испытуемые осознают эмоцию печали при прослушивании грустной музыки, то это не означает, что они сами впадают в состояние печали и депрессии. С другой стороны, эмоциональная мелодия может запустить у испытуемого процесс перехода в соответствующее эмоциональное состояние. Возможно, уровень перехода к эмоциональному сопереживанию мелодии будет зависеть от исходного развития этого чувства или иначе – эмпатии. Речь идёт о расширении сферы восприятия.

Для тестирования эмоционального восприятия испытуемых были использованы музыкальные аудиотреки, каждый из которых содержал доминирующую эмоцию: печаль, радость, вдохновение, тревожность, эйфория. Подбор мелодий основывался на предположении, что словесное содержание песни является основным показателем её принадлежности к выражению той или иной базовой эмоции, а создатель песенной мелодии и исполнитель песни, иногда в одном лице, стремится выразить в музыке и в её звучании эту эмоцию так, как он её чувствует и понимает. В проводимом исследовании во время предъявления песенной мелодии её словесный сюжет звучал на незнакомом испытуемому языке или был исключён, чтобы у испытуемого была единственная возможность оценить эмоциональное содержание мелодии по её звучанию и музыкальной структуре.

В качестве наиболее адекватных методов получения объективных данных о динамике эмоциональных состояний сознания выбраны нейрофизиологические способы регистрации активности головного мозга - электроэнцефалограммы (ЭЭГ).

Регистрацию ЭЭГ проводили на 24-канальном нейровизоре NVX24 производства ООО "Медицинские Компьютерные Системы" с использованием стандартных монополярных отведений в соответствии с принятой международной схемой 10-20 [11].

Исследования проводились в стандартных условиях, одинаковых для каждого испытуемого. Биопотенциалы мозга регистрировали при закрытых глазах в состоянии бодрствования с психической и мышечной релаксацией и в процессе прослушивания мелодий, отобранных по принципу содержания выбранных для исследования доминирующих эмоций. Для исключения влияния шумовых помех или случайных звуковых сигналов были использованы наушники.

Объективные данные в виде изменения активности мозга получали при проведении тестовых испытаний – при прослушивании мелодий, выражающих следующие эмоции:

- печаль: Creedence Clearwater Revival - Hideaway

- радость: Creedence Clearwater Revival- Ooby Dooby

- вдохновение: Jethro Tull - Moths

- тревога Sweet - No You Don't

- эйфория: Simon & Garfunkel - El Condor Pasa

Для оценки изменений ЭЭГ при тестовых испытаниях использовали процедуру сравнения с ЭЭГ в состоянии фона, то есть психической и мышечной релаксации с закрытыми глазами (для снижения уровня сигналов, поступающих от тела и через зрительный канал). В этом случае фоновые показатели активности мозга становились началом отсчёта, так как условия регистрации (освещение, уровень шумовых помех, температура воздуха, состояние организма и т.д.) оставались одинаковыми как в фоне, так и при выполнении тестов. Поэтому отличия в показателях, которые возникали при выполнении тестов, были отнесены непосредственно к тестируемым процессам. Поскольку функциональная изменчивость ЭЭГ характерна и в пределах нормы, то во внимание принимались только статистически достоверные отличия.

Система обработки данных

Основная цель обработки данных регистрации заключалась в сопоставлении самоотчетов испытуемых, наблюдаемых паттернов в ритмах мозга и локализации центров электрической активности, ответственных за происхождение этих паттернов. Для этого использовали пакеты компьютерных программ, обеспечивающих спектральный анализ регистрируемых сигналов и топографическое картирование спектральных характеристик ЭЭГ [12]. В результате получали распределение показателей мощности частотного спектра по отдельным областям на поверхности полушарий мозга. Использован статистический анализ данных для определения достоверности полученных как индивидуальных, так и групповых изменений.

С целью выявления наиболее выраженных реакций при выполнении индивидуальных проб вычисляли локализацию и распределение эквивалентных дипольных источников (ЭДИ) происхождения электрической активности в глубинных структурах мозга. Для этого определяли и отслеживали в объёме мозга человека локализацию ЭДИ, вычисляемых в каждый момент времени, равный дискретному интервалу отсчёта данных при вводе в компьютер. Программа использовалась для того, чтобы проследить возникновение центров электрической активности в структурах мозга при различных эмоциональных состояниях. Вопрос о соответствии локализации источников в глубинных структурах мозга той биоэлектрической активности, которая регистрировалась на поверхности головы, решался специальным алгоритмом, в котором рассматривались электрические свойства мозга как объёмного проводника [13,14].

III. RESULTS & DISCUSSION

Слуховое восприятие музыкального произведения – это сложный многоэтапный процесс. Первично воспринимаются основные физические параметры музыки: темп/ритмика, тональность/мелодика, громкость/экспрессия/динамика, спектр. Они распознаются первичными центрами слухового восприятия, расположенными в височных долях коры головного мозга – это цитоархитектонические поля 41 и 42 по Бродману [15]. Однако нужно полагать, что проекции в кору сенсорных систем значительно сложнее. Они включают в себя одновременные потоки первичной информации разной функциональности и поэтому направляются не только в ядро слухового анализатора [16].

Первичные ответы в коре головного мозга регистрируются с латентным периодом 10…100 мс. В связи с этим, предполагаемые изменения спектральных характеристик ЭЭГ ожидаются в диапазонах гамма (30-45 Гц), бета1,2 (13-30 Гц), альфа (7,5-13 Гц) ритмов преимущественно в зонах первичного представительства как в коре мозга, так и в подкорковых образованиях.

Ядро слухового анализатора имеет тенденцию отвечать на чистые тоны с хорошо настроенными диапазонами низкой частоты и тонотопическим проведением изочастотного диапазона. Основная часть сигналов поступает непосредственно от вентральной части таламуса. Вокруг централизованного ядра находится область зоны слуховой коры, её основные таламические входы происходят в дорсальном, и медиальном ядрах, а также получает несколько входов от вентрального таламического ядра. Подкорковые структуры на этом уровне реагируют на специфические особенности акустических стимулов, а слуховая кора интегрирует их, обеспечивая распознавание физических характеристик звука. Третья область паразоны, располагается вентрально по отношению к зоне и получает плотные связи от зоны, но почти ни одной от ядра. Паразона имеет корковые входы неслуховых областей, которые прилежат к верхней височной борозде. Эта схема может играть важную роль в полисенсорной обработке (например, аудиовизуальные взаимодействия). Из областей паразоны и зоны звуковые сигналы поступают на четвертый уровень нейронной обработки в пределах височных, париетальных, и лобных долей. Смысл этих отношенийзаключается в том, что многие участки мозга, даже те, что строго не считаются центрами обработки звуков, получают звуковые импульсы и имеют решающее значение для их правильной обработки.

Могут быть выделены височные структуры замедленного темпа (<30 Гц) и ускоренного темпа (>50 Гц). При ускоренном темпе, опережающем способности частоты нейронной реакции, должны использоваться другие стратегии. При высокой интенсивности поступления сигналов в височные структуры колебания протекают в диапазоне миллисекунд, что имеет значение для восприятия музыки. 

Во время прослушивания мелодии мозг испытуемого, прежде всего, физически воспринимает психоакустические и музыкальные характеристики аудиопотока, настроенного на выражение эмоции (в данном случае – печали).

Поскольку каждая мелодия имеет уникальную последовательность физических характеристик и их сочетаний между собой, то эту последовательность звуков и их сочетаний мозг также воспринимает в первую очередь. Эти реакции мозга на звуковые сигналы выражаются возникновением многочисленных ЭДИ не только в ядре слухового анализатора, но также в его зоне и в паразоне. Как и предполагалось, ответные реакции и их ЭДИ максимально выражены в высокочастотном диапазоне гамма ритма ЭЭГ. В п.4 рис.1 перечислены не только поля Бродмана в коре мозга, но также ядра таламуса, гиппокамп, свод и мамиллярные тела, поясная извилина, миндалевидное тело, полосатое тело и другие образования, имеющие отношение к возникновению и регуляции эмоций. Это означает, что звуковые сигналы поступают некоторым множеством потоков одновременно в разнообразные структуры мозга, возбуждая ту самую уникальную пространственно-временную последовательность и уникальные сочетания реакций на звуки, которые были заложены в музыкальном произведении. У каждого испытуемого картина распределения ЭДИ ритмов ЭЭГ становится, с одной стороны, уникальной, с другой – не выходит за пределы обозначенных структур мозга. При этом не исключено, что каждый ЭДИ является продуктом прогнозирования последующего развития сценария музыкального произведения

Известно, что обозначенные выше структуры мозга имеют множественные нейронные связи как между собой, так и восходящие к коре головного мозга и нисходящие через спинной мозг к интероцептивным полям отдельных органов. Восходящие влияния могут вызывать активацию соответствующей зоны коры головного мозга, которая может сопровождаться изменением психоэмоционального состояния. Степень возбуждения интероцептивных полей нисходящими импульсами с помощью обратной связи с участием коры левого полушария вызывает реакцию оценки изменений состояния человека. Это и есть «плата телом» по Л.Ф.Баррет [2].

Как и следовало ожидать, каждый испытуемый при прослушивании отдельной мелодии имел ярко выраженные эмоциональные реакции, которые отмечались при опросе и отражались в статистически достоверных изменениях спектральных характеристик ЭЭГ. Во всех тестовых испытаниях достоверные изменения спектральной мощности относились, прежде всего, к височным долям и зонам слухового восприятия. Дополнительно участвовали затылочная область с зонами зрительного восприятия, лобные области, ассоциативные зоны теменных областей. При прослушивании некоторых танцевальных мелодий наблюдалась активация моторных и сенсорных зон в центральной области.

Ожидалось, что статистический анализ данных группы испытуемых, в целом, повторит достоверность изменений индивидуальных спектральных характеристик. Однако были получены только хорошо выраженные тенденции.

Несмотря на это, при групповом анализе были получены статистически достоверные отклонения спектральной мощности отдельных узкополосных по частоте ритмов. Но эти отклонения оценивались по отношению к спектральной мощности стандартных диапазонов дельта, бета и гамма ритмов, в состав которых и входили отдельные узкополосные ритмы. Данный статистический показатель отражает процентное отношение спектральной мощности узкополосного по частоте ритма к спектральной мощности своего стандартного диапазона.

Достоверные изменения процентной мощности наблюдаются в диапазонах бета и гамма ритмов. В стандартных диапазонах тета и альфа ритмов достоверных изменений не получено. Достоверность изменений говорит о том, что выделенные узкополосные по частоте колебания отражают непосредственные реакции на физические признаки звука в мелодии, поэтому эти колебания относятся к стандартным диапазонам гамма и бета ритмов. Поскольку условия проведения исследований были стабильными, то результаты, полученные при прослушивании мелодий с разной эмоциональной настройкой, показали специфичность реакций для каждой мелодии. Интересно отметить, что эта специфичность измеряется в процентном отношении к показателям стандартного диапазона. Это означает, что спектральные характеристики стандартных диапазонов ритмов остаются в определённых границах стабильности. Общая система остаётся сбалансированной.

В рамках баланса изменения происходят наиболее часто в височных и лобных зонах коры (в скобках указано количество случаев).

Для выделенных узкополосных по частоте колебаний стандартного диапазона гамма ритма:

- возрастание % мощности – T3(6), F8(4), T5(3), Pz(3), F7(2) C3(2) Cz(2), F4(2), C4(2), P4(2), Oz(2), Fz, O1,O2, T4;

- снижение % мощности – F7(3), Oz(3), O1(4), T5(2), T6(2), F8(5), Cz(2), Fz(2), P4(2), C4, T4, O2, Pz T3, P3, C3, F3.

Для выделенных узкополосных по частоте колебаний стандартного диапазона бета ритма:

- возрастание % мощности – F8, Fz, F4, F8, C4, F7;

- снижение % мощности – T3, T5, O2, Oz

Важно отметить, что в стандартном диапазоне бета ритма мелодии с выражением эмоций отрицательного знака (печаль, тревога) имеют достоверное повышение % мощности в узких частотных полосах в правом полушарии, а с выражением эмоций положительного знака (радость, вдохновение, эйфория) в стандартных диапазонах бета и гамма ритмов – в левом полушарии.

Таким образом, можно говорить о специфичности схем возрастания и снижения спектральной мощности набора узкополосных по частоте ритмов для каждой прослушанной мелодии. Это позволяет прогнозировать эффект влияния в качестве саундтрек на более широкий круг слушателей.

Однако остаётся вопрос, почему индивидуальные прослушивания эмоциональных мелодий дают яркий достоверный результат, а групповой анализ показывает только тенденции?

Имеет значение исходный эмоциональный уровень восприятия, общий комплекс взаимодействия между зонами коры и более глубокими структурами в каждом полушарии, а также между самими полушариями.

Каждый человек имеет свои психофизиологические и нейрофизиологические особенности восприятия. Задача настоящего исследования как раз и заключается в том, чтобы независимо от исходного психоэмоционального настроя определить признаки нейрофизиологического влияния эмоциональных мелодий, или просто направленности влияний базовых эмоций, выраженных в мелодиях.

Групповая статистика показывает, что при прослушивании каждой отдельной музыкальной композиции имеется своё уникальное сочетание активации зон коры мозга и частоты колебаний. Отслеживание изменений спектральной мощности колебаний ЭЭГ с шагом в 1 Гц методом картирования на всей поверхности коры больших полушарий даёт ряд преимуществ в оценке данных и уверенность, благодаря постоянной и достаточно высокой их воспроизводимости.

Тенденции изменений спектральной мощности ЭЭГ на поверхности коры мозга, благодаря чётким условиям проведения исследования, относятся непосредственно к прослушиванию мелодий и отражают изменения психоэмоционального состояния испытуемого. Известно, что за качество психоэмоционального эффекта отвечают, в первую очередь, височные доли и лобные области обоих полушарий. С этими областями дополнительно могут взаимодействовать и другие отделы мозга [16].

На рис.3.1 представлен комплекс карт коры мозга, на которых во время прослушивания мелодии с выражением печали происходит возрастание мощности ритмов в гамма диапазоне в средне- и задневисочных зонах, а также в лобных отделах и по сагиттальной линии. Такое распределение является отличительной особенностью реакции мозга на прослушивание мелодии печали.

Во время прослушивания мелодии, выражающей вдохновение (рис.3.3) или эйфорию (рис.3.5), преобладает увеличение спектральной мощности в передних отделах коры мозга и в левом полушарии. Такое распределение характерно для положительных эмоций. При прослушивании мелодии, условно калиброванной как “вдохновение”, преобладает увеличение мощности ритмов, начиная с частоты 3-4 Гц и выше, а для мелодии “эйфория” – начиная с частоты 7-8 Гц и выше. Наиболее активные зоны лобно-височные F7 и F8, Т3 больше слева, при прослушивании мелодии “вдохновение” дополнительно активными становятся зрительные зоны О1, Oz. Сочетание слуховых и зрительных зон придают дополнительные оттенки эмоциональному восприятию мелодий. Таким образом, есть сходство и различия реакций мозга в восприятии обеих положительных эмоций.

Мелодии, выражающие эмоции радость (рис.3.2), при прослушивании сопровождаются возрастанием спектральной мощности в сенсомоторных зонах (С3, С4) на частотах бета и гамма. Активация корковых сенсомоторных зон происходит под влиянием восходящих систем центральных ядер таламуса и, возможно, отражает мысленное движение или желание двигаться. Это характерно для танцевальных мелодий и для некоторых эмоций типа гнева, агрессии и др.

Прослушивание мелодии, выражающей тревогу (рис.3.4), сопровождается увеличением спектральной мощности дельта и тета ритмов преимущественно в правом полушарии. При этом наблюдается снижение спектральной мощности в диапазонах бета и гамма ритмов. Распределение спектральной мощности ритмов ЭЭГ является уникальным для данной мелодии и не повторяется при прослушивании других мелодий.

Полученные результаты показали выраженные и упорядоченные тенденции изменения спектральных характеристик ЭЭГ в отдельных зонах коры головного мозга. При этом возрастание спектральной мощности ритмов ЭЭГ наблюдалось преимущественно в височных зонах, а для отдельных музыкальных композиций дополнительно в центральных (сенсомоторных), затылочных (зрительных) и лобных отделах. Показаны чёткие различия характеристик ЭЭГ при прослушивании разных аудиотреков, выражающих эмоциональные состояния человека. Поскольку группа испытуемых была подобрана случайным образом, то полученное сходство нейрофизиологических реакций и психоэмоциональных отчётов восприятия мелодий, выражающих не только знак эмоции, но и отобранные классические эмоциональные состояния, всё это позволяет признать эффективность разработанной методики. Методику можно использовать для создания групповых статистических шаблонов восприятия каждой конкретной мелодии.

IV. CONCLUSION

1 Проведены исследования изменений спектральных характеристик ЭЭГ при прослушивании музыкальных мелодий, выражающих эмоциональные состояния человека: печаль, радость, вдохновение, тревогу, эйфорию. Разработана методика проведения исследования.

2. Выявлена неоднозначность индивидуальных эмоций, возникающих при прослушивании тестовых мелодий. Однако в каждом индивидуальном эмоциональном состоянии отражались отдельные особенности восприятия музыки, характерные для группы в целом вне зависимости от личностного уровня эмпатии каждого оператора.

3. Применение группового статистического анализа с использованием методов нейрокартирования позволило выявить отдельные алгоритмы деятельности мозга, соответствующие характерным для группы общим признакам эмоциональных состояний, которые возникают при прослушивании конкретного музыкального аудиотрека, несущего доминирующую эмоцию.

V. FUTURE WORK

Объективные нейрофизиологические методы исследования эмоциональных реакций группы испытуемых на музыкальные воздействия подтверждают возможность разработки и использования экспресс-метода прогнозирования реакции мозга на музыкальный аудиотрек. Эти исследования имеют значение в разработках в области инженерной психологии, психоакустики и высоко достоверных алгоритмов распознавания эмоций. Полученные данные о механизмах влияния музыки на эмоции человека могут быть использованы также для развития концепции эмоциональной составляющей в системах искусственного интеллекта.

REFERENCES

Авторы:

Koekina Olga, candidate of medical Sciences, Director of the Scientific center for consciousness research.

Her area of interest is EEG Signal Processing and Networking applications.

Кузяев Александр, руководитель Лаборатории Хаоса, автор концепции распознавания эмоций EMUSE.

Область интересов:

- Исследование скрытых закономерностей в хаотических потоках, прогнозирование

- Алгоритмы распознавания эмоций в музыке

- Синтез интерактивной музыки.