НАУКА Речь и жесты скомпенсировали ухудшение изображения во время видеозвонков

Trujillo et al. / The Royal Society, 2022

Исследователи из Нидерландов выяснили, что люди говорят громче и изменяют жестикуляцию во время общения по видеосвязи, когда изображение ухудшается. В исследовании авторы изменяли четкость видеоизображения во время разговора друзей и обнаружили, что речь и жесты адаптируются к ситуации для улучшения коммуникации, когда визуальный канал нарушается.

Речь и жесты позволяют нам выстраивать взаимодействие с другими людьми в обществе, поэтому широко изучаются в разных сферах науки. Так, например, антропологи рассматривают их с точки зрения развития языка споря о том, что появилось раньше — речь или жесты. Социальные же и когнитивные науки часто изучают их в контексте успешности взаимодействия — передачи информации от одного человека к другому. Этот процесс не всегда бывает удачным: коммуникация может быть нарушена на разных этапах взаимодействия, в том числе, из-за окружающего шума. У непроизвольного повышения голоса в таких условиях даже есть название — эффект Ломбарда. Такой эффект компенсирует появившийся громкий шум и повышает разборчивость речи.

Сегодня люди активно используют различные интерфейсы для удаленного взаимодействия, такие как Zoom или Skype. Они также становятся предметом изучения не только как способ общения с друзьями, но и как инструмент для учебы и работы, ставший еще более популярным во время пандемии ковида. Особый интерес вызывает проявление социальных привычек в контексте удаленного общения: например, одно из исследований показало, что установка системы жестов для выражения отношения к происходящему на занятии помогла студентам в обучении по видеосвязи.

Голландские ученые во главе с Джеймсом Трухильо (James P. Trujillo) из Университета Неймегена провели эксперимент, чтобы выяснить, будут ли речь и жесты адаптироваться к нарушению визуального канала во время удаленного общения. Для этого они пригласили 20 пар друзей, которых попросили общаться в течение 40 минут на обычные темы, находясь в разных комнатах. Во время разговора через интерфейс, похожий на Zoom, программа накладывала размытие по Гауссу на видеоизображение. Размытие проходило в 10 этапов, которые сменялись каждые четыре минуты: для 10 пар направление было от размытого изображения к четкому, а для других 10 пар в обратную сторону. Авторы записывали фронтальное и боковое видео говорящих, а также звук для последующего анализа.

С помощью алгоритма захвата движения исследователи выделили движения тела участников во время разговора. Они обнаружили квадратичную зависимость между качеством изображения и движением рук и торса. То есть, с увеличением уровня размытия видео общие движения говорящего сначала снижались (примерно до среднего уровня размытия), а затем, наоборот, усиливались.

Авторы также анализировали отдельные характеристики речи и жестов.

Так, интенсивность (громкость) речи была выше тогда, когда говорящий использовал жесты (p < 0,001), и тоже зависела от искаженности изображения: интенсивность повышалась, когда изображение ухудшалось (p = 0,016). Тон голоса был зависим от присутствия жестов, но не от искажения изображения (p < 0,001).

Скорость (p < 0,001), время удержания (p < 0,009) и размер (p < 0,001) жестов показали позитивную квадратичную зависимость от размытия изображения: с ухудшением изображения эти характеристики увеличивались до пятого уровня размытия, а после него снижались. А вот глубина (растягивание жестов в сторону собеседника для сокращения воспринимаемой дистанции) показала обратную зависимость (p < 0,009).

Таким образом, авторы показали, что при нарушении условий коммуникации люди начинают говорить громче и менять жестикуляцию. При этом энергичность жестикуляции при ухудшении изображения сначала снижается, а затем вновь усиливается, а вот размер этих жестов, наоборот, сначала увеличивается, а потом уменьшается.

Анастасия Ляшенко
nplus1.ru