Мультимодальность — это применение нескольких видов грамотности в рамках одного средства. Несколько видов грамотности или «режимов» способствуют пониманию композиции аудиторией. [1] Все, от размещения изображений до организации контента и способа доставки, создает смысл. Это результат перехода от изолированного текста, на который полагались как на основной источник коммуникации, к изображению, которое чаще используется в цифровую эпоху. [2] Мультимодальность описывает коммуникационные практики с точки зрения текстовых, слуховых, языковых, пространственных и визуальных ресурсов, используемых для составления сообщений. [3]
В то время как все методы коммуникации, грамотности и сочинения являются и всегда были мультимодальными, [4] академическое и научное внимание к этому явлению начало набирать обороты только в 1960-х годах. Работы Ролана Барта и других привели к широкому спектру дисциплинарно различных подходов. Совсем недавно преподаватели риторики и сочинения включили мультимодальность в свои учебные курсы. В своем заявлении о позиции « Понимание и обучение письму: руководящие принципы » Национальный совет преподавателей английского языка утверждает, что «письмо» широко варьируется от письменного языка (например, того, который используется в этом заявлении) до графики и математической нотации». [5]
Хотя дискурс мультимодальности упоминает как среду, так и режим, эти термины не являются синонимами. Однако их точные масштабы могут пересекаться в зависимости от того, насколько точно (или нет) отдельные авторы и традиции используют эти термины.
Исследования Гюнтера Кресса по мультимодальности каноничны с социально-семиотическим подходом и имеют значительное влияние на многие другие подходы, такие как изучение письма . Кресс определяет «режим» двумя способами. Во-первых: режим — это то, что может быть социально или культурно сформировано, чтобы придать чему-то смысл. Изображения, фрагменты письма и речевые модели — все это примеры режимов. [6] Во-вторых: режимы являются семиотическими, сформированными внутренними характеристиками и их потенциалом в их среде, а также тем, что требуется от них их культурой или обществом. [7]
Таким образом, каждый режим имеет определенный исторический и культурный потенциал и/или ограничение для его значения. [8] Например, если бы мы разбили письмо на его модальные ресурсы, у нас были бы грамматика, словарный запас и графические «ресурсы» в качестве действующих режимов. Графические ресурсы можно далее разбить на размер шрифта, тип, цвет, размер, интервал внутри абзацев и т. д. Однако эти ресурсы не являются детерминированными. Вместо этого режимы формируют и формируются системами, в которых они участвуют. Режимы могут объединяться в мультимодальные ансамбли и со временем формироваться в знакомые культурные формы. Хорошим примером этого являются фильмы, которые объединяют визуальные режимы (в обстановке и в одежде), режимы драматического действия и речи и режимы музыки или других звуков. Исследования мультимодальной работы в этой области включают ван Лиувенвана; [9] Бейтмана и Шмидта; [10] и теорию Берна и Паркера о кинеконическом режиме . [11]
В социальных семиотических описаниях носитель — это субстанция, в которой смысл реализуется и через которую он становится доступным другим. К носителям относятся видео, изображение, текст, аудио и т. д. В социальном плане носитель включает семиотические , социокультурные и технологические практики. Примерами служат кино, газеты, рекламные щиты, радио, телевидение, классная комната и т. д. Мультимодальность также использует электронный носитель, создавая цифровые режимы с переплетением изображения, письма, макета, речи и видео. Носители стали способами доставки, которые учитывают текущий и будущий контексты.
Мультимодальность (как явление) получала все больше теоретических характеристик на протяжении всей истории коммуникации. Действительно, это явление изучалось по крайней мере с 4 века до н. э., когда классические риторы ссылались на него, делая акцент на голосе, жестах и выражениях в публичных выступлениях. [12] [13] Однако этот термин не был определен со значением до 20 века. За это время экспоненциальный рост технологий создал много новых способов представления. С тех пор мультимодальность стала стандартом в 21 веке, применяясь к различным сетевым формам, таким как искусство, литература, социальные сети и реклама. Мономодальность, или единственный режим, который использовался для определения представления текста на странице, был заменен более сложными и интегрированными макетами. Джон А. Бейтман говорит в своей книге «Мультимодальность и жанр» : «В настоящее время… текст — это всего лишь одна нить в сложной презентационной форме, которая бесшовно включает визуальный аспект «вокруг», а иногда даже вместо самого текста». [14] Мультимодальность быстро стала «нормальным состоянием человеческого общения». [4]
В 1960-х и 1970-х годах многие писатели обращались к фотографии, кино и аудиозаписям, чтобы открыть для себя новые идеи о сочинении. [15] Это привело к возрождению внимания к чувственной, самоиллюстрированной, известной как экспрессионизм . Экспрессионистские способы мышления побуждали писателей находить свой голос вне языка, помещая его в визуальную, устную, пространственную или временную среду. [16] Дональд Мюррей , которого часто связывают с экспрессионистскими методами обучения письму, однажды сказал: «Как писатели, важно, чтобы мы переходили от того, что внутри нас, к тому, что мы видим, чувствуем, слышим, обоняем и пробуем на вкус в окружающем нас мире. Писатель всегда использует опыт». Мюррей учил своих студентов-писателей «видеть себя в качестве камер», записывая каждое визуальное наблюдение, которое они делали в течение одного часа. [17] Экспрессионистская мысль подчеркивала личностный рост и связывала искусство письма со всем визуальным искусством, называя и то, и другое типом композиции. Кроме того, сделав письмо результатом чувственного опыта, экспрессионисты определили письмо как мультисенсорный опыт и потребовали, чтобы оно имело свободу сочинения во всех режимах, адаптированное для всех пяти чувств.
В 1970-х и 1980-х годах мультимодальность получила дальнейшее развитие благодаря когнитивным исследованиям обучения. Джейсон Палмери ссылается на таких исследователей, как Джеймс Берлин и Джозеф Харрис, как на важных для этого развития; Берлин и Харрис изучали алфавитное письмо и то, как его композиция сравнивалась с искусством, музыкой и другими формами творчества. [18] Их исследование имело когнитивный подход, который изучал, как писатели думали о своем процессе письма и планировали его. Джеймс Берлин заявил, что процесс сочинения письма можно напрямую сравнить с процессом создания изображений и звука. [19] Кроме того, Джозеф Харрис указал, что алфавитное письмо является результатом мультимодального познания. Писатели часто концептуализируют свою работу неалфавитными средствами, через визуальные образы, музыку и кинестетические чувства. [20] Эта идея нашла отражение в популярном исследовании Нила Д. Флеминга , более известном как нейролингвистические стили обучения . Три стиля Флеминга — слуховой, кинестетический и визуальный — помогли объяснить режимы, в которых люди лучше всего способны изучать, создавать и интерпретировать значение. Другие исследователи, такие как Линда Флауэр и Джон Р. Хейс, предположили, что алфавитное письмо, хотя и является основной модальностью , иногда не может передать неалфавитные идеи, которые хотел выразить писатель. [21]
Каждый текст имеет свою собственную определенную аудиторию и принимает риторические решения для улучшения восприятия аудиторией этого же текста. Таким же образом мультимодальность развилась, чтобы стать сложным способом обращения к аудитории текста. Опираясь на каноны риторики иным образом, чем раньше, мультимодальные тексты обладают способностью обращаться к более широкой, но более целенаправленной целевой аудитории. Мультимодальность делает больше, чем просто привлекает аудиторию; эффекты мультимодальности встроены в семиотическое, общее и технологическое понимание аудитории.
Появление мультимодальности на самом базовом уровне может изменить способ восприятия информации аудиторией. Самое базовое понимание языка происходит через семиотику — связь между словами и символами. Мультимодальный текст изменяет свой семиотический эффект, помещая слова с предвзятыми значениями в новый контекст, будь то аудио, визуальный или цифровой. Это, в свою очередь, создает новое, принципиально иное значение для аудитории. Беземер и Кресс, два ученых по мультимодальности и семиотике, утверждают, что студенты понимают информацию по-разному, когда текст доставляется вместе со вторичным носителем, таким как изображение или звук, чем когда он представлен только в буквенно-цифровом формате. Это связано с тем, что он привлекает внимание зрителя «как к исходному месту, так и к месту реконтекстуализации». [22] Значение перемещается из одного носителя в другой, что требует от аудитории переопределения своих семиотических связей. Реконтекстуализация оригинального текста в других средствах массовой информации создает у аудитории иное чувство понимания, и этот новый тип обучения можно контролировать с помощью типов используемых средств массовой информации.
Мультимодальность также может использоваться для связывания текста с определенной аргументативной целью, например, для изложения фактов, создания определения, вынесения оценочного суждения или принятия политического решения. Джин Фанесток и Мари Секор, профессора Мэрилендского университета и Университета штата Пенсильвания, назвали выполнение этих целей стазисами . [23] Стазис текста может быть изменен мультимодальностью, особенно когда несколько средств сопоставлены для создания индивидуализированного опыта или смысла. Например, аргумент, который в основном определяет концепцию, понимается как спорящий в стазисе определения; однако ему также может быть назначен стазис ценности, если способ подачи определения позволяет писателям оценить концепцию или судить о том, хорошо это или плохо. Если текст интерактивен, аудитория может создать свой собственный смысл с точки зрения, которую предоставляет мультимодальный текст. Подчеркивая различные состояния посредством использования различных модусов, писатели могут еще больше вовлечь свою аудиторию в процесс понимания.
Мультимодальность также скрывает концепцию жанра аудитории, создавая серые зоны из того, что когда-то было черным и белым. Кэролин Р. Миллер, выдающийся профессор риторики и технической коммуникации в Университете штата Северная Каролина, в своем жанровом анализе веблога отметила, как жанр изменился с изобретением блогов, заявив, что «существует полное согласие относительно центральных черт, которые делают блог блогом. Миллер определяет блоги на основе их обратной хронологии, частого обновления и сочетания ссылок с личными комментариями. [24] Однако центральные черты блогов скрывают при рассмотрении мультимодальных текстов. Некоторые черты отсутствуют, например, способность постов быть независимыми друг от друга, в то время как другие присутствуют. Это создает ситуацию, когда жанр мультимодальных текстов невозможно определить; скорее, жанр динамичен, эволюционен и постоянно меняется.
Доставка новых текстов радикально изменилась вместе с технологическим влиянием. Композиция теперь состоит из ожидания будущего исправления. Писатели думают о типе аудитории, для которой будет написан текст, и предвидят, как этот текст может быть реформирован в будущем. Джим Ридольфо ввел термин риторическая скорость, чтобы объяснить осознанную озабоченность расстоянием, скоростью, временем и путешествием, которые потребуются третьей стороне, чтобы переписать оригинальное сочинение. [25] Использование перекомпозиции позволяет аудитории быть вовлеченной в публичный разговор, добавляя свою собственную преднамеренность к исходному продукту. Этот новый метод редактирования и исправления приписывается эволюции цифрового текста и публикации, что дает технологии важную роль в написании и сочинении.
Мультимодальность развивалась вместе с технологией. Эта эволюция создала новую концепцию письма, совместный контекст, поддерживающий связь читателя и писателя. Концепция чтения отличается от влияния технологии из-за стремления к быстрой передаче информации. Ссылаясь на влияние мультимодальности на жанр и технологию, профессор Энн Фрэнсис Высоцки подробно останавливается на том, как чтение как действие изменилось отчасти из-за технологической реформы: «Эти различные технологии предлагают перспективы для рассмотрения и изменения подходов, которые мы унаследовали к составлению и интерпретации страниц...». [26] Наряду со взаимосвязанностью медиа, компьютерные технологии призваны сделать новые тексты возможными, влияя на риторику и аудиторию.
Мультимодальность в 21 веке заставила образовательные учреждения рассмотреть возможность изменения форм традиционных аспектов обучения в классе. С ростом цифровой и интернет-грамотности в классе необходимы новые способы общения в дополнение к печати, от визуальных текстов до цифровых электронных книг. Вместо того, чтобы заменять традиционные ценности грамотности, мультимодальность дополняет и повышает грамотность для образовательных сообществ, внедряя новые формы. По словам Миллера и Макви, авторов книги «Мультимодальное сочинение в классах », «Эти новые виды грамотности не отменяют традиционные виды грамотности. Учащимся по-прежнему необходимо уметь читать и писать, но новые виды грамотности интегрированы». [27] Результаты обучения в классе остаются прежними, включая, помимо прочего, чтение, письмо и языковые навыки. Однако эти результаты обучения теперь представляются в новых формах как мультимодальность в классе, что предполагает переход от традиционных средств массовой информации, таких как бумажный текст, к более современным средствам массовой информации, таким как экранные тексты. Выбор в пользу интеграции мультимодальных форм в классе все еще вызывает споры в образовательных сообществах. Идея обучения изменилась за эти годы, и теперь, как утверждают некоторые, должна адаптироваться к личным и эмоциональным потребностям новых учеников. Для того чтобы сообщества в классе были легитимно мультимодальными, все члены сообщества должны разделять ожидания относительно того, что можно сделать с помощью интеграции, требуя «изменения мышления многих педагогов о том, что составляет преподавание и обучение грамоте в мире, больше не ограниченном печатным текстом». [28]
Мультиграмотность — это концепция понимания информации посредством различных методов коммуникации и владения этими методами. С развитием технологий появляется больше способов общения, чем когда-либо прежде, что делает необходимым изменение нашего определения грамотности для лучшего приспособления к этим новым технологиям. Эти новые технологии состоят из таких инструментов, как текстовые сообщения, социальные сети и блоги. [29] Однако эти способы коммуникации часто используют несколько средств одновременно, таких как аудио, видео, изображения и анимация. Таким образом, делая контент мультимодальным.
Кульминацией этих различных сред является то, что называется конвергенцией контента, которая стала краеугольным камнем мультимодальной теории. [30] В рамках нашего современного цифрового дискурса контент стал доступен многим, его можно ремикшировать и легко распространять, что позволяет широкой публике потреблять, редактировать и улучшать идеи и информацию. [30] Примером может служить Википедия , платформа позволяет свободно потреблять и авторствовать ее работы, что, в свою очередь, способствует распространению знаний благодаря усилиям большого сообщества. Она создает пространство, в котором авторство стало совместным, а продукт указанного авторства улучшается благодаря этому сотрудничеству. Поскольку распространение информации росло благодаря этому процессу конвергенции контента, стало необходимым, чтобы наше понимание грамотности развивалось вместе с ним. [30]
Отход от письменного текста как единственного способа невербальной коммуникации привел к эволюции традиционного определения грамотности. [31] Хотя текст и изображение могут существовать отдельно, в цифровом виде или в печатном виде, их сочетание порождает новые формы грамотности и, таким образом, новое представление о том, что значит быть грамотным. Текст, будь то академический, социальный или развлекательный, теперь может быть доступен различными способами и редактироваться несколькими людьми в Интернете. Таким образом, тексты, которые обычно были бы конкретными, становятся аморфными в процессе сотрудничества. Устное и письменное слово не устарели, но они больше не являются единственным способом передачи и интерпретации сообщений. [31] Многие средства могут использоваться отдельно и индивидуально. Объединение и повторное использование одного способа коммуникации для другого способствовало развитию различных видов грамотности.
Коммуникация распространяется через среду посредством конвергенции контента, например, сообщения в блоге, сопровождаемые изображениями и встроенным видео. Эта идея объединения сред придает новый смысл концепции перевода сообщения. Кульминация различных форм медиа позволяет либо повторять контент, либо дополнять его частями. Такое преобразование информации из одного режима в другой известно как трансдукция. [31] Поскольку информация изменяется из одного режима в другой, наше понимание ее сообщения приписывается мультиграмотности. Сяоло Бао определяет три последовательных этапа обучения, которые составляют мультиграмотность. Метод грамматического перевода, коммуникативный метод и метод, основанный на задачах. Проще говоря, их можно описать как фундаментальное понимание синтаксиса и его функции, практику применения этого понимания к вербальной коммуникации и, наконец, применение указанного текстового и вербального понимания к практическим действиям. В эксперименте, проведенном Канадским центром науки и образования, студенты были помещены либо в класс с мультимодальной структурой курса, либо в класс со стандартной структурой учебного курса в качестве контрольной группы. Тесты проводились на протяжении двух курсов, причем мультимодальный курс завершился более высоким уровнем успешности обучения и, как сообщается, более высоким уровнем удовлетворенности среди студентов. Это указывает на то, что применение мультимодальности к обучению, как было обнаружено, дает в целом лучшие результаты в развитии мультиграмотности, чем традиционные формы обучения при тестировании в реальных жизненных ситуациях. [32]
Мультимодальность в классах привела к необходимости эволюционного определения грамотности. По словам Гюнтера Кресса, популярного теоретика мультимодальности, грамотность обычно относится к комбинации букв и слов для создания сообщений и смысла и часто может быть присоединена к другим словам для выражения знаний в отдельных областях, таких как визуальная или компьютерная грамотность. Однако, поскольку мультимодальность становится все более распространенной не только в классах, но и в рабочей и социальной среде, определение грамотности выходит за рамки класса и традиционных текстов. Вместо того, чтобы ссылаться только на чтение и алфавитное письмо или распространяться на другие области, грамотность и ее определение теперь охватывают несколько режимов. Она стала больше, чем просто чтение и письмо, и теперь включает в себя визуальное, технологическое и социальное использование среди прочего. [31]
Программа письма и коммуникации Georgia Tech создала определение мультимодальности на основе аббревиатуры WOVEN. [33] Аббревиатура объясняет, как коммуникация может быть письменной, устной, визуальной, электронной и невербальной. Коммуникация имеет несколько режимов, которые могут работать вместе для создания смысла и понимания. Цель программы — гарантировать, что студенты могут эффективно общаться в своей повседневной жизни, используя различные режимы и средства. [33]
По мере того, как технологии в классе становятся все более плодовитыми, так же как и мультимодальные задания. Учащиеся в 21 веке имеют больше возможностей для общения в цифровом формате, будь то текстовые сообщения, блоги или социальные сети. [34] Этот рост компьютерного управления общением потребовал, чтобы классы стали мультимодальными, чтобы научить учащихся навыкам, необходимым в рабочей среде 21 века. [34] Однако в обстановке класса мультимодальность — это больше, чем просто объединение нескольких технологий, а скорее создание смысла посредством интеграции нескольких режимов. Учащиеся учатся с помощью комбинации этих режимов, включая звук, жесты, речь, изображения и текст. Например, в цифровых компонентах уроков часто присутствуют изображения, видео и звуковые фрагменты, а также текст, чтобы помочь учащимся лучше понять предмет. Мультимодальность также требует, чтобы учителя выходили за рамки обучения только с помощью текста, поскольку печатное слово — это только один из многих режимов, которые учащиеся должны изучать и использовать. [31] [34] [35]
Применение визуальной грамотности в классе английского языка можно проследить до 1946 года, когда в издании популярной серии учебников для начальной школы «Дик и Джейн» для преподавателей предлагалось обучать студентов «читать картинки, а также слова» (стр. 15). [36] В 1960-х годах в нескольких отчетах Национального совета преподавателей английского языка предлагалось использовать телевидение и другие средства массовой информации, такие как газеты, журналы, радио, кинофильмы и комиксы, в классе английского языка. Похожая ситуация наблюдается в обучении письму в высших учебных заведениях. С 1972 года визуальные элементы были включены в некоторые популярные учебники по письму для колледжей двадцатого века, такие как « Письмо с целью » Джеймса Маккриммона . [36]
Колледжи и университеты по всему миру начинают использовать мультимодальные задания для адаптации к доступным в настоящее время технологиям. Назначение мультимодальной работы также требует от профессоров научиться обучать мультимодальной грамотности. Внедрение мультимодальной грамотности в высшее образование изучается, чтобы найти лучший способ обучения и назначения мультимодальных заданий. [35]
Мультимодальность в условиях колледжа можно увидеть в статье Терезы Морелл, где она обсуждает, как преподавание и обучение выявляют смысл с помощью таких режимов, как язык, говорение, письмо, жесты и пространство. Исследование наблюдает за преподавателем, который проводит мультимодальную групповую деятельность со студентами. Предыдущие исследования наблюдали за различными классами, использующими такие режимы, как жесты, пространство класса и PowerPoints. Текущее исследование наблюдает за комбинированным использованием преподавателем нескольких режимов в обучении, чтобы увидеть его влияние на участие студентов и концептуальное понимание. Она объясняет различные пространства класса, включая авторитетное пространство, интерактивное пространство и личное пространство. Анализ показывает, как мультимодальный выбор преподавателя включает участие студентов и понимание. В среднем преподаватель использовал от трех до четырех режимов, чаще всего это были взгляд, жест и речь. Он заставил студентов участвовать, сформулировав групповое определение культурных стереотипов. Было обнаружено, что те, кто изучает второй язык, зависят не только от устного и письменного слова для концептуального обучения, что означает, что мультимодальное образование имеет преимущества. [37] [35]
Мультимодальные задания включают в себя множество аспектов, помимо написанных слов, которые могут выходить за рамки обучения преподавателей. Преподавателей учили оценивать традиционные задания, но не те, которые используют ссылки, фотографии, видео или другие режимы. Дон Ломбарди — профессор колледжа, которая призналась своим студентам, что она была немного «технологически неуклюжа», когда задавала мультимодальное эссе с использованием графики. Самая сложная часть в этих заданиях — это оценка. Преподаватели испытывают трудности с оценкой этих заданий, потому что переданный смысл может не совпадать с тем, что имел в виду студент. Они должны вернуться к основам преподавания, чтобы сконфигурировать то, что они хотят, чтобы их студенты изучали, достигали и демонстрировали, чтобы создать критерии для мультимодальных заданий. Ломбарди разработала критерии оценки, основанные на креативности, контексте, содержании, процессе и сотрудничестве, которые были представлены студентам до начала написания эссе. [35]
Другим типом письменных заданий, связанных с визуальными материалами, является визуальный анализ, особенно анализ рекламы, который начался в 1940-х годах и был распространен в послесреднем обучении письму в течение по крайней мере 50 лет. [36] Эта педагогическая практика визуального анализа не фокусировалась на том, как визуальные материалы, включая изображения, макет или графику, объединяются или организуются для создания значений. [36]
Затем, в течение последующих лет, применение визуальных средств в классе композиции постоянно изучалось, и акцент был смещен на визуальные особенности — поля, макет страницы, шрифт и размер — композиции и ее связь с графическим дизайном, веб-страницами и цифровыми текстами, которые включают изображения, макет, цвет, шрифт и расположение гиперссылок. В соответствии с New London Group, Джордж (2002) утверждает, что как визуальные, так и вербальные элементы имеют решающее значение в мультимодальных проектах. [36]
Признавая важность как языка, так и визуальных средств в коммуникации и создании смысла, Шипка (2005) далее выступает за мультимодальную, основанную на задачах структуру, в которой учащимся предлагается использовать различные режимы и материалы — печатные тексты, цифровые медиа, видеозаписи выступлений, старые фотографии — и любые их комбинации при составлении своих цифровых/мультимодальных текстов. Между тем, учащимся предоставляются возможности доставлять, получать и распространять свои цифровые продукты. Таким образом, учащиеся могут понять, как системы доставки, приема и распространения взаимосвязаны с производством их работы. [38]
Мультимодальность имеет значение в различных сообществах, таких как частные, государственные, образовательные и социальные сообщества. Из-за мультимодальности частная сфера развивается в общественную сферу, в которой функционируют определенные сообщества. Поскольку социальная среда и мультимодальность взаимно влияют друг на друга, каждое сообщество развивается по-своему. Эта эволюция очевидна в языке, как обсуждали Грифони, Д'Улиция и Ферри в своей работе. [39]
На основе этих представлений сообщества решают посредством социального взаимодействия, как обычно понимаются режимы. Таким же образом, эти предположения и определения того, как функционирует мультимодальность, могут фактически создавать новые культурные и социальные идентичности. Например, Беземер и Кресс определяют режимы как «социально и культурно сформированные ресурсы для создания смысла». По словам Беземера, «для того, чтобы что-то «было режимом», в сообществе должно быть общее культурное чувство набора ресурсов и того, как они могут быть организованы для реализации смысла». [ [40] ] Культуры, которые черпают информацию из разных или похожих ресурсов знаний, понимания и представлений, будут общаться посредством разных или похожих режимов. [22] Знаки, например, являются визуальными режимами коммуникации, определяемыми нашими повседневными потребностями.
В своей диссертации Элизабет Дж. Флейтц, доктор философии по английскому языку со специализацией в риторике и письме из Университета Боулинг-Грин-Стейт, утверждает, что кулинарная книга, которую она описывает как изначально мультимодальную, является важным феминистским риторическим текстом. [41] По словам Флейтц, женщины могли формировать отношения с другими женщинами посредством общения в социально приемлемой литературе, такой как кулинарные книги; «Пока женщина выполняет свою гендерную роль, мало внимания уделяется растущему количеству власти, которую она получает как в частной, так и в общественной сферах». Женщины, которые были бы привержены домашнему хозяйству, могли стать публикуемыми авторами, получив голос в фаллогоцентрическом обществе, не будучи рассматриваемыми как угрозы. Женщины пересмотрели и адаптировали различные способы письма в соответствии со своими собственными потребностями. По словам Синтии Ганнетт, автора книги «Гендер и дневник», ведение дневника, произошедшее от мужского дневника, «интегрировало и подтвердило восприятие женщинами домашней, социальной и духовной жизни, а также вызвало чувство собственного достоинства». [42] Именно эти методы исправления характеризуют женскую литературу как мультимодальную. Рецепты внутри кулинарных книг также можно квалифицировать как мультимодальные. Рецепты, представленные через любой носитель, будь то кулинарная книга или блог, можно считать мультимодальными из-за «взаимодействия между телом, опытом, знаниями и памятью, мультимодальными грамотностями», которые все связаны друг с другом, создавая наше понимание рецепта. Обмен рецептами — это возможность для нетворкинга и социального взаимодействия. По словам Фляйц, «Это взаимодействие, несомненно, мультимодальное, поскольку эта сеть «обходится» альтернативными формами коммуникации за пределами доминирующих дискурсивных методов, чтобы продвигать и продвигать социальные и политические цели женщин». Кулинарные книги — это лишь единичный пример способности мультимодальности формировать идентичность сообщества, но они удачно демонстрируют нюансные аспекты мультимодальности. Мультимодальность не просто охватывает осязаемые компоненты, такие как текст, изображения, звук и т. д., но также черпает вдохновение из опыта, предшествующих знаний и культурного понимания.
Еще одно изменение, произошедшее из-за перехода от частной среды к публичной, — это формирование аудитории. [43] В уединении дома семья обычно ориентируется на определенную аудиторию: членов семьи или друзей. Как только фотографии становятся публичными, обращаются к совершенно новой аудитории. Как отмечает Пауэлс, «аудиторию могут игнорировать, предупреждать и извиняться за тривиальный контент, напрямую обращаться к ней, касаясь личных историй, или приветствовать как высоко ценимую публику, которую нужно развлекать и приглашать для предоставления обратной связи». [43]
В повседневной жизни мультимодальное построение и передача смысла повсеместны. Однако академическое письмо сохранило подавляющее доминирование лингвистического ресурса вплоть до настоящего времени (Бланка, 2015). Необходимость открыть игру для других возможных форм письма в академии заключается в убеждении, что семиотические ресурсы, используемые в процессах академического исследования и коммуникации, оказывают влияние на результаты (Сусанис, 2015), поскольку оба процесса связаны в эпистемическом потенциале письма, понимаемом здесь в мультимодальных терминах. Поэтому идея заключается не в «украшении» академического дискурса иллюстративными визуальными ресурсами, а скорее в обеспечении других способов мышления, новых ассоциаций; в конечном итоге, новых знаний, возникающих из переплетения различных вербальных и невербальных модусов. Стратегическое использование дизайна страницы, сопоставление текста в колонках или текста и изображения, а также использование типографики (в шрифте, размере, цвете и т. д.) — вот лишь несколько примеров того, как можно использовать семиотический потенциал жанров академического обращения. Это связано с возможностями обогащения форм академического письма путем обращения к нелинейному текстовому развитию в дополнение к линейному и путем натяжения изображения и текста в их бесконечных возможностях создания смысла (Mussetta, Siragusa & Vottero, 2020; [44] Lamela Adó & Mussetta, 2020; [45] Mussetta, Lamela Adó & Peixoto, 2021 [46] )
В настоящее время появляется все больше художественных повествований, которые исследуют и наглядно используют текст и материальность книги в ее традиционном формате для построения смысла: это то, что некоторые критики называют мультимодальными романами (Hallet 2009, стр. 129; Gibbons 2012b, стр. 421 и др.), но которые также получают название визуальных или гибридных (Luke 2013, стр. 21; Reynolds 1998, стр. 169; Sadokierski 2010, стр. 7). Эти повествования включают в себя различные семиотические ресурсы и режимы, начиная от стратегического использования различных типографик и пустых мест и заканчивая включением рисунков, фотографий, карт и диаграмм, которые не соответствуют обычному представлению об иллюстрации, но являются неразрывной частью сюжета, с определенными функциями в их вкладе смысла в произведение в его многочисленных комбинациях (Mussetta 2014; [47] Mussetta, 2017a; [48] Mussetta, 2017b; [49] Mussetta 2017c; [50] Mussetta, 2020 [51] ).
В бизнес-секторе мультимодальность создает возможности как для внутренних, так и для внешних улучшений эффективности. Подобно сдвигам в образовании для использования как текстовых, так и визуальных элементов обучения, мультимодальность позволяет предприятиям иметь лучшую коммуникацию. По словам Валы Афшар, этот переход впервые начал происходить в 1980-х годах, когда «технологии стали неотъемлемой частью бизнеса». Этот уровень коммуникации усилился с интеграцией цифровых медиа и инструментов в 21 веке. [52]
Внутри компании мультимодальные платформы используются для аналитических и системных целей, среди прочего. Благодаря мультимодальности компания повышает свою производительность, а также создает прозрачность для руководства. Улучшение производительности сотрудников благодаря этим практикам может коррелировать с постоянным интерактивным обучением и интуитивными цифровыми инструментами. [53]
Мультимодальность используется извне для повышения удовлетворенности клиентов за счет предоставления нескольких платформ во время одного взаимодействия. С ростом популярности текстовых сообщений, чатов и социальных сетей в 21 веке большинство компаний пытаются продвигать кросс-канальное взаимодействие. Компании стремятся повысить качество обслуживания клиентов и быстро решить любую потенциальную проблему или запрос. Цель компании с внешней мультимодальностью заключается в улучшении коммуникации в режиме реального времени для повышения эффективности обслуживания клиентов. [54]
Одним из изменений, вызванных многограмотной средой, является то, что тексты частной сферы становятся более публичными. Частная сфера описывается как среда, в которой люди имеют чувство личного авторитета и дистанцируются от институтов, таких как правительство. Семья и дом считаются частью частной сферы. Семейные фотографии являются примером мультимодальности в этой сфере. Семьи делают фотографии (иногда подписывая их) и собирают их в альбомы, которые, как правило, предназначены для показа другим членам семьи или аудитории, которую семья позволяет. Эти когда-то частные альбомы все чаще выходят в публичную среду Интернета из-за быстрого развития и принятия технологий. [43]
По словам Люка Пауэлса , профессора коммуникационных исследований в Университете Антверпена , Бельгия, «мультимедийный контекст Интернета предоставляет частным создателям изображений и рассказчикам все более гибкую среду для создания и распространения фактов и вымыслов об их жизни». [43] Эти относительно новые веб-платформы позволяют семьям манипулировать фотографиями и добавлять текст, звук и другие элементы дизайна. [43] Используя эти различные режимы, семьи могут создать историю своей жизни, которая будет представлена потенциально универсальной аудитории. Пауэлс утверждает, что «оцифрованные (и, возможно, цифровым способом «откорректированные») семейные снимки... могут больше рассказать о нематериальной стороне семейной культуры: ценностях, убеждениях и стремлениях группы людей». [43] Эта нематериальная сторона семьи лучше демонстрируется с помощью использования мультимодальности в Интернете, поскольку определенные события и фотографии могут иметь приоритет над другими в зависимости от того, как они организованы на сайте, [43] а другие визуальные или аудиокомпоненты могут помочь в вызывании сообщения.
Подобно эволюции семейной фотографии в цифровой семейный альбом, происходит эволюция дневника в личный веблог. Как утверждают профессора Университета штата Северная Каролина Кэролин Миллер и Дон Шеперд, «феномен веблога поднимает ряд риторических вопросов,… [таких как] своеобразное пересечение публичного и личного, которое веблоги, по-видимому, приглашают». [24] У блогеров есть возможность сообщать личные материалы в публичном пространстве, используя слова, изображения, звуки и т. д. Как описано в примере выше, люди могут создавать рассказы о своей жизни в этом расширяющемся публичном сообществе. Миллер и Шеперд говорят, что «подтверждение все чаще происходит через посредничество, то есть через доступ, внимание и интенсификацию, которые предоставляют медиа». [24] Блогеры могут создавать «реальный» опыт для своей аудитории(ей) благодаря непосредственности Интернета. «Реальный» опыт относится к «перспективной реальности, закрепленной в личности блогера». [24]
Информация представляется посредством дизайна цифровых медиа, взаимодействуя с мультимедиа для предложения мультимодального принципа композиции. Стандартные слова и изображения могут быть представлены в виде движущихся изображений и речи для того, чтобы усилить значение слов. Джодди Мюррей написал в «Сочинении мультимодальности», что как дискурсивная риторика, так и недискурсивная риторика должны быть изучены, чтобы увидеть режимы и средства, используемые для создания такой композиции. Мюррей также включает преимущества мультимодальности, которая позволяет «признавать и встраивать в наши процессы письма важность эмоций в текстовом производстве, потреблении и распространении; поощрять цифровую грамотность, а также нецифровую грамотность в текстовой практике». [2] Мюррей демонстрирует новый способ мышления о композиции, позволяя изображениям быть «чувственными и эмоциональными» символами того, что они представляют, не сосредотачиваясь так сильно на «концептуальном и абстрактном».
Мюррей пишет в своей статье, используя книгу Ричарда Лэнхэма « Электронный мир: демократия, технологии и искусство» , как пример мультимодальности, как «дискурсивный текст находится в центре всего, что мы делаем», продолжая говорить о том, как студенты сосуществуют в мире, который «включает блоги, подкасты, модульные сообщества веб-пространств, обмен сообщениями по мобильному телефону…», призывая студентов обучаться тому, как сочинять с помощью риторического ума в этих новых и не очень новых текстах. «Культурные изменения, и Лэнхэм предполагает, переориентируют теорию письма на изображение», демонстрируя, как происходит изменение в соотношении алфавита и значков в электронном письме. Один из таких ярких примеров можно увидеть на примере продукта Apple , iPhone , в котором « эмодзи » рассматриваются как значки на отдельной клавиатуре, чтобы передать то, что слова когда-то передавали. [55] Другой пример — Prezi. Prezi, часто сравниваемый с Microsoft PowerPoint, — это облачное приложение для презентаций, позволяющее пользователям создавать текст, вставлять видео и создавать визуально эстетичные проекты. Презентации Prezi масштабируют взгляд, приближая, удаляя, поднимая и опуская его, чтобы создать многомерную привлекательность. Пользователи также используют различные медиа в этой среде, которая сама по себе уникальна.
В 1990-х годах мультимодальность приобрела масштабы с появлением Интернета , персональных компьютеров и других цифровых технологий. Грамотность нового поколения изменилась, люди привыкли к тексту, передаваемому частями, неформально и на различных носителях изображения, цвета и звука. Это изменение представляло собой фундаментальный сдвиг в том, как представлялось письмо: от печатного к экранному. [56] Грамотность развивалась таким образом, что ученики приходили в классы, обладая знаниями в области видео, графики и компьютерных навыков, но не алфавитного письма. Педагогам пришлось изменить свою практику преподавания, включив мультимодальные уроки, чтобы помочь ученикам добиться успеха в письме в новом тысячелетии.
В публичной сфере мультимедиа обычно относится к реализации графики в рекламе, анимации и звука в рекламных роликах, а также к областям пересечения. Одна из идей, стоящих за этим использованием мультимедиа, заключается в том, что с помощью технологий можно охватить большую аудиторию посредством потребления различных технологических средств или, в некоторых случаях, как сообщалось в 2010 году через Kaiser Family Foundation , может «помочь стимулировать увеличение потребления». [ требуется цитата ] Это радикальное изменение по сравнению с пятью годами ранее: «8–18-летние тратят в среднем 7 часов и 38 минут на использование медиа в течение обычного дня (более 53 часов в неделю)». [ требуется цитата ] С возможностью достижения многоплатформенных социальных сетей и цифровых рекламных кампаний Федеральная торговая комиссия (FTC) также вводит новые правила о том, как рекламодатели могут общаться со своими потребителями через социальные сети. [58] Поскольку мультимодальные инструменты часто привязаны к социальным сетям, важно оценить потребителя в этих честных практиках. Такие компании, как Burberry Group PLC и Lacoste SA (модные дома Burberry и Lacoste соответственно) вовлекают своих потребителей через популярный блог-сайт Tumblr ; Publix Supermarkets, Inc. и Jeep вовлекают своих потребителей через Twitter ; знаменитости и спортивные команды/спортсмены, такие как Селена Гомес и The Miami Heat, также вовлекают свою аудиторию через Facebook с помощью фан-страниц. Эти примеры не ограничивают присутствие этих конкретных сущностей одним средством, а предлагают широкий спектр того, что найдено для каждого соответствующего источника.
Мультимедийная реклама является результатом анимации и графического дизайна, используемых для продажи продуктов или услуг. Существуют различные формы мультимедийной рекламы через видео, онлайн-рекламу и DVD, CD и т. д. Эти каналы предоставляют компаниям возможность увеличить свою клиентскую базу с помощью мультимедийной рекламы. Это необходимый вклад в маркетинг продуктов и услуг. Например, онлайн-реклама является примером новой волны в отношении использования мультимедиа в рекламе, которая дает множество преимуществ онлайн-компаниям и традиционным корпорациям. Новые технологии сегодня привели к эволюции мультимедиа в рекламе и отходу от традиционных методов. Важность мультимедийной рекламы значительно возросла для компаний в их эффективности для маркетинга или продажи продуктов и услуг. Корпоративная реклама связана с идеей, что «Компании, вероятно, будут обращаться к более широкой аудитории и увеличивать продажи с помощью поисковой оптимизации , обширного исследования ключевых слов и стратегического связывания». [59] Концепция рекламной платформы может охватывать несколько носителей, но, по своей сути, быть сосредоточена вокруг одной и той же схемы.
Coca-Cola провела всеобъемлющую кампанию «Открытое счастье» на нескольких медиа-платформах, включая печатную рекламу, [60] веб-рекламу и телевизионную рекламу. [61] Целью этой центральной функции было донести общее сообщение на нескольких платформах, чтобы еще больше побудить аудиторию поверить в повторяющееся сообщение. Сила таких мультимедийных кампаний с мультимедиа заключается в том, что они реализуют все доступные медиа — любое из которых может оказаться успешным с другим членом аудитории. [61]
Социальные медиа и цифровые платформы повсеместно распространены в сегодняшней повседневной жизни. [62] Эти платформы не работают исключительно на основе своего первоначального состава; они используют медиа из других технологий и инструментов, чтобы добавить многомерность тому, что будет создано на их собственной платформе. Эти дополнительные модальные функции создают более интерактивный опыт для пользователя.
До появления Web 2.0 большинство веб-сайтов размещали информацию, практически не взаимодействуя с читателем. [63] В рамках Web 2.0 социальные сети и цифровые платформы используются в повседневной жизни для предприятий, юридических фирм в рекламе и т. д. Цифровые платформы начинаются с использования средств массовой информации вместе с другими технологиями и инструментами для дальнейшего улучшения и совершенствования того, что будет создано на их собственной платформе. [64]
Хэштеги (#topic) и теги пользователей (@username) используют метаданные для отслеживания «трендовых» тем и оповещения пользователей об использовании их имени в посте на сайте социальной сети. Используемые различными сайтами социальных сетей (в частности, Twitter и Facebook), эти функции добавляют внутреннюю связь между пользователями и темами. [65] [66] [67] Характеристики мультимодальной функции можно увидеть через опцию обновления статуса на Facebook . Обновления статуса объединяют возможности личных блогов, Twitter , мгновенных сообщений и текстовых сообщений в одной функции. Кнопка обновления статуса 2013 года в настоящее время предлагает пользователю «О чем вы думаете?», что является изменением по сравнению с 2007 годом: «Что вы делаете прямо сейчас?». Это изменение было добавлено Facebook для обеспечения большей гибкости для пользователя. [68] Эта мультимодальная функция позволяет пользователю добавлять текст, видео, изображение, ссылки и отмечать других пользователей. 140 символов в одном сообщении микроблоговой платформы Twitter позволяет пользователям ссылаться на других пользователей, веб-сайты и прикреплять изображения. Это новое медиа является платформой, которая влияет на практику грамотности нынешнего поколения, сжимая разговорный контекст интернета в меньшее количество символов, но инкапсулируя несколько медиа.
Другие примеры включают «блог», термин, придуманный в 1999 году как сокращение от «веб-журнал», основа блогинга часто приписывается разным людям в середине-конце 90-х. В сфере блогинга видео, изображения и другие медиа часто добавляются к текстовым записям, чтобы создать более многогранное чтение. [69]
Одно из современных цифровых приложений мультимодальности в сфере образования было разработано Джеймсом Джи с помощью его подхода эффективного обучения с помощью видеоигр. Джи утверждает, что существует множество знаний об обучении, которые школы, рабочие места, семьи и исследователи-академики должны получить из хороших компьютерных и видеоигр, таких как «целый набор фундаментально обоснованных принципов обучения», которые можно использовать во многих других областях, например, когда речь идет о преподавании науки в школах. [70]
Другим применением мультимодальности является цифровое кинопроизводство, иногда называемое «цифровым повествованием». Цифровая история определяется как короткометражный фильм, который включает цифровые изображения, видео и аудио для создания лично значимого повествования. Благодаря этой практике люди выступают в роли режиссеров, используя мультимодальные формы представления для проектирования, создания и распространения своих жизненных историй или обучающих историй с определенной аудиторией, как правило, через онлайн-платформы. Цифровое повествование, как практика цифровой грамотности, обычно используется в образовательных учреждениях. Оно также используется в основных средствах массовой информации, учитывая растущее число проектов, которые мотивируют членов онлайн-сообщества создавать и распространять свои цифровые истории. [71]
Мультимодальность также является растущей методологией, используемой в социальных науках. Мы не только видим область мультимодальной антропологии , но также наблюдается растущий интерес к ней как к методологии в социологии и менеджменте.
Например, исследователи управления выделили «материальный и визуальный поворот» в исследовании организаций. [72] Выходя за рамки мультимодального характера этнографических исследований, [73] эта растущая область исследований заинтересована в выходе за рамки просто текстовых данных как единого режима, например, выходе за рамки текста для понимания визуальных режимов коммуникации и таких вопросов, как легитимность новых предприятий. [74] Мультимодальность может включать пространственные, слуховые, визуальные, чувственные и другие данные, возможно, с несколькими режимами, встроенными в материальный объект. [75]
Мультимодальность может использоваться, в частности, для построения смысла, например, в институциональной теории , мультимодальные композиции могут усиливать воспринимаемую обоснованность конкретных нарративов. [76] Мультимодальные методы могут также использоваться для деинституционализации неустойчивых частей института с целью поддержания института. [77] Помимо институциональной теории, мы можем обнаружить «мультимодальные исторические подсказки», встроенные в определенные исторические практики, подчеркивающие способ, которым организации могут использовать определенные отношения с прошлым, [78] и мультимодальные дискурсы, которые позволяют организациям заявлять о законной, но отличительной идентичности, по крайней мере, с помощью визуальных и вербальных дискурсов. [79] Иногда работа, проводимая под знаменем мультимодальности, охватывает экспериментальные исследования, такие как обнаружение того, что суждение инвесторов может сильно зависеть от визуальной информации, несмотря на то, что эти люди относительно не осознают, насколько визуальные факторы влияют на их решения, [80] область, которая предполагает необходимость проведения дополнительных исследований силы мемов и дезинформации в визуальных режимах, движущих социальные движения в социальных сетях.
Один интересный момент, наблюдаемый в этой растущей области исследований, заключается в том, что некоторые исследователи придерживаются позиции, что мультимодальное исследование не просто выходит за рамки фокусировки на тексте как данных, но утверждают, что для того, чтобы быть действительно мультимодальным, исследование требует более одной модальности. То есть, вовлечения «нескольких режимов коммуникации (например, визуальной и вербальной, или визуальной и материальной)». [81] Это, по-видимому, дальнейшее развитие исследователей, которые присоединяются к ярлыку мультимодального, но затем сосредотачиваются на одной модальности, такой как изображения, например, демонстрируя интерес к модальностям, выходящим за рамки просто текстовых данных. Другой интересный момент для будущих исследований можно увидеть в контрастах, например, между мультимодальными и конкретно «кросс-модальными» моделями. [82]
{{cite journal}}: Цитировать журнал требует |journal=( помощь ){{cite journal}}: Цитировать журнал требует |journal=( помощь ){{cite journal}}: Цитировать журнал требует |journal=( помощь ){{cite web}}: CS1 maint: numeric names: authors list (link){{cite book}}: CS1 maint: location missing publisher (link)