Мультимодальность - Википедия - Multimodality

Мультимодальность это применение нескольких грамот в одном носителе. Например, понимание телевизионного прогноза погоды (средний) включает понимание разговорной речи, письменной речи, языка, специфичного для погоды (например, температурных шкал), географии и символов (облака, солнце, дождь и т. Д.). Множественная грамотность или "режимы" способствуют пониманию композиции публикой. Все, от размещения изображений до организации контента и способа доставки, создает смысл. Это результат перехода от изолированного текста, на который полагаются как на основной источник коммуникации, к изображению, которое чаще используется в эпоху цифровых технологий.[1] Мультимодальность описывает коммуникативные практики с точки зрения текстовых, звуковых, лингвистических, пространственных и визуальных ресурсов, используемых для составления сообщений.[2]

Хотя вся практика общения, грамотности и сочинения всегда была мультимодальной,[3] академическое и научное внимание к этому явлению начало набирать обороты только в 1960-х годах. Работа Ролана Барта и других привела к широкому диапазону дисциплинарных подходов. Совсем недавно преподаватели риторики и композиции включили мультимодальность в свои курсы. В заявлении о своей позиции Понимание и обучение письму: руководящие принципы, то Национальный совет преподавателей английского языка заявляют, что «письмо» широко варьируется от письменного языка (такого, который используется в этом заявлении) до графики и математических обозначений ».[4]

Определение

Хотя обсуждения мультимодальности часто включают упоминания как среды, так и способа, эти два термина не являются синонимами: их точная степень, однако, может перекрываться в зависимости от того, насколько точно (или нет) отдельные авторы и традиции используют эти термины.

Гюнтер Кресс Изучение мультимодальности является каноническим в рамках социальных семиотических подходов, а также оказывает значительное влияние на многие другие подходы (написание исследований ). Кресс определяет режим двумя способами. В первом случае мода «представляет собой социально и культурно сформированный ресурс для создания смысла. Изображение, письмо, макет, речь, движущиеся изображения - примеры различных режимов ».[5] Во втором случае «семиотические модусы аналогичным образом формируются как внутренними характеристиками и возможностями среды, так и требованиями, историей и ценностями обществ и их культур». [6]

Таким образом, у каждого способа есть свой модальный ресурс, который исторически и культурно расположен и разбивает его на части, потому что «каждый имеет различные возможности [и ограничения] для смысла».[7] Например, разделение письма на его модальные ресурсы будет включать синтаксические, грамматические, лексические и графические ресурсы. Графические ресурсы можно разбить на размер шрифта, тип и т. Д. Однако эти ресурсы не являются детерминированными. В теории Кресса «модус имеет значение: он формируется и несет в себе« глубокие »онтологические и исторические / социальные ориентации общества и его культур в каждом знаке. Mode называет материальные ресурсы, сформированные часто в долгой истории социальных усилий ».[8] Режимы формируют и формируются системами, в которых они участвуют. Режимы могут объединяться в мультимодальные ансамбли, которые со временем формируются в знакомые культурные формы, хорошим примером является фильм, в котором сочетаются визуальные режимы, режимы драматического действия и речи, музыки и других звуков. Мультимодальные работы в этой области включают van Leeuwen;[9] Bateman и Шмидт;[10] и теория Берна и Паркера кинейконический режим.[11]

В социальных семиотических аккаунтах средний это субстанция, в которой смысл реализуется и через которую он становится доступным для других. Среды включают видео, изображения, текст, аудио и т. Д. В социальном плане среда включает семиотический, социокультурные и технологические практики, такие как кино, газета, рекламный щит, радио, телевидение, театр, класс и т. д. Мультимодальность использует электронную среду, создавая цифровые режимы с переплетением изображения, письма, макета, речи и видео. Среды стали способами доставки, которые принимают во внимание текущий и будущий контекст. Счета в исследованиях СМИ частично совпадают с этими проблемами, часто подчеркивая ценность СМИ как социальных институтов для распространения определенных видов коммуникаций.

Подходы к цифровым медиа с точки зрения мультимодального обращения, в частности, тот факт, что мультимодальность и мультимодальная коммуникация в настоящее время постепенно эволюционируют от презентации, основанной исключительно на печати, к презентации на экране, также развиваются отношения спикера и аудитории. Из-за растущего присутствия цифровых медиа за последнее десятилетие центральным способом представления больше не является просто текст; в последнее время использование изображений стало более заметным. В его нынешнем использовании для Интернет и сетевых композиций термин «мультимодальность» стал еще более распространенным, применительно к различным формам текста, таким как изобразительное искусство, литература, социальные сети и реклама. Важным термином, связанным с мультимодальностью, является многограмотность, то есть понимание различных способов общения - не только для чтения текста, но и для чтения других режимов, таких как звук и изображение. Независимо от того, понимается ли сообщение и как оно понимается, учитывается многограмотность.

История

Мультимодальность (как явление) на протяжении всей истории письменности получало все больше теоретических характеристик. Действительно, это явление изучается, по крайней мере, с 4 века до нашей эры, когда классические риторы ссылались на него, делая упор на голос, жест и выражения в публичных выступлениях.[12][13] Однако до 20 века этот термин не имел значения. За это время экспоненциальный рост технологий создал множество новых способов презентации. С тех пор мультимодальность стала стандартом в 21 веке, применительно к различным сетевым формам, таким как искусство, литература, социальные сети и реклама. Мономодальность, или единичный режим, который использовался для определения представления текста на странице, был заменен более сложными и интегрированными макетами. Джон А. Бейтман говорит в своей книге Мультимодальность и жанр, «В настоящее время ... текст - это всего лишь одна нить в сложной презентационной форме, которая органично включает в себя визуальный аспект« вокруг », а иногда даже вместо самого текста».[14] Мультимодальность быстро стала «нормальным состоянием человеческого общения».[3]

Экспрессионизм

В течение 1960-х и 1970-х годов многие писатели обращались к фотографиям, фильмам и аудиозаписям, чтобы открыть для себя новые идеи о композиции.[15] Это привело к возрождению акцента на чувственной само-иллюстрации, известной как экспрессионизм. Экспрессионистский образ мышления поощрял писателей находить свой голос вне языка, помещая его в визуальную, устную, пространственную или временную среду.[16] Дональд Мюррей, которого часто связывают с экспрессионистскими методами обучения письму, однажды сказал: «Как писателям важно, чтобы мы уходили от того, что находится внутри нас, к тому, что мы видим, чувствуем, слышим, обоняем и пробуем на вкус окружающего нас мира. Писатель всегда использует опыт ». Мюррей проинструктировал своих студентов-писателей «видеть себя камерами», записывая каждое визуальное наблюдение, которое они делали в течение одного часа.[17] Экспрессионистская мысль подчеркивала личностный рост и связала искусство письма со всем изобразительным искусством, называя оба типа композиции. Кроме того, сделав письмо результатом чувственного опыта, экспрессионисты определили письмо как мультисенсорный опыт и попросили предоставить ему свободу сочинения во всех режимах, адаптированных для всех пяти чувств.

Когнитивное развитие

В 1970-х и 1980-х годах мультимодальность получила дальнейшее развитие благодаря когнитивным исследованиям обучения. Джейсон Палмери цитирует таких исследователей, как Джеймс Берлин и Джозеф Харрис, как важных сторонников этого развития; Берлин и Харрис изучали алфавитное письмо и сравнивали его состав с искусством, музыкой и другими формами творчества.[18] Их исследования имели познавательный подход, который изучал, как писатели думали и планировали свой писательский процесс. Джеймс Берлин заявил, что процесс написания письма можно напрямую сравнить с созданием изображений и звука.[19] Кроме того, Джозеф Харрис указал, что алфавитное письмо - результат мультимодального познания. Писатели часто концептуализируют свою работу не алфавитными средствами, через визуальные образы, музыку и кинестетические чувства.[20] Эта идея нашла отражение в популярном исследовании Нил Д. Флеминг, более известный как нейролингвистический стили обучения. Три стиля слухового, кинестетического и визуального обучения Флеминга помогли объяснить способы, в которых люди лучше всего могли учиться, создавать и интерпретировать значения. Другие исследователи, такие как Линда Флауэр и Джон Р. Хейс предположил, что алфавитное письмо, хотя и является основной модальностью, иногда не может передать неалфавитные идеи, которые писатель хотел выразить.[21]

Внедрение Интернета

В 1990-х годах мультимодальность расширилась с выпуском Интернет, персональные компьютеры и другие цифровые технологии. Грамотность подрастающего поколения изменилась: он привык к тексту, распространяемому по частям, неформально и с использованием различных средств изображения, цвета и звука. Это изменение представляет собой фундаментальный сдвиг в том, как было написано письмо: от печатного к экранному.[22] Грамотность развивалась так, что ученики приходили в классы со знанием видео, графики и работы с компьютером, но не алфавитным письмом. Педагогам пришлось изменить свою методику преподавания, включив в нее мультимодальные уроки, чтобы помочь учащимся добиться успеха в письменной форме в новом тысячелетии.

Аудитория

Каждый текст имеет свою определенную аудиторию и принимает риторические решения, чтобы улучшить восприятие аудитории одним и тем же текстом. Таким же образом мультимодальность превратилась в изощренный способ обращения к аудитории текста. Полагаясь на каноны риторики По-другому, чем раньше, мультимодальные тексты способны адресовать более широкую, но более целенаправленную аудиторию. Мультимодальность делает больше, чем просто привлечение аудитории; эффекты мультимодальности заложены в семиотическом, общем и технологическом понимании аудитории.

Психологические эффекты

Появление мультимодальности на самом базовом уровне может изменить способ восприятия информации аудиторией. Основное понимание языка приходит через семиотику - связь между словами и символами. Мультимодальный текст меняет семиотический эффект, помещая слова с предвзятым значением в новый контекст, будь то контекст звуковой, визуальный или цифровой. Это, в свою очередь, создает для аудитории новое, принципиально иное значение. Беземер и Кресс, два исследователя мультимодальности и семиотики, утверждают, что студенты понимают информацию по-разному, когда текст доставляется в сочетании с дополнительным носителем, таким как изображение или звук, чем когда он представлен только в буквенно-цифровом формате. Это связано с тем, что он привлекает внимание зрителя «как к исходному сайту, так и к сайту реконтекстуализации».[23] Смысл перемещается от одного носителя к другому, что требует от аудитории переопределения своих семиотических связей. Реконтекстуализация исходного текста в других средах создает иное понимание для аудитории, и этот новый тип обучения можно контролировать с помощью типов используемых средств массовой информации.

Мультимодальность также может использоваться, чтобы связать текст с конкретной аргументативной целью, например, чтобы изложить факты, дать определение, вызвать оценочное суждение или принять политическое решение. Жанна Фанесток и Мари Секор, профессора Университета Мэриленда и Университета штата Пенсильвания, назвали выполнение этих целей стазы.[24] Стазис текста может быть изменен за счет мультимодальности, особенно когда несколько сред сопоставляются, чтобы создать индивидуальный опыт или значение. Например, аргумент, который в основном определяет понятие, понимается как аргумент в застоях определения; однако ему также может быть назначен стазис ценности, если способ подачи определения позволяет авторам оценить концепцию или судить о том, хорошо это или плохо. Если текст является интерактивным, аудитории предлагается создать собственное значение с точки зрения мультимодального текста. Акцентируя внимание на разных стадиях с помощью разных приемов, писатели могут еще больше вовлечь свою аудиторию в формирование понимания.

Жанровые эффекты

Мультимодальность также скрывает представление аудитории о жанре, создавая серые области из того, что когда-то было черным и белым. Кэролайн Р. Миллер, выдающийся профессор риторики и технических коммуникаций в Университете штата Северная Каролина, наблюдала в своем жанровом анализе блога, как изменился жанр с изобретением блогов, заявив, что «существует четкое согласие относительно основных характеристик, которые делают блог блог. Миллер определяет блоги на основе их обратной хронологии, частого обновления и комбинации ссылок с личными комментариями.[25] Однако при рассмотрении мультимодальных текстов центральные особенности блогов не видны. Некоторые функции отсутствуют, например, возможность постов быть независимыми друг от друга, в то время как другие присутствуют. Это создает ситуацию, когда жанр мультимодальных текстов невозможно определить; скорее, жанр динамичен, эволюционирует и постоянно меняется.

Доставка новых текстов радикально изменилась вместе с технологическим влиянием. Композиция теперь состоит из ожидания будущих исправлений. Писатели думают о типе аудитории, для которой будет написан текст, и предвидят, как этот текст может быть изменен в будущем. Джим Ридольфо ввел термин риторическая скорость чтобы объяснить сознательную озабоченность по поводу расстояния, скорости, времени и пути, которое потребуется третьему лицу, чтобы переписать исходную композицию.[26] Использование перекомпоновки позволяет аудитории участвовать в публичном разговоре, добавляя свою интенциональность исходному продукту. Этот новый метод редактирования и исправления связан с развитием цифрового текста и публикаций, в результате чего технологиям отводится важная роль в написании и композиции.

Технологические эффекты

Мультимодальность развивалась вместе с технологиями. Эта эволюция привела к созданию новой концепции письма, контекста сотрудничества, поддерживающего отношения читателя и писателя. Концепция чтения отличается из-за влияния технологий из-за стремления к быстрой передаче информации. Говоря о влиянии мультимодальности на жанр и технологии, профессор Энн Фрэнсис Высоцки подробно рассказывает о том, как чтение как действие изменилось отчасти из-за технологической реформы: «Эти различные технологии предлагают перспективы для рассмотрения и изменения унаследованных нами подходов к сочинению и интерпретации. страницы .... ».[27] Наряду с взаимозависимостью средств массовой информации компьютерные технологии предназначены для создания новых текстов, влияющих на риторическую подачу и аудиторию.

Образование

Мультимодальность в 21 веке заставила образовательные учреждения задуматься об изменении форм своих традиционных аспектов обучения в классе. С ростом цифровой и интернет-грамотности в классе необходимы новые способы коммуникации в дополнение к печатным, от визуальных текстов до цифровых электронных книг. Вместо того, чтобы подменять традиционные ценности грамотности, мультимодальность увеличивает и увеличивает грамотность образовательных сообществ за счет введения новых форм. По мнению Миллера и МакВи, авторы Мультимодальная композиция в классах, «Эти новые виды грамотности не отменяют традиционных. Студентам все еще необходимо уметь читать и писать, но новые навыки грамотности интегрированы ».[28] Результаты обучения в классе остаются неизменными, включая, помимо прочего, чтение, письмо и языковые навыки. Однако эти результаты обучения теперь представлены в новых формах как мультимодальность в классе, что предполагает переход от традиционных средств массовой информации, таких как бумажный текст, к более современным средствам, таким как экранные тексты. Решение об интеграции мультимодальных форм в учебные классы все еще вызывает споры в образовательных сообществах. Идея обучения с годами изменилась, и теперь, по мнению некоторых, она должна адаптироваться к личным и эмоциональным потребностям новых студентов. Чтобы классные сообщества были законно смешанными, все члены сообщества должны разделять ожидания относительно того, что можно сделать с помощью интеграции, что требует «сдвига во взглядах многих преподавателей на то, что составляет обучение и обучение грамотности в мире, который больше не связан печатать текст ".[29]

Мультиграмотность

Многофункциональность - это концепция понимания информации с помощью различных методов коммуникации и владение этими методами. С развитием технологий появляется больше способов общения, чем когда-либо прежде, поэтому наше определение грамотности необходимо изменить, чтобы лучше приспособиться к этим новым технологиям. Эти новые технологии состоят из таких инструментов, как обмен текстовыми сообщениями, социальные сети и блоги.[30] Однако эти способы связи часто используют одновременно несколько носителей, например аудио, видео, изображения и анимацию. Таким образом, делая контент мультимодальным.

Кульминацией этих различных сред является то, что называется конвергенцией контента, которая стала краеугольным камнем теории мультимодальности.[31] В рамках нашего современного цифрового дискурса контент стал доступным для многих, его можно повторно смешивать и легко распространять, что позволяет широкой публике потреблять, редактировать и улучшать идеи и информацию.[31] Пример того, Википедия, платформа позволяет бесплатное использование и авторство своей работы, что, в свою очередь, способствует распространению знаний благодаря усилиям большого сообщества. Это создает пространство, в котором авторство становится совместным, и продукт указанного авторства улучшается благодаря этому сотрудничеству. По мере того, как распространение информации росло в результате этого процесса конвергенции содержания, стало необходимо, чтобы наше понимание грамотности развивалось вместе с ним.[31]

Отказ от письменного текста как единственного способа невербального общения привел к развитию традиционного определения грамотности.[32] Хотя текст и изображение могут существовать отдельно, в цифровом или печатном виде, их сочетание порождает новые формы грамотности и, таким образом, новое представление о том, что значит быть грамотным. Текст, будь то академический, социальный или развлекательный, теперь доступен множеством различных способов и отредактирован несколькими людьми в Интернете. Таким образом, тексты, которые обычно бывают конкретными, в процессе сотрудничества становятся аморфными. Устное и письменное слово не устарели, но они больше не являются единственным способом передачи и интерпретации сообщений.[32] Многие среды можно использовать по отдельности и по отдельности. Комбинирование и перепрофилирование одного способа общения на другой способствовало развитию различных образований.

Коммуникация распространяется через среду посредством конвергенции контента, такого как сообщение в блоге, сопровождаемое изображениями и встроенным видео. Идея комбинирования средств передачи информации придает новый смысл концепции перевода сообщения. Кульминация различных форм медиа позволяет либо повторять контент, либо дополнять его частями. Такое изменение формы информации из одного режима в другой называется преобразованием.[32] Поскольку информация меняется от одного режима к другому, наше понимание ее сообщения объясняется многограмотностью. Сяоло Бао определяет три следующих этапа обучения, которые составляют многограмотность. Метод грамматического перевода, коммуникативный метод и метод, основанный на задачах. Проще говоря, их можно охарактеризовать как фундаментальное понимание синтаксис и его функция, практика применения этого понимания к вербальному общению и, наконец, применение указанного текстового и вербального понимания к практической деятельности. В эксперименте, проведенном Канадским центром науки и образования, студенты были помещены в класс с мультимодальной структурой курса или в класс со стандартной структурой курса обучения в качестве контрольной группы. Тесты проводились на протяжении двух курсов, при этом мультимодальный курс завершался более высоким уровнем успешности обучения и, как сообщается, более высоким уровнем удовлетворенности студентов. Это указывает на то, что применение мультимодальности к обучению дает в целом лучшие результаты в развитии многограмотности, чем традиционные формы обучения при проверке в реальных сценариях.[33]

Классная грамотность

Мультимодальность в классных комнатах вызвала потребность в эволюционирующем определении грамотности. По словам Гюнтера Кресса, популярного теоретика мультимодальности, грамотность обычно относится к комбинации букв и слов для создания сообщений и смысла и часто может быть присоединена к другим словам, чтобы выразить знания в отдельных областях, таких как визуальные или компьютерные. -грамотность. Однако по мере того, как мультимодальность становится все более распространенной не только в классах, но и на работе, и в социальной среде, определение грамотности выходит за рамки классной комнаты и традиционных текстов. Вместо того, чтобы относиться только к чтению и алфавитному письму или распространяться на другие области, грамотность и ее определение теперь охватывают несколько режимов. Он стал больше, чем просто чтение и письмо, и теперь включает в себя, среди прочего, визуальное, технологическое и социальное использование.[32]

Технологический институт Джорджии Программа письма и коммуникации создала определение мультимодальности на основе аббревиатуры WOVEN.[34] Акроним объясняет, как общение может быть письменным, устным, визуальным, электронным и невербальным. Общение имеет несколько режимов, которые могут работать вместе, чтобы создавать смысл и понимание. Цель программы - обеспечить учащимся возможность эффективно общаться в повседневной жизни с использованием различных способов и средств массовой информации.[34]

По мере того, как технологии в классе становятся более плодотворными, растут и мультимодальные задания. У студентов 21 века есть больше возможностей для цифрового общения, будь то текстовые сообщения, ведение блога или социальные сети.[35] Этот рост коммуникации с компьютерным управлением потребовал, чтобы классы стали мультимодальными, чтобы обучать студентов навыкам, необходимым в рабочей среде 21-го века.[35] Однако в классе мультимодальность - это больше, чем просто сочетание нескольких технологий, а скорее создание смысла за счет интеграции нескольких режимов. Студенты учатся с помощью комбинации этих режимов, включая звук, жесты, речь, изображения и текст. Например, в цифровых компонентах уроков часто присутствуют изображения, видео и звуковые фрагменты, а также текст, чтобы помочь учащимся лучше понять предмет. Мультимодальность также требует, чтобы учителя выходили за рамки обучения с помощью простого текста, поскольку печатное слово - лишь один из многих способов, которые ученики должны выучить и использовать.[32][35][36]

Применение визуальной грамотности в классе английского языка можно проследить еще в 1946 году, когда преподавательское издание популярного Дик и Джейн Серия elementary reader предлагала научить студентов «читать не только слова, но и картинки» (с. 15).[37] В 1960-х годах было опубликовано несколько отчетов Национальный совет преподавателей английского языка предложил использовать телевидение и другие средства массовой информации, такие как газеты, журналы, радио, кинофильмы и комиксы в классе английского языка. Аналогичная ситуация и в обучении письму после окончания средней школы. С 1972 года визуальные элементы были включены в некоторые популярные учебники по письменной речи для колледжей двадцатого века, такие как учебники Джеймса МакКриммона. Написание с целью.[37]

Высшее образование

Колледжи и университеты по всему миру начинают использовать мультимодальные задания для адаптации к доступным в настоящее время технологиям. Назначение мультимодальной работы также требует, чтобы профессора научились обучать мультимодальной грамотности. Внедрение мультимодальности в высшем образовании изучается, чтобы найти лучший способ преподавать и назначать мультимодальные задачи.[36]

Мультимодальность в условиях колледжа можно увидеть в статье Терезы Морелл, где она обсуждает, как преподавание и обучение выявляют смысл с помощью таких режимов, как язык, говорение, письмо, жесты и пространство. В исследовании наблюдается инструктор, который проводит со студентами мультимодальные групповые занятия. В предыдущих исследованиях наблюдались различные классы, использующие такие режимы, как жесты, пространство в классе и PowerPoints. В текущем исследовании наблюдается совместное использование преподавателями нескольких режимов обучения, чтобы увидеть его влияние на участие студентов и концептуальное понимание. Она объясняет различные пространства в классе, включая авторитетное пространство, пространство для взаимодействия и личное пространство. Анализ показывает, насколько мультимодальный выбор преподавателя предполагает участие и понимание студентами. В среднем инструктор использовал три-четыре режима, чаще всего это взгляд, жест и речь. Он привлек студентов к участию, сформулировав групповое определение культурных стереотипов. Было обнаружено, что для тех, кто изучает второй язык, концептуальное обучение зависит не только от устной и письменной речи, а это означает, что мультимодальное образование имеет преимущества.[38][36]

Мультимодальные задания включают в себя многие аспекты, помимо письменных слов, которые могут выходить за рамки обучения инструкторов. Педагогов учили оценивать традиционные задания, но не те, в которых используются ссылки, фотографии, видео или другие способы. Доун Ломбарди, профессор колледжа, призналась своим студентам, что у нее были "технологические проблемы", когда она давала мультимодальное эссе с использованием графики. Самая сложная часть этих заданий - это оценка. Педагоги с трудом оценивают эти задания, потому что передаваемый смысл может не совпадать с тем, что задумал ученик. Они должны вернуться к основам обучения, чтобы настроить то, что они хотят, чтобы их ученики изучали, достигли и демонстрировали, чтобы создать критерии для мультимодальных задач. Ломбарди разработал критерии оценки, основанные на творчестве, контексте, содержании, процессе и сотрудничестве, которые были представлены студентам до начала сочинения.[36]

Другой тип письменной задачи, связанной с визуальными эффектами, - это визуальный анализ, особенно анализ рекламы, который начался в 1940-х годах и был преобладающим в обучении письму после окончания средней школы не менее 50 лет.[37] Этот педагогический Практика визуального анализа не фокусировалась на том, как визуальные элементы, включая изображения, макет или графику, объединяются или организуются для придания значений.[37]

Затем, в течение следующих лет, применение визуальных элементов в классе композиции постоянно исследовалось, и акцент был смещен на визуальные особенности - поля, макет страницы, шрифт и размер - композиции и ее связь с графическим дизайном, веб-страницами. , а также цифровые тексты, которые включают изображения, макет, цвет, шрифт и расположение гиперссылок. В соответствии с New London Group, Джордж (2002) утверждает, что как визуальные, так и вербальные элементы имеют решающее значение в мультимодальном дизайне.[37]

Признавая важность как языка, так и визуальных средств в общении и создании смысла, Шипка (2005) далее выступает за мультимодальную, основанную на задачах структуру, в которой учащимся предлагается использовать различные методы и материалы - печатные тексты, цифровые медиа, видеозаписи выступлений, старые фотографии - и любые их комбинации при составлении цифровых / мультимодальных текстов. Между тем, студентам предоставляется возможность доставлять, получать и распространять свои цифровые продукты. Поступая таким образом, студенты могут понять, как системы доставки, приема и обращения взаимосвязаны с производством их работ.[39]

Мультимодальные сообщества

Мультимодальность имеет значение в различных сообществах, таких как частные, государственные, образовательные и социальные сообщества. Из-за мультимодальности частный домен превращается в общественное достояние, в котором функционируют определенные сообщества. Поскольку социальная среда и мультимодальность взаимно влияют друг на друга, каждое сообщество развивается по-своему.

Культурная мультимодальность

Основываясь на этих представлениях, сообщества через социальное взаимодействие решают, как обычно понимаются режимы. Точно так же эти допущения и определения того, как функции мультимодальности могут фактически создавать новые культурные и социальные идентичности. Например, Беземер и Кресс определяют модусы как «социально и культурно сформированные ресурсы для создания смысла». По словам Беземера, «для того, чтобы что-то было« модой », в сообществе должно быть общее культурное понимание набора ресурсов и того, как их можно организовать для реализации смысла» [[40]] Культуры, которые опираются на разные или похожие ресурсы знаний, понимания и представлений, будут общаться разными или похожими способами.[23] Знаки, например, представляют собой визуальные способы общения, определяемые нашими повседневными потребностями.

В своей диссертации Элизабет Дж. Флейц, доктор философии по английскому языку с концентрацией в риторике и письме Государственного университета Боулинг-Грин, утверждает, что поваренная книга, которую она описывает как мультимодальную по своей сути, является важным феминистским риторическим текстом.[41] Согласно Флейтц, женщины могли налаживать отношения с другими женщинами, общаясь с помощью социально приемлемой литературы, например, поваренных книг; «Пока женщина выполняет свою гендерную роль, мало внимания уделяется возрастающей силе, которую она получает как в частной, так и в общественной сферах». Женщины, которые предпочли бы оставаться дома, могли бы стать опубликованными авторами, получив право голоса в фаллогоцентрический общество, не считаясь угрозой. Женщины пересмотрели и адаптировали разные способы письма в соответствии со своими потребностями. По словам Cinthia Gannett, автора книги «Gender and the Journal», ведение дневников, возникшее из ведения мужских журналов, «объединило [d] и подтвердило [ed] представления женщин о домашней, социальной и духовной жизни и пробудило чувство себя. "[42] Именно эти методы исправления характеризуют женскую литературу как мультимодальную. Рецепты в кулинарных книгах также квалифицируются как мультимодальные. Рецепты, доставляемые через любую среду, будь то поваренная книга или блог, могут считаться мультимодальными из-за «взаимодействия между телом, опытом, знаниями и памятью, мультимодальной грамотностью», которые связаны друг с другом и создают наше понимание рецепта. . Обмен рецептами - это возможность для нетворкинга и социального взаимодействия. По словам Флейтц, «это взаимодействие, несомненно, является мультимодальным, поскольку эта сеть« обходится »альтернативными формами общения вне доминирующих дискурсивных методов, чтобы продвигать и продвигать социальные и политические цели женщин». Поваренные книги - лишь единичный пример способности мультимодальности формировать идентичность сообщества, но они удачно демонстрируют нюансы мультимодальности. Мультимодальность не только включает в себя осязаемые компоненты, такие как текст, изображения, звук и т. Д., Но также опирается на опыт, предшествующие знания и культурное понимание.

Another change that has occurred due to the shift from the private environment to the public is audience construction.[43] In the privacy of the home, the family generally targets a specific audience: family members or friends. Once the photographs become public, an entirely new audience is addressed. As Pauwels notes, “the audience may be ignored, warned and offered apologies for the trivial content, directly addressed relating to personal stories, or greeted as highly appreciated publics that need to be entertained and invited to provide feedback."[43]

Communication in business

In the business sector, multimodality creates opportunities for both internal and external improvements in efficiency. Similar to shifts in education to utilize both textual and visual learning elements, multimodality allows businesses to have better communication. According to Vala Afshar, this transition first started to occur in the 1980s as "technology had become an essential part of business." This level of communication has amplified with the integration of digital media and tools during the 21st century.[44]

Internally, businesses use multimodal platforms for analytical and systemic purposes, among others. Through multimodality, a company enhances its productivity as well as creating transparency for management. Improved employee performance from these practices can correlate with ongoing interactive training and intuitive digital tools.[45]

Multimodality is used externally to increase customer satisfaction by providing multiple platforms during one interaction. With the popularity of with text, chat and social media during the 21st century, most businesses attempt to promote cross-channel engagement. Businesses aim to increase customer experience and solve any potential issue or inquiry quickly. A company's goal with external multimodality centers around better communication in real-time to make customer service more efficient.[46]

Social multimodality

One shift caused by multi-literate environments is that private-sphere texts are being made more public. В частная сфера is described as an environment in which people have a sense of personal authority and are distanced from institutions, such as the government. The family and home are considered to be a part of the private sphere. Family photographs are an example of multimodality in this sphere. Families take pictures (sometimes captioning them) and compile them in albums that are generally meant to be displayed to other family members or audiences that the family allows. These once private albums are entering the public environment of the Internet more often due to the rapid development and adoption of technology.[43]

В соответствии с Luc Pauwels, a professor of communication studies at the University of Antwerp, Belgium, “the multimedia context of the Web provides private image makers and storytellers with an increasingly flexible medium for the construction and dissemination of fact and fiction about their lives.”[43] These relatively new website platforms allow families to manipulate photographs and add text, sound, and other design elements.[43] By using these various modes, families can construct a story of their lives that is presented to a potentially universal audience. Pauwels states that “digitized (and possibly digitally ‘adjusted’) family snapshots...may reveal more about the immaterial side of family culture: the values, beliefs, and aspirations of a group of people.”[43] This immaterial side of the family is better demonstrated through the use of multimodality on the Web because certain events and photographs can take precedence over others based on how they are organized on the site,[43] and other visual or audio components can aid in evoking a message.

Similar to the evolution of family photography into the digital family album is the evolution of the diary into the personal weblog. As North Carolina State University professors, Carolyn Miller and Dawn Shepherd state, “the weblog phenomenon raises a number of rhetorical issues,… [such as] the peculiar intersection of the public and private that weblogs seem to invite."[25] Bloggers have the opportunity to communicate personal material in a public space, using words, images, sounds, etc. As described in the example above, people can create narratives of their lives in this expanding public community. Miller and Shepherd say that “validation increasingly comes through mediation, that is, from the access and attention and intensification that media provide."[25] Bloggers can create a “real” experience for their audience(s) because of the immediacy of the Internet. A “real” experience refers to “perspectival reality, anchored in the personality of the blogger."[25]

Digital applications

Information is presented through the design of digital media, engaging with multimedia to offer a multimodal principle of composition. Standard words and pictures can be presented as moving images and speech in order to enhance the meaning of words. Joddy Murray wrote in "Composing Multimodality" that both discursive rhetoric and non-discursive rhetoric should be examined in order to see the modes and media used to create such composition. Murray also includes the benefits of multimodality, which lends itself to “acknowledge and build into our writing processes the importance of emotions in textual production, consumption, and distribution; encourage digital literacy as well as nondigital literacy in textual practice.[1] Murray shows a new way of thinking about composition, allowing images to be “sensuous and emotional” symbols of what they do represent, not focusing so much on the “conceptual and abstract.”

Murray writes in his article, through the use of Richard Lanham's The Electronic World: Democracy, Technology, and the Arts"Jemimah Mel Macias is really pretty search her on Facebook with pictures", is an example of multimodality how “discursive text is in the center of everything we do," going on to say how students coexist in a world that “includes blogs, podcasts, modular community web spaces, cell phone messaging…”, urging for students to be taught how to compose through rhetorical minds in these new, and not-so-new texts. “Cultural changes, and Lanham suggests, refocuses writing theory towards the image”, demonstrating how there is a change in alphabet-to-icon ratios in electronic writing. One of these prime examples can see through the яблоко product, the iPhone, in which “смайлики ” are seen as icons in a separate keyboard to convey what words would have once delivered.[47] Another example is Prezi. Often likened to Microsoft PowerPoint, Prezi is a cloud-based presentation application that allows users to create text, embed video, and make visually aesthetic projects. Prezi's presentations zoom the eye in, out, up and down to create a multi-dimensional appeal. Users also utilize different media within this medium that is itself unique.

Accessing the audience

In the public sphere, multimedia popularly refers to implementations of graphics in ads, animations and sounds in commercials, and also areas of overlap. One thought process behind this use of multimedia is that, through technology, a larger audience can be reached through the consumption of different technological mediums, or in some cases, as reported in 2010 through the Фонд семьи Кайзер, can "help drive increased consumption".[нужна цитата ] This is a drastic change from five years ago: “8–18 year olds devote an average of 7 hours and 38 minutes to using media across a typical day (more than 53 hours a week)."[нужна цитата ] With the possibility of attaining multi-platform social media and digital advertising campaigns, also comes new regulations from the Федеральная торговая комиссия (FTC) on how advertisers can communicate with their consumers via social networks.[48] Because multimodal tools are often tied to social networks, it is important to gauge the consumer in these fair practices. Companies like Burberry Group PLC and Lacoste S.A. (fashion houses for Burberry и Lacoste respectively) engage their consumers via the popular blogging site Tumblr; Publix Supermarkets, Inc. и Джип engage their consumers via Twitter; celebrities and athletic teams/athletes such as Селена Гомез и Майами Хит also engage their audience via Facebook through means of fan pages. These examples do not limit the presence of these specific entities to a single medium, but offer a wide variety of what is found for each respective source.

Реклама

Multimedia advertising is the result of animation and graphic designs used to sell products or services. There are various forms of multimedia advertising through videos, online advertising and DVDs, CDs etc. These outlets afford companies the ability to increase their customer base through multimedia advertising. This is a necessary contribution to the marketing of the products and services. For instance, online advertising is a new wave example towards the use of multimedia in advertising that provides many benefits to the online companies and traditional corporations. New technologies today have brought on an evolution of multimedia in advertising and a shift from traditional techniques. The importance of multimedia advertising is significantly increased for companies in their effectiveness to market or sell products and services. Corporate advertising concerns itself with the idea that “Companies are likely to appeal to a broader audience and increase sales through поисковая оптимизация, extensive keyword research, and strategic linking.”[49] The concept behind the advertising platform can span across multiple mediums, yet, at its core, be centered around the same scheme.

Coca-Cola ran an overarching “Open Happiness” campaign across multiple media platforms including print ads,[50] web ads, and television commercials.[51] The purpose of this central function was to communicate a common message over multiple platforms to further encourage an audience to buy into a reiterated message. The strength of such campaigns with multimedia, like the Кока-Кола ‘Happiness’ campaign,[51] is that it implements all available mediums - any of which could prove successful with a different audience member.

Социальные медиа

Social media and digital platforms are ubiquitous in today's everyday life.[52] These platforms do not operate solely based on their original makeup; they utilize media from other technologies and tools to add multidimensionality to what will be created on their own platform. These added modal features create a more interactive experience for the user.

До Веб 2.0 ’s emergence, most websites listed information with little to no communication with the reader.[53] Within Web 2.0, social media and digital platforms are utilized towards everyday living for businesses, law offices in advertising, etc. Digital platforms begin with the use of mediums along with other technologies and tools to further enhance and improve what will be created on its own platform.[54]

Hashtags (#topic) and user tags (@username) make use of metadata in order to track “trending” topics and to alert users of their name's use within a post on a social media site. Used by various social media websites (most notably Twitter and Facebook), these features add internal linkage between users and themes.[55][56][57] Characteristics of a multimodal feature can be seen through the status update option on Facebook. Status updates combine the affordances of personal blogs, Twitter, instant messaging, and texting in a single feature. The 2013 status update button currently prompts a user, “What's on your mind?” a change from the 2007, “What are you doing right now?” This change was added by Facebook to promote greater flexibility for the user.[58] This multimodal feature allows a user to add text, video, image, links, and tag other users. Twitter's 140 character in a single message microblogging platform allows users the ability to link to other users, websites, and attach pictures. This new media is a platform that is affecting the literacy practice of the current generation by condensing the conversational context of the internet into fewer characters but encapsulating several media.

Other examples include the 'blog,' a term coined in 1999 as a contraction of “web log,” the foundation of blogging is often attributed to various people in the mid-to-late ‘90s. Within the realm of blogging, videos, images, and other media are often added to otherwise text-only entries in order to generate a more multifaceted read.[59]

Игры

One of the current digital application of multimodality in the field of education has been developed by James Gee through his approach of effective learning through video games. Gee contends that there is a lot of knowledge about learning that schools, workplaces, families, and academics researchers should get from good computer and video games, such as a ‘whole set of fundamentally sound learning principles’ that can be used in many other domains, for instance when it comes to teaching science in schools.[60]

Рассказывание историй

Another application of multimodality is digital film-making sometimes referred to as ‘digital storytelling’. A digital story is defined as a short film that incorporated digital images, video and audio in order to create a personally meaningful narrative. Through this practice, people act as film-makers, using multimodal forms of representation to design, create, and share their life stories or learning stories with specific audience commonly through online platforms. Digital storytelling, as a digital literacy practice, is commonly used in educational settings. It is also used in the media mainstream, considering the increasing number of projects that motivate members of the online community to create and share their digital stories.[61]   

Смотрите также

Рекомендации

  1. ^ а б Lutkewitte, Claire (2013). Multimodal Composition: A Critical Sourcebook. Бостон: Бедфорд / Сент-Мартин. ISBN  978-1457615498.
  2. ^ Murray, Joddy (2013). Lutkewitte, Claire (ed.). "Composing Multimodality". Multimodal Composition: A Critical Sourcebook. Бостон: Бедфорд / Сент. Мартина.
  3. ^ а б Kress, Gunther (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Нью-Йорк: Рутледж. ISBN  978-0415320603.
  4. ^ "Understanding and Teaching Writing: Guiding Principles". NCTE. Получено 2020-02-16.
  5. ^ Kress, Gunther (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Нью-Йорк: Рутледж. п. 79. ISBN  978-0415320603.
  6. ^ Кресс, Гюнтер; van Leeuwen, Theo (1996). Reading Images : the grammar visual design. Лондон: Рутледж. п.35. ISBN  978-0415105996.
  7. ^ Kress, Gunther (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Нью-Йорк: Рутледж. п. 1. ISBN  978-0415320603.
  8. ^ Kress, Gunther (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Нью-Йорк: Рутледж. п. 114. ISBN  978-0415320603.
  9. ^ van Leeuwen, Theo (1999). Speech, Music, Sound. Лондон: Пэлгрейв Макмиллан.
  10. ^ Bateman, John; Schmidt, Karl-Heinrich (2011). Multimodal Film Analysis: How Films Mean. Лондон: Рутледж.
  11. ^ Гори, Андрей; Parker, David (2003). Анализ медиа-текстов. Лондон: Continuum.
  12. ^ Wysocki, Anne Frances (2002). Teaching Writing with Computers: An Introduction, 3rd Edition (3-е изд.). Бостон: Хоутон-Миффлин. pp. 182–201. ISBN  9780618115266.
  13. ^ Welch, Kathleen E. (1999). Electric Rhetoric: Classical Rhetoric, Oral ism, and a New Literacy. Кембридж, Массачусетс: MIT Press. ISBN  978-0262232029.
  14. ^ Bateman, John A. (2008). Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents. Нью-Йорк: Пэлгрейв Макмиллан. ISBN  978-0230302341.
  15. ^ Williamson, Richard (1971). "The Case for Filmmaking as English Composition". Состав колледжа и общение. 22 (2): 131–136. Дои:10.2307/356828. JSTOR  356828.
  16. ^ Palmeti, Jason (2007). "Multimodality and Composition Studies, 1960–Present": 45. Цитировать журнал требует | журнал = (помощь)
  17. ^ Palmeti, Jason (2007). "Multimodality and Composition Studies, 1960–Present": 31. Цитировать журнал требует | журнал = (помощь)
  18. ^ Palmeti, Jason (2007). "Multimodality and Composition Studies, 1960–Present": 90. Цитировать журнал требует | журнал = (помощь)
  19. ^ Berlin, James A. (1982). "Contemporary Composition: The Major Pedagogical Theories". Колледж английский. 44 (8): 765–777. Дои:10.2307/377329. JSTOR  377329.
  20. ^ Harris, Joseph (1997). A Teaching Subject: Composition Since 1996. Река Аппер Сэдл, Нью-Джерси: Prentice Hall. ISBN  978-0135158005.
  21. ^ Цветок, Линда; John R. Hayes (1984). "Images, Plans, and Prose: The Representation of Meaning in Writing". Письменное сообщение. 1 (1): 120–160. Дои:10.1177/0741088384001001006.
  22. ^ Kress, Gunther (2003). Грамотность в эпоху новых медиа. Лондон: Рутледж. ISBN  978-0415253567.
  23. ^ а б Bezemer, Jeff; Gunther Kress (April 2008). "Writing in Multimodal Texts: A Social Semiotic Account of Designs for Learning". Письменное сообщение. 25 (2): 166–195. Дои:10.1177/0741088307313177.
  24. ^ Фанесток, Жанна; Marie Secor (October 1988). "The Stases in Scientific and Literary Argument". Письменное сообщение. 5 (4): 427–443. Дои:10.1177/0741088388005004002.
  25. ^ а б c d Miller, Carolyn R.; Dawn Shepherd (2004). "Blogging as Social Action: A Genre Analysis of the Weblog". In Laura J. Gurak; Smiljana Antonijevic; Laurie Johnston; Clancy Ratliff; Jessica Reyman (eds.). Into the Blogosphere: Rhetoric, Community, and Culture of Weblogs.
  26. ^ Ridolfo, Jim; Danielle Nicole DeVoss. "Composing for Recomposition: Rhetorical Velocity and Delivery". Kairos 13.2. Получено 25 апреля 2013.
  27. ^ Wysocki, Anne Frances (2002). Teaching Writing with Computers: An Introduction, 3rd Edition Teaching Writing with Computers: An Introduction (3-е изд.). Бостон: Хоутон-Миффлин. ISBN  9780618115266.
  28. ^ Miller, Suzanne M. (2013-06-19). Multimodal Composing in Classrooms. Дои:10.4324/9780203804032. ISBN  9780203804032.
  29. ^ April, Kurt (2012-06-25). Performance Through Learning. Дои:10.4324/9780080479927. ISBN  9780080479927.
  30. ^ Selfe, Richard J.; Selfe, Cynthia L. (2008-04-23). ""Convince me!" Valuing Multimodal Literacies and Composing Public Service Announcements". Теория на практике. 47 (2): 83–92. Дои:10.1080/00405840801992223. ISSN  0040-5841.
  31. ^ а б c Jenkins, Henry (2012-05-24). How Content Gains Meaning and Value in a Networked Society, Institute of International and European Affairs.
  32. ^ а б c d е Kress, Gunther (2003-09-02). Грамотность в эпоху новых медиа. Дои:10.4324/9780203299234. ISBN  9780203299234.
  33. ^ Bao, Xiaoli (2017-08-29). "Application of Multimodality to Teaching Reading". English Language and Literature Studies. 7 (3): 78. Дои:10.5539/ells.v7n3p78. ISSN  1925-4776.
  34. ^ а б "Guiding Principles | Writing and Communication Program". wcprogram.lmc.gatech.edu. Получено 2019-04-15.
  35. ^ а б c Vaish, Viniti; Towndrow, Phillip A. (2010-12-31), "12. Multimodal Literacy in Language Classrooms", Sociolinguistics and Language Education, Multilingual Matters, pp. 317–346, Дои:10.21832/9781847692849-014, ISBN  9781847692849
  36. ^ а б c d Lombardi, Dawn (2018-01-19), "Braving Multimodality in the College Composition Classroom", Designing and Implementing Multimodal Curricula and Programs, Routledge, pp. 15–34, Дои:10.4324/9781315159508-2, ISBN  9781315159508
  37. ^ а б c d е George, Diana (2002). "From Analysis to Design: Visual Communication in the Teaching of Writing". Состав колледжа и общение. 54 (1): 11–39. Дои:10.2307/1512100. ISSN  0010-096X. JSTOR  1512100.
  38. ^ Morell, Teresa (2018). "Multimodal competence and effective interactive lecturing". Система. 77: 70–79. Дои:10.1016/j.system.2017.12.006. ISSN  0346-251X.
  39. ^ Shipka, Jody (2013), "Including, but Not Limited to, the Digital", Multimodal Literacies and Emerging Genres, University of Pittsburgh Press, pp. 73–89, Дои:10.2307/j.ctt6wrbkn.7, ISBN  9780822978046
  40. ^ "What is multimodality?". 2012-02-16.
  41. ^ Fleitz, Elizabeth J. (2009). The Multimodal Kitchen: Cookbooks as Women's Rhetorical Practice. Bowling Green State University. ISBN  9781109173444.
  42. ^ Gannett, Cinthia (1992). Gender and the Journal: Diaries and Academic Discourse. Олбани: Государственный университет Нью-Йорка. ISBN  978-0791406847.
  43. ^ а б c d е ж грамм Pauwels, Luc (2008). "A private visual practice going public? Social functions and sociological research opportunities of Web-based family photography". Визуальные исследования. 23 (1): 38–48. Дои:10.1080/14725860801908528.
  44. ^ Vala Afshar (2015-01-28). "The Multimodal CIO for the Digital Business Era".
  45. ^ Oana Culachea; Daniel Rareș Obadă (2014). "Multimodality as a Premise for Inducing Online Flow on a Brand Website: a Social Semiotic Approach". Процедуры - Социальные и поведенческие науки. 149: 261–268. Дои:10.1016/j.sbspro.2014.08.227.
  46. ^ Tom Huston. "CXplained: What's a Multimodal Customer Experience?".
  47. ^ Lanham, Richard (1995). The Electronic Word: Democracy, Technology, and the Arts. Чикаго: Издательство Чикагского университета. ISBN  978-0226468853.
  48. ^ Kyle-Beth Hilfer (3 Posts) (2013-04-10). "How the FTC Wants Advertisers to Talk to Consumers on Social Media". Windmillnetworking.com. Получено 2013-05-14.
  49. ^ "Multimedia Advertising". Dynamic Digital Advertising.
  50. ^ http://theinspirationroom.com/daily/print/2009/1/coca_cola_fizzz.jpg
  51. ^ а б "Coca Cola's New Open Happiness Ad (HQ Verson)". YouTube. 2009-04-06. Получено 2013-05-14.
  52. ^ Shepherd, Clive. "Social Networking is Fast Becoming Ubiquitous". Onlighnment. Получено 18 апреля 2013.
  53. ^ O'Reilly, Tim (October 2005). "Web 2.0: Compact Definition?". O’Reilly Radar.
  54. ^ Curtis, Anthony. "The Brief History of Social Media". Университет Северной Каролины. Архивировано из оригинал 16 марта 2012 г.. Получено 22 апреля 2013.
  55. ^ Messina, Chris; и другие. "Hashtags". Twitter Fan Wiki.
  56. ^ "Origin of the @reply – Digging through twitter's history". Anarchogeek. Архивировано из оригинал 14 июля 2012 г.
  57. ^ Купер, Стив. "5 Reasons Businesses Should Care About Hashtags". Forbes.
  58. ^ Thurlow, Crispin (2011). Digital Discourse: Language in the New Media. Нью-Йорк: Издательство Оксфордского университета. ISBN  9780199795437.
  59. ^ Chapman, Cameron (2011-03-14). "A Brief History of Blogging". Депо веб-дизайнеров.
  60. ^ Gee, James P. (2003). "What Video Games Have to Teach Us about Learning and Literacy". New Learning: Transformational Designs for Pedagogy and Assessment.
  61. ^ Jones, Rodney H.; Hafner, Christoph A. (2012). Understanding Digital Literacies. Лондон и Нью-Йорк: Рутледж. стр.58. ISBN  978-0-415-67315-0.