魏忠:教育正悄悄发生一场革命(16)

魏忠:多模态教育——Multi-modal(多模态)话语分析理论及应用

多模态话语分析是当代学习分析的一种很重要的技术,因为它关注到了在交流中的多种模态展现形式。相对于单模态话语分析技术中只有一种模态的交流方式,多模态话语分析则允许所有交流中存在的模态都纳入到分析中。在运用多模态进行分析的时候,如果只是分析一种模态而忽略了其他的模态,可能就会导致得出结论的不完整或不确切。

【Matt Bower,John G. Hedberg2010】8主张多模态话语分析借鉴了系统功能语言学来解构在交流过程话语意义的类型,话语意义的类型主要包括:表达人际关系,与发言者和听众之间的互动有关;表达观念,通过话语能够解释发言者的内心世界及周边听众等的内心世界;本文,通过话语能够了解创作此文本的目的。【Tuomo Hiippala2012】10的研究中提到多模态指出在交流与表示过程中不仅仅是语言,还包括了所有人们使用的交流的形式:图像、手势、目光、姿势等,还包括各种交流形式之间的关系。在对多模态现有基础的理解上,关于其提出的在所有的交际活动中本质都是多模态的理念并不言过其实。语言总是不断地用手势相结合,而在书面的沟通中也总是在语言中插入图像来进一步阐述。

(一)  多模态话语分析理论简介

多模态话语指运用听觉、视觉、触觉等多种感觉,通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。生命科学的研究成果告诉我们,生命体在演化过程中逐步获得了五中不同的感知通道即靠眼睛获得的视觉通道、靠耳朵获得的听觉通道、靠皮肤获得的触觉通道、靠鼻子获得的嗅觉通道和靠舌头获得的味觉通道,这五种感知渠道导致了五种交际模态的产生,分别是视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。单模态话语就是指只使用一种模态的话语,相对于此,多模态话语就是指使用两种或者两种以上的话语进行交际。其中所谓的话语其意义表现中有一大部分是由非语言因素体现的,比如伴随着语言的特征:声调、语调、语速等;身体特征:手势、面部表情、动作、移动等;非身体特征:实验室、网络、周围的环境因素、设备等。这种情况下的交际不再是利用一种感觉进行交际,而是结合了多种媒体和多种模态进行的交际。

多模态话语分析的理论基础主要是系统功能语言学理论,【张德禄2009】18在《多模态分析综合理论框架探索》一文中提出其框架主要有四个层面构成:文化层面、语境层面、内容层面和表达层面。其中文化层面是关键层面,交际的传统、交际的形式和技术都是由这个层面来决定的,没有这个层面,情境语境就没有了解释的能力。 语境层面主要由话语范围、话语基调和话语方式组成的语境构型。意义层面包括话语意义、概念意义、人际意义、谋篇意义。形式层面是实现意义的不同系统,包括语言的词汇语法系统,视觉性的表意形体和视觉语法系统,听觉型的表意形体和听觉语法系统,触觉性的表意形体和触觉语法系统等及各个模态语法之间的关系,表现为互补性和非互补性。媒体层面包括语言和非语言两类,非语言的包括工具性的如实验室、PPT、网络平台、投影、音响设备等。(图1)


                                   图 多模态话语分析综合框架

(二)  多模态教学与建构主义理论

【黄创2009】3总结了多模态与建构主义理论之间的关系以及将两者结合后在教学中的应用,他认为在现代信息技术高度发展的背景下,人们已经进入了超文本时代,可以通过互联网等现代信息技术进行广泛的信息互动的活动,多模态教学就是在这种背景下产生。多模态教学侧重于师生互动间的语言形式即接收和感知的形式,融声、光、电为一体,充分调动学生的多模态认知,更主动培养学生的多模态识读能力。

多模态教学离不开建构主义理论的指导。建构主义理论强调学习的主动性、社会性和情境性,确认了学生、教师、任务、环境等方面对学习过程的影响,而多模态教学使得建构主义学习环境的创设更加便利,因为多模态是图像、文字、声音、多媒体设备、学生和教师的有机结合体,每一种模态都是符号资源,都对意义的构建起着作用,同时,多媒体和网络技术等信息载体具有多样性、集成性、交互性、分布性和数字化优势,信息传递量大而且多维,可以构建立体的教学环境。建构主义理论认为学习者在一定的情境、社会文化背景下借助于教师和学习伙伴,利用必要的学习资源,通过意义构建的方式获得知识;学习环境是由情境、协作、交流和意义构建四部分组成的,其中情境必须有利于学习者对所学内容的意义建构,协作应该贯穿于整个学习过程,交流是协作过程中最基本的方式,而意义建构是教学过程的最终目标。多模态教学需要教师引导学生在多模态环境下理解各种经历,建构我们对现实世界的认识,而且能在多模态环境下创造性地学习和做事,如科学模拟、互动的图像操作软件、虚拟商场等以改变原来的灌输式教学。

(三)  现代教育信息技术下多模态信息认知教-学模式

多模态信息认知教-学模式(Model of Multimodal Information and Cognition),简称MIC教-学模式。【袁传有2010】14在其研究中提出了多模态信息认知教-学模式如图5-3所示(图2)

 

                              图 多模态信息认知教-学模式

在网络信息与多媒体教学环境下,多模态是教师和学生利用各种感官来获取、认知和传递信息的手段和方式。在这个教学模式中,信息是教与学的核心内容,位于上层,信息可以分为语篇信息和非语篇信息。语篇信息指教材中语言所承载的信息,师生会话交互时候所传递的信息;非语篇信息指通过非语言手段传递的信息。认知是对信息的处理和加工,位于信息的下层,意味着有信息就需要认知处理,认知能力的发展是目标,而信息的处理和认知手段是多模态的,信息处理就是对语篇信息和非语篇信息进行认知加工的过程,包含输入信息、处理信息、输出信息。一般而言,人们用感觉器官如眼、耳、手等就能直接获取外界的各种信息,经过达到的分析、归纳、综合、比较、判断等处理后,能产生更有价值的信息,并且采用说话、写字、动作、表情等模态输出信息。

在这个教学模式中的师生角色可以交互,教师应多模态地教,学生需要多模态的学,师生合作进行多模态评估。将传统的教材权威型、知识获取型转向技能训练型即把教学看作帮助学生掌握技能的程序、经历体验型即把教学看作一种经历,让学生参与时间和资源发展型即把教学看作是一种手段,帮助学生发展表意资源。

互动的本意是指相互作用的意思,我们也常常理解为交互,既指抽象意义上的双边的传播与反馈,也指具体意义上的相互作用。教学过程是师生交往、积极互动、共同发展的过程。随着信息技术的进步,互联网时代的到来,师生之间的互动可以表现为直接的互动与间接的互动,【王炤2010】12在其研究中提到所谓间接的互动是指教师-客体-学生之间的彼此的互动。【张佐成,陈瑜敏2011】20在其论文中提到在基于多模态话语分析理论基础下的多模态互动则认为互动是通过言语、距离、身体姿势、头部动作、坐姿、手部动作、场景布局、印刷品、音乐等模态的各种协同使用进行的,每一种模态都是一套符号系统,在人类互动中言语模态并不总是起主导作用。

(四)  多模态教学互动

多模态理论从某种意义上说也包含着人类通过感官跟外部环境之间的互动方式。在多媒体及网络环境中,不仅存在着教学主体之间的多模态互动,教学主客体之间也会产生多模态互动,学生与问题情境的互动,教师与网络环境的互动等,这种互动表现在它们之间进行交流,能给予评价、反馈,能共同促进教学过程的发展。(图3)

 

                                            图:多模态互动

教师和学习内容、资源的互动不再停留在传统的备课上,而是更多地体现在教师创建和更新学习内容和设计教学活动中;学生和学习内容、资源的互动式任何教育情境中最基本的交互,也是学生有效学习的重要组成部分;网络环境不仅为学习者-学习者之间的多模态互动教学提供了教学平台,而且也为教师提供了多样化教学手段和大量的信息资源,网络环境拓宽了教学内容,提供了多种信息呈现方式,突出了资源共享,实现了友好的人机交互,不仅有利于教师主动探索和完成知识、能力的建构,而且教师可以通过播放与学习内容相关的FLASH、PPT等课件的方法,充分调动学生的多模态认知,并通过论坛、email的形式督促和检查学生的学习;学生与网络环境的互动的多模态包括视觉、听觉、触觉等,网络将文本、图形、动画、静态影像、动态影像、声音媒体有机结合在一起,在这样的综合的环境中,能激发学生的学习热情。多模态互动存在着各种交互互补的作用,最终形成以网络环境为中心,教师为主导,以学生为中心,充分体现学生的主体地位和学生之间互动的多维立体互动学习系统,调动不同层次学生学习的积极性和自觉性。

(五)  多模态互动实现-网络教学开源平台

随着高校信息化教学的开展,基于开源软件的教学平台是应用频率较多的平台,国内外主要是以MOODLE、SAKAI为代表,将开源软件引入到信息化教学环境中,构建网络教学平台,对于实现多模态的互动意义是重大的。SAKAI是由美国印第安纳大学、密歇根大学、斯坦福大学和麻省理工学院于2004年发起的一项开放源代码的课程管理系统开发计划。MOODLE是由澳大利亚教师Martin Dougiamas 发起并主导的开放源代码的软件系统。这两种开源平台重要特色是采用了组件化的设计思想,各种教学工具,手段在开源软件中都定义成教学组件,教师可以使用这些组件组合出不同的教学方案,实现不同的教学模式。

基于SAKA开源平台的主要教育教学互动应用表现为:

(一) 创建网络课程

网络课程的创建体现的是主体与客体之间的互动,用户跟随向导创建自己的站点,之后会提供一个所创建站点的列表,选定一个站点后,可以对其进行修改,包括设置站点基本信息,增加或者删除工具,变更访问权限等等,用这个网站建设的工具,可以轻松实现站点的发布,复制和从其他站点导入素材,从而也可以实现客体与客体(站点与站点间),主体与主体(比如教师与教师)之间的互动。

(二) 发布通告信息

通告信息的发布主要可以实现师生之间、生生之间、师师之间的互动,通告工具可以用来向当前项目的参与者发布信息,如会议时间或地点的更改等,通知可以由多种附件,包括文档和URL。在正式发布通告前可以保存草稿。通告以一个列表的形式呈现,在每个课程或项目的主页上都可以看到,网站所有者或者教师可以通过设置,选择是否自动给所有参与者用电子邮件发送通告。

(三) 管理学习教学任务

学习教学任务的管理主要是实现了多模态互动中教师与学习内容、资源之间的互动。针对不同的课程,任务管理工具允许教师在线创建、发布、收集和批改作业,为了保证作业的独立性,不同的用户间是不可见的,任务管理工具里有等级、分数、标记、通过、不及格或不列级别等字母。任务不论经过评价与否都可以返回给用户,以便再次修改上传,通过此工具,我们可以用来评价学生所完成项目的结果或论文等,为了方便起见,老师还可以一次性把所有作业下载到其他电脑里,批改完成后,学生能够看到他们的等级或评语。

开展网络交流和在线测试

为了实现师生互动,实时进行网络交流,聊天室工具创建了实时的,内容松散、无结构的聊天室。基于此,教师可以轻松的创建一个在线答疑系统,回答和解决学生的问题,对于具体的协作任务,各个分散的小组可以建立远程的交流空间,并统一进度,另在线讨论工具是用来进行结构化内容讨论的,较之于聊天室工具其不同之处在于网络参与者主要是围绕一个主题或话题进行讨论,站点创建者可以由选择地允许参与者张贴他们的讨论话题,如参与者可以围绕一次家庭作业或者一个课程的名词进行相关讨论。

在线测试工具允许教师或者站点管理者进行在线调查,测验或考试,学生可以通过一些列多项选择、判断、简答、配对或填空来完成测试,从而能够在线评估学生。

在卡内基梅隆大学,任务教学既受到欢迎,也受到质疑。原因是任务教学基本上是小组作业,这就难免造成有同学偷懒和抄袭现象。在卡内基梅隆大学计算机工程系的2012年8月的开学筹备上,就有人提出整个系统统一进行作品的考核,但是专业课程和任务差距过大而不好操作。上海海事大学魏忠老师对于任务教学的探索结论是应该辅助以大量的在线测试,提高学生的作伪成本和基础性知识的课下学习良,任务教学才成为可信的。

(四) 管理学习资源

教师或者管理者可以根据需要创建文件夹并上传资源,或者在平台上创建HTML文档,学生则可以查阅、下载各种学习资源,同时也可以上传资源到自己的工作站点,实现了教师-学习资源-学生彼此之间的互动。

(五) 网络协作共创

WIKI作为一个核心模块,可以让用户创建一个专用于特定课程或项目的WIKI站点,这个网站的成员可以监控、增加、更新和编辑站点内容,允许用户添加照片,链接其他WIKI页面和查看内容更改的历史记录等,这样学生可以在教师的指导下完成围绕某一主题的知识共建,发挥群体的优势,实现学习活动中的问题解决,并在问题解决的过程中学会协作,学会学习。

(六) 多模态互动实现-视频互动教学系统

视频互动教学系统是一个能够支持人们进行远距离实时交流信息,并能开展协同工作的应用系统。互动教学系统实施传输视音频信息,使得协作成员可以远距离地进行真实、直观的视音频交流。【Fre′de′ ric 2006】2在其论文中提到当用户通过屏幕上的视觉场景进行交互时,所得到的视觉感知、手势和语言就是在视觉环境、语言环境、听觉环境下相互作用的结合表现。另一方面,利用多媒体技术的支持,视频互动教学系统可以帮助用户处理工作中的各种信息,如共享数据、共享应用程序等,从而构造了一个多人共享的虚拟工作空间。

视频互动教学系统是把IP视频技术、视频和音频数据的压缩及解压处理技术、互联网应用技术相结合,把影视、图形、图像、声音、动画以及文字等各种多媒体信息及控制实时动态地引入教学过程的一种专用电脑网络教学平台,是利用计算机技术、网络技术、多媒体技术进行现代化教学活动的一个系统概念。有了它,教师可以通过电脑,利用图形、动画乃至声音、音乐、影带、VCD以及多媒体教学软件等先进手段在广域网上进行远程教学活动,具有多媒体广播教学(屏幕广播、音视频广播),由教师对学生机进行屏幕监视、语音监听、单独对讲、讨论发言、转播示范及远端复位、遥控辅导、答题示范、语音分组讨论等多种教学功能,它不仅改变了传统的教学模式,将电脑教学的功能变得多样化,老师不必再花费很多时间写黑板,或是来回巡视教室,而且学生也不必再挤在一个教室或会议室,围在小小的屏幕前观看老师的示范,任何联网的计算机都可以成为互动的教学终端,实现了集体教学,分组练习与个别辅导的教学环境,使普通的电脑与高级演示、视听、语音教学融于一体。它较传统教学方式更加现代社会对教育的高效、方便、频繁交流的需要。随着如今网络的高速发展,视频会议教学系统将是人们学习的一种重要手段。



回复

无觅相关文章插件,快速提升流量

分享按钮