從視覺語言學到演化語言學:
手勢、手語與口語
演講者:戴浩一講座教授
國科會補助人文及社會科學研究圖書計畫
經典名著導讀講座
May 13, 2011
(博士生蘇秀芬協助整理)
國科會補助人文及社會科學研究圖書計畫
• 規劃主題：視覺語言學
計畫編號：NSC96－2420－H－194－008－2E
執行期間：96年12月01日 至 98年 11月30日
• 規劃主題：演化語言學
計畫編號：NSC99－2420－H－194－096－2E3
執行期間：99年06月01日 至 102年05月31日
2
參與人員
• 主持人: 戴浩一
• 共同主持人: 蔡素娟、王國羽(圖書館館長)
• 計劃參與人員: 黃惠華、李信賢、陳欣徽、
陳怡君、蘇秀芬
3
「視覺語言學」的圖書
• 以手語語言學、視覺心理學、文字書寫系
統、閱讀心理學為主要領域，並輔以相關
的認知語言學及心理語言學（含語言處理、
語言習得）領域的圖書。
• 其目的在提供研究手語及發展跨學科「視
覺語言學」所需要的基本圖書。
4
「演化語言學」的圖書
• 以手勢研究、手語語言學、認知腦神經語
言學、生理語言學、基因研究為主要領域，
並輔以相關的認知語言學及心理語言學領
域的圖書。
• 其目的在提供研究「演化語言學」所需要
的基本圖書。
5
1. 視覺語言學相關研究
• 手語與手勢（伴隨口語）之研究
• 文字書寫系統與語言之互動
6
1.1 手語 (sign language) (1)
人類語言產生與感知的三個管道
1.口語 ─ 聽人以聽覺管道產生與感知的語言
2. 手語 ─聾人以視覺管道產生與感知的語言
3. 手指語─又盲又聾的人以觸覺管道產生與
感知的語言
7
1.1 手語 (2)
• 很多人都以為手語就是用比手劃腳，沒有
規則可循。
• 在1960年代以前，語言學家也是如此認定。
但是1960年代以後經過多年的研究，證明
手語也是人類的自然語言。人類自然語言
的特點，不管是口語還是手語，都是以有
限的符號，透過一套規則（即語法），來
表達無限的概念。(Klima and Bellugi 1979,
Stokoe et.al. 1965)
8
1.1 手語 (3)
• 口語的設計特徵 (design features):
組成符號的二元性 (duality of patterning),
任意性 (arbitrariness), 分離性
(discreteness), etc.. (Hockett 1960)
• 手語的設計特徵:
組成符號的二元性 (duality of patterning),
擬像性(iconicity), 漸變性 (gradience), etc..
9
1.1 手語 (4)
• 自然手語具有所有自然語言的特質，包括：（1）
詞彙都是約定俗成的「形式＋語意」的配對，必
須靠後天的學習、記憶；（2）有意義的詞彙是由
無意義的較小單位所組成 (duality of patterning；
（3）詞彙可以經由衍生機制、複合機制及外語詞
彙借用而不斷的擴張；（4）有詞類的區別與階層
性的句法結構；（5）有一定的兒童語言習得的時
程；（6）語言的側化（lateralization）都在大腦
左半邊（Meier 2002 ）。
10
1.2 手勢 (gesture) (1)
• 伴隨口語的手勢是口語溝通不可缺少的成份，
手勢與口語成份一樣，同樣具有建構意義的
功能(Goldin-Meadow 2003a, Kendon 2004,
McNeill 1992, 2005) 。
• 手勢與口語分工合作，前者表達意像，後者
表達訊息，因此透過手勢的研究更能了解語
言與思維的關係。 (Kita (ed.) 2003, McNeill
1992, Slobin 1996)。
• 手語中的手勢功用與伴隨口語的手勢類似
(Duncan 2005, Emmorey 1999, Liddell
2003, Liddell & Metzger 1998) 。
11
1.2 手勢 (2)
• 手勢的類別:圖像手勢(iconic gestures)、比
喻手勢(metaphoric gestures)、指涉手勢
(deictic gestures)、節拍手勢 (beats)、表語
用連結的手勢(cohesive gestures) (Kendon
2004, McNeill 1992, 2005)。
• 手勢與口語的關係: 時間上共現與否、語意
上增加意象或補充意象，發揮建構意義的功
能。
12
1.2 手勢 (3)
手語中的手勢
• 廣義的手勢包括面部表情 (facial gesture)、
姿體動作 (body gesture and body-part
gesture)、及手語內部的形式變化，如手形
因要模仿外界事物、事件而產生的變化
(manual gesture)。
13
1.2 手勢 (4)
手勢與語言習得:
• 一般小孩在語言發展中的開始都有指示手勢
(pointing) 與默劇似的比手劃腳 (pantomiming)
(Tomasello 2008)。
• 聽人父母的聾小孩雖然没有任何語言輸入, 但仍發
展出具有語言基本特質的溝通系統 (resilient
properties of language)，也就是所謂的家庭式手
勢(home-sign)(Goldin-Meadow 2003b)。
• 手勢與成人的第二語言習得 (Gullberg 1998, Stam
2006)：真正成功習得第二外語也需要同時習得該
外語的手勢。
14
1.3 文字書寫系統與語言之互動 (1)
書寫系統的種類：
• 拼詞文字 (logographic writing) ：如中文
• 音節文字 (syllabic writing) ：如日文
• 子音拼音文字 (consonantal alphabet
writing) ：如阿拉伯文
• 拼音文字 (alphabetic writing)：如英文
(Defrancis1989, Sampson 1985)
15
1.3 文字書寫系統與語言之互動 (2)
書寫系統與手語詞彙的表達
• 在拼音文字 (alphabetic writing)的環境下如
美國手語會利用所謂的拼指法（fingerspelling)與首字母手型（initialization）。
• 在拼詞文字 (logographic writing)的環境下
如台灣手語與中國手語與日本手語都會借
用漢字創造詞彙。
16
1.3 文字書寫系統與語言之互動 (3)
視覺語言學
• 從中國早期甲骨文的造字原則可以發現，人類在
創造文字的歷程很多是受到外在視覺訊息的影響。
• 聽障者所日常使用的手語詞序也都是受到其視覺
感知歷程的影響 （游順釗.1991）。
• 人類的語言處理並不是只經由聽覺這個管道，來
自視覺的訊息扮演著一樣重要的角色。
• 整合圖像、文字與手語之研究提供「視覺語言學」
對信息系統化的認知基礎。（戴浩一， X， Y，
Z）。
17
1.3 文字書寫系統與語言之互動 (4)
閱讀研究
• 文字系統、音韻覺識 (phonological
awareness) 與閱讀: 腦神經語言研究的證
據 (Li, Tan, Bates, and Tzeng (eds.) 2006)
18
2. 演化語言學
為什麼猴子不會說話也不會打手語？
19
人類與黑猩猩的DNA
20
2. 演化語言學之相關研究
方法：
• 1. 探討人類手勢、手語、與口語的產生與
演化。
• 2. 利用與語言有關的基因與腦神經迴路的
發現，推測與建構手勢、手語、與口語的
產生與演化所需要的必要基因(FOX-P2)腦
神經細胞（Mirror Neurons) 以及支持記憶
運作功能的腦神經迴路 (Arbib 2006,
Rizzolatti & Craighero 2004) 。
21
人類與猩猩的發音器官
22
嬰兒與猩猩的發音器官
23
人類與猩猩的大腦
24
嬰兒大腦的發育
25
大腦的語言部位
26
大腦語言部位的聯繫
27
人類溝通系統之起源 (1)
Corballis 2002, Chapter 5: Becoming Human
From protolanguage toward a more sophisticated grammatical language
年前
腦容量與其它
400
萬
相當於現代的猩猩 (400cc)
australopithecine 300
萬
Lucy
Bipedalism (雙腳開始直立)
Protolanguage
Homo habilis
能人
250
萬
腦容量開始增加 (550cc)
手勢性的語言開始漸進性地演
化出來
Homo Erectus
直立猿人
160
萬
嬰孩成長時期的延長
腦部演化及嬰孩成長期的延長
使recursive grammar的發展成
為可能
Homo sapiens
智人
15萬
達到現代人的平均值 (1300cc) 口語的產生, 同時也是
“cultural explosion” 時期*
發音器官的改變
FOXP2 的突變
Australopithecus
afarensis
語言產生與演化
28
人類溝通系統之起源 (2)
• 根據腦容量開始增加和嬰孩成長時期的延
長，Corballis (1992) 認為語言的產生起始
於能人 (H. habilis)，主要的溝通模式為手
勢，後來才在智人時期 (H. sapiens) 開始轉
換成以口語為主要的溝通模式。
29
人類溝通系統之起源 (3)
語言起始於手勢，主要有以下三大原因
(Corballis 2002:98-99):
• 生理上：手部動作的產生易於口語發音
• 生活上：狩獵活動的溝通，無聲勝有聲
• 溝通內容上：主要為地點、方位的指涉，
指示手勢或面部表情如眼睛的注視方向更
能達到有效的溝通。
30
人類溝通系統之起源 (4)
• 和Corballis一樣，Tomasello (2008) 觀察猩
猩和嬰兒的認知與溝通發展，認為人類的
語言溝通系統起源於手勢 ，他同時指出人
類語言產生的先決條件是共享意向 (shared
intentionality) 和心智理論 (theory of mind)。
31
人類手勢與動物手勢之異同
Tomasello (2008): 人類嬰孩約一歲開始發展
出具有以下三種功能的手勢
• Imperative (requesting)
• Declarative-informative
• Declarative-expressive (sharing)
• 而96-98%的猩猩指示手勢都是祈使意
(imperative)。 其它2-4%的手勢則没有明確
的語意功能。
32
討論時間
歡迎批評指教
33
References (1)
•
•
•
•
•
•
•
•
•
•
•
Arbib, M. 2006, Action to language via the mirror neuron system. Cambridge
University Press
Corballis, M. 1992. On the evolution of language and generativity. Cognition 44, 197226.
Corballis, M. 2002. From Hand to Mouth: The Origins of Language. Princeton
University Press
Duncan, S. 2005. Gesture in signing: a case study from Taiwan Sign Language.
Language and Linguistics 6(2), 279-318.
Emmorey, K. 1999. Do signers gesture? In L. S. Messing and R. Campbell (eds.),
Gesture, Speech and Sign, 133-159. New York: Oxford University Press.
Goldin-Meadow, S. 2003a. Hearing Gesture: How Our Hands Help Us Think.
Cambridge, Mass.: Harvard University Press.
Goldin-Meadow, S. 2003b. The Resilience of Language: What Gesture Creation in
Deaf Children Can Tell Us about How All Children Learn Language. New York:
Psychology Press.
Gullberg, M. Gesture as a communication strategy in second language discourse. A
study of learners of French and Swedish. Lund: Lund University Press.
Hockett, C. F. 1960. The origin of speech. Scientific American, 203, 89–96.
Kendon, A. 2004. Gesture: Visible Action as Utterance. Cambridge: Cambridge
University Press.
Kita, S. (ed.) 2003. Pointing: Where Language, Culture, and Cognition Meet. Mahwah,
N.J.: Lawrence Erlbaum.
34
References (2)
•
•
•
•
•
•
•
•
•
•
•
•
Klima, E and U. Bellugi. 1979. The signs of language. Cambridge, MA: Harvard
University Press.
Li, P, L. H. Tan, E. Bates, and J. L. Tzeng (eds). The Handbook of East Asian
Psycholinguistics, vol. 1: Chinese. Cambridge: Cambridge University Press.
Liddell S. 2003. Grammar, gesture, and meaning in American Sign Language.
Cambridge, UK: Cambridge University Press.
Liddell, S and M. Metzger. 1998. Gesture in Sign Language Discourse. Journal of
Pragmatics 30, 657–697.
McNeill, D. 1992. Hand and Mind. Chicago: University of Chicago Press.
McNeill, D. 2005. Gesture and Thought. Chicago: The University of Chicago Press.
Meier, R. 2002. Why different, why the same? Explaining effects and non-effects of
modality upon linguistic structure in sign and speech. In R. Meier, K. Cormier, and D.
Quinto-Pozos (Eds.), Modality and structure in signed and spoken languages, 1-26.
Cambridge University Press.
Rizzolatti, G., & Craighero, L. 2004. The mirror-neuron system. Annual Review of
Neuroscience 27(1), 169–192.
Slobin, D. I. 1996. From “thought and language” to “thinking for speaking”. In
Rethinking Linguistic Relativity, ed. by John J. Gumperz and Stephen C. Levinson,
70-96. Cambridge University Press.
Stam, G. 2006. Thinking for Speaking about motion: L1 and L2 speech and gesture.
International Review of Applied Linguistics, 44(2), 143–169.
Tomasello, M. 2008. Origins of human communication. Bradford Books.
游順釗. 1991. 視覺語言學. 大安出版社.
35