Artificial Intelligence Adv., May 1st, 2013
Do not distribute beyond this class
Methodology of conversation analysis
based on measurement
Nishida Lab
Yoshimasa Ohmoto
1
From External to Internal
◎Human behavior was simply copied to agents.
→ External behavior of agents was similar to human, but
internal process was very different.
◎We use diverse information to interact with
others.
◎Symbolic information
◎Verbal information and iconic gestures
◎Intentions and emotions
◎Mainly, nonverbal and paralinguistic
→ This information is very useful to speculate intentions.
George de La Tour,
The Cheat with the Ace of Diamonds
◎Who is the cheat? Who is the partner?
3
Speculating intentions
◎How do we speculate internal states?
◎Internal states mean what a person is thinking.
◎Very difficult
◎We cannot objectively describe internal states even when we
do about ourselves.
◎Our memory of the past is constantly being revised to fit our
own recognition of the current state.
◎How do we speculate intentions?
◎In most cases, we just take a shot in the dark.
◎We usually confirm after communication.
What is a “scientific” research?
◎There is no strict definition.
◎“consisting in systematic observation, measurement, and
experiment, and the formulation, testing, and
modification of hypotheses”
◎This means that
◎We cannot discover a “truth” in our researches.
◎We can only find a fact which is relatively correct.
◎The researcher interprets the fact as a evidence of his/her
hypothesis.
◎Therefore a paper needs “method,” “result,” and “discussion.”
5
Multi-modal interaction研究の動向(1)
◎AMIプロジェクト（2003～）
◎会議の記録と分析
◎収録内容をコーパスとして公開
◎70時間のシナリオ会話と30時間の自由会話
◎時間、人数、会話の書き起こし、対話行為タグ、話題文節単
位、会議の文節単位、要約情報、感情モデル、頭部と手の
ジェスチャ、視線方向、環境カメラ情報、個人カメラ情報、音
声情報、プロジェクタ、ホワイトボードとそのストローク
◎会議分析の遠隔会議発展版として、AMIDA（2006～）
◎4名のうち1名が遠隔地にいる場合におけるインタラクション
◎遠隔地間のコミュニケーションに特化
6
Multi-modal interaction研究の動向(2)
◎CHILプロジェクト（2004～2008）
◎対面で問題解決のために協力している様子を対象
◎AMIほどは整理された情報を公開していない
◎音声情報、画像情報、センサ情報
◎データからインタラクションパターンを見つけ出すの
が目的
◎VACEプロジェクト（2000～2007）
◎画像処理を用いた会話構造の特定が目的
◎ニュース番組を自動的に収集・解析する
◎多人数インタラクションにおけるジェスチャ研究
◎これまでは、発話とジェスチャ表出時の人間の認知処理過
程に焦点が当てられていた
◎開発された分析手法を実装したアノテーションツール
7
Multi-modal interaction研究の動向(3)
◎インタラクションコーパス（2001～2006）[角 03]
◎人間が、直感的にコンピュータとふれあうインター
フェースの開発
◎インタラクション行動を多角的に観察し、音声情報、注
視情報、生理情報などを取得して、再利用可能なコー
パスとして整理する
◎IMADEプロジェクト（2006～2011）
◎西田研など複数の研究者が中心となって行った
◎実世界におけるマルチモーダルインタラクションを分析
◎映像、音声、ジェスチャ、のみならず、行動データ、生体データ
などまで取得
◎性質の異なる情報を一括して処理することで、人間の認知・
心理状態の分析とインタラクション行動の規則性を発見する
8
インタラクション研究の技術的展開
◎なぜ大量のインタラクションデータが必要なのか？
(1) 発見のため、(2) 評価・学習用データとして
◎人工知能研究との関連は？
1. 対話システム作成
◎システムと人間のインタラクション
◎タスク・ドメインは限定的だが高い能力を要求
◎人間がシステムに適応することが多い
2. コミュニケーション支援
◎人間同士の作業支援（CSCW）やコミュニケーション仲介
◎介在できる範囲は限定的だが観察から発見する必要がある
◎人間はシステムを空気のように扱う
◎インタラクションデータを理解する必要がある
◎言語・文脈系の、意味処理
◎運動・反応系の、行動解釈
9
データの扱い
◎生データはほとんどの場合、意味を持たない
◎統計（経験的直感も含む）に基づく解釈が必要
◎人間が行うアノテーションを分析することもよくある
◎統合的解釈が必要[Kendon 72, 80, 04]
◎内部観測データと外部観測データ
◎分節と連鎖
◎因果関係と共起関係
◎インタラクションでは、単独の人物の行為のみに
焦点を当てて分析するだけでは不十分[Clark 96]
◎相手がいる行為がきわめて多い
◎「隣接ペア」「参与構造」など、複数人の関係性が意
味を持つことも多い
10
マルチモーダルインタラクション分析(1)
◎分類的アプローチ
◎機能に基づいてマルチモーダル情報を分類する
◎E.g. 「表象」「例示」「調節」「感情表示」「適応行為」 [Ekman 69]
◎表情分類
◎基本6感情（喜び、驚き、怒り、恐れ、嫌悪、悲しみ）に基づくも
のが多い
◎余談だが、この6感情でさえ明確に分類することは難しい
◎表情筋に基づくアノテーション手法（FACS）が提案されている
[Ekman 78]
◎ジェスチャ分類
◎「拍子」「表象的ジェスチャ」（「映像的ジェスチャ」「暗喩的ジェ
スチャ」「直示的ジェスチャ」） [MacNeill 92]
◎批判もある
◎表現そのものが意味を持つとは限らない
◎複数の機能をもつ表現も多くある
11
マルチモーダルインタラクション分析(2)
◎構造的アプローチ
◎インタラクション中の関係性を抽出する
◎主に時間的構造に注目する
◎発話、手の動き、身体の向き、視線などを時間軸上に
配置して、全体の関係性を記述する [Kendon 72]等
◎「ジェスチャ単位」に基づいて分節化
◎「ホームポジション」「プレパレーション(P)」「ホールド(H)」「スト
ローク(S)」「リトラクション(R)」
◎ストロークとホールドの連鎖によって、全体として一つのジェ
スチャ（ジェスチャ句）として解釈されることもある
◎構造的な関係性の記法がいくつも提案されている
◎ジェスチャ：英語の頭文字と分割記号(|, ||, /)によって表現
◎視線：何を見ているか「対象名＋アンダーバー」、視線移動中
「・・・」、どのあたりを見ているか「対象名＋ハイフン」
12