我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:2019跑狗图高清彩图 > 语意场 >

自然语言理解-语义知识的形式化表示

归档日期:07-13       文本归类:语意场      文章编辑:爱尚语录

  自然语言理解-语义知识的形式化表示_院校资料_高等教育_教育专区。上海交通大学计算机系工程硕士《自然语言理解》课程,陈玉泉老师主讲

  语义知识的形式化表示 什么是意义? 关于意义的许多说法 ? ? ? ? ? ? ? ? ? 指称论 意念论 行为论 情境论 实证论 真值论 用法论 境况论 …… 从计算机的角度看意义 ? ? ? ? 计算机只能在符号世界里转圈圈; 意义就是符号变换的游戏; 纯粹从符号世界的角度看,“A的意义是B”意 味着什么? 所谓知道一个符号串的意义,包含两层意思: ? ? 1 你可以把一个符号串A变换为符号串B; 2 原则上,关于这个符号串A的变换游戏没有止尽; 意义:符号之间的变换关系 ? a. 在一种语言内进行的符号变换 ? “张三打了李四”“李四被张三打了” ? b. 在不同语言之间进行的符号变换 ? ? “张三用手打了李四” “Zhang San hit Li Si with his hand” ? c. 在不同性质的符号系统之间进行的符 号变换 ? “这是残疾人通道” 意义:符号之间无止尽的变换 关系 ? “我买了辆车” ? ? ? ? ? 意思1:我付钱从某处购买了一辆车 意思2:我拥有了一辆车 意思3:我可以使用这辆车 意思4:我的钱都花完了 …… 如何确定符号之间的变换关系 ? ? ? 问题1:如何让计算机知道“A的意思是 B”? 问题2:如何让计算机把符号A变换为符 号B? 问题1 =问题2 困难:形式与意义的非一一对 应性 ? 一个形式——多个意义 ? 自然语言理解必须面对的问题 ? 一个意义——多个形式 ? ? “意义”怎么能论“个”呢? 自然语言生成必须面对的问题 ? 把上述问题换种表述法: ? 符号A对应着多个可能的变换结果B1,B2,B3,…,在 特定场合下,到底选哪一个? 一个形式——多个意义(多义 词) ? ? 这个编辑很不错 他每年要编辑一百万字的书 多义词 兼名、动两个词性的 ? ? ? 这小伙子是干警察的好材料 把这个小伙子的材料送人事部 这是一种新型材料 只有名词一个词性的多义情 形 ? ? 这是我刚买的字典 我刚查的字典,难道还有错 虚词的多义情形 一个形式——多个意义(多义 词?多义句式?) ? 许多读者给编辑部打来了电线:领有关系 ? 这本书有许多读者 ? ? ? ? ? ? ? 编辑部有许多读者 张老大有很多手下 许多人给编辑部打来了电话 * 这本书有许多人 编辑部有许多人 张老大有很多人 读者1:0价 读者2:1价 手下:0/1价? 一个形式——多个意义(指代 消解) ? ? ? ? ? 张三i把他j出卖了 张三i把他i,j的朋友出卖了 老张i有个漂亮的女儿j,υi,j 很骄傲 老张i买了辆新车j,υj 很贵 老张i中了头奖j,υi 很高兴 一个形式——多个意义(泛指 与特指) ? ? ? 人是会死的 苏格拉底是人 苏格拉底是会死的 鲁迅的作品不可能在一天之内全部读完 《祝福》是鲁迅的作品 《祝福》不可能在一天之内全部读完 ? ? ? 一个形式——多个意义(量化 词组) ? 驴子句(donkey sentence) ? ? ? If John owns a donkey, he beats it. Every farmer who owns a donkey beats it. John owns a donkey. 一个形式——多个意义(结构、 关系) ? ? ? ? ? ? ? 发现了敌人的哨兵 牛奶饼干 反对的是他 他正在上课 开刀的是张大夫 在火车上写标语 小明的信 一个形式——多个意义(隐喻) ? ? ? ? ? ? ? ? 董永这回算是背上口大黒锅了 这家伙真是个狐狸 白天不懂夜的黒 送温暖 办教育 董永终于抹平了七仙女心头的创伤 教堂的钟又敲响了 卧室的钟慢了整整一个小时 一个意义——多个形式(同义 词) ? ? ? ? ? 不——没(有) 我不去西藏——我没去西藏 我不知道结果——* 我没知道结果 * 我不病——我没病 这锅肉还不烂——这锅肉还没烂 一个意义——多个形式(同义 结构) A 马文才害死了梁山伯——B1 梁山伯被 马文才害死了 B2 马文才把梁山伯害死了 1) A B2 * B1 ,又抢走了祝英台。 2) *A *B2 B1 之后,一家人整日以泪洗 面。 ? ? 语义知识的性质和作用 ? ? 语义知识跟句法知识的性质差别主要在 于知识颗粒度的粗细不同——语义知识 就是细化了的句法知识;句法知识就是 非常概括的语义知识; 宏观而言,语义知识跟句法知识的作用 是相同的——都是为了正确地进行符号 串的变换操作 依赖语义知识进行结构分析 ? ? 例1发现宝藏的人v + n1+ 的+ n2 例2知道敌军的意图v + n1+ 的+ n2 依赖语义知识进行词义消歧 例1 例2 多义 词义项 释义 英语译词 想主意 想1 思索,思考 think 想女儿 想2 想念,怀念 miss 依赖语义知识进行推理 ? ? ? ? 例1 乡长买了一瓶茅台- 乡长拥有了一瓶茅 台 例2 乡长给了村长一瓶茅台- 村长得到了一 瓶茅台- 乡长失去了一瓶茅台 例3 乡长正在打鼾- 乡长正在睡觉 例4 Every farmer who owns a donkey beats it. John is a farmer. Pandora is a donkey .Does John beat Pandora? --Yes. --I don?t know 语义· 理解· 语义知识 理解符号串A的意思=将A变换为符号串B ? 对A进行句法结构分析 对A进行词义排歧分析 对A进行推理 …… 在机器看 来,只不过是在做 符号串变换的操作 ? ? ? ? ? 要进行上述符号变换操作,除了需要 句法知识外,还需要语义知识 语义知识的类型及其形式化表 示 ? ? ? ? ? 关于词义聚类关系的知识(纵向) 关于词义组合关系的知识(横向) [属性名:属性值] 型语义知识(静态)- 词典 [条件- 动作] 型语义知识(动态)-规 则 句法知识与语义知识的一体化(同样的 形式化表示) 关于词义聚类关系的知识 ? ? ? ? 同义(近义)关系 反义关系 同位关系 上、下位关系 语义特征表示 语义场描述 ? ? 语义场是对语义特征的系统化表述 顺序,循环,层级,… 语义场为结构化的语义特征值提供了描述手 段 ? ? ? ? ? 一月,二月,……,十二月 星期一,星期二,……,星期日 钱,两,斤,公斤,吨 学士,硕士,博士 国,省,市,县,镇,乡,村 语义场描述 颜色语义场 XY 的意思是:如果一种语言包含Y,则一定也包含X Berlin,B. & Kay, P. 1969, Basic Color Terms, Berkeley and Los Angeles: University of California Press. 亲属关系语义场 ? ? ? ? ? 亲属词本质上表示的是人与人之间的关系; 复杂的关系可以还原为基本的关系和属性; 最基本的关系是:亲子关系(Parent)、夫妻关系 (Consort)、长幼关系(Order); 最基本的属性是性别属性(Sex),值为男性(Male), 女性(Female); 任意一个亲属词都可以表达为参考人X的函数; ? e.g.亲属名关系表达式属性描述 ? ? 妻子C(X,Y)Sex(X)=M; Sex(Y)=F 哥哥O(Y, X) & P(Z,X) & P(Z,Y) Sex(Y)=M 语义分类树 语义知识应用示例(一) ? 1)判断句子是否合法-句法分析 ? ? 例(1)手枪比步枪更难使用 例(2)* 手枪比武器更难使用 ? 2)细化组合模式(从词类到语义类)-句法 分析 ? ? ? 修理汽车的工人-v + n + 的+ n 寻找烈士的遗物-v + n + 的+ n[ [ 修理汽车] 的工 人] -v + 交通工具+ 的+ 人 [寻找[烈士的遗物] ] -v + 人+ 的+ 具体物 语义类与语义特征 ? ? ? ? ? 类与特征所描述的信息是等价的;有n个取二 值的特征,就可以分出2n个类,反之亦然。 “烈士”、“家属”——烈士家属* 家属烈士 烈士——语义类:人 家属——语义类:人,关系:Yes “关心烈士的家属”——v + n + 的+ n——v + 人+ 的+ 人——v + 人+ 的+ 人{关系:Yes} 从词类到语义类到语义特征,是不断对结构模 式进行细化的一个过程 关于词义组合关系的知识 ? ? ? ? ? ? ? 理想目标:描述任意词语之间的组配关系 动词-名词之间的组配关系 论元个数——配价数 论元类型——论旨角色 对论旨角色的选择限制 论旨角色与句法结构位置之间的对应关系 广义配价模式 论元个数-配价数 ? 反映动词所能投射的基本句法结构的性 质 ? ? ? ? ? V 零元(价)动词 ____ V ____ V ____ ____ V ____ ____ …… 一元(价)动词 二元(价)动词 三元(价)动词 X元(价)动词 X 价动词 ? _____ 为(向,对) ______ V ? ? ? 董永总为别人着想 大家向董永看齐 董永对七仙女发火 那个犯人企图逃跑 董永觉得不舒服 董永告诉七仙女晚上六点开会 ? _____ V VP ? ? ? _____ V NP VP ? 论元类型-论旨角色 ? 反映动词所能结合的名词语义角色 汉语动词的论旨角色层级系统 论旨角色的定义 ? 原型施事(proto-typical agent)典型性 渐减的三个小类 论旨角色的定义 ? 施事、感事、主事句法上的分布 施事的句法定义 ? ? ? ? ? ? 1)作基础句的主语。例如“弟弟哭了”“小张吃了一 碗汤面”; 2)作“把”字句的主语。例如“哥哥把校长给得罪 了”; 3)作“被、由”等介词的宾语。例如“后勤工作由老 刘负责”; 4)作“V一V、V了V”等重叠形式的主语。例如“你试 (一)试”; 5)作“不VP”和“没有VP”等否定形式的主语。例如: “小沈不去”; 6)不在宾语位置上出现,除非句首是处所性成分。例 如:“*笑了小明”; 选择限制(语义组配) 如何描述选择限制 ? 句法属性层次 ? 商量: {当事: […,复数:Yes,…]}; 争吵、对话、…… ? 语义属性层次 ? 吃: {施事:[语义类:人动物],受事:[语义类:食物]} 嗑:{施事:[语义类:人],受事:[词语:*瓜子]} 变卖:{施事:[语义类:人集体],受事:[语义类: -人]} ? 词例层次 ? ? 正面描述与反面描述 ? 论旨角色与句法结构的对应关 系 ? ? ? ? ? ? ? ? ? ? ? ? 动词各论旨角色可以出现的句法位置 …… S3: A + 用+ I + __ + P 例如:妈妈用小刀切西瓜 S4: I + A + __ + P 例如:这把刀我切肉 S5: Ma + A + __ + P 例如:那些白菜我都包饺子了 S6: A + 用+ Ma + __ + R 例如:姐姐用细毛线: A + 把+ Ma + __ + R 例如:妈妈把板栗全包了粽子 S8: A + __ + I 例如:我切这把大刀 S9: A + __ + Ma 例如:我包韭菜馅儿,你包肉馅儿 S10: A + __ + M 例如:我包小包,你包大包 …… A-施事;I-工具;P-受事;Ma-材料;M-方式;R-结果; 论旨角色与句法结构的对应关 系(续) ? ? ? ? ? {R1}vp-vp np :: $.内部结构=述宾, IF %vp. 受事=%np TRUE, IF %vp.结果=%np TRUE, … {R2}np-vp u的 np :: …,IF %vp.内部结构 =述宾 THEN %vp.施事=%np ENDIF,… 发现宝藏的人——[ [发现宝藏] 的人] 知道敌军的意图——[知道[敌军的意图] ] 发现敌人的哨兵——[发现[敌人的哨兵] ]—— [ [发现敌人] 的哨兵] 广义配价模式 ? 纵向拓展 ? 从词到短语 在两个方向上对标准配价模式 进行扩展 ? 横向拓展 ? ? ? 从“动——名”关系拓展到“动——形”关 系, “形——名”关系,“名——名”关系, “副——形”关系,…… 短语结构的组配性质 ? ? ? ? 买——买衣服 买贵了——这件衣服你买贵了 * 你买贵了这件衣服 晾——晾衣服 晾阳台上 晾干——晾干衣服 * 晾干阳台上 “动-形”语义组配描述 ? 买便宜的布* 买便宜染红 洗干净了 洗聪明了 * 洗僻静了 * 洗远了? 动词形容词 动词形容词 名词 洗胖了 * 洗适宜了 洗浓了 其他词类之间的组配约束 ? 名——名组配(n + n) ? ? ? ? ? 副词/形容词——动词(短语) ? ? ? 整体-部分关系“没有盖儿的杯子”-“没有杯子 盖儿” 集合-成员关系“北大的学生”-* “学生的北大” 实体-材料关系“塑料凉鞋”-* “凉鞋塑料” 个体-亲属关系“老张的女儿”-* “老张的” * 正在知道… * 马上买贵了 * 认真地懂得了… ? …… 格语法 ? ? Case Grammar Charles J. Fillmore, 1966 ? ? ? Towards a modern Theory of case The case for case 格辨 Some Problems for Case Grammar 格的含义 ? 传统语言学中的格是表层格 ? ? 词尾变化 词干音变 体词与谓词的及物性关系 句法语义关系 ? 格语法中的格是“深层格” ? ? 例子 ? ? ? ? ? The The The The The door opened. key opened the door. boy opened the door. door was opened by the boy. boy opened the door with a key. ? ? ? The boy: 施事格 The door: 客体格 The key: 工具格 格语法 ? ? ? 基本规则 词汇部分 转换部分 基本规则 ? ? ? S-M+P P-V+C1+C2+…+Cn C-K+NP 基本规则 ? ? ? ? S-M+P 一个句子S可以改写成情态和命题两大部 分 情态部分包括否定、时、式、体、以及 其他被理解为全局情态成分的状语 命题牵涉到动词和名词短语、动词和内 嵌小句之间的关系 基本规则 ? ? ? P-V+C1+C2+…+Cn 任何命题P都可改写成一个动词V和若干 个格C。 动词是广义上的动词,包括:动词、形 容词、甚至包括名词、副词和连词 基本规则 ? ? C-K+NP K为格标,是各格范畴在底层结构中的标 志。 格表 ? ? ? ? ? ? ? ? ? ? 施事格Agentive 工具格Instrumental 承受格Dative 使成格Factitive 方位格Locative 客体格Objective 收益格Benefactive 源点格Source 终点格Goal 伴随格Comitative 词汇部分 ? 在词库中标明词汇的底层格的特征 ? ? Street [+Locative] Idea [-Locative] Cry [+A] run [+A] Cry 和 run 可以带有一个表示施事的NP ? 标出动词的框架特征 ? ? ? ? 区分必选格和可选格 转换部分 ? 和转换语法类似 ? ? ? ? 移动 删除 插入 复写 格语法与汉语 ? 有局限性 ? ? 汉语不是动词中心 流水句、无动局、连动、紧缩等结构,无法 用一个动词统率一个句子的模式来描述。 义素分析法 ? ? 丹麦语言学家叶姆斯列夫 L. Hjelmslev 美国语言学家卡茨J. Katz和福多尔J. A. Fodor提出解释语义学 义素分析法 ? ? ? 义素是意义的基本要素 义素是词的理性意义的区别特征 词的理性意义是一系列语义特征的总和 例1 ? ? ? ? 男人:[+人]、[+成年]、[+男性] 女人:[+人]、[+成年]、[-男性] 男孩:[+人]、[-成年]、[+男性] 女孩:[+人]、[-成年]、[-男性] 例2 ? ? 陆军:[军队]{[在陆地][作战]}f{[通常由……组成][步 兵][炮兵][装甲兵][工程兵]各[专业部队] 海军:[军队]{[在海上][作战]}f{[通常由……组成][水 面舰艇][潜艇][海军航空兵][海军陆战队]各[专业部队] 同一类型的义素写在同一花括弧 f:适用范围 “各”是一个标志,它表示被标志的义素可以分解为 若干同类的义素。 ? ? ? 义素分析法 ? ? 了解词与词搭配是在语义上受到什么样 的限制 用于判断同义词、近义词之间的差别 蒙太古语法 ? Montague Grammar ? ? 语义研究的形式化问题 蒙太古认为自然语言研究必须是数学的一个 分支 句法 翻译 语义 ? 组成部分 ? ? ? MG理论模式 有意义的词语 义类 内涵逻辑表达式 语义规则 特定模型中 的外延 或内涵所指 词库 对应函数f 翻译规则 基本词语 语类 句法规则 树形图 MG句法部分 ? 语类 category ? ? e和t以及它们之间关系的一组集合 e: 表示个体词语(individual expression)或实体词 语(entity expression) ? ? 不同于名词或者名词短语 e.g. chair不属于e语类,只有具体的某把椅子的词语才属 于e语类 ? t: 表示具有真值的语言单位,真值词语(truth value expression)或陈述语句(declarative sentence) 语类 ? ? ? ? 如果A和B位语类标记,则A/B、A//B均为 语类标记 所有语类都是从e和t中推出 A/B表示一个可以与B语类词语结合而产 生A语类标记的语类 A/B和A//B表示属于不同句法范畴而具有 相同语义范畴的语类 语类一览表 语类 t e IV T 定义 (基本语类) (基本词语) t/e t/IV 无 无 Run, walk, talk, rise, change John, Mary, he0, he1, he2, … 基本词语 TV IAV CN t/t IAV/T IV/t IV//IV IV/T IV/IV t//e Find, lose, eat, love, be, seek, conceive Rapidly, slowly, voluntarily Man, fish, friend, price, temperature Necessarily In, about Believe that, assert that Try to, wish to 句法规则 ? ? ? 句子依照费雷格原理,通过短语有小到 大的结合而逐渐产生 短语之间的结合通过句法规则来实现 典型的句法规则 ? Sn 如果α∈PA,β∈PB,那么 ∈PC,且Fm(α, β) =… Fm(α, β) 基本规则 ? S1 ? ? ? PA(即A类 对于任何A语类来说,BA(即A类基本词语) 短语)S3 如果ζ∈PCN,σ∈Pt,那么 F3,n(ζ,σ) ∈PCN,且F3,n(ζ,σ) =ζ ? s .t. σ?,其中σ?来自σ,并根据ζ中第一个BCN的{阳、阴、 中}性,用{he、she、it}或{him、her、it}来提换σ中的每 一个hen或himn。 如果τ∈PCN ,那么F0(τ), F1(τ),F2(τ) ∈PT,且F0(τ) =every τ, F1(τ)=the τ, F2(τ)=不是a τ就是an τ,具体 情况依中第一词和或搭配形式而定。 ? S2 ? 合取和析取规则 ? S11和S13处理有and或or连接的合取或析 ? 取短语 S11 ? 如果μ,ψ∈ Pt ,那么F8(μ,ψ),F9(μ,ψ) ∈ Pt ,且F8(μ,ψ) =μ and ψ , F9(μ,ψ) = μ or ψ 量化规则 ? ? S14至S16为量化规则 S14 ? α∈ PT, β∈ PT, 那么F10(α, β) ∈ PT, 且: ? ? 如果α不是hek形式短语(即不是传统意义上的人称代词), 那么F10(α, β)就等于将β中第一个hen或himn用α代替,其 后出现的hen或himn则根据α中第一个BCN或BT的性用{he, she, it}或{him, her, it}替换 如果α=hek,则F10(α, β)等于将β中所有的hen或himn用hek 或himk来替换 时态及记号规则 ? S17为时态及记号规则 MG翻译部分 ? ? MG为表示句法和语义的同态性,通常将 句子翻译成内涵逻辑表达式 每一条句法规则都有相对应的一条翻译 规则 MG翻译部分 ? ? ? ? ? ∧δ?表示δ?的内涵,∨ δ?表示δ?的外延 P{a}= ∨P(a)叫做括号等式 ∨ ∧ δ?= δ? 谓词变项P表示个体集合的属性 人名和代词在MG中的依法分别为: λP[P{α}], λP[P{hen}] λ变换 ? ? λ变换指的是把主目代入含有λ算子指定 的那个变项的表达式中,并消掉λ及变项。 λx[…x…](a)=[…a…] 函数应用规则 ? ? S4至S10将A/B语类的短语与B语类的短语 结合而产生A语类的短语 S4 ? 如果α∈Pt/IV, δ∈PIV,那么F4(α,δ) ∈ Pt,且 F4(α,δ)=αδ?,其中δ?是将δ中的第一个动词 替换成第三人称单数形式的结果。 MG语义部分 ? MG内涵逻辑有句法和语义两部分组成 ? ? 句法部分主要确定内涵逻辑表达式义类问题 语义部分主要有语义规则组成,这些规则根 据模型来确定内涵逻辑表达式中的所指问题。 MG内涵逻辑句法部分 ? ? 内涵逻辑的句法主要确定内涵逻辑表达 式的逻辑义类(logical type)问题 基本义类有两个:e和t ? ? e表示个体 t表示真值 义类和语类是不同的概念 义类的递归性的定义 1. 2. 3. 4. t 是一个义类; e是一个义类; 如果a和b是义类,那么a, b是一个 义类; 如果a是义类,则s, a是一个义类 其中a, b表示一个由a向b映射的函数, s, a表示a的内涵。 义类与语类的对应关系 ? 义类与语类一一对应,有一个函数关系, 用f表示 1. 2. 3. f(t) = t f(e) = e 对于任何A、B语类来说, f(A/B)=f(A//B)=s,f(B),f(A) MG内涵逻辑句法 ? ? ? 基本成分 常项 变项 ? 内涵逻辑句法部分的作用主要是确定内涵逻 辑表达式的义类,其规则表述如下: 1. 2. 3. 4. α义类中的每一个变项都属于MEα(即α义类的有 意义词语); α义类中的每一个常项都属于MEα; 如果α∈MEα,u为b义类变项,则λuα∈MEb,a; 如果α∈MEa,b,β∈MEα ,则α(β)∈MEb;等等 MG内涵逻辑语义部分 ? ? 内涵逻辑模型 语义规则,主要确定内涵逻辑表达式的 所指问题 内涵逻辑模型 ? ? A, W, T, , F 具体表述如下 ? ? ? Da=A Dt={0, 1} Da, b= D D b Ds, a= W ?T a a ? D 其中Da表示a的所指(denotation)。E的所指为 模型中的个体集合,t的所指为一个真值集合,a, b的所指是一个由a所指向b所指映射的函数。 s,a是a的内涵 ? 内涵逻辑的语义规则 ? 如果α是一个非逻辑常项,则 [?] ? m , w , t ,g ? [F(?)](? w, t ?) 如果α是一个变项 [?] m , w , t ,g ? g (? ) 内涵逻辑的语义规则 ? 如果α∈MEα,μ是一个b义类变项,则 是一个函数h,其定义域为Db。对于Db中任何 一个x来说, h ( x ) ? [?] m , w , t ,g [???] m , w , t ,g 其中g?表示对变项y的一次赋值。 内涵逻辑的语义规则 ? 如果α∈MEa,b,β∈MEb,则 [?(?)] m , w , t ,g ? [?] m , w , t ,g ([?] m , w , t ,g ) 小结:句法与语义的分界与重 叠 小结:语言知识的筛子模型 小结:意义的组合原则(principle of compositionality) 语言中有多少成分的意义可以被“组合”出来,有多少不能被 “组合”呢? 组合=函数,Meaning(s)=F(Meaning(s1),Meaning(s2), …), s=s1s2…

本文链接:http://mangerdulion.com/yuyichang/229.html