词语对齐的对数线性模型1
刘洋 刘群 林守勋 中国科学院计算技术研究所 北京市海淀区科学院南路 6 号 2704 信箱,100080 {yliu, liuqun, sxlin}@ict.ac.cn
摘要
基于对数线性模型, 我们为词语对齐提出一种框架. 所有的知识源被视作依赖于源语言 句子, 目标语言句子以及可能的其他变量的特征函数. 对数线性模型使统计对齐模型易于扩 展,方便加入更多的语言学信息.在本文,我们使用 IBM 模型 3,词性信息和双语词典作 为特征.实验表明,对数线性模型显著优于 IBM 翻译模型.
1. 引言
词语对齐的目标在于指明平行文本中词之间的对应关系,最早是作为统计翻译模型的中 间产物而被提出(Brown et al., 1993).由于经过词语对齐的语料是重要的与翻译相关的资源, 词语对齐对统计机器翻译而言十分关键. 研究人员提出各种各样的方法在平行文本中计算词语对齐,这些方法大体上可分为两 类:统计方法和启发式方法.统计方法往往试图通过建立模型来描述平行文本之间的关系, 模型参数可以从训练语料库中学习(Brown et al., 1993; Vogel and Ney, 1996). 启发式方法通过 根据语言对设计各种各样的相似度函数来计算词语对齐(Smadja et al., 1996; Ker and Chang, 1997; Melamed, 2000).统计方法和启发式方法的主要区别在于统计方法是基于概率模型而 启发式方法则依赖于相似度函数. 研究表明, 统计对齐模型要优于简单的 Dice 系数方法(Och and Ney, 2003). 然而,由于自然语言的多样性,词语对齐问题还远未达到充分解决的地步.比如,习惯 表达, 随意翻译以及内容词或功能词省略等语言现象给词语对齐带来很大的困难. 当两种语 言在词语顺序上差异很大时,词语对齐尤为困难.因此,通过整合所有有用的语言学信息来 缓解这些问题是很有必要的. Tiedemann (2003)提出整合关联线索(association clue)的词语对齐方法.线索被定义为 关联的概率, 线索整合是通过单个线索的分离实现的. 线索整合的一个关键假设是线索之间 是相互独立的,然而这个假设通常并不能保证为真.Och and Ney (2003)提出模型 6,该模型 是 IBM 翻译模型和 HMM 模型的线性整合. 虽然模型 6 要比通常的 IBM 模型取得更好的结 果,它不能够引入除 IBM 翻译模型和 HMM 模型之外的依赖关系.Cherry and Lin(2003)提 出一种易于整合与上下文相关的特征的统计模型.
这篇文章是一篇译稿,由刘洋翻译,可供中文读者参考,正式的论文是由英文写作.译稿相对正式的论 文有少量改动,纠正了一些错误.正式的论文参见: Yang Liu, Qun Liu, and Shouxun Lin. 2005. Log-linear Models for Word Alignment. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL), pages 459-466, Ann Arbor, USA, June.
1
对数线性模型易于合并附加的依赖关系,并且在统计机器翻译中得到成功的应用(Och and Ney, 2002).在本文,我们为词语对齐提出基于对数线性模型的框架.所有的知识源被 视作依赖于源语言句子, 目标语言句子以及可能的其他变量的特征函数. 对数线性模型使统 计对齐模型易于扩展,方便加入更多的相关信息.我们使用 IBM 模型 3,词性信息和双语 词典作为特征.实验表明,对数线性模型显著优于 IBM 翻译模型. 我们首先描述词语对齐的对数线性模型, 然后讨论特征函数设计, 接着介绍对数线性模 型的训练方法和搜索算法.最后是实验结果和分析,以及未来的研究方向.
2. 对数线性模型
下面我们将给出词语对齐的正式定义.已知源语言句子 e = e1 = e1 ,..., ei ,..., eI 和目标语
I
言句子 f = f1J = f1 ,..., f j ,..., f J ,我们定义 l = ( i, j ) 是一个连线如果 ei 和 f j 互为翻译(或 者部分翻译) .对齐 a 被定义为词语位置的笛卡尔集的子集:
a {( i, j ) : i = 1,..., I ; j = 1,..., J }
(1)

下一页