本文研究NHG(Neural Headline Generation)模型。
用Neural的思路来解决HG问题有以下优势：
1、完全数据驱动，不依赖与人工标注和语言学特征。
2、完全端到端，引入注意力机制会得到更好的效果。
存在以下弊端：
1、当前的优化方法都是用最大似然估计（MLE）来训练数据，没有将评价指标考虑在内。
本文用Minimum Risk Training(MRT)来改善NHG模型，将评价指标考虑在优化目标内，在中文和英文两个真实数据集上取得了不错的结果。
模型采用encoder-decoder框架，encoder和decoder都采用rnn作为模型。
Encoder包括两种：GRU和Bi-RNN。
Bi-RNN克服了传统RNN的语义偏置最后一个词的缺点。
Decoder采用GRU，在生成结果时引入了注意力模型。
传统的训练方法都是采用最大似然估计来做，目标函数如下：
本文采用了最小风险训练方法来训练模型，目的是减少期望的损失。目标函数如下：
进一步可以推出：
作进一步近似处理：
公式中的用来计算误差，这样训练处的模型将会将评价指标考虑在内。ROUGE是最常见的评价方法，所以本文考虑将ROUGE评价方法融入到目标函数中。
本文考虑两种ROUGE指标，ROUGE-N和ROUGE-L。本文为了将ROUGE评价指标融入到目标函数中，定义了
DUC2004评测对比结果：
英文数据集上，本文模型的结果明显优于其他模型，包括之前的ABS+模型。
中文LCSTS数据上平尺对比结果：
采用MRT目标函数的模型远优于MLE作为目标函数的模型。
本文通过将评价指标融入目标函数来训练模型，在中文和英文数据集上均取得了超过之前所有模型的结果。结果一点也不意外，因为传统的MLE并不是以ROUGE评价指标最大为目标函数，而本文的方法针对了评价指标来做文章，一定会得到不错的结果。反过来，我们需要思考一个问题，如果文本摘要领域中出现了一个更加科学和准确的评价指标，不仅仅简单的比共现n-gram，那么本文的模型会不会得到一个优于其他模型的结果呢？个人觉得本文的方法很好地利用了评价指标，但对于研究摘要问题的本质并无太多的帮助，只是获得了更好的指标。有一点投其所好的感觉。
来源：paperweekly
原文链接
