自然语言是人类文明传承和日常交流所使用的语言。狭义的自然语言处理是使用计算机来完成以自然语言为载体的非结构化信息为对象的各类信息处理任务，比如文本的理解、分类、摘要、信息抽取、知识问答、生成等的技术。进一步延展场景，广义的自然语言处理技术也包含自然语言的非数字形态（如语音、文字、手语等）与数字形态之间的双向转换（识别与合成）环节。

鉴于自然语言丰富地表现了人类的认知、情感和意志，潜在地使用了大量常识和大数据，自身在算法和模型上也多采用各种启发式线索，目前一般均把自然语言处理作为人工智能的一个分支。

最近，在人工智能领域出现重要进展、人工智能应用受到各行各业热切期待。自然语言处理技术也水涨船高，受到普遍的重视，NLP的出现描绘了人工智能更美的诗和远方。

NLP的起源

自然语言处理作为人工智能的一个分支，其源头和人工智能一样，都出自于计算机科学的祖师爷级人物——阿兰·图灵。图灵在提出图灵测试的时候，就把使用自然语言与人进行对话可以乱真的能力作为判别一个机器系统有无智能的标准。在图灵的时代，让机器“善解人意”是人工智能的诗与远方，在当时的技术条件下还看不到实现的希望。

▲NLP作为人工智能分支的兴起

使用简单直接的词袋技术和模板匹配技术，是处理自然语言早期尝试的开始，冲在最前面的是机器翻译和人机对话。由于没有掌握自然语言的要领，早期的机器翻译和人机对话系统总体上表现稚嫩，充其量只能是玩具系统。

数据库技术和专家系统技术都具有较为复杂的查询和使用逻辑，其内部表示和人类用户所熟悉的自然语言表示具有较大的差异，为弥补这方面的人机差距，实现更加友好的人机互动，利用自然语言处理技术为数据库和专家系统等提供自然语言接口是早期自然语言处理技术发展的动力之一。但是由于图形人机界面技术的发展，冲淡了对自然语言接口的需求，加之自然语言处理技术本身还要攻克大量难关，数据库和专家系统的自然语言接口直到多年以后的Watson系统才得以展现其威力，在此之前只是一个不太被看好的“弃儿”。

随着语言学领域在乔姆斯基的倡导下发生了天翻地覆的革命，形式化方法被引入语言学，用于刻画自然语言的句法结构，形式语言理论蓬勃发展，形成了乔姆斯基形式语言理论框架体系。在这个体系下，语言被分为0型（短语结构语法）、1型（上下文相关语法）、2型（上下文无关语法）和3型（正则语法），它们的成员判定问题复杂度依次为半可判定、NP完全、多项式和线性。对于各种自然语言来说，大体上占到2型的很少但很不规则的一部分，但部分现象呈现上下文相关性，会在局部对2型有所突破。这就是笔者所说的“毛毛虫”现象。

▲NLP作为语言学应用的兴起

按照当代语言学理论，自然语言分符号、词法、句法、语义和语用五个层面。在符号层面，有语音、文字、手语和电子输入。在词法层面，有词典、词性标注、词的形态变化、构词法等。在句法层面，有词对词的关联/依存关系，以及短语对短语的结合/拼接关系。在语义层面，有语义标签与它们在现实/想象世界中的所指之间的映射关系和语义标签之间的角色指派关系。在语用层面，有语言成分与语境之间、字面意义和言外之意之间的复杂互动关系。一般称的“语法”，包含了词法和句法两个层面。

针对自然语言的特性，在形式语言理论框架下建立不同的模型，形成了自然语言处理的诸多形式化机制，基于规则的形式化机制包括LFG（词汇功能语法）、GPSG（广义短语结构语法）、HPSG（中心词驱动的短语结构语法）、DG（依存语法）、CG（范畴语法）、CCG（组合范畴语法）等，基于统计的形式化机制包括HMM（隐马尔科夫模型）、PCFG（概率上下文无关语法）等，基于联结的形式化机制包括CNN（卷积神经网络）、RNN（循环神经网络）、LSTM（长短时记忆模型）等。具有交叉学科性质的“计算语言学”，就是自然语言处理技术在模型、算法级的研究领域的集中体现。

实际上，鉴于欧氏空间具有良好和丰富的数学工具可用，语言/文本的向量化努力是跨越统计和联结两大阵营的。总体说来，当前技术能够大规模处理的，仍然只是具有“浅层句法”或者“简单标记”的NLP任务。更复杂语言现象的理解、更复杂语义关系的抽取，仍然任重道远。

NLP的流派

随着日本五代机计划的失败，第二波人工智能浪潮消退，互联网在WWW的出现后迅速崛起，NLP技术穿上了互联网马甲，搭上了搜索引擎的班车，成为了一门互联网应用技术。在无比简单的搜索框背后，是各种NLP技术的组合体，文本的分类、聚类、摘要、协同过滤、信息抽取、机器翻译……可以说应有尽有。这段时期之所以NLP既远离“人工智能”的招牌，也远离“计算语言学”招牌，是因为人工智能招牌在当时并无正面贡献，而语言学家在经验主义范式下不得施展甚至每每成为负担。而互联网这棵大树却足够容纳NLP的一系列成果。大型互联网公司在机器翻译领域的出色表现很好地证明了这一点。

▲NLP作为应用赋能技术的兴起

深度学习技术以摧枯拉朽之势横扫语音、图像识别和浅层自然语言处理各类任务，知识图谱技术为语义知识处理走向各行各业做好技术栈和工具箱的铺垫，人工智能招牌强势的王者归来已经在所难免，自然语言处理技术也自然地成为了这王者头上的王冠。这是因为，语音和图像识别大局已定。自然语言处理已经成为一种应用赋能技术，随着实体知识库的构建、知识抽取和自动写作在特定领域的实用化和对话机器人从对接语料到对接知识图谱的换代，正通过新一代人工智能创新创业团队，全面渗透到人工智能应用的各个角落。自然语言处理从浅层到深层面临范式转换，还处在对接情感计算与常识计算的战略性要地的关键位置。谁能拔得头筹，谁就能在当下的人工智能“军备竞赛”中处于有利地位。