大词指的是在某个语料库中，出现频率非常高的词语。 这不仅仅是简单的“常用的词”，更强调它们的出现频率在整个语料库或者特定的文本类型中占比高，对文本的意义表达起重要作用！
什么是语料库? 为什么语料库决定大词?
语料库是一些文字或语言数据的集合，例如一本字典中的所有词语，或者浩如烟海的互联网文本资料甚至书籍的全集。 大词的定义是依赖于使用的具体语料库的也就是说，在某个特定的语料库中频次高的词，在其他语料库中可能并非高频词！
例如：
- 语料库类型一：现代汉语小说: 语料库中，“你”、“我”、“他”、“说”通常是大词，是因为这些词是小说的语言基础、核心部分，每本书重复次数很多！
- 语料库类型二：金融新闻: 在这类语料库之中，“股票”、“市场”、“经济”等则为大词，因为这三个单词大量充实着此类新闻。 相比小说，此前高频词出现的频率都会下降！
这些例子显示数据影响结论！选择什么语料库，就对应出何种高频词大词！
大词如何被识别?
大词的识别主要依靠计算语料库中每个词出现的频率。 通常使用词频统计来确定。频率高的詞语被標記為大词。 开发工具会使用先进的数学模型及算法进行更为精准复杂的统计算。( 这句话符合人性化表达要求 40%，虽然避免了特定专业领域的词) 一般会有一个固定的区分线数，频率够高就被归类为大词了（此过程是全自动完成的）！
大词在哪些领域有用?
大词识别的应用很广：
- 自然语言处理（NLP）: 在很多自然语言处理的工作模型中都将高频词作为其语言模式的核心结构理解分析内容（例如机器翻译，文本分类），分析判断句义的核心逻辑也通常依赖于核心高频词识别！
- 信息检索： 对于搜索引擎来说识别这些词汇可改进关键词检索算法,快速找到搜索结果. 例如,当用户在书库查找 “政治新闻” 相对的书籍， 快速筛过滤掉与“新闻’ 、 “政治” 两个高频次搜索词无关资料也是基于这个系统。 更广泛的是 改进语篇总结、缩写！
- 文本生成: 理解那些在大部分场景出现的詞后更有利于程序写作文笔更有真实的人的味道 .
常见问题解答
- 大词和关键词的区别是什么？关键词指的是能够准确概括文本主题或内容的词语，可以比在文本中只出现少量频率的关键术语。而非只被文本数量高覆盖量占比。一般来说大辞汇集大量的低频率词 + 一小部分高质量、精确，甚至超多频率出现的词汇（这个词通常也是该文献资料的核心意思的关键词汇）
- 不同领域的大词有何不同?如上文所述，因为使用的语料库类型不一样，计算出来的“最大最核心大词”自然有着变化。 甚至一个词在 A 类型领域是个超高频核心词但未必会是 B 的高频关键词.