Simple Word embedding base model 论文解读
文献地址
大多数NLP任务的NN模型都不是健壮模型，最主要的原因在于文本带来的离散性。
模型只是拟合数据集上下文共现特征及one-hot-embedding的潜在特征，NN模型并没有真正理解语言。
大规模预训练模型，本质是指望通过大量无标注文本学习到更好的one-hot-embedding，使得文本由离散数据转换为连续数据时获得更好的潜在特征。
该论文从embedding出发，证明了大多数任务实际复杂度并不高。
大多数NLP任务（如：分类、情感分析等）都不需要那么复杂的模型，因此在做技术选型时要充分考虑任务复杂度，无脑堆模型是不值得提倡的。