doc输入如果是几十万行的文本的话，100g内存的机器都跑步起来

[zhegeliang2]

我们的语料库有几十万行，文件大小大概1G，这些文本作为doc输入，直接就oom了，有没有处理这种情况的好方法。

[tuzhe0210]

可以给我试试，实现过一版类似的

[skadai]

https://github.com/smoothnlp/SmoothNLP/blob/master/smoothnlp/algorithm/phrase/ngram_utils.py 这个库用trie树计算自由度，内存占用上比当前库要好很多