google.bin 相关疑问

[burette]

前辈您好，
您在代码里注释的
#tf.flags.DEFINE_string("word2vec", "./data/rt-polaritydata/google.bin", "Word2vec file with pre-trained embeddings (default: None)")
这个google.bin文件就是谷歌的GoogleNews-vectors-negative300.bin文件是么？

[Aliang-CN]

大佬，negative300.bin这个文件试过吗

[burette]

大佬，negative300.bin这个文件试过吗

这个文件试过了。用的就是GoogleNews-vectors-negative300.bin这个预训练的。原代码使用Python2.7，我使用的python3.5，按照原来代码读这个文件的地方，会出现错误，内存溢出。python3下使用下面的片段进行读取negative300.bin：
for line in tqdm(range(vocab_size)):
# word = []
# while True:
# ch = f.read(1)
# if ch == b' ':
# # word = ''.join(word)
# break
# if ch != b'\n':
# word.append(ch)
word = b''
while True:
ch = f.read(1)
if ch == b' ':
break
word += ch
这个可以走通整个流程。

[Aliang-CN]

大佬有试过gensim读取bin文件吗

[Aliang-CN]

你这种方法读取太慢了，要3个小时

[burette]

你这种方法读取太慢了，要3个小时

读取三个小时可能是机器性能问题？我这边几台机子都是几分钟读完i5的机子

[burette]

大佬有试过gensim读取bin文件吗

from gensim.models.keyedvectors import KeyedVectors
model = KeyedVectors.load_word2vec_format(
'GoogleNews-vectors-negative300.bin', binary=True, limit=300000)

[Aliang-CN]

我两种方法都试过了，我遍历vocabulary_user的词，发现在model里面都没有这个词，你那边是什么情况呢？