Skip to content

每句话与文档的相关性是否考虑在内? #134

@maozida880

Description

@maozida880

训练数据中,如何将一句话属于某个文档中的摘要对应起来?

【问题】即在推理阶段:如果属于文章1,那么它应该是摘要,属于文章2则不是摘要。那么模型在推理阶段怎么知道A属于那篇文章?

例如训练数据有3条

第一条:A B C D E 其中是否为摘要的标签为:1 0 0 0 1
第二条:A B F G H 其中是否为摘要的标签为:0 0 0 1 1
第三条:A I J K L 其中是否为摘要的标签为: 0 0 0 1 1

训练数据为:

句子 标签
A 1
B 0
C 0
D 0
E 1

A 0
B 0
F 0
G 1
H 1

A 0
I 0
J 0
K 1
L 1

对于tokenize的加工中,句子奇偶性的加工中,模型如何知道句子A属于文章1的摘要,还是属于文章2的摘要

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions