Biểu diễn từ dựa trên ngữ cảnh sâu

54

Khái quát về bài báo khoa học:

1. Đề xuất một biểu diễn từ dựa trên ngữ cảnh (ELMo) có thể mô hình hóa được các hiện tượng:

  • Tính chất về cú pháp (syntax), ngữ nghĩa (semantic) trong việc sử dụng từ.
  • Tính đa nghĩa (polysemy) của từ trong các ngữ cảnh khác nhau.

2. Phương pháp (ELMo)

  • Học trước một mô hình ngôn ngữ bằng mạng LSTM hai chiều và nhiều tầng.
  • Sinh ra biểu diễn của từ (ELMo vec-tơ) bằng cách lấy tổng có trọng số của các trạng thái ở các tầng trong mô hình ngôn ngữ

3. Sử dụng ELMo cho kết quả tốt nhất trong một số bài toán

  • SLI, NER, SQuAD, Coreference Resolution (Coref), Semantic Role Labeling (SRL), Sentiment Analysis (trong Stanford Sentiment Treebank – SST)

Link liên kết đến bài báo: http://aclweb.org/anthology/N18-1202

Tin liên quan:
  • 6
    Shares