Zero-shot transfer learning cho bài toán trích xuất sự kiện

117

Hầu hết các phương pháp học máy có giám sát cho trích xuất sự kiện trước đây đều dựa trên các đặc trưng được bắt nguồn từ việc gán nhãn dữ liệu thủ công, vì thế không thể áp dụng được cho những loại sự kiện mới nếu không có việc gán nhãn dữ liệu bổ sung cho những loại sự kiện mới đó.

Bài báo khoa học đưa ra một cách nhìn mới mẻ cho bài toán trích xuất sự kiện và mô hình hóa nó như là một bài toán grounding tổng quát: ánh xạ từng đề cập của sự kiện (event mention) đến một loại sự kiện cụ thể có trong ontology đích của sự kiện. Các tác giả thiết kế một kiến ​​trúc có thể chuyển đổi của các mạng nơron mang tính cấu trúc và tính tổng hợp để có thể đồng thời biểu diễn và ánh xạ các đề cập của sự kiện (event mentions) vào một không gian ngữ nghĩa chung. Dựa trên cấu trúc mới này, chúng ta có thể lựa chọn loại sự kiện cho mỗi đề cập của sự kiện mà gần giống nó nhất về mặt ngữ nghĩa trong không gian này. Bằng cách tận dụng việc gán nhãn dữ liệu thủ công có sẵn cho một tập hợp nhỏ các loại sự kiện hiện có, cấu trúc của chúng tôi có thể được áp dụng cho các loại sự kiện mới và chưa tồn tại trước đó mà không cần  việc gán nhãn dữ liệu bổ sung.

Khi thử nghiệm trên 23 loại sự kiện mới, mô hình zeroshot này, không cần gán nhãn dữ liệu thủ công đạt kết quả tương đương với mô hình học máy có giám sát được huấn luyện trên 3.000 câu được gán nhãn với 500 đề cập về sự kiện.

Nhóm tác giả:

Lifu Huang, Heng Ji, Kyunghyun Cho, Ido Dagan, Sebastian Riedel, Clare R. Voss.

Học viện Rensselaer Polytechnic, đại học New York, Đại học Bar-Ilan, đại học London, Phòng thí nghiệm nghiên cứu Quân đội Hoa Kỳ.

Download paper tại ĐÂY
Download slide tại ĐÂY

Tin liên quan:
  • 3
    Shares