Dự đoán và khám phá cấu trúc ngôn ngữ với mạng neural

97

Trong lĩnh vực xử lý ngôn ngữ tự nhiên, các nghiên cứu gần đây đã cho thấy mạng neural nhiều tầng khá dễ đổ vỡ trong việc đối phó với những hiện tượng khó và những thay đổi mang tính ngôn ngữ. Để xây dựng các hệ thống NLP có thể tổng quát hóa tốt trong thực hành, điều quan trọng là cần khảo sát khả năng của các mô hình hiện hành trong việc nắm bắt các hiện tượng ngôn ngữ.

Tài liệu chia sẻ các nghiên cứu trong việc trả lời hai câu hỏi:

  • Những loại kiến trúc nào tốt hơn trong việc nắm bắt các cấu trúc phân cấp không tường minh? Tác giả chỉ ra bằng thực nghiệm rằng cấu trúc truy hồi là quan trọng trong việc mô hình hóa cấu trúc phân cấp.
  • Loại cấu trúc ngữ pháp nào mô hình dịch máy dùng mạng neural cần để có chất lượng tốt nhất. Tác giả giới thiệu một mô hình đồng thời dịch và sinh ra cây cú pháp phụ thuộc; và chỉ ra rằng các cây cú pháp phụ thuộc của nghiên cứu có các thuộc tính: 1) Phụ thuộc vào cặp ngôn ngữ và 2) Cải thiện chất lượng dịch.

              Thông tin về tác giả:

Anh Trần Mạnh Kế là cựu sinh viên trường Đại học Công nghệ – ĐHQGHN, hiện tại anh đang là nghiên cứu sinh tiến sĩ tại trường đại học danh tiếng University of Amsterdam. Anh đã tốt nghiệp thạc sĩ chuyên ngành Linguistics tại University of Groningen và là thạc sĩ khoa học chuyên ngành Mathematical Linguistics tại Charles University, Prague.

Download tại ĐÂY

Tài liệu được chia sẻ tại “al+ AI seminar 03”

Tin liên quan:
  • 9
    Shares