[Tài liệu] Ánh xạ trình tự phụ thuộc vào ngữ cảnh, theo định kỳ trong hệ nơ-ron hồi quy

39

Nghiên cứu này sẽ đi sâu vào một vấn đề mấu chốt trong xử lý ngôn ngữ tự nhiên – CARNN (Context-dependent Additive Recurrent Neural Net Contextual sequence mapping) tức ánh xạ trình tự phụ thuộc vào ngữ cảnh, theo định kỳ trong hệ nơ-ron hồi quy, mà trong đó các cơ chế học sẽ liên kết mạnh với dữ liệu bên ngoài, chứ không chỉ sử dụng thông tin sẵn có trong văn bản.

Trong bài báo này, một dạng của mạng nơ ron hồi quy gọi là CARNN được thiết kế đặc biệt cho tăng cường vai trò của dữ liệu bên ngoài. Kết quả thử nghiệm của nghiên cứu dựa trên các dữ liệu công khai liên quan (Babi dialog Task 6 và khung), mô hình ngôn ngữ theo ngữ cảnh (Tổng đài và Ngân hàng chú giải Penn Discourse), đồng thời đã giải đáp các vấn đề trên TrecQA, từ đó cho thấy kết quả của phương thức nghiên cứu vượt qua các phương pháp trước đó.

Tác giả:

  • Quan Hung Tran – Monash University, Clayton, Australia; Adobe Research, San Jose, CA
  • Tuan Manh Lai – Adobe Research, San Jose, CA
  • Gholamreza Haffari – Monash University, Clayton, Australia
  • Ingrid Zukerman – Monash University, Clayton, Australia
  • Trung Bui – Adobe Research, San Jose, CA
  • Hung Bui – DeepMind, Mountain View, CA; Monash University, Clayton, Australia

Xem thêm bài báo tại ĐÂY.

Tin liên quan: