Giới thiệu về Xử lý Ngữ nghĩa trong Ngôn ngữ Tự nhiên – Phần 2

598

Trong phần 1 của bài viết “Giới thiệu về Xử lý Ngữ nghĩa trong Ngôn ngữ Tự nhiên”, tác giả đã giới thiệu về các hướng biểu diễn ngữ nghĩa của văn bản, và gán nhãn vai nghĩa, phần 2 của bài viết sẽ đi vào nội dung biểu diễn nghĩa trừu tượng và phân tích ngữ nghĩa hình thức.

 3. Biểu diễn nghĩa trừu tượng (AMR)

Ngữ liệu AMR bao gồm một tập hợp các câu tiếng Anh được chú giải nghĩa theo biểu diễn AMR. Ngữ liệu này đã được xây dựng thủ công từ năm 2012 (xem https://amr.isi.edu/).

AMR là một mở rộng của PropBank, bao hàm các quan hệ đối vị từ, và các vai nghĩa của PropBank. Bên cạnh đó, nó còn áp dụng cho nhiều loại vị từ khác nhau (động từ, danh từ, tính từ), bổ nghĩa, đồng sở chỉ, thực thể có tên và các biểu thức thời gian.

Hình 4: Biểu diễn ý nghĩa trừu tượng của một câu tiếng Anh

AMR có hai hạn chế chính. Đầu tiên, nó không hỗ trợ được các quan hệ trên cấp độ câu. Nghĩa là, AMR không khả dụng nếu chúng ta muốn biểu diễn và tính toán ngữ nghĩa ở cấp độ đoạn văn hay tài liệu.

Thứ hai, nó dựa trên tiếng Anh là chính, điều này gây khó khăn khi đánh giá sự bất biến của các cấu trúc này qua các bản dịch với các ngôn ngữ khác. Vì lý do này, việc xây dựng một ngữ liệu tương tự AMR cho các ngôn ngữ tự nhiên khác như tiếng Việt không phải là một việc dễ dàng.

Ví dụ, chú thích ngữ nghĩa của sơ đồ biểu diễn ngữ nghĩa AMR trong câu “The London emergency services said that altogether 11 people had been sent to hospital for treatment due to minor wounds.” (Các dịch vụ khẩn cấp của London cho biết, có tổng cộng 11 người đã được đưa đến bệnh viện để điều trị do những vết thương nhẹ) được thể hiện ở Hình 4.

Quá trình biểu diễn ngữ nghĩa trừu tượng (AMR) cho câu (hay còn gọi gọi là phân tích AMR)  được giới thiệu lần đầu tiên vào năm 2014. Một khung làm việc thống nhất (framework) nhằm đánh giá các bộ phân tích AMR đã được xác định trong tác vụ phân tích nghĩa tại hội thảo SemEval-2016 (Meaning Representation Parsing Task –  http://alt.qcri.org/semeval2016/task8/). Phân tích AMR là một bài toán rất khó. Nó có những thách thức mà chúng ta không phải đối mặt trong những bài toán NLP có liên quan như gán nhãn từ loại, phân tích cú pháp hoặc gán nhãn vai nghĩa. Tất cả các tác vụ quen thuộc này đều có thể quy về bài toán gán nhãn chuỗi và ta có thể áp dụng một hình dự báo chuỗi để thu được kết quả tốt. Tuy nhiên, phân tích AMR không thể quy về bài toán gãn nhãn chuỗi được cho từng từ. Ngoài ra, biểu diễn AMR được trừu tượng hóa khỏi dạng biểu diễn bề mặt gắn với chúng (ví dụ nhiều từ/cụm từ khác nhau có cùng một nghĩa). Điều này làm phức tạp hóa quá trình huấn luyện mô hình, giải mã và đánh giá. Phân tích AMR là sự kết hợp của các bài toán xác định vị từ, nhận dạng thực thể, tìm đồng sở chỉ, tìm nghĩa đúng của từ trong ngữ cảnh, và gán nhãn vai nghĩa; các tác vụ này đều liên quan với nhau dưới dạng một chuỗi xử lí để đạt được kết quả phân tích cuối cùng.

Hình 5: Biểu diễn ý nghĩa của một câu trong AMR

Biểu diễn AMR có thể được mô tả bằng đồ thị.

Ví dụ, đồ thị AMR của câu “France plans further nuclear cooperation with numerous countries.” (Pháp mở rộng hợp tác hạt nhân với nhiều nước.) được thể hiện như Hình 5.

Trong đồ thị này, khái niệm được biểu diễn bằng hình bầu dục, các mối quan hệ là những kết nối trực tiếp giữa chúng. Phần bóng mờ là biểu đồ thị con. Lưu ý rằng thông tin từ Wikipedia cũng được liên kết.

Tại ACL 2017, một nhóm các nhà khoa học máy tính đến từ Đại học Colorado đã trình bày nghiên cứu mang tên “Abstract Meaning Representation Parsing using LSTM Recurrent Neural Networks”. Phương pháp phân tích AMR bằng mạng nơ-ron truy hồi LSTM của nhóm tác giả đạt kết quả phân tích tốt nhất hiện nay.  Phương pháp này tăng độ chính xác tốt nhất trước đó lên khoảng 5%, trong khi không cần dùng tới phân tích cú pháp hoặc các đặc trưng được thiết kế thủ công. Ý tưởng chính là sử dụng một ngăn xếp gồm 5 mạng nơ-ron truy hồi và một quy trình xử lí phức tạp. Kiến trúc tổng thể của hệ thống được minh họa trong Hình 6.

Hình 6: Kiến trúc của phân tích AMR

Bộ phân tích tạo ra AMR dựa trên các từ trong câu, dùng 5 mạng LSTM hai chiều để suy diễn cấu trúc của AMR:

  1. Mạng SG suy diễn các đồ thị con (khái niệm đơn hoặc phức, như “plan-01”, “nucleus”, hay “France”).
  2. Mạng Args suy diễn mối quan hệ đối vị.
  3. Mạng Nargs suy diễn mối quan hệ phi đối (như là “mod”, “degree”).
  4. Mạng Attr suy diễn các thuộc tính (như “TOP”).
  5. Mạng Ncat suy diễn mục tên (như “quốc gia” cho “France”).

Những kết quả tốt nhất hiện nay của phân tích AMR được thể hiện trong Hình 7.

Hình 7: Kết quả tốt nhất hiện tại của tác vụ phân tích AMR

4. Phân tích ngữ nghĩa hình thức

Như đã trình bày trong phần giới thiệu, cách tiếp cận trong biểu diễn ngữ nghĩa nhằm mã hoá ngữ nghĩa của một câu dưới dạng logic vị từ và sử dụng trong các tiêu chí hoặc ứng dụng bên ngoài, ví dụ như truy vấn cơ sở tri thức. Hình thức biểu diễn này cũng hỗ trợ suy luận và đánh giá tính mang tin hoặc kiểm tra tính hợp lệ, có giá trị trong suy diễn văn bản

Một ứng dụng thú vị của việc phân tích ngữ nghĩa hình thức là xây dựng giao diện ngôn ngữ tự nhiên cho cơ sở dữ liệu. Ví dụ như dịch vụ đặt vé máy bay bằng ngôn ngữ tự nhiên. Hệ thống sẽ dịch một câu như “I’d like to book a flight from San Francisco to Toronto.” (Tôi muốn đặt vé cho chuyến bay từ San Francisco tới Toronto.) thành truy vấn SQLtương ứng SELECT flightId FROM … WHERE… Hình 8 nêu một số ví dụ khác.

Tại ACL 2017, một số nhà khoa học tiếp tục nghiên cứu bài toán chuyển các câu ngôn ngữ tự nhiên thành biển diễn ngữ nghĩa hình thức tương ứng. Có hai ngữ liệu nổi tiếng, đa ngôn ngữ là GeoQuery và ATIS. Kết quả tốt nhất hiện nay trên hai tập dữ liệu này lần lượt là 86,79% và 83,85%. Và với tác vụ xây dựng giao diện ngôn ngữ tự nhiên cho cơ sở dữ liệu, kết quả tốt nhất là 82,5%, đo theo độ chính xác của SQL.

Hình 8: Chuyển câu trong ngôn ngữ tự nhiên thành truy vấn SQL

TÀI LIỆU THAM KHẢO

  • Abstract Meaning Representation Parsing using LSTM Recurrent Neural Networks, William R. Foland Jr. and James H. Martin, Proceedings of ACL 2017.
  • Neural Architectures for Multilingual Semantic Parsing, Raymond H. Susanto and Wei Lu, In Proceedings of ACL 2017.
  • Learning a Neural Semantic Parser from User Feedback, Srinivasan Iyer et al., Proceedings of ACL 2017.

Giới thiệu về Xử lí Ngữ nghĩa trong Ngôn ngữ Tự nhiên (Phần 1)

Lê Hồng Phương – Ban công nghệ FPT (FTI)

Tin liên quan: