Mô hình mạng nơ-ron sử dụng kỹ thuật attention cho bài toán nhận dạng tên thực thể tiếng Việt

901

Tóm tắt

Bài báo khoa học đề xuất một mô hình mạng nơ-ron có sử dụng kỹ thuật attention cho bài toán nhận dạng tên thực thể tiếng Việt. Mô hình ngôn ngữ ở mức ký tự và vector biểu diễn từ được sử dụng để mã hóa các câu đầu vào thành các vector đặc trưng. Kiến trúc mạng gồm tầng mã hóa, attention và tầng giải mã được sử dụng để mã hóa dữ liệu đưa vào, xử lý và trả về các nhãn thực thể. Kết quả thực nghiệm cho thấy mô hình được đề xuất có độ chính xác cao hơn các mô hình đã có dựa trên những đặc trưng đã được định nghĩa từ trước hay các mô hình dựa trên mạng nơ ron khác trên hai tập dữ liệu kiểm thử tiếng Việt.

Giới thiệu

Nhận dạng tên thực thể là một trong những bài toán cơ bản của xử lý ngôn ngữ tự nhiên. Cho vào một câu hay một đoạn văn bản, nhiệm vụ của bài toán là trích xuất tất cả các thực thể định danh như tên người, tên tổ chức, địa điểm, trong câu hoặc văn bản đó.

Bài báo giới thiệu một mô hình nhận dạng tên thực thể dựa trên mạng nơ-ron có sử dụng kỹ thuật attention cho tiếng Việt trong đó không sử dụng các đặc trưng cụ thể, được định nghĩa từ trước hay các tài nguyên dành riêng cho từng lĩnh vực, bài toán. Hệ thống được đề xuất sử dụng một mô hình ngôn ngữ để mã hóa chuỗi ký tự đầu vào. Nhóm tác giả kết hợp mô hình ngôn ngữ dựa trên ký tự và vector biểu diễn từ đã được huấn luyện để xây dựng vector biểu diễn đặc trưng của một từ hoặc một âm tiết. Tầng mã hóa bao gồm một mạng hai chiều LSTM (bộ nhớ ngắn hạn) để mã hóa các vector biểu diễn đặc trưng của câu đầu vào. Tầng giải mã cũng sử dụng một mạng LSTM hai chiều kết hợp với kỹ thuật attention để giải mã chuỗi thông tin trả về từ tầng mã hóa. Cuối cùng, đầu ra của tầng giải mã được đưa qua một tầng CRF để đưa thêm các thông tin ràng buộc về ngữ cảnh vào quá trình gán nhãn thực thể.

Các tác giả chạy thử nghiệm mô hình trên hai tập dữ liệu kiểm thử cho bài toán nhận dạng tên thực thể tiếng Việt bao gồm: tập dữ liệu VLSP-2016 và tập dữ liệu VLSP-2018. Kết quả thực nghiệm cho thấy mô hình được đề xuất có độ chính xác cao hơn các mô hình dựa trên các mô hình đã có cho tiếng Việt.

Xem thêm tài liệu tại ĐÂY.

Dịch giả: Ngân Đồng

Tin liên quan:
  • 150
    Shares