Nghiên cứu này sẽ trình bày một phương thức mới, có quy tắc, để tìm ra cách vận tải hàng hóa tối ưu giữa hai điểm phân phối khác nhau từ một số mẫu có sẵn. Cụ thể, nghiên cứu lấy nền là lý thuyết tải tối ưu (optimal transport theory), qua đó tìm ra thế vị Kantorovich tối ưu (optimal Kantorovich potential), rồi quy ra transport map (bản đồ vận tải) tối ưu.

Để thực hiện điều này, trước hết ta phải học hai phương trình lồi, thông qua việc giải một bài toán tối ưu hóa Minimax. Dựa trên các tiến bộ mới nhất trong lĩnh vực mạng nơ-ron lồi đầu vào, các tác giả đã tìm ra một framework với khả năng biểu hiện ước lượng hệ thống transport map tối ưu dưới dạng gradient của phương trình lồi, được huấn luyện thông qua bài toán tối ưu hóa minimax. Map này sau đó đã được kiểm nghiệm tính chính xác thông qua nhiều phép thí nghiệm lượng.

Phương thức được trình bày trong bài có thể được áp dụng trực tiếp cho việc huấn luyện các mô hình sản sinh dữ liệu sâu. Khi được huấn luyện giữa một phân phối cơ bản trong latent space (khổng gian ngầm) và phân phối đích, transport map tối ưu sẽ hoạt động như một mô hình sản sinh dữ liệu sâu. Và tuy rằng thực hiện điều này trên quy mô dữ liệu lớn rất khó khăn, vẫn có thể chỉ ra hai điểm mạnh lớn của phương thức này so với các biện pháp huấn luyện đối kháng thông thường, cụ thể là: sức tải mạnh và tính gián đoạn. Trong quá trình tìm phép tải tối ưu, mô hình sản sinh dữ liệu học được sẽ luôn cho ra cùng một map, bất kể cách khởi chạy các mạng nơ-ron ban đầu.

Ngoài ra, khác với các mạng nơ-ron tiêu chuẩn không gián đoạn, gradient của mạng nơ-ron trong phương thức mới có thể dễ dàng thể hiện các map gián đoạn, cho phép transport map có thể kết nối bất cứ phân phối đích nào với nhiều support gián đoạn khác nhau, tạo nên các ranh giới rõ ràng.

Tin liên quan: