Các nghiên cứu về machine learning (học máy) đã trở nên tiên tiến hơn trong nhiều khía cạnh khác nhau, trong đó bao gồm các cấu trúc mô hình và phương pháp học.

Ngoài ra, cũng đã có những tiến triển đáng kể trong việc tự động hóa các nghiên cứu này, còn được gọi là AutoML. Tuy nhiên, những tiến triển này vẫn chủ yếu tập trung vào các kiến trúc mạng nơ-ron – thường được xây dựng từ các lớp tinh vi được thiết kế bởi các chuyên gia trong lĩnh vực – hoặc chịu các hạn chế tương tự phát sinh từ phạm vi tìm kiếm của thuật toán.

Trong khi đó, mục tiêu nghiên cứu này là chứng minh rằng, AutoML còn có thể vươn xa hơn: chúng ta đã có thể tự động phát hiện các thuật toán machine learning hoàn thiện, chỉ dựa vào các phương trình toán học cơ bản. Điều này sẽ được chứng minh thông qua một khung mới, sử dụng phạm vi tìm kiếm chung cho thuật toán, giúp giảm bớt thiên kiến mang yếu tố con người. Đây là một phạm vi rất rộng, tuy nhiên, phép tìm kiếm tiến hóa này vẫn phát hiện được các mạng nơ-ron 2 lớp, được huấn luyện sử dụng phương thức truyền ngược (backpropagation).

Sau đó, các mạng nơ-ron đơn giản này có thể được cải tiến thông qua các tác vụ nhất định, ví dụ như các biến thể CIFAR-10, nơi phát sinh các kỹ thuật hiện đại trong các thuật toán hàng đầu như: bilinear interaction, normalized gradient, và weight averaging. Ngoài ra, sự tiến hóa cũng giúp các thuật toán thích ứng với những kiểu tác vụ khác. Ví dụ: xảy ra các kỹ thuật dropout khi có ít dữ liệu. Do vậy, các nhà nghiên cứu tin rằng, những thành công ban đầu trong việc phát hiện các thuật toán machine learning từ đầu, có thể sẽ mở ra một hướng nghiên cứu mới trong lĩnh vực này.

Xem đầy đủ nghiên cứu tại ĐÂY.

Tin liên quan: