Hiện nay, các hệ thống Machine Learning hầu như là những chiếc “hộp đen”, mà kể cả chính những nhà nghiên cứu tạo ra chúng cũng khó có thể hiểu được cơ chế hoạt động. Điều này đã dẫn tới khó khăn trong việc đánh giá kết quả của những hệ thống này.

Các nhà nghiên cứu của Facebook nói rằng việc tái tạo chương trình AlphaGo của DeepMind là vô cùng khó và hầu như bất khả thi | Getty Images.

Vào một vài năm trước, Joelle Pineau, Giáo sư Khoa học máy tính tại McGill đã gặp phải một bế tắc trong quá trình chỉ dẫn học sinh thiết kế một thuật toán mới. Cụ thể, thuật toán này thuộc dạng Reinforcement Learning (Học tăng cường) – Một nhánh của AI, sử dụng trong việc hướng dẫn các nhân vật ảo cách di chuyển trong thế giới ảo. Trong đó, sinh viên của Pineau đã phải tạo một số robot và ô tô tự động, và mong muốn cải thiện thuật toán này trên một hệ thống thuộc phòng nghiên cứu khác. Vì vậy, sinh viên này đã tái xây dựng mô hình, song lại không thể đạt được cùng một mức kết quả với mô hình cũ, cho tới khi thử một vài sáng tạo không hề nằm trong thiết kế trước đây.

Và với những thay đổi này, hệ thống lại bắt đầu hoạt động bình thường. Theo Pineau đây là dấu hiệu của một xu hướng rất đáng lo hiện tại. Cụ thể, kỹ thuật dùng để tạo ra những robot chơi cờ và viết truyện được gọi là “hộp đen”, bởi tính bí ẩn trong cơ chế hoạt động của chúng. Không có cách thức cụ thể nào để đảm bảo việc hoạt động của chúng và đôi khi các nhà nghiên cứu sẽ phải thực hiện một số thay đổi nhỏ không được nêu trong nghiên cứu cuối cùng. Các hệ thống này cũng đang ngày một trở nên lớn và phức tạp hơn, yêu cầu các bộ dữ liệu và hệ thống máy tính lớn, việc tái tạo và nghiên cứu về các mô hình này cũng vì thế mà ngày càng trở nên khó khăn.

Bày tỏ về chi phí đắt đỏ của các mô hình này, Anna Rogers, một nhà nghiên cứu về Machine Learning tại Đại học Massachusetts đã nói: “Đây có còn là nghiên cứu nữa không? Rốt cuộc là mọi người đang trình bày về mô hình hay là về ngân sách hoạt động của phòng nghiên cứu?”

Còn Pineau thì đang cố gắng thay đổi những tiêu chuẩn này. Bà hiện đang phụ trách về khả năng tái tạo cho NeurIPS – Hội thảo danh giá về trí tuệ nhân tạo, qua đó đã yêu cầu các nhà nghiên cứu tham gia hội thảo phải nộp một danh sách về các yếu tố tái tạo, bao gồm các phần đã bị loại bỏ khỏi nghiên cứu: Như số mô hình không thành công hoặc ít hiệu quả, năng lượng máy tính cần thiết, đồng thời dẫn link tới các code và bộ dữ liệu. Đây được hy vọng sẽ mang lại sự thay đổi tới lĩnh vực nghiên cứu này, hạn chế những chi phí cao cho tái tạo một tác vụ nhất định, qua đó thúc đẩy việc tái tạo.

Ý tưởng của Pineau, nhìn chung là để khuyến khích các nhà nghiên cứu có những chỉ dẫn phù hợp cho các tái tạo sau này. Đương nhiên, thành tựu của những máy tạo văn bản và những cỗ máy chơi game siêu thông minh là không thể phủ nhận. Song, kể cả những nhà nghiên cứu lỗi lạc nhất cũng không hoàn toàn hiểu cơ chế hoạt động của những cỗ máy này. Nếu có thể tái tạo các mô hình AI này dễ dàng hơn, thì ta cũng có thể tìm ra những mảng nhiên cứu mới, cũng như mở rộng và nâng cao các thuật toán hiệu quả, thực hiện được nhiều tác vụ hơn.

Pineau cũng không phải người duy nhất đang tìm cách giải quyết vấn đề này. Hiện tại, các nhà nghiên cứu tại Google đã đưa ra một biện pháp, sử dụng các “thẻ mô hình” để mô tả cụ thể quá trình thử nghiệm các hệ thống Machine Learning, bao gồm cả các kết quả không được đưa vào nghiên cứu cuối cùng. Mới đây, các nhà nghiên cứu tại Viện AI Allen (Al2) cũng đã công bố một nghiên cứu nhằm mở rộng phương thức của Pineau, với tên gọi “Show Your Work”.

“Việc tiếp tục nghiên cứu của người khác thực sự rất khó khăn, bởi lẽ chúng ta chưa bao giờ mô tả chi tiết toàn bộ quá trình thử nghiệm,” Jesse Dodge, một nhà nghiên cứu tại AI2, đồng tác giả của Show You Work chia sẻ. “Người khác sẽ không thể hoàn thiện nghiên cứu có sẵn nếu chúng ta không chia sẻ về quá trình làm.” Thậm chí, ông còn chia sẻ rằng, các nhà nghiên cứu còn hiếm khi cung cấp những thông tin cơ bản nhất về quá trình xây dựng hệ thống, và chỉ một nửa trong các nghiên cứu về học tăng cường là có cung cấp code.

Trong một vài trường hợp, các thông tin cơ bản bị loại bỏ vì vấn đề độc quyền. Nhưng theo Dodge, nó phổ biến hơn cả là dấu hiệu rằng lĩnh vực nghiên cứu đang không theo kịp các hình thức nghiên cứu hiện hành. Quay về 1 thập kỷ trước, ta có thể dễ dàng biết được các phương thức được sử dụng để cái thiện kết quả, nhưng các hệ nơ-ron lại rắc rối hơn rất nhiều. Theo Dodge, để có được kết quả tốt nhất với công nghệ này phải trải qua hàng ngàn bước và thử nghiệm phức tạp chẳng kém gì phép thuật: Chỉ trong chọn mô hình đã cần tới hàng trăm thử nghiệm và chi phí cho chúng đương nhiên cũng không hề thấp.

Khó khăn này còn hiện hữu trong cả những phòng nghiên cứu lớn nhất, với nguồn lực và ngân sách lớn. Cụ thể, các nhà nghiên cứu của Facebook cũng đã vô cùng vất vả trong quá trình tái tạo AlphaGo – Cỗ máy chơi cờ vua được tạo ra bởi DeepMind, trực thuộc Alphabet. Việc tái tạo này yêu cầu quá nhiều về máy tính, hàng triệu thí nghiệm chạy trên hàng nghìn thiết bị mỗi ngày, muôn vàn code không được công bố, và hầu như không thể được tái tạo, nghiên cứu, cải thiện, hay mở rộng. (Tuy rằng đội ngũ nghiên cứu của Facebook sau đó đã thành công).

Nghiên cứu của AI2, với ý tưởng cung cấp nhiều dữ liệu hơn về các thử nghiệm, có thể là một giải pháp cho vấn đề này. Cụ thể, theo nghiên cứu, bạn có thể công bố mô hình tốt nhất sau 100 thử nghiệm, và cũng đồng thời công bố kết quả hoạt động nếu chỉ thử qua 10 lần.

Tuy nhiên, theo Dodge, ta cần phải lưu ý rằng: Mục tiêu của khả năng tái tạo không chỉ nằm ở việc tái tạo chính xác kết quả hoạt động. Trên thực tế, tính ngẫu nhiên của các hệ nơ-ron và sự khác biệt về phần cứng sẽ làm tác vụ này trở nên bất khả thi, và mục tiêu cuối cùng là đưa người khác tới cùng kết luận với các nghiên cứu gốc, giúp tìm ra khả năng tốt nhất cho các hệ thống Machine Learning.

Với điều này, việc nghiên cứu sẽ đạt được hiệu quả cao hơn. Đôi khi, việc tái tạo sẽ dễ dàng hơn với những phương thức cũ hơn và tiết kiệm chi phí hơn, và các phòng nghiên cứu nhỏ có thể qua đó mà tìm ra các cách sử dụng nguồn lực hiệu quả. Ngoài ra, giải pháp này cũng giúp việc nghiên cứu trở nên “xanh” hơn, thông qua việc hạn chế năng lượng tiêu thụ để huấn luyện mô hình.

Nhưng Pineau lại lo lắng về cách tận dụng những phương thức này. Cụ thể, nhiều nhà nghiên cứu có thể sẽ vẫn dùng nhiều máy tính hơn để kêu gọi nguồn lực, thay vì để ý tới hiệu suất nghiên cứu. Và theo bà, việc khái quát hóa cách công bố kết quả nghiên cứu có thể sẽ rất khó khăn.

Và đây cũng là lý do tại sao việc tuân theo quy chuẩn của NeurIPS là hoàn toàn tình nguyện. Các phòng nghiên cứu công nghiệp sẽ gặp phải vấn đề về độc quyền, các nghiên cứu phòng khám cũng không thể công bố thông tin về sức khỏe bệnh nhân, trong khi Facebook hay Instagram sẽ không thể công khai một số thông tin do vấn đề bảo mật. Pineau chia sẻ: “Chúng tôi không muốn cắt bỏ nghiên cứu ra khỏi cộng đồng.”

Để phát triển được những quy chuẩn về khả năng tái tạo mà không gây hạn chế cho các nhà nghiên cứu sẽ là một việc vô cùng khó khăn. Song, Pineau không hề mất đi niềm tin trước những khó khăn này. Cụ thể, NeurIPS đã đưa ra thử thách cho các nhà nghiên cứu về việc tái tạo lại các nghiên cứu cũ. Trái với khoa học đời sống với những phương thức dần trở nên lỗi thời, lĩnh vực AI lại luôn yêu cầu các nhà nghiên cứu phải đối mặt với nhiều tính huống khó nhằn hơn. “Đây là một lĩnh vực mới, cả về công nghệ lẫn con người,” bà nói. “Họ sẽ thử nghiệm nhiều hơn.”

FPT TechInsight
Theo Wired

Tin liên quan: