Một trong những xu hướng phổ biến nhất trong giới AI gần đây là việc tạo ra các mô hình Machine Learning với khả năng tổng hợp từ ngữ một cách trôi chảy. Và những chương trình này đã thay đổi cuộc chơi, giúp các siêu máy tính có thể tạo ra và tổng hợp ngôn ngữ. Tuy nhiên, còn một xu hướng khác mà ít ai để ý. Đó là, đa số các công cụ nới trên đều được đặt tên theo những con rối Muppets.

Hiện tại, nhánh AI ngôn ngữ này đã có ELMo, BERT, Grover, Big BIRD, Rosita, RoBERTa, ít nhất là 2 ERNIE (hay thậm chí là 3, nếu tính cả ERNIE 2.0), và KERMIT. Những cái tên này tới từ cả những gã khổng lồ công nghệ như Google, Facebook, và viện AI Allen, thậm chí lan rộng ra khắp thế giới với những công trình của Baidu và Đại học Thanh Hoa, Trung Quốc. Việc đặt tên này trở nên quá phổ biến, tới nỗi những hệ thống trên còn được gọi với cái tên “Muppetware”. Nhưng cụ thể thì, ai là người bắt đầu xu thế này, và tại sao?

Không ngoài dự đoán, đây chỉ là một truyền thống của giới AI họ làm vậy chỉ vì những nhà nghiên cứu khác đã từng làm như vậy. Tuy nhiên, truyền thống này đã nhấn mạng một đặc điểm của việc nghiên cứu AI, đó là, các phòng nghiên cứu luôn tôn trọng những công trình của nhau.

Khởi nguồn của xu thế là cái tên ELMo, được đặt bởi Viện Allen, lần đầu được xuất bản trực tuyến vào tháng 10/2017. Và cũng như mọi nghiên cứu đầu tiên của một lĩnh vực mới, đội ngũ của ELMo muốn đặt một thuật ngữ viết tắt thật bắt tai cho mô hình của họ. Theo tác giả chính của công trình, ông Matt Peters, họ đã thử nghĩ tên trên Slack.

Chúng tôi có một danh sách các từ có thể được dùng cho từ viết tắt,” Peter chia sẻ. “Những từ kiểu như Language Model, Contextual, hay Embeddings…” Và Joel Grus, một kỹ sư, đã đặt ra cái tên “ELMo”, viết tắt cho “Embeddings from Language Model”, và nó đã ngay lập tức được lựa chọn.

Peter nói: “Tôi thích cái tên này vì nó nghe có vẻ ngẫu hứng nhưng lại rất dễ nhớ. Khi đó, con trai tôi ở khoảng 3 tuổi, và cái tên cũng như đang gửi gắm công trình này tới thằng bé vậy.”

Nhưng ELMo sẽ không đặt nền cho một truyền thống nếu nó không được theo sau bởi BERT – Một mô hình ngôn ngữ của Google, được hoàn thành vào năm 2018. Đây là một mô hình mạnh mẽ, có sức ảnh hưởng cao, và đã khởi đầu cho hàng loạt ý tưởng, biến việc tổng hợp ngôn ngữ trở nên phổ biến trong giới AI.

BERT là viết tắt cho Bidirectional Encoder Representations from Transformers, và tuy rằng Google không chia sẻ nguồn gốc của các tên, ta có thể coi rằng, các nhà nghiên cứu của BERT đã nghĩ tới Muppets. Và trong một bài đăng của công ty cũng đã nói rằng “BERT được xây dựng trên một công trình mới đây về biểu hiện ngữ cảnh – bao gồm.. ELMo.”

BERT đã đạt những kết quả hoàn hảo trong nhiều bài kiểm thử, và đã thành công tới nỗi Google gần đây đã tích hợp mô hình này vào công cụ tìm kiếm của hãng. Và sau khi BERT được phát hành, Muppetware đã trở thành một xu hướng, được theo sau bởi những cái tên như ERNIE (Enhanced Representation through Knowledge Integration), KERMIT (Kontextuell Encoder Representations Made by Insertion Transformations), và Big BIRD (Big Bidirectional Insertion Representations for Documents).

Muppetware mang một tầm ảnh hưởng lớn. Google đã tích hợp BERT vào công cụ tìm kiếm của hãng, nhằm nâng cao khả năng hiểu ngôn ngữ của công cụ này. Ảnh: Google

Nhưng xu hướng này cũng không chỉ để cho vui. Theo Oren Etzioni, CEO của Viện Allen, nó cũng là một cách để tôn trọng các thành quả trí tuệ đi trước trong ngành công nghiệp AI. Ông nói: “ELMo được đặt tên một cách ngẫu hứng, nhưng BERT lại được đặt theo sau ELMo, còn Grover lại sử dụng các tính năng của BERT, và mọi thứ cứ tiếp diễn như vậy. Và việc nhấn mạnh vai trò của ELMo là vô cùng quan trọng với chúng tôi.”

Còn theo Mitchell Stern, một Thạc sĩ tại Đại học Berkeley, một trong những tác giả phía sau KERMIT và Big BIRD, việc đặt tên như vậy đem lại “thương hiệu” cho các công trình.

Đặt tên theo Muppets là để tôn trọng các thành quả trí tuệ đi trước

“Với độ phổ biến của xu hướng này, sẽ sớm xuất hiện nhiều công trình hơn nữa mang tên các nhân vật của Sesame Street,” Stern chia sẻ với báo giới. Và tuy rằng không phải mọi mô hình ngôn ngữ ứng dụng AI đều được đặt tên theo những chú rối này, thì bất cứ khi nào bạn gặp một cái tên có lên quan tới Muppets, bạn sẽ biết mô hình đó sử dụng những phương thức tiếp cận nào.

Xu hướng này cũng đồng thời giúp ta biết được rằng, thế giới AI được dựa vào tính mở và việc hợp tác để tổng hợp và hoàn thiện những ý tưởng. AI không thể là một nhà khoa học cắm đầu vào làm việc tại phòng thí nghiệm tới nửa đêm, mà là những các tiếp cận chủ động, hợp tác giữ các nhóm nghiên cứu, liên tục phát triển từ những công trình và ý tưởng khác.

Rất có thể, trong tương lai, việc đặt tên theo Muppets sẽ không còn phổ biến. Tuy nhiên, cho tới lúc đó, đây là một truyền thống rất phù hợp. Bởi lẽ, việc hợp tác và tinh thần tôn trọng chính là những đặc điểm đáng tự hào của những chú rối trong Sesame Street.

FPT TechInsigh
Theo
The Verge

Tin liên quan: