Pinterest đã vén bức màn về AI và các công nghệ học máy mà họ đang sử dụng để chống lại các nội dung độc hại trên nền tảng của mình. Tận dụng các thuật toán để tự động tìm ra nội dung người lớn, các hoạt động thù địch, thông tin y tế sai lệch, ma tuý, hình ảnh bạo lực…, lượng báo cáo vi phạm chính sách trên mỗi lượt hiển thị đã giảm 52% kể từ mùa thu năm 2019, khi các công nghệ này được giới thiệu lần đầu tiên. Các báo cáo về nội dung tự hại cũng đã giảm 80% kể từ tháng tám năm 2019. 

Một trong những thách thức khi xây dựng các mô hình học máy đa danh mục để đảm bảo an toàn nội dung là sự khan hiếm của dữ liệu được gán nhãn, khiến các kỹ sư buộc phải sử dụng các mô hình đơn giản hơn – những mô hình không thể mở rộng cho dữ liệu đầu vào đa mô hình. Pinterest giải quyết vấn đề này bằng một hệ thống được đào tạo với hàng triệu Ghim do con người đánh giá, bao gồm cả các báo cáo của người dùng và các mẫu từ nhóm vận hành Trust & Safety – những người có nhiệm vụ chỉ định các danh mục và hành động có các nội dung vi phạm. Công ty cũng sử dụng một mô hình Ghim được đào tạo bằng một biểu diễn toán học, thân thiện với mô hình, dựa trên từ khoá và hình ảnh của các Ghim, được tổng hợp với một số mô hình khác để tạo ra điểm số cho biết bảng Pinterest nào có thể vi phạm. 

“Chúng tôi đã thực hiện các cải tiến đối với thông tin thu được bằng nhận dạng ký tự quang học trên hình ảnh và đã triển khai hệ thống với một phiên bản trực tuyến, gần với thời gian thực. Một điểm mới nữa là chúng tôi tính điểm cho các bảng chứ không chỉ các Ghim”, Vishwakarma Singh, trưởng nhóm học máy trust & safety của Pinterest, chia sẻ với VentureBeat qua email. “Một mô hình đa danh mục mạnh mẽ sử dụng dữ liệu đầu vào đa mô hình – các embedding và văn bản – để đảm bảo sự an toàn của nội dung là một hiểu biết có giá trị cho những nhà quản lý. Chúng tôi sử dụng kết hợp các mô hình ngoại tuyến và trực tuyến để có được cả hiệu suất và tốc độ, cung cấp một thiết kế hệ thống đáng học tập và có thể áp dụng chung cho nhiều trường hợp.”

Pinterest content moderation

Trong quá trình sản xuất, Pinterest sử dụng một nhóm các mô hình để chủ động phát hiện các Ghim vi phạm chính sách. Khi thực thi các chính sách trên các Ghim, nền tảng này sẽ nhóm các Pin có hình ảnh tương tự lại với nhau và xác định chúng bằng một hàm băm độc nhất được gọi là “chữ ký hình ảnh”. Các mô hình chấm điểm cho từng chữ ký hình ảnh, và dựa trên các điểm số này, quyết định kiểm duyệt nội dung giống nhau được áp dụng cho tất cả các Ghim có cùng chữ ký hình ảnh.

Ví dụ, một trong các mô hình của Pinterest xác định các Ghim mà nó cho rằng đã vi phạm chính sách của nền tảng về thông tin sức khỏe sai lệch. Được đào tạo bằng các nhãn từ Pinterest, mô hình đó tìm trong nền tảng các từ khoá và văn bản liên quan đến thông tin sai lệch và chặn các ghim có ngôn ngữ đó, trong khi xác định các hình ảnh đại diện liên quan đến thông tin y tế sai lệch. Nó tính các yếu tố như hình ảnh và URL, và chặn bất kỳ hình ảnh trực tuyến nào trên bộ tìm kiếm Pinterest, trang chủ và các pin liên quan, theo như Singh cho biết.

Vì người dùng thường lưu các Ghim có liên quan tới nhau thành một bộ sưu tập trên các bảng xoay quanh những chủ đề như là công thức nấu ăn, Pinterest triển khai một mô hình học máy để chấm điểm cho các bảng và thực thi kiểm duyệt ở cấp độ bảng. Mô hình Ghim được đào tạo chỉ bằng cách sử dụng các embedding – ví dụ như các đại diện – đưa ra các số điểm nội dung an toàn cho từng bảng Pinterest. Một embedding cho các bảng được xây dựng bằng cách tổng hợp các embedding của các Ghim gần nhất được lưu vào bảng. Khi được đưa vào mô hình Ghim, các embedding này đưa ra điểm nội dung an toàn cho từng bảng, cho phép Pinterest xác định các bảng vi phạm chính sách mà không cần đào tạo mô hình nào cho bảng. 

“Những công nghệ này, cùng với thuật toán thưởng cho nội dung tích cực và các cập nhật về chính sách, sản phẩm như chặn nội dung chống tiêm chủng, cấm quảng cáo nhạy cảm về văn hoá, cấm quảng cáo chính trị và ra mắt tìm kiếm đồng cảm cho sức khỏe tinh thần là nền tảng để Pinterest trở thành một trang trực tuyến đầy cảm hứng,” Singh nói. “Công trình của chúng tôi đã chứng minh ảnh hưởng mà của các phương pháp tích chập đồ thị có thể tác động lên hệ thống khuyến nghị sản xuất, cũng như các vấn đề học biểu diễn đồ thị khác ở quy mô lớn, bao gồm suy luận đồ thị tri thức và gom cụm đồ thị.”

Theo VentureBeat

Tin liên quan: