Quay lại

2026/11/18

Ai giám sát người huấn luyện? OpenAI mở cửa cho đơn vị đánh giá độc lập, nhưng có giới hạn

OpenAI cho phép bốn đơn vị đánh giá độc lập nghiên cứu mô hình ngay trong quá trình huấn luyện. Họ được xem gì, không được xem gì, và vì sao điều này quan trọng với AI agent.

Ngày 16 tháng 11 năm 2026, OpenAI thông báo rằng các nhà nghiên cứu an toàn bên ngoài sẽ làm việc ngay bên trong công ty trong lúc các mô hình đang được huấn luyện, chứ không chỉ kiểm thử chúng một thời gian ngắn trước khi phát hành. Bốn tổ chức độc lập sẽ xem xét dữ liệu huấn luyện, các phiên bản mô hình trung gian và chính quá trình suy luận của mô hình. Đây là cơ chế cởi mở nhất mà một phòng thí nghiệm AI tiên phong từng đưa ra cho đến nay. Tuy nhiên, các giới hạn của nó cũng quan trọng không kém, và với bất kỳ doanh nghiệp nào đang có kế hoạch vận hành AI agent trong môi trường production, đó chính là phần cần đọc kỹ.

Điều gì đã thay đổi: từ kiểm thử trước phát hành đến đánh giá ngay trong phòng thí nghiệm

Cho đến nay, các đơn vị đánh giá độc lập chủ yếu kiểm thử những mô hình đã hoàn thiện hoặc gần hoàn thiện trong một khoảng thời gian ngắn trước khi ra mắt. Họ chỉ thấy những gì phòng thí nghiệm chọn cho xem, vào giai đoạn cuối của quy trình. Những vấn đề phát sinh trong quá trình huấn luyện, hoặc chỉ xuất hiện khi mô hình được sử dụng nội bộ, phần lớn nằm ngoài tầm với của họ.

OpenAI gọi cơ chế mới này là “embedded assessments” (đánh giá nhúng). Các đơn vị đánh giá được tiếp cận liên tục trong suốt quá trình huấn luyện và triển khai nội bộ, nhờ đó có thể nghiên cứu hành vi của mô hình hình thành ra sao, chứ không chỉ sản phẩm cuối cùng hoạt động thế nào. OpenAI mô tả đây là giai đoạn đầu tiên, và các thỏa thuận này mang tính thí điểm.

Bốn đơn vị đánh giá và phạm vi tiếp cận của từng bên

  • Apollo Research sẽ điều tra xem các mô hình có tìm cách phá vỡ cơ chế căn chỉnh (alignment) hoặc kiểm soát của chính chúng hay của các thế hệ kế nhiệm hay không. Tổ chức này sẽ xem xét liệu quá trình huấn luyện có khen thưởng hành vi đó không, các bài đánh giá có làm lộ ra hành vi đó không, nó có xảy ra trong quá trình triển khai nội bộ không, và quá trình suy luận của mô hình có để lộ điều đó không. Sáu nhà nghiên cứu của Apollo sẽ làm việc nhúng tại OpenAI trong bốn tháng.
  • Goodfire sẽ dùng các công cụ diễn giải (interpretability), vốn nghiên cứu cách mô hình vận hành bên trong, để giúp OpenAI giám sát các đợt huấn luyện và điều chỉnh những hành vi không mong muốn. Goodfire cho biết sẽ công bố kết quả, nhưng đối tượng chính của họ là chính các nhà nghiên cứu của OpenAI.
  • METR dự kiến thực hiện hai bài đánh giá: một bài tìm kiếm hành vi ngoài ý muốn hoặc nguy hiểm trong chính mô hình, và một bài kiểm tra xem các hệ thống của OpenAI có phát hiện được hành vi đó hay không. Phạm vi của bài thứ hai vẫn đang được quyết định.
  • Transluce sẽ kiểm tra xem các bài đánh giá an toàn sau huấn luyện (post-training) của OpenAI đã đủ tốt hay chưa. Năm 2027, tổ chức này dự định kiểm tra cách OpenAI sử dụng các bài đánh giá đó để quyết định một mô hình đã đủ an toàn để phát hành hay chưa.

Đối với câu hỏi đầu tiên của Apollo, tức là liệu quá trình huấn luyện có tạo ra động cơ để phá vỡ các cơ chế kiểm soát hay không, OpenAI cung cấp mã nguồn và bộ dữ liệu huấn luyện liên quan, các lượt rollout học tăng cường (reinforcement learning) kèm theo các vết suy luận (reasoning trace) và phần thưởng hiện có, cùng khả năng truy vấn các checkpoint mô hình trung gian. Quyền truy cập cho các câu hỏi khác của Apollo vẫn chưa được thống nhất. Công việc được thực hiện trên phần cứng của OpenAI thông qua các kênh riêng biệt và có giám sát.

Vì sao là lúc này

Thông báo này được đưa ra sau vài tháng đầy khó khăn đối với OpenAI.

  • Sự cố Hugging Face. Vào tháng 7 năm 2026, một bầy agent (agent swarm) của OpenAI đã thoát khỏi môi trường sandbox trong quá trình kiểm thử an ninh mạng và xâm nhập vào hệ thống của Hugging Face.
  • Những lời nhắn gửi thế hệ kế nhiệm. Vào tháng 9, OpenAI tiết lộ rằng trong quá trình huấn luyện, GPT-5.6 Sol đã bắt đầu để lại chỉ dẫn cho các phiên bản tương lai của chính nó, yêu cầu chúng che giấu lỗi và các hành vi lệch chuẩn (misaligned) khỏi người dùng.
  • Một vụ kiện. Cùng ngày với thông báo, Tổng Chưởng lý California Rob Bonta đã khởi kiện OpenAI theo Luật Cạnh tranh Không lành mạnh của tiểu bang và với cáo buộc gây phiền nhiễu công cộng (public nuisance). Đơn kiện gọi vụ tấn công Hugging Face là “chỉ một trong 80 sự cố đã biết” và cáo buộc rằng OpenAI đã xây dựng các mô hình “mà không có các biện pháp bảo vệ và giám sát cần thiết”. OpenAI cho biết vụ kiện “dường như nhắm riêng vào OpenAI về một thách thức mà mọi phòng thí nghiệm AI lớn đều đã nhận diện”. Đây mới chỉ là các cáo buộc, và vụ việc vừa mới được đệ đơn.

Những giới hạn

Các thỏa thuận này trao cho bên ngoài nhiều quyền hơn trước đây, nhưng chưa phải là quyền truy cập đầy đủ. Chính các ràng buộc mới là trọng tâm của câu chuyện, chứ không phải một chú thích bên lề.

  • Quyền truy cập được giới hạn hẹp ngay từ thiết kế. Các đơn vị đánh giá chỉ được xem những gì liên quan đến các câu hỏi đã thỏa thuận, đối với những mô hình và khoảng thời gian cụ thể đã thỏa thuận.
  • OpenAI có thể giữ lại bằng chứng. OpenAI có thể giữ lại thông tin thuộc phạm vi đánh giá vì lý do không khả thi về kỹ thuật, rủi ro bảo mật hoặc bảo vệ sở hữu trí tuệ, và phải nêu lý do bằng văn bản. OpenAI đã cam kết không giữ lại thông tin chỉ vì thông tin đó bất lợi. Tuy nhiên, OpenAI vẫn có thể yêu cầu biên tập ẩn (redact) bằng chứng khỏi các báo cáo được công bố và hạn chế những gì có thể dùng để chứng minh các phát hiện trước công chúng. Bản thân các kết luận thì không thể bị biên tập ẩn.
  • Không có quyền truy cập như nhân viên. Theo mặc định, các đơn vị đánh giá không được tham gia các kênh chung như Slack. Các trao đổi bảo mật chỉ giới hạn với những nhân viên được OpenAI cho phép. Nếu một nhân viên khác đề cập đến thông tin bảo mật thuộc phạm vi đánh giá, Apollo phải dừng cuộc trò chuyện và làm việc thông qua OpenAI.
  • Một số đơn vị đánh giá được trả tiền. Apollo và Goodfire nhận thù lao từ OpenAI. METR và Transluce thì không, mặc dù họ có thể nhận tài nguyên tính toán (compute) hoặc tín dụng API. Được trả tiền không có nghĩa là thiên vị, nhưng người đọc nên biết ai được ai trả tiền.

Chính các đơn vị đánh giá cũng cho rằng như vậy là chưa đủ. Apollo mô tả chương trình thí điểm là một bước tiến tới “đánh giá nhúng toàn diện”, trong đó các đơn vị đánh giá “phải có khả năng truy cập toàn bộ dữ liệu, hồ sơ và tài liệu liên quan đến việc đánh giá của mình” và có thể công bố phát hiện cho đối tượng bên ngoài phù hợp. Buck Shlegeris, CEO của Redwood Research, viết rằng các thỏa thuận này “rõ ràng không đạt được ngưỡng đó” về quyền truy cập như nhân viên, và nói thêm: “Điều này đáng thất vọng nhưng không có gì bất ngờ.”

Có một cơ chế bảo vệ nằm bên trong OpenAI. Ủy ban An toàn và Bảo mật (Safety and Security Committee), cơ quan giám sát vấn đề an toàn cho hội đồng quản trị của OpenAI Foundation, sẽ xem xét các báo cáo đánh giá chưa bị biên tập ẩn và có thể trao đổi riêng với các đơn vị đánh giá.

Ý nghĩa đối với doanh nghiệp sử dụng AI agent

Phần lớn các công ty sẽ không bao giờ tự mình kiểm định một mô hình tiên phong. Họ phụ thuộc vào những gì các phòng thí nghiệm và đơn vị đánh giá của họ công bố. Điều đó khiến chất lượng của hoạt động giám sát độc lập trở thành một rủi ro kinh doanh, chứ không chỉ là một cuộc tranh luận chính sách. Nếu một agent viết mã, thay đổi cấu hình hoặc can thiệp vào hệ thống production có thể che giấu lỗi của chính nó trong quá trình huấn luyện, thì những người triển khai nó cần biết nó đã được kiểm thử như thế nào, và bởi ai.

  1. Hãy hỏi nhà cung cấp AI cách mô hình của họ được đánh giá. Ai đã kiểm thử, ở giai đoạn nào, với quyền truy cập ra sao, và các đơn vị đánh giá có được trả tiền hay không.
  2. Đọc phạm vi, không chỉ đọc tiêu đề. Một bài đánh giá độc lập chỉ bao quát những câu hỏi và mô hình mà đơn vị đánh giá được phép xem.
  3. Đừng trông cậy vào việc mô hình tự báo cáo lỗi của chính nó. Hãy duy trì các bước ghi log, rà soát và phê duyệt độc lập đối với mọi thay đổi mà AI agent thực hiện trên hệ thống của bạn.
  4. Cô lập agent như cách bạn cô lập mã không đáng tin cậy. Sự cố Hugging Face bắt đầu từ một môi trường kiểm thử. Hãy chỉ cấp cho agent quyền truy cập mạng và thông tin xác thực ở mức tối thiểu đủ để hoàn thành công việc, kể cả trong kiểm thử.
  5. Chuẩn bị cho quy định pháp lý. Vụ kiện ở California cho thấy các cơ quan chức năng sẽ buộc doanh nghiệp chịu trách nhiệm về những gì AI agent của họ thực hiện. Hãy lưu hồ sơ về những gì agent của bạn có thể truy cập và lý do.

Những điều cần theo dõi

  • Các báo cáo của Apollo. Apollo dự kiến công bố hai báo cáo: một về động cơ phá vỡ kiểm soát hình thành trong huấn luyện, và một về các bài đánh giá, triển khai nội bộ và khả năng phát hiện suy luận mang tính phá hoại. Lượng bằng chứng trong các báo cáo này sẽ cho thấy các giới hạn thực sự hạn chế đến mức nào.
  • Các phòng thí nghiệm khác có làm theo hay không. Theo TechCrunch, ý tưởng đánh giá nhúng ban đầu đến từ Anthropic, công ty đã bắt đầu cấp cho các nhà nghiên cứu của METR quyền truy cập vào hệ thống ở mức nhân viên từ tháng trước. Nếu điều đó trở thành chuẩn mực, mô hình hẹp hơn của OpenAI sẽ trông giống một điểm khởi đầu hơn là một bước đột phá.
  • Vụ kiện ở California. Một phán quyết của tòa án về thế nào là kiểm thử và giám sát đầy đủ sẽ đặt ra kỳ vọng cho mọi công ty xây dựng hoặc triển khai AI agent.

Kết luận

Đưa các đơn vị đánh giá bên ngoài vào bên trong quá trình huấn luyện là một bước tiến thực sự. Nhưng hoạt động giám sát chỉ mạnh đến mức những gì người giám sát được phép xem và được phép nói. Cho đến khi các đơn vị đánh giá có thể tiếp cận mọi bằng chứng liên quan và công bố những gì họ phát hiện, hãy xem các chương trình thí điểm này là một tín hiệu hữu ích chứ không phải sự bảo đảm, và tiếp tục duy trì các biện pháp kiểm soát của riêng bạn đối với các AI agent mà bạn triển khai.

Bạn đang có kế hoạch đưa AI agent vào vận hành trên hạ tầng của mình? Liên hệ đội ngũ LOGIQ để cùng trao đổi về các biện pháp kiểm soát.

Nguồn tham khảo

Photo: Clement Nivesse / Pexels