Đồng sáng lập OpenAI Andrej Karpathy, người gia nhập Anthropic vào tháng trước, vào ngày 9 tháng 6 đã chia sẻ đánh giá của mình về Claude Fable 5, gọi đây là bước nhảy về hiệu năng mang ý nghĩa “tái thế hệ”, đồng thời dùng ẩn dụ “phần mềm tuôn trào như nước máy” để mô tả tác động đến năng suất. Tuy nhiên, Karpathy cảnh báo rõ ràng tuyệt đối không được từ bỏ việc rà soát mã.
Đánh giá năng lực xác nhận của Karpathy đối với Fable 5
Bước nhảy hiệu năng qua các thế hệ: Karpathy xác nhận Fable 5 đã đạt được bước nhảy hiệu năng mang tính tái thế hệ, lợi thế đặc biệt rõ khi xử lý các tác vụ dài, có thể thực thi các chỉ dẫn phức tạp gần như không cần can thiệp thủ công.
Gỡ rối độ dài chuỗi phức tạp: Karpathy cho biết khi đối mặt với các mục tiêu phát triển lớn lao, Fable 5 có thể nhanh chóng nắm bắt ý định và tự tiến hành, lần đầu tiên khiến ông có thôi thúc mạnh mẽ muốn hoàn toàn không xem mã.
Cảnh báo rõ ràng (nguyên văn của Karpathy): Ông nhấn mạnh không được trong môi trường sản xuất hoàn toàn bỏ qua rà soát mã; đây là lời cảnh báo trực tiếp của ông dành cho người dùng.
Giải thích lớp mô hình nền (Karpathy xác nhận): Karpathy cho biết Claude Fable 5 và Claude Mythos 5 dùng chung cùng một mô hình nền tảng; trên cơ sở đó, Fable 5 bổ sung thêm các biện pháp bảo vệ an toàn.
Nghịch lý Jevons: Khung phân tích của Karpathy
Trong phần bình luận, Karpathy chỉ ra rằng khi các phần mềm có sẵn “tuôn trào như nước máy”, “nghịch lý Jevons” trong lĩnh vực phần mềm sẽ được kích hoạt.
Định nghĩa nghịch lý Jevons: Khi hiệu suất sử dụng nguồn lực được cải thiện đáng kể, do chi phí sử dụng giảm mạnh, thay vì giảm thì nhu cầu tổng đối với nguồn lực đó lại tăng theo cấp số nhân.
Phân tích ứng dụng của Karpathy (từ bình luận trên nền tảng X của ông): Ông cho rằng hiệu ứng kích hoạt này sẽ khiến mọi người tạo ra hàng loạt công cụ “siêu đặc thù” (hyper-specific) cho từng lần sử dụng đơn lẻ, cùng với một lượng lớn bộ dữ liệu kiểm thử; cuối cùng sẽ thúc đẩy nhu cầu phần mềm tổng thể tăng theo cấp số nhân.
Xác nhận vấn đề về cơ chế phòng vệ an toàn
Karpathy trong bình luận cho biết, ở giai đoạn phát hành ban đầu, cấu hình các cơ chế phòng vệ an toàn của Claude Fable 5 vẫn quá nhạy cảm, cần tối ưu thêm trong thời gian tới. Đánh giá này phù hợp với phần giải thích của phía Anthropic trong thông cáo công bố Fable 5: Anthropic thừa nhận rằng hiện nay các biện pháp an toàn đôi khi gắn nhầm cờ các yêu cầu vô hại (tỷ lệ kích hoạt tổng thể dưới 5%), đồng thời cho biết đang nỗ lực cải thiện và giảm nhầm cờ càng sớm càng tốt.
Câu hỏi thường gặp
“Nghịch lý Jevons” mà Karpathy nhắc đến trong tạo mã bằng AI có ý nghĩa gì?
Theo bình luận trên nền tảng X của Karpathy, khi AI khiến chi phí sản xuất phần mềm tiến tới bằng không, nhu cầu phần mềm sẽ không vì thế giảm xuống mà ngược lại tăng theo cấp số nhân. Ông dự đoán điều này sẽ thúc đẩy các nhà phát triển tạo ra nhiều công cụ dùng một lần được tùy biến cao và các bộ kiểm thử quy mô lớn hơn, từ đó khuếch đại lượng tiêu thụ phần mềm tổng thể.
Vì sao Karpathy cảnh báo rõ ràng không được hoàn toàn bỏ qua việc rà soát mã trong môi trường sản xuất?
Karpathy cho biết dù khả năng của Fable 5 khiến ông lần đầu tiên nảy sinh thôi thúc muốn hoàn toàn không xem mã, nhưng đồng thời ông cảnh báo rõ ràng rằng cách làm đó không nên được áp dụng trong môi trường sản xuất. Lời cảnh báo của ông cũng nhất quán với khuyến nghị từ phía Anthropic — dù mô hình mạnh đến đâu thì vẫn cần giám sát của con người để đảm bảo độ tin cậy.
Quan điểm cụ thể của Karpathy về cơ chế phòng vệ an toàn của Fable 5 là gì?
Karpathy trong bình luận cho biết, ở giai đoạn phát hành ban đầu, cấu hình các cơ chế phòng vệ an toàn của Fable 5 quá nhạy cảm, cần được tối ưu thêm. Trong thông cáo công bố chính thức, Anthropic cũng xác nhận rằng hiện nay các biện pháp an toàn đôi khi gắn nhầm cờ các yêu cầu vô hại, tỷ lệ kích hoạt dưới 5%, và cho biết đang liên tục cải thiện.
