Tin nóng từ Beating AI: Dự án đánh giá độc lập Assistant Benchmark đã bắt đầu đánh giá các trợ lý AI cá nhân bằng các tác vụ thực tế. Dự án trực tiếp yêu cầu trợ lý đặt phòng khách sạn, chọn nhà hàng, mua hàng, trả lời email và kết nối với các dịch vụ của bên thứ ba, sau đó chấm điểm dựa trên hiệu suất thực tế của chúng. Mỗi tiêu chí chấm điểm đều có một tác vụ cố định, được công khai và chỉ có điểm số được trao dựa trên các bản ghi hiệu suất thực tế.
Hiện tại, Muse đứng đầu với điểm trung bình 9.1 trên 7 tiêu chí đánh giá; Instinct đạt trung bình 8.4 trên 11 tiêu chí; và Grok Bot đạt trung bình 7.3 trên 7 tiêu chí. Muse cũng đạt điểm 10 ở các khía cạnh mua sắm, email và kết nối với ứng dụng bên thứ ba.
Tuy nhiên, chính xác hơn thì đây là bảng xếp hạng được cập nhật liên tục dựa trên trải nghiệm thực tế của người dùng. Điểm 9.1 của Muse hiện chỉ là điểm trung bình trên 7 khía cạnh được kiểm tra, chứ không phải là điểm số đầy đủ. Mỗi khía cạnh hiện chỉ được kiểm tra bằng một tác vụ cố định duy nhất, và điểm số cũng như thứ hạng có thể thay đổi sau các lần kiểm tra tiếp theo.