Lần đầu tiên đưa mô hình thế giới dự đoán vào đi bộ hình người: khoai lang WM-LOCO cho phép robot đi bộ trên cọc hoa mận

Khi robot hình người đối mặt với những địa hình phức tạp như cọc hoa mai, cầu gãy, cầu thang hẹp, thử thách thực sự vắt ngang trước mặt nó không chỉ đơn giản là "nhìn rõ dưới chân".

Trên mặt đất bằng phẳng liên tục, một lần đặt chân không đủ chính xác thường còn có không gian điều chỉnh. Nhưng trong khu vực đặt chân thưa thớt, rời rạc, hạn chế hình học, bàn chân lệch vài cm là có thể giẫm lên khoảng không. Một khi robot đưa ra lựa chọn sai lầm ngay lập tức, cơ thể thường mất thăng bằng trước khi nó có thể điều chỉnh.

Một câu hỏi quan trọng xuất hiện: Liệu robot có thể đánh giá trước tương lai mà nó sẽ đưa mình đến trước khi thực hiện bước này?

Để giải quyết vấn đề này, nhóm các thuật toán robot khoai lang đã đề xuất World Model Augmented Visual Locomotion (WM-LOCO).

WM-LOCO đã giới thiệu các mô hình thế giới hướng tới dự đoán trạng thái thị giác và chuyển động trong tương lai cho robot đi bộ địa hình phức tạp, huấn luyện kết hợp từ đầu đến cuối trong mô phỏng và thực hiện di chuyển zero-shot thực sự. Điều này có nghĩa là các chiến lược được đào tạo tốt trong mô phỏng có thể được triển khai trực tiếp trên robot vật lý mà không cần điều chỉnh thứ cấp.

Sơ đồ kiến trúc WM-LOCO: chiến lược PPO ở bên trái, mô hình thế giới tuần hoàn ở bên phải, cả hai chia sẻ bộ mã hóa, đào tạo kết hợp đầu cuối

Đơn giản mà nói, robot trong quá khứ chủ yếu dựa trên "những gì nhìn thấy trước mắt" để quyết định bước tiếp theo. WM-LOCO cho phép robot học cách "dự đoán tương lai trước khi quyết định bước tiếp theo".

　　Chỉ hiểu quá khứ, tại sao chưa đủ?

Học tăng cường thị giác truyền thống thường đưa thông tin thị giác hiện tại và lịch sử vào mạng chiến lược cùng với trạng thái bản thể robot, sau đó xuất ra các hướng dẫn điều khiển khớp trong thời gian thực.

Loại chiến lược dựa trên lịch sử quan sát này, có thể "nhìn thấy" thông tin mà robot đã trải qua, bằng cách nhập nhiều khung hình liên tiếp hoặc một đoạn lịch sử trạng thái bản thể, có thể đánh giá cách robot di chuyển trước đó, địa hình thay đổi như thế nào và tạo ra hành động hiện tại phù hợp.

Nhưng vấn đề là, chiến lược sử dụng thông tin luôn luôn "quá khứ", không rõ ràng học được "sự thay đổi trạng thái tương lai mà một hành động có thể mang lại". Giới hạn này còn chưa rõ ràng trên địa hình bằng phẳng và quy tắc, có thể một khi đối mặt với địa hình hạn chế nghiêm ngặt như cọc hoa mai, cầu gãy, cầu thang hẹp v. v., khuyết điểm dựa trên lịch sử quan sát tiến hành quyết sách sẽ bị phóng đại kịch liệt.

Bởi vì đi lại trên địa hình phức tạp không bao giờ là sự chồng chất đơn giản của một chuỗi các động tác một bước không liên quan đến nhau.

Một cước này giẫm ở đâu, sẽ liên tục ảnh hưởng đến trọng tâm thân thể, quan hệ chống đỡ, quỹ đạo đong đưa chân, cùng với bước tiếp theo còn có thể tới khu vực nào. Một hành động có vẻ khả thi tại thời điểm này có thể khiến robot rơi vào tình trạng không còn đường để đi vào thời điểm tiếp theo.

Vì vậy, robot không chỉ cần hiểu "điều gì đã xảy ra trước đó", mà còn cần dự đoán: Điều gì có thể xảy ra tiếp theo nếu nó thực hiện hành động này?

　　2.Hiểu biết về chiến lược "tương lai"

WM-LOCO đồng thời nhận được thông tin về tầm nhìn sâu và Ontology của robot và liên tục tìm hiểu mối quan hệ năng động giữa robot, hành động và môi trường trong không gian ngầm thông qua mô hình thế giới tuần hoàn.

Điều quan trọng cần nhấn mạnh: Mục đích của mô hình thế giới này không phải là tạo ra một video trong tương lai để mọi người xem, mà là học cách mô tả trạng thái tương lai nhỏ gọn hơn và phù hợp hơn với điều khiển thời gian thực. WM-LOCO luôn cố gắng trả lời 3 câu hỏi:

Tình trạng hiện tại của robot và địa hình là gì?

Sau khi thực hiện hành động, trạng thái thị giác và cơ thể sẽ thay đổi như thế nào?

Sự thay đổi này có tốt cho việc đi bộ ổn định tiếp theo không?

Về mặt thực hiện cụ thể, mô hình thế giới bao gồm một quỹ đạo bộ nhớ xác định và một biến ẩn ngẫu nhiên: cái trước tích lũy lịch sử theo chu kỳ thời gian, cái sau suy ra từ các quan sát hiện tại.

Bằng cách học cách quan sát lại, chuyển giao trạng thái tiềm năng và dự đoán phản hồi nhiệm vụ, các mô hình thế giới đã dần tinh chỉnh các đặc tính động của các xu hướng chuyển động trong tương lai và đưa thông tin này trở lại chiến lược PPO.

Do đó, chiến lược không chỉ thu được các bậc thang, chướng ngại vật và khu vực đặt chân trong hình ảnh chiều sâu hiện tại, cũng không chỉ là một quỹ đạo chuyển động lịch sử, mà còn bao gồm thông tin về cách trạng thái cơ thể robot có thể phát triển tiếp theo.

GT là độ sâu khung hình tiếp theo thực tế, Recon. dự đoán cho mô hình và Error là lỗi pixel-by-pixel

Đây chính là điểm khác biệt cốt lõi giữa WM-LOCO và chiến lược đầu vào đa khung thông thường. Lịch sử quan sát chủ yếu giúp chiến lược hiểu được "những gì đã xảy ra trong quá khứ"; Mô hình thế giới tìm hiểu thêm về mối quan hệ năng động giữa các quan sát, hành động và trạng thái tương lai, cho phép các chiến lược suy diễn "những gì có thể xảy ra tiếp theo".

Do đó, các quyết định chiến lược không còn chỉ dựa vào thông tin lịch sử, mà thực sự có khả năng dự đoán hướng tới tương lai.

　　III. Đào tạo từ đầu đến cuối, nói lời tạm biệt với quy trình rườm rà

Để đưa robot đi qua địa hình phức tạp, nhiều tuyến đường kỹ thuật sẽ chia hệ thống thành nhiều mô-đun như nhận thức, lập kế hoạch điểm dừng, tạo quỹ đạo, chiến lược giáo viên và điều khiển cơ bản.

Một phần của chương trình cũng yêu cầu huấn luyện chiến lược giáo viên "bật và tắt" với giá trị địa hình hoàn chỉnh trước khi chuyển khả năng sang chiến lược học sinh sử dụng các cảm biến trên tàu thông qua chưng cất kiến thức. Cái giá của phương án này là liên kết đào tạo dài hơn, thiết kế nhân tạo nhiều hơn, chi phí xây dựng dữ liệu cao hơn, hơn nữa sai số giữa nhiều mô - đun có thể truyền đi từng cấp, phóng đại từng tầng.

Ngược lại, WM-LOCO đã chọn một con đường ngắn gọn và trực tiếp hơn: mô hình thế giới được tối ưu hóa kết hợp từ đầu đến cuối trong cùng một quá trình đào tạo với chiến lược đi bộ.

Toàn bộ hệ thống không cần điểm dừng chân đánh dấu nhân tạo, không phụ thuộc vào quỹ đạo chân được quy hoạch trước, không cần chưng cất nhiều giai đoạn kiểu giáo viên - học sinh, không cần kết cấu đa chuyên gia phức tạp, cũng không cần huấn luyện nhiều mô hình độc lập. Từ đầu vào trực quan đến chuyển động khớp, đào tạo một bước tại chỗ.

Thông tin động học được từ các mô hình thế giới cũng không được xây dựng lại để phục vụ mục đích tái thiết, mà trực tiếp phục vụ một mục tiêu: giúp các chiến lược đưa ra quyết định tốt hơn tiếp theo.

　　Tỷ lệ thành công cao hơn, dáng đi tự nhiên hơn

Với cùng một đầu vào trực quan và thiết lập nhiệm vụ, nhóm thuật toán đã so sánh WM-LOCO với chiến lược PPO cơ bản.

Theo khu vực đặt chân trở nên càng ngày càng thưa thớt, chật hẹp cùng không liên tục, hai loại phương pháp hiện ra chênh lệch rõ ràng. Chiến lược PPO thuần túy chỉ dựa vào lịch sử quan sát, càng dễ xuất hiện vấn đề dừng chân quá sớm, thăm dò thường xuyên, tiết tấu chân trái phải không nhất quán, cũng như động tác cục bộ có thể thực hiện được, sau đó lại không thể tiếp tục. Ở một số địa hình có độ khó cao, PPO đơn thuần thậm chí còn khó hình thành khả năng đi qua ổn định.

Và sau khi giới thiệu mô hình thế giới, tỷ lệ thành công của robot trong các tình huống phức tạp như cọc hoa mận, cầu gãy, cầu thang hẹp và cầu độc mộc đã tăng lên đáng kể, gần 100% trong mô phỏng. Trong khi đó, robot giảm bớt sự điều chỉnh đột ngột và dáng đi do dự.

Nói cách khác, mô hình thế giới không chỉ mang lại "có thể đi qua", mà còn giúp robot thể hiện ý đồ vận động liên tục và ổn định hơn khi đi bộ - đặt chân, đặt chân và chuyển trọng tâm cơ thể gắn liền hơn, nhịp điệu chân phải phối hợp hơn, vận động tổng thể cũng tự nhiên hơn, gần gũi hơn với con người.

Trên máy thật, cùng một bộ trọng lượng được triển khai đến Unitree G1 theo kiểu zero-shot: 10 lần thử nghiệm trên mỗi loại địa hình, bậc thang và khe hở, với tỷ lệ thành công trung bình 93,3%. Trong đó có khe hở rộng 0,8 mét, robot vượt qua với một động tác "lắc chân - vượt qua - rơi xuống đất" hoàn chỉnh - xuất phát từ cân nhắc an toàn, nhóm không tiếp tục kiểm tra khe hở rộng hơn, nhưng đây đã là khoảng cách vượt qua máy thật hiếm thấy trong công tác công khai hiện nay.

　　V. Kiểm tra hiện trường: Không chỉ Demo

Công việc trên thị trường thường hiển thị các video demo được sàng lọc và thường khó phản ánh đầy đủ sự ổn định của thuật toán trong môi trường thực.

Triển lãm trực tiếp thì hoàn toàn khác. Robot cần phải đối mặt với tiếng ồn cảm biến thực, thay đổi trạng thái thiết bị, nhiễu ánh sáng và hoạt động đơn lẻ không thể làm lại. Bất kỳ một lần nhận thức hoặc kiểm soát sai lầm nào, đều sẽ trực tiếp phơi bày trước khán giả.

Trong cuộc họp báo gần đây, robot hình người chở WM - LOCO đã hoàn thành việc trưng bày máy thật công khai tại hiện trường. Các thuật toán chạy trong thời gian thực trên robot thực, cảm biến thực và nền tảng máy tính Rising Sun S600, hoàn thành một vòng khép kín hoàn chỉnh từ nhận thức thị giác, mô hình hóa thế giới đến điều khiển chuyển động toàn thân.

So với trình diễn đi bộ trên địa hình phức tạp với demo video là hình thức trình diễn chính, hoạt động tại chỗ mở đặt ra yêu cầu cao hơn về độ ổn định, thời gian thực và độ tin cậy triển khai của thuật toán, xác nhận thêm độ tin cậy kỹ thuật, khả năng triển khai thực tế và tỷ lệ thành công cao của WM-LOCO.

Mô hình thế giới không chỉ được sử dụng để tạo ra tương lai mà còn giúp robot hiểu được tương lai.

Khi robot di chuyển từ việc đưa ra quyết định dựa trên lịch sử quan sát để chủ động dự đoán hậu quả của hành động, logic đi bộ của nó cũng thay đổi: dự đoán tương lai trước khi thực hiện bước tiếp theo.

　(Trích đoạn)