
บนเวที หุ่นยนต์ร่างมนุษย์เคลื่อนไหวตามจังหวะดนตรี หมุนลำตัว แกว่งแขน ก้าวเท้าและหมุนรอบตัว การเคลื่อนไหวของพวกมันต่อเนื่องและสง่างาม ตรงกับจังหวะเพลง แม้แต่สามารถแสดงการเต้นร่วมกลุ่มคู่กับนักเต้นมนุษย์ได้ ผู้ชมหลายคนทึ่งกับท่าทางการเต้นที่คล่องแคล่ว เข้าใจผิดว่าหุ่นยนต์เพียงแค่ทำงานตามสคริปต์การเคลื่อนไหวคงที่ที่เขียนไว้ล่วงหน้า และจำลองการเคลื่อนไหวด้วยมอเตอร์และตัวลดรอบแบบกลไก ในความเป็นจริง การเคลื่อนไหวที่ตั้งโปรแกรมไว้ก่อนมักแข็งเกร็ง หุ่นยนต์จะล้มได้ง่ายหากพื้นเวทีไม่เรียบเล็กน้อย หรือจุดศูนย์ถ่วงมีการเปลี่ยนแปลง การแสดงการเต้นที่ต่อเนื่องและเป็นธรรมชาติของหุ่นยนต์ ขึ้นอยู่กับเครือข่ายเซ็นเซอร์ที่กระจายอยู่ทั่วร่างกาย เซ็นเซอร์เหล่านี้ตรวจจับท่าทาง สภาพแรง และสภาพแวดล้อมรอบข้างอย่างต่อเนื่อง พร้อมปรับการเคลื่อนไหวแบบเรียลไทม์ผ่านระบบป้อนกลับวงปิดในระดับมิลลิวินาที เหมือนกับมนุษย์ที่ประสานกล้ามเนื้อทั่วร่างกายเพื่อเต้นรำผ่านเส้นประสาทรับความรู้สึก เซ็นเซอร์ทำหน้าที่เป็นอวัยวะรักษาดุลยภาพห้องโถง ชั้นผิวหนังรับสัมผัส และดวงตาของหุ่นยนต์ เป็นพลังที่มองไม่เห็นเบื้องหลังท่าทางการเต้นที่รวดเร็วและคล่องแคล่ว
ในชุดเซ็นเซอร์ทั้งหมด หน่วยวัดความเฉื่อย IMU เป็นแกนหลักในการรักษาดุลยภาพเชิงพลวัตขณะเต้นรำ เทียบเท่ากับระบบห้องโถงภายในหูมนุษย์ที่รับรู้ดุลยภาพ IMU โดยทั่วไปรวมเอาเครื่องวัดความเร่ง 3 แกน ไจโรสโคป 3 แกน และบางรุ่นยังติดตั้งแมกนีโตมิเตอร์ด้วย สามารถเก็บรวบรวมค่าความเร่ง ความเร็วเชิงมุมของการหมุน และทิศทางในอวกาศของลำตัวหุ่นยนต์พร้อมกัน ด้วยอัตราการเก็บข้อมูลหลายร้อยเฮิรตซ์ กล่าวคือ ทุกๆ วินาทีจะส่งข้อมูลท่าทางหลายร้อยชุดไปยังตัวควบคุม การเต้นรำแตกต่างจากการเดินทั่วไปอย่างสิ้นเชิง การเต้นรำมีการเปลี่ยนแปลงจุดศูนย์ถ่วงอย่างรวดเร็ว เช่น ยืนบนขาเดียว หมุนสะโพกในระดับกว้าง หมุนรอบตัวเอง และลงพื้นหลังกระโดด จุดศูนย์ถ่วงเปลี่ยนแปลงทันที อัลกอริทึมดุลยภาพสถิตไม่สามารถจัดการสถานการณ์ดังกล่าวได้ เมื่อหุ่นยนต์หมุนเอวและแกว่งแขน ความเฉื่อยของส่วนลำตัวบนจะดึงจุดศูนย์ถ่วง IMU จะตรวจพบการเปลี่ยนแปลงของมุมเอียงลำตัวและความเร็วในการหมุนทันที ส่งข้อมูลไปยังหน่วยควบคุมการเคลื่อนไหว ตัวควบคุมคำนวณโมเมนต์บดที่จำเป็นสำหรับข้อต่อสะโพก เข่า และข้อเท้าได้อย่างรวดเร็ว พร้อมปรับมุมข้อต่อเพื่อต่อต้านแนวโน้มที่จะล้มอันเกิดจากความเฉื่อย หากไม่มีข้อมูลป้อนกลับแบบเรียลไทม์จาก IMU หุ่นยนต์จะสูญเสียข้อมูลอ้างอิงท่าทางในขณะหมุน เอียงมากขึ้นเรื่อยๆ และล้มลง แม้แต่ท่าทางการสั่นไปมาซ้ายขวาที่เรียบง่าย ก็ต้องใช้ IMU ตรวจสอบท่าทางร่างกายอย่างต่อเนื่องเพื่อรักษาการเคลื่อนไหวทั้งชุดให้เสถียรและควบคุมได้
เซ็นเซอร์แรง 6 แกนและเซ็นเซอร์ความดันติดตั้งไว้บนฝ่าเท้า ทำหน้าที่เป็นเส้นประสาทรับสัมผัสบนเท้าของหุ่นยนต์ เป็นกุญแจสำคัญในการเปลี่ยนถ่ายจุดศูนย์ถ่วงได้อย่างลื่นไหล เมื่อมนุษย์เต้นรำ ฝ่าเท้าจะรับรู้แรงรองรับจากพื้นโดยธรรมชาติ และปรับการกระจายความดันบนฝ่าเท้าเพื่อถ่ายโอนน้ำหนักจากเท้าหนึ่งไปยังอีกเท้าหนึ่งได้อย่างราบรื่น ฝ่าเท้าหุ่นยนต์ร่างมนุษย์ติดตั้งเซ็นเซอร์แรง 6 แกน ซึ่งสามารถตรวจวัดแรงใน 3 ทิศทางและโมเมนต์ใน 3 ทิศทางพร้อมกัน พวกมันวัดแรงรองรับ แรงเสียดทาน และโมเมนต์ที่พื้นกระทำต่อฝ่าเท้าได้อย่างแม่นยำ รวมถึงคำนวณตำแหน่งจุดศูนย์ความดัน เมื่อหุ่นยนต์ยกเท้าเพื่อเต้นและยืนบนขาเดียว เซ็นเซอร์แรงบนฝ่าเท้าส่งข้อมูลค่าแรงรองรับแบบเรียลไทม์ ตัวควบคุมปรับมุมเอียงของข้อเท้าให้สอดคล้องกัน เพื่อรักษาจุดศูนย์ความดันไว้ในพื้นที่รองรับของฝ่าเท้า และป้องกันการล้มเอียง ในช่วงเวลาที่ลงพื้นระหว่างการเต้น แรงกระแทกจะเพิ่มขึ้นอย่างกะทันหัน เซ็นเซอร์แรง 6 แกนตรวจพบภาระแรงกระแทกทันที และปรับโมเมนต์ของมอเตอร์ขาอย่างรวดเร็วเพื่อเป็นตัวกันกระแทก ป้องกันการสั่นสะเทือนจากการลงพื้นแข็ง ผู้คนหลายคนสงสัยว่าทำไมหุ่นยนต์จึงเต้นได้เสถียรบนเวทีที่มีพื้นผิวไม่เรียบเล็กน้อย นั่นเป็นเพราะเซ็นเซอร์แรงบนฝ่าเท้าตรวจพบการเปลี่ยนแปลงความสูงเล็กๆ ของพื้น และปรับแรงรองรับของขาแบบปรับตัวเอง ทำให้การเปลี่ยนผ่านการเคลื่อนไหวอ่อนโยน ไม่มีอาการกระตุกแข็ง
ตัวเข้ารหัสความละเอียดสูงติดตั้งไว้ที่ข้อต่อแต่ละจุด ทำหน้าที่ตรวจวัดตำแหน่งและความเร็วในการหมุนของแต่ละข้อต่อ เพื่อให้แน่ใจว่าการจำลองวิถีการเคลื่อนไหวของแขนขาเป็นไปอย่างถูกต้อง การเต้นรำมีการควบคุมแขนขาที่ละเอียดอ่อน เช่น ความสูงเมื่อยกมือ ขอบเขตการแกว่งแขน และมุมการงอเข่า มีข้อกำหนดที่เข้มงวด ข้อต่อขับเคลื่อนแต่ละจุดติดตั้งตัวเข้ารหัสความละเอียดสูง วัดมุมหมุนปัจจุบันและความเร็วหมุนของข้อต่อแบบเรียลไทม์ และเปรียบเทียบกับวิถีการเต้นที่ตั้งไว้ล่วงหน้าอย่างต่อเนื่อง หากมอเตอร์ได้รับสัญญาณรบกวนจากภาระ และมุมข้อต่อที่เกิดขึ้นจริงเบี่ยงเบนจากมุมเป้าหมาย ตัวเข้ารหัสจะรายงานข้อผิดพลาดทันที ตัวควบคุมปรับเอาต์พุตมอเตอร์ เพื่อให้แน่ใจว่าแขน ลำตัว และขาเคลื่อนที่ตามเส้นทางที่วางไว้ ด้วยข้อมูลป้อนกลับตำแหน่งที่ไม่หยุดชะงักจากตัวเข้ารหัส ท่าทางเช่น ยกมือ แกว่งแขน จึงต่อเนื่อง ไม่มีความล่าช้าในการเคลื่อนไหวหรือการเบี่ยงเบนตำแหน่ง
เซ็นเซอร์ภาพและไลดาร์รับหน้าที่ตรวจวัดสภาพแวดล้อม และมีบทบาทสำคัญในสถานการณ์การเต้นร่วมกลุ่ม กล้องถ่ายภาพความลึกสองตาและไลดาร์ 3 มิติ ทำหน้าที่เป็นดวงตาของหุ่นยนต์ พวกมันสร้างโมเดล 3 มิติของเวที ระบุขอบเขตเวที นักเต้นมนุษย์ และตำแหน่งหุ่นยนต์รอบข้าง รวมถึงคำนวณระยะห่างสัมพัทธ์แบบเรียลไทม์ สำหรับการแสดงเดี่ยว เซ็นเซอร์ภาพช่วยหุ่นยนต์ระบุตำแหน่งของตัวเองบนเวที และป้องกันไม่ให้หุ่นยนต์ก้าวออกจากพื้นที่แสดงขณะเต้น ในกรณีการเต้นร่วมกลุ่มของหุ่นยนต์หลายตัว ระบบภาพและไลดาร์ตรวจพบตำแหน่งหุ่นยนต์เพื่อนร่วมทีม ปรับรูปแถวโดยอัตโนมัติเพื่อหลีกเลี่ยงการชนกัน และปฏิบัติท่าทางร่วมกันอย่างเป็นระเบียบ พร้อมกันนี้ การรับรู้ภาพสามารถช่วยปรับเทียบค่าคลาดเคลื่อนของท่าทางที่เกิดจาก IMU ในระหว่างการแสดงที่ใช้เวลานาน เซ็นเซอร์ความเฉื่อยจะเกิดค่าคลาดเคลื่อนสะสมเล็กน้อย ข้อมูลภาพสามารถปรับเทียบข้อมูลตำแหน่งและท่าทางเป็นระยะๆ เพื่อรักษาการแสดงให้เสถียรตลอดการแสดง
เซ็นเซอร์สัมผัสแบบยืดหยุ่นมักติดตั้งไว้บนมือของหุ่นยนต์ ทำงานเมื่อการแสดงเต้นต้องถือผ้าพันคอหรืออุปกรณ์ประกอบฉาก เมื่อมนุษย์เต้นรำพร้อมอุปกรณ์ประกอบฉาก พวกเขาอาศัยการรับรู้สัมผัสเพื่อควบคุมแรงจับ ถ้าแรงจับมากเกินไปจะทำให้อุปกรณ์เสียหาย แต่ถ้าแรงไม่พอ อุปกรณ์จะลื่นหลุด มือหุ่นยนต์ที่ติดตั้งเซ็นเซอร์สัมผัสแบบยืดหยุ่น ตรวจพบการกระจายความดันบนผิวสัมผัส และปรับโมเมนต์การหนีบของมือแบบเรียลไทม์ เพื่อจับอุปกรณ์ไว้อย่างมั่นคง ปฏิบัติรายละเอียดการเต้น เช่น การแกว่งและโยนอุปกรณ์ ทำให้การแสดงมีชีวิตชีวามากขึ้น
อย่างไรก็ตาม ไม่สามารถสร้างการเต้นที่ลื่นไหลได้ด้วยการทำงานแยกกันของเซ็นเซอร์แต่ละชนิดเท่านั้น เทคโนโลยีการรวมข้อมูลจากเซ็นเซอร์หลายตัว เป็นกุญแจในการรวบรวมข้อมูลการรับรู้ทั้งหมด ข้อมูลที่เก็บจาก IMU เซ็นเซอร์แรง ตัวเข้ารหัส และกล้อง มีข้อจำกัดของตัวเอง IMU มีค่าคลาดเคลื่อนสะสมเมื่อทำงานเป็นเวลานาน เซ็นเซอร์แรงบนฝ่าเท้าไวต่อสัญญาณรบกวนจากการสั่นสะเทือน เซ็นเซอร์ภาพลดความแม่นยำเมื่ออยู่ภายใต้แสงสว่างจ้า ตัวควบคุมหุ่นยนต์รวมและคำนวณข้อมูลจากเซ็นเซอร์หลายแหล่ง เพื่อชดเชยข้อบกพร่องซึ่งกันและกัน สร้างโมเดลสถานะที่สมบูรณ์ของหุ่นยนต์เอง และได้รับข้อมูลที่น่าเชื่อถือที่สุดเกี่ยวกับท่าทาง ตำแหน่ง และแรง หลังจากนั้น จะส่งคำสั่งควบคุมมอเตอร์ผ่านอัลกอริทึมควบคุมพลวัตทั้งร่างกาย สร้างเป็นระบบควบคุมวงปิดที่สมบูรณ์ กระบวนการรับรู้ คำนวณ และส่งคำสั่งทั้งหมดใช้เวลาเพียงไม่กี่มิลลิวินาที ในขณะเต้น หุ่นยนต์รับรู้ คำนวณ และปรับตัวอย่างต่อเนื่อง แทนที่จะเล่นการเคลื่อนไหวคงที่แบบกลไก นี่คือเหตุผลพื้นฐานที่ทำให้ท่าทางการเคลื่อนไหวดูลื่นไหล
ผู้คนหลายคนเข้าใจผิดระหว่างการบันทึกการเคลื่อนไหวและการรับรู้ในสถานที่จริง ในขั้นตอนการวิจัยและพัฒนา วิศวกรเก็บรวบรวมท่าทางการเต้นของนักเต้นมนุษย์ด้วยอุปกรณ์จับภาพการเคลื่อนไหว และแปลงวิถีข้อต่อของร่างกายมนุษย์ให้เป็นวิถีการเคลื่อนไหวอ้างอิงสำหรับหุ่นยนต์ สิ่งนี้เพียงแค่จัดเตรียมแม่แบบการเคลื่อนไหวให้กับหุ่นยนต์เท่านั้น ในการแสดงบนเวทีจริง ความผิดปกติเล็กน้อยของพื้นเวที การเปลี่ยนแปลงประสิทธิภาพจากความร้อนของมอเตอร์ และสัญญาณรบกวนจากอากาศ จะรบกวนการปฏิบัติการเคลื่อนไหว แม่แบบการเคลื่อนไหวมีไว้เพื่ออ้างอิงเท่านั้น การเคลื่อนไหวสุดท้ายจะคงเสถียรและลื่นไหลหรือไม่ ขึ้นอยู่กับข้อมูลป้อนกลับแบบเรียลไทม์จากเซ็นเซอร์เพื่อปรับตัวเชิงพลวัต หากไม่มีระบบป้อนกลับวงปิดจากเซ็นเซอร์ หุ่นยนต์จะสามารถปฏิบัติการเคลื่อนไหวได้ในช่วงเวลาสั้นๆ เท่านั้น ภายใต้สภาพแวดล้อมในอุดมคติ ท่าทางจะผิดรูป หรือหุ่นยนต์อาจล้มลงเมื่อมีสัญญาณรบกวนเล็กน้อย
การพัฒนาเทคโนโลยีเซ็นเซอร์อย่างต่อเนื่อง ขยายขีดความสามารถในการแสดงออกของการเต้นหุ่นยนต์อย่างไม่หยุดยั้ง หุ่นยนต์ร่างมนุษย์รุ่นแรก มีอัตราการเก็บข้อมูลเซ็นเซอร์ต่ำ และความแม่นยำในการรับรู้แรงไม่เพียงพอ พวกมันสามารถทำท่าก้าวเท้าเรียบง่ายได้เท่านั้น ด้วยการเคลื่อนไหวที่แข็งเกร็ง ไม่สามารถปฏิบัติท่าทางการเต้นพลวัตสูงซึ่งเกี่ยวข้องกับการเคลื่อนไหวร่างกายในระดับกว้างได้ ด้วยความก้าวหน้าในเซ็นเซอร์ความเฉื่อย MEMS ขนาดเล็ก เซ็นเซอร์แรง 6 แกนขนาดเล็ก และฮาร์ดแวร์รับรู้ภาพความเร็วสูง รวมถึงการปรับปรุงอัลกอริทึมการรวมเซ็นเซอร์หลายตัวและการควบคุมพลวัตทั้งร่างกาย หุ่นยนต์สามารถปฏิบัติท่าทางการเต้นที่ยาก เช่น การหมุน กระโดด และการแกว่งแขนขาในระดับกว้าง ความลื่นไหลของการเคลื่อนไหวใกล้เคียงกับมนุษย์มากขึ้นเรื่อยๆ
การเต้นรำของหุ่นยนต์ โดยพื้นฐานแล้ว คือการแสดงเทคโนโลยีการรับรู้เลียนแบบชีวภาพและการควบคุมการเคลื่อนไหวอย่างครบถ้วน มอเตอร์และตัวลดรอบทำหน้าที่เป็นกล้ามเนื้อและโครงกระดูกของหุ่นยนต์ ในขณะที่เซ็นเซอร์หลายชนิดสร้างเป็นระบบประสาทที่ช่วยให้หุ่นยนต์รับรู้ตัวเองและโลกภายนอก เครือข่ายเซ็นเซอร์ตรวจจับท่าทางร่างกาย แรงจากพื้น และการเปลี่ยนแปลงของสภาพแวดล้อมแบบเรียลไทม์ ตัวควบคุมรวมข้อมูลการรับรู้ทั้งหมดอย่างรวดเร็ว และปรับคำสั่งการเคลื่อนไหวสำหรับแต่ละข้อต่อแบบเรียลไทม์ ต่อต้านสัญญาณรบกวนจากภายนอกอย่างต่อเนื่อง เพื่อให้เกิดการเปลี่ยนแปลงจุดศูนย์ถ่วงที่เสถียร และการเคลื่อนไหวของแขนขาที่ลื่นไหล ในอนาคต ด้วยการปรับปรุงความแม่นยำของเซ็นเซอร์สัมผัส เซ็นเซอร์แรง และเซ็นเซอร์ความเฉื่อย รวมถึงการปรับปรุงอัลกอริทึมการรวมข้อมูลการรับรู้อย่างต่อเนื่อง หุ่นยนต์ร่างมนุษย์จะสามารถแสดงการเต้นได้หลายรูปแบบมากขึ้น และแสดงความสามารถในการเคลื่อนไหวที่เป็นธรรมชาติและคล่องแคล่วมากขึ้นในหลายสถานการณ์