不會寫程式也能控制機器手臂! 陽明交大發表MR新技術

現場也由實驗室同學示範透過MR校正、設定和微調機器手臂,抓取水瓶放置到桌上的指定位置。(王惠慧攝)

陽明交通大學電機系教授宋開泰(中)帶領智慧系統控制整合實驗室,與達明機器人公司合作,研發出利用混合實境規畫機械手臂路徑的新技術。(王惠慧攝)

陽明交通大學電機系教授宋開泰(中)帶領智慧系統控制整合實驗室,與達明機器人公司合作,研發出利用混合實境規畫機械手臂路徑的新技術。(王惠慧攝)

陽明交通大學電機系教授宋開泰帶領智慧系統控制整合實驗室(ISCI Lab),與達明機器人公司合作,研發出利用混合實境(MR)規畫機械手臂路徑的新技術,不會寫程式的人只要戴上AR眼鏡或頭盔,就能透過手勢操作、設定,10月18日到20日也將在自動化與機器人年會ROScon 2023上展示。

宋開泰指出,有別於過去的自動化流程,大多由平面螢幕檢視及操控機械,這項MR技術具備手勢識別功能,只要帶着AR眼鏡,透過攝影機即可檢視操控者、機器手臂與環境之間的對應關係,並追蹤和辨識手部動作,規畫虛擬路徑,並於現實環境執行。

宋開泰說,MR是VR結合AR,虛擬實境整合擴增實境,可以在虛擬環境中設定,但在實際環境下執行,讓虛擬與現實同步存在,對自動化場域人機互動任務有很大的幫助。現場也由實驗室多位同學示範校正、設定和微調的過程,透過MR設定機器手臂抓取水瓶,放置到桌上的指定位置。

宋開泰也說,通常要使用機器人或機器手臂,需要學習程式設計等專業知識,但這項技術能未受過機器人程式訓練的人,也能以直覺的手勢設定路徑,縮短學習歷程,搭配上協作型機器人,未來將可深入中小企業和人類生活當中。

電控所碩二生鄧書桓說,過去是用傳統力引導的方式或寫程式控制,設定取放任務大約需要花1小時,這項技術帶來的最大差異,只要簡單用手勢設定,就可以放置虛擬點位,輕鬆設定任務,大幅提升時間和效率。

談到開發上最具挑戰的部分,宋開泰則說,一是找出一般人能直覺設定的方法,最終決定是用捏、拳頭等手勢辨識,更加使用者友善;二是如何提高精確度,因路徑是在虛擬環境設定,若不夠精確則不實用,團隊找出一套QR碼的校正法,讓手臂移動精確符合路徑。