校企合作畢業(yè)設(shè)計(jì)

基于多模態(tài)數(shù)據(jù)優(yōu)化的康復(fù)場景專用姿態(tài)識(shí)別算法研發(fā)

機(jī)械工程

資助企業(yè): 上海探勢健康科技有限公司

資助年份: 2024

企業(yè)導(dǎo)師: 殷銳清

指導(dǎo)教師: Peter Bradley Shull

項(xiàng)目成員: 譚元碩 鐘李騁 劉國興 何鑫園

項(xiàng)目海報(bào)
項(xiàng)目視頻
項(xiàng)目簡介

項(xiàng)目概述

近年來,職場、學(xué)業(yè)壓力大導(dǎo)致疼痛普遍。在供給端,現(xiàn)存解決方案不足。公立醫(yī)院康復(fù)科、疼痛科發(fā)展不健全,缺口巨大,私立康復(fù)機(jī)構(gòu)療程費(fèi)用高,選擇健身房則面臨不專業(yè)、不安全等問題。越來越多的人將目光聚焦于遠(yuǎn)程居家康復(fù),通過互聯(lián)網(wǎng)和相關(guān)技術(shù),在家中接受醫(yī)療康復(fù)服務(wù)。

目前,已有的一種商業(yè)模式是通過付費(fèi)小程序,結(jié)合預(yù)錄視頻和人體姿態(tài)識(shí)別算法對(duì)患者進(jìn)行交互式的指導(dǎo)。然而,通用的開源姿態(tài)識(shí)別算法在數(shù)字化康復(fù)訓(xùn)練和指導(dǎo)的場景中具有精度較低、魯棒性差、需全身入鏡等問題,亟需解決。本項(xiàng)目致力于收集康復(fù)動(dòng)作專用數(shù)據(jù)集,設(shè)計(jì)并優(yōu)化數(shù)字化康復(fù)場景下的姿態(tài)識(shí)別算法。


項(xiàng)目目標(biāo)

現(xiàn)有的通用開源姿態(tài)識(shí)別算法在數(shù)字化康復(fù)訓(xùn)練和指導(dǎo)的場景中具有精度較低、魯棒性差、需全身入鏡等問題,亟需解決。為了解決該問題,本項(xiàng)目將于從兩個(gè)方面進(jìn)行努力。

首先,本項(xiàng)目致力于收集康復(fù)動(dòng)作專用數(shù)據(jù)集,填補(bǔ)領(lǐng)域空缺。本項(xiàng)目將構(gòu)建數(shù)據(jù)內(nèi)容豐富、數(shù)據(jù)標(biāo)注精確、具有康復(fù)場景特色的專有人體姿勢數(shù)據(jù)集,為后續(xù)領(lǐng)域內(nèi)相關(guān)算法的研究開發(fā)提供鼎力支持。

其次,本項(xiàng)目將設(shè)計(jì)并優(yōu)化數(shù)字化康復(fù)場景下的姿態(tài)識(shí)別算法,利用現(xiàn)存的公開數(shù)據(jù)集與本項(xiàng)目的康復(fù)動(dòng)作專有數(shù)據(jù)集,充分調(diào)研現(xiàn)存人體姿態(tài)識(shí)別算法,設(shè)計(jì)并實(shí)現(xiàn)新的姿態(tài)識(shí)別算法,致力于優(yōu)化人體姿態(tài)識(shí)別算法在康復(fù)場景下的性能表現(xiàn)。


項(xiàng)目成果

本項(xiàng)目收集了首個(gè)聚焦于康復(fù)動(dòng)作的人體姿態(tài)數(shù)據(jù)集:3DHRP(3D Human Rehabilitaion Pose),結(jié)合Vicon動(dòng)作捕捉系統(tǒng)和Visual 3D軟件獲得精確3D人體姿態(tài)真值。數(shù)據(jù)集包含了10名被試、22個(gè)康復(fù)動(dòng)作,具備單目圖像和2D、3D、IMU標(biāo)簽,共計(jì)35萬張圖片。本項(xiàng)目填補(bǔ)了領(lǐng)域內(nèi)人體康復(fù)動(dòng)作數(shù)據(jù)集的空缺,對(duì)后續(xù)基于康復(fù)場景下人體姿勢識(shí)別算法的開發(fā)研究具有重要的意義。

本項(xiàng)目提出了PETP(Point Embedded Transformer Pose)、 HybridTHP(Hybrid Temporal Human Pose)、 UVPHP(UV Prior Human Pose)、 KPBHP(Keypoints-Based Human Pose)四種算法,結(jié)合了二維熱力圖平面坐標(biāo)預(yù)測、三維空間位置嵌入等方法,與領(lǐng)域內(nèi)的現(xiàn)存方法相比,實(shí)現(xiàn)了更好的姿勢識(shí)別效果。


Copyright ? 2020 上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院 版權(quán)所有

  • 機(jī)動(dòng)學(xué)院

  • 本科教務(wù)辦

阳高县| 银川市| 曲阜市| 全南县| 旅游| 金湖县| 九江市| 高雄市| 康定县| 射洪县| 阳泉市| 新民市| 茶陵县| 门源| 武平县| 宝坻区| 信阳市| 扎兰屯市| 荣昌县| 衡水市| 邳州市| 镇远县| 精河县| 怀仁县| 佳木斯市| 南陵县| 将乐县| 三明市| 平谷区| 晋中市| 盐边县| 霍山县| 扎囊县| 苍梧县| 新密市| 临清市| 利辛县| 衡阳县| 习水县| 建宁县| 项城市|