ミリ波レーダを用いたマスク越しのフレーズ分類
Phrase Classification through Masks Using Millimeter-Wave Radar

2021年07月14日

新型コロナウイルスの感染拡大の影響によりマスクの着用が普及しているが、音声の減衰や口の形が見えないことにより発話内容が伝わりにくい。そこで本研究では、マスクを透過するミリ波FMCWレーダを用いて口の動きを読み取り、機械学習を用いてフレーズの分類を行う手法を提案した。そして厚労省が推奨する人との間隔である2 m離れた位置からマスク越しに、6個のフレーズを75%の精度で分類出来ることを実験的に示した。

The spread of coronavirus infection promoted the culture of wearing masks in daily life. However, masks cause voice attenuation and hide people’s mouth shapes, leading to difficulty interpreting speech. This study proposed using millimeter-wave FMCW radar to detect mouth movements over masks and interpret such movements to phrases using machine learning classification techniques. Our initial experiments revealed that our approach could classify six phrases with 75% accuracy from a 2 m distance, the range of social distance recommended by the Japanese government.

Ryotaro Yamakawa, Tatsuya Iizuka, Takuya Sasatani, Matthew Ishige, Ken Takaki, Yoshihiro Kawahara

Contact: yamakawa@akg.t.u-tokyo.ac.jp