巨大ロボのコクピット？　コマツの建機を5G通信で遠隔操作、建設現場を再現して共同作業するVR体験も

巨大建機が目を引く「コマツ」のブース

　10月16日～19日に幕張メッセで開催されている「CEATEC JAPAN 2018」。ひときわ巨大な建機が目を引くコマツ（小松製作所）のブースでは、通信に5Gを使ったブルドーザの遠隔操作を実演。巨大ロボのコクピットを模したような外観が注目を集めていた。

5G通信でブルドーザを遠隔操作するコクピット

　複数のモニターとボタンやレバーを備えたコクピット風の展示物は、今回、CEATEC JAPANでのデモ用に「見た目を派手にした」遠隔操縦席。NTTドコモやインテルなどと協力して、会場から7km離れた場所にある「コマツIoTセンタ」内の施設と光回線で接続し、そこから次世代のモバイルネットワーク技術である5Gを使って、施設内のブルドーザと通信、制御する仕組みになっている。

　ブルドーザの基本的な移動操作が可能で、車両前方にあるブレードの制御は半自動化されている。モニターには、ブルドーザに搭載された4つのカメラで撮影した車両前後とブレード左右付近が映し出され、別のモニターでは現地の地形と、その施工すべき箇所を3Dグラフィックで表示する。また、別の4つのカメラ映像から再現した車両の周囲の視界360度を3Dで再現する「フライングビュー」用のモニターもある。

　これらのモニターを見ながらブルドーザを遠隔操作し、安全で効率的な施工を可能にする。5G技術はレイテンシの少なさがメリットとなるが、今回のデモでは通信経路の一部でしか使っていないこと、映像の圧縮処理などに時間がかかっていることなどから、400～500ms程度の遅延が発生しているとのこと。それでも、ブレード操作が半自動化されていることなどから、問題なく操作できるとしている。

写真では見えないところにあるものも含め、計6枚のモニターで映像などチェックしながら遠隔操作する

車両の周囲360度の視界を3Dで再現する「フライングビュー」

掘削すべき深さを示す“設計面”をメッシュで表示し、それより高い部分、低い部分を色分けすることにより、地ならしする場所をモニター越しでも判断できるようになっている

　ほかには、ドローンで測量して得た地形データを元に工事現場を3DCGで再現し、その地形グラフィックをVRで見ながら複数人で共同作業できる「HOLO DIORAMA」を参考出展。施工方法の検討や、あらかじめモデリングされたオブジェクトを配置して施設のレイアウトなどを決定する、といった作業を、まるで現場にいるかのようなリアルさで進めていくことができる。現在はUnityを用いて独自開発したツールだが、今後はNVIDIAが開発する「Holodeck」への移行も含めて研究・開発を続ける予定。

VRで現場を再現できる「HOLO DIORAMA」

ドローンで測量した地形データを3DCG化

リアリティある仮想の現場で共同作業できる

　NVIDIAの自動運転向け車載モジュールである「JETSON TX2i」を搭載した自動運転油圧ショベルや、GPSなどのセンサーで自動運転するダンプカーは、ブースの中で最も目立つかたちで展示。掘削した土をダンプカーに載せ、運び出すという一連の作業を自動化したものだ。油圧ショベルが車載カメラの映像を元に、人、ダンプカーの位置、ダンプカーの荷台を検知し、安全・確実に作業する様子を動画で紹介していた。

自動運転油圧ショベル（右）と自動運転ダンプカー（左）

自動運転油圧ショベルにはNVIDIAの自動運転向け車載モジュール「JETSON TX2i」が搭載

2つの車載カメラの映像を解析し、人を検知

ダンプカーの状態も検知する

掘削した土をダンプカーの荷台に載せるため、荷台の認識も行う