iPhone点群が東京都のデジタルツインに採用されていた! AIで自動位置合わせ
2022年4月11日

管理人のイエイリです。

ここ1~2年の間、iPhoneやiPadの上位機種に搭載されているLiDARは、建設業界や一般ユーザーの間で手軽に使える3D計測手法として普及しつつあります。

小回りが利くので、都市や公園などにある看板やトイレ、コインロッカーなどの小さな物体を、3D点群データとして記録するのに便利ですね。

既にこの機能が、意外なところで使われていることが判明しました。先週の金曜日(2022年4月8日)付けの当ブログ記事で、東京都の「デジタルツイン実現プロジェクト」を紹介しました。

東京都の「デジタルツイン実現プロジェクト」のウェブサイト(以下の資料:東京都、三菱総合研究所、ゼンリン、Symmetry Dimensions Inc.)

東京都の「デジタルツイン実現プロジェクト」のウェブサイト(以下の資料:東京都、三菱総合研究所、ゼンリン、Symmetry Dimensions Inc.)

このデジタルツインの中で、iPhoneなどのLiDARで計測された点群データが、

ナ、ナ、ナ、ナント、

新宿西口と上野恩賜公園

に収録されていたのです。(東京都の「デジタルツイン実現プロジェクト」のウェブサイトはこちら

新宿西口の電気街の一角に埋め込まれたスマホLiDARによる点群データ

新宿西口の電気街の一角に埋め込まれたスマホLiDARによる点群データ

上の点群データを見ると、カラオケ店や自動販売機、路上の看板などが鮮やかに記録されています。

実はビルの外観や歩道などは、地上形3Dレーザースキャナーなどで大規模に計測した点群を使っており、スマホのLiDARで計測した点群をその上に張り付けているのです。

3Dレーザースキャナーだけだと視点が限られているので、どうしても“死角”が生じてしまいます。そこで、スマホLiDARで小さな看板などの裏表を点群化し、張り付けることでより精細な街のデジタルツインが作れるというわけです。

このデータは、「東京都デジタルツイン3Dビューア(β版)」の画面左側メニューにある「データを地図上で見る」をクリックして、2021年度実証の「実証03 地上 新宿駅西口電気街周辺 点群データ」を開くと収録されています。

3Dレーザースキャナーで計測した点群データ

3Dレーザースキャナーで計測した点群データ

スマホLiDARで計測した点群データ

スマホLiDARで計測した点群データ

また、「実証03 上野恩賜公園 点群データ」の中にも、看板やトイレ、コインロッカーなどをスマホのLiDARで記録したデータが収録されています。

例えば、3Dレーザースキャナーで計測した水飲み場の点群データはごく粗いものですが、これにスマホLiDARの点群を張り付けるとぐっとくっきりします。

撮影者のコメントにもありますが、スマホで点群計測するときに、水飲み場の裏側まで周囲をぐるりとデータを取っておけば、さらにリアルな水飲み場となったでしょう。

3Dレーザースキャナーで計測した、上野恩賜公園の水飲み場付近の点群データ

iPhoneのLiDARで計測した点群を張り付けると、リアルな曲面形状が浮かび上がる

iPhoneのLiDARで計測した点群を張り付けると、リアルな曲面形状が浮かび上がる

各データの「データについて」をクリックすると、点群計測者の名前やコメントなどが見られる

各データの「データについて」をクリックすると、点群計測者の名前やコメントなどが見られる

では、3DレーザースキャナーとスマホLiDARによる点群同士の位置合わせは、いったいどうしているのでしょうか?

つい、センチメートル精度の「RTK-GNSS」をスマホで使えるようにしているのかと思ってしまいますが、そんなことはしていません。

そこで、このプロジェクトにかかわったSymmetry Dimensions Inc.のCEO、沼倉正吾氏にオンライン取材で直撃しました。

オンライン取材にこたえ、解説していただいたSymmetry Dimensions Inc.のCEO、沼倉正吾氏

オンライン取材にこたえ、解説していただいたSymmetry Dimensions Inc.のCEO、沼倉正吾氏

スマホに内蔵されている一般精度のGNSSで、LiDAR点群の荒々な位置と向きを求め、3Dレーザースキャナーで計測した点群と

AIが位置合わせ

して自動張り付けしてくれるのです。

位置合わせの際、絞り込む街並みの範囲は、GNSSの精度によって25m角~200m角などと調整します。

ただ、このときLiDARで計測した点群に人やクルマの一部などの「ノイズ」が映り込んでいると、AI(人工知能)はうまく位置合わせができません。

スマホのLiDARで計測した点群に映り込んでいるノイズ(赤枠内)の例

スマホのLiDARで計測した点群に映り込んでいるノイズ(赤枠内)の例

そこでAIの認識能力を高めるための膨大な「教師データ」を自動的に作るシステムを開発しました。

VR(仮想現実)によって人やクルマが行き交う街並みを再現し、その中にスマホを持ったバーチャル歩行者を自由に歩き回らせて「LiDARによる点群計測」を行うようにしたのです。

VRのデータと、バーチャル歩行者が取ったLiDAR点群の組み合わせが、教師データになるというわけです。

人やクルマが行き交うVRの街並みデータ

人やクルマが行き交うVRの街並みデータ

バーチャル歩行者がスマホLiDARで計測した点群データ

バーチャル歩行者がスマホLiDARで計測した点群データ

この教師データでAIを鍛えた結果、点群上で建物や地面、フェンスなどをしっかりと見分けられるようになったそうです。

膨大な教師データでAIを鍛えた結果、さまざまな地物を判別できるようになった

膨大な教師データでAIを鍛えた結果、さまざまな地物を判別できるようになった

すべての点群をグローバル座標系で計測し、「マッシュアップ」する方法もありますが、ベースとなる街並みの点群を整備しておき、スマホLiDARの点群をその上にAIで自動位置合わせするという方法も手軽でいいですね。

(Visited 1 times, 1 visits today)

Translate »