みんなの首里城デジタル復元プロジェクト

サーバーのご支援 by さくらインターネット

首里城復興 by Google Arts and Culture

首里城の思い出

収集データの頒布

本プロジェクトに寄せていただいた写真や思い出を、個人が特定されないよう処理した上で頒布しております。

何のためのプロジェクト？

2019年10月31日、火災により首里城が焼失しました。世界中の人々がみな心を痛めており、私たちもとても悲しく思っています。私たちは、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティーの問題や、それに関連する問題を研究している研究者や学生やエンジニアです。この立場にいる者として、同じく悲しんでいるみなさんを元気づけられたらと願って、このプロジェクトを立ち上げました。

コンピュータにおける画像の処理を対象とするコンピュータ・ビジョンという分野の技術の中に、写真やビデオの映像から実在する物の形や色を復元するものがあります。これは文化財のデジタル保存に役立てることができ、eHeritageといった研究プロジェクトがこれまで取り組まれてきました。

火災のニュースを聞いて、私たちはこれらの技術に携わるものとして、首里城の3Dモデルを復元し、失われた部分が再建されるまで、観光資源の回復に少しでも役立てたいと思いました。上のビデオで、このプロジェクトのコンセプトを紹介しています。そこで使われた3Dモデルは、私たちが画像検索によって収集した画像から、公開されているソフトウェアを使って復元したものです。もう少し沢山の視点の写真やビデオがあれば、もっと綺麗な3Dモデルを作ることができます。この3Dモデルをみなさんの写真やビデオによって作り、思い出を共有したいと思います。みなさんのデータによる首里城のデジタル復元にむけて、お持ちの写真、ビデオ、思い出を、私たちに共有してください。

みなさんから集めた写真やビデオで作ったモデルや、シェアして下さった思い出のメッセージで、何ができるでしょうか。沢山の視点のデータがあれば、もっときれいな3Dモデルができます。また、これらを使ってコンテンツを作れば、スマートグラスやスマートフォンのカメラ越しに、失われてしまった部分を現地の風景と重ね合わせて見ることができます。頂いた思い出を使って、ある人がかつてそこに訪れたときに感じた思いを、その場で感じることもできるでしょう。ヘッドマウントディスプレイを使えば、たとえ現地にいなくても、同じ体験することができます。また、時代ごとに3Dモデルを復元すれば、時代によって変わりゆく首里城を体験することもできるでしょう。

あなたの首里城の思い出をシェアしてみませんか。

どうして私たちがやっているの？

私たちはボランティアで集まったメンバーで、火事のニュースを見た時、とても悲しく思ったと同時に、コンピュータ・ビジョンの分野の三次元復元の技術を使って、みなさんからデータを集め、首里城を復元することに社会的な意味があるように思いました。首里城の損失は計り知れませんが、みなさんのデータで復元された3Dモデルは、きっと多くの方を勇気づけ、長く人の心に残ると思ったからです。幸い、私たちの中には、様々なことを研究しているメンバーがいます。アイディアを出しあって、社会に広く意味がある活動をしようと決めました。

コンピュータ・ビジョンという分野の中に、Structure from Motion（SfM）という技術があります。これは、異なる視点からの写真やビデオを使って三次元形状を復元する技術です。私たちの復元もこの技術を利用しています。

SfMを含む三次元復元の初期のアイディアが発表されてから、素晴らしい研究者らが切磋琢磨して研究を続け、何十年も経ちました。現在は、さらなる優秀な開発者らの貢献により、上のビデオの中のCGのように、みなさんのPCでも復元が簡単にできるようになっています。火事のあった週に重なって開催されていたコンピュータ・ビジョンの国際会議である International Conference on Computer Vision 2019 (ICCV 2019) では、10年前に発表されたインパクトのある論文に贈られるHelmholtz賞を、Building Rome in a Dayという論文が受賞しました。火事のあった日の二日前のことでした。この論文は、数十万枚の画像をSfMに入力し、それを多数のコンピュータで効率的に並列処理するためにはどう工夫すればよいかを論じたものです。これによって、ローマのコロッセオやクロアチアのドブロブニクの街並みの形状を、インターネットにある画像から復元することに成功していました。

私たちの中の数名は、それぞれの研究のために、ICCV 2019に参加していました。また、同会議で文化財のデジタル保存のためのeHeritageワークショップのオーガナイザを務めたメンバーもいました。火事のニュースを目にしたとき、こういった立場にいるものとして、できることはないかと考えました。周りの研究者や学生やエンジニアに、私たちでできることをやろうと呼びかけたところ、賛同が得られ、メンバーが献身的に動いてくれました。それから色々と話し合って、みなさんの心に残るものを作ることで、社会貢献をしようと動いています。

私たちがなぜ、自分たちの仕事や研究の時間を割いて、このような活動をするのでしょうか。みなさんの役に立てれば嬉しいからです。しかしそれだけではなく、このような協力の仕方を通じて、みなさんに私たちの分野を知ってもらえることは、ありがたいことです。私たちのメンバーの研究分野は、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティー、機械学習、などです。興味を持ってもらえれば嬉しいです。

メンバー

• 川上 玲（東京工業大学/デンソーITラボラトリ）
• 邵 文（東京大学）
• 亀井 郁夫（東京大学）
• 五日市 創（東京大学）
• 苗村 健（東京大学）
• 瀧川 永遠希（University of Waterloo）
• 平木 剛史（大阪大学）
• 江草 陽太（さくらインターネット）
• Eduardo Acosta (Raiz New Media)
• Raul Acosta (Raiz New Media)
• 木方 夏麟（東京大学）
• 韓 燦教（東京大学）
• 宮本 優一（Party Inc.）
• 内海 ゆづ子（大阪府立大学）
• 池内 克史（Microsoft）
• Jean Ponce (INRIA / New York University)
• Jonathan Chemla (Iconem)
• Yves Ubelmann (Iconem)
• 瀬賀 未久（gluon）
• 杉山 大樹（UmeeT）
• 喜納 大作（琉球歴史研究家）
• 藤原 龍（HoloLab Inc. / xRArchi）

コラボレーター

• 古川 泰隆（Simon Fraser University）
• 筧 康明（東京大学）
• 伊達 亘（グラフィックデザイナー）
• 古田 克海（慶應義塾大学）
• Martial Hebert（Carnegie Mellon University）
• 石川（ヴィニットポン）ルジラット（東京大学）
• 上園 海（グラフィックレコーダー）
• Marc Pollefeys（ETH Zurich / Microsoft）
• Johannes Schöenberger（Microsoft）
• 児玉 悠斗（東京大学）
• 王 亦楠 （東京大学）
• 洪 百賢（大阪大学）
• Yi-Jhen Lin
• 水野 祐（シティライツ法律事務所）

参考文献

• Changchang Wu, “Towards Linear-time Incremental Structure From Motion”, 3DV 2013
• Changchang Wu, “VisualSFM: A Visual Structure from Motion System”, http://ccwu.me/vsfm/, 2011
• Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, “Multicore Bundle Adjustment”, CVPR 2011
• Changchang Wu, “SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)”, http://cs.unc.edu/~ccwu/siftgpu, 2007
• Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, “Towards Internet-scale Multi-view Stereo”, CVPR 2010.
• Michael Kazhdan, Hugues Hoppe, “Screened poisson surface reconstruction”, ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
• P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, “MeshLab: an Open-Source Mesh Processing Tool”, Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
• Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. “Building Rome in a day”. Commun. ACM 54, 10 (October 2011), 105-112.
• Y. Furukawa and J. Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
• Johannes L. Schönberger and Jan-Michael Frahm. “Structure-from-motion revisited.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
• Johannes L. Schönberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys. “Pixelwise view selection for unstructured multi-view stereo.” European Conference on Computer Vision. Springer, 2016.

謝辞

本プロジェクトは、さくらインターネット株式会社様からサーバのご支援を頂いて運営しています。
本サイトは「さくらのクラウド」「ウェブアクセラレータ」を利用しています。
本サイトは、Sketchfab, Inc. 様の3D viewerを利用しております。
本プロジェクトは、CapturingReality 様から3Dモデル生成ソフトウェアRealityCaptureの提供を受けております。
本プロジェクトは、沖縄タイムス様からアーカイブスの提供を受けております。
本プロジェクトは、日本マイクロソフト様からAzureの提供を受けております。
本プロジェクトは、興南学園アクト部様から画像収集のご協力を受けております。
本プロジェクトは、横浜富士見丘学園様から画像収集のご協力を受けております。
本プロジェクトは、Baidu Baike 様のBaidu Baike Museums Projectから画像のご提供と画像収集のご協力を受けております。

後援

本プロジェクトは沖縄県の後援を受けています。

メディア掲載情報

更新履歴