写真・動画のアップロードはこちらから

写真・動画の収集状況 (twitterで毎晩6時更新)

首里城の思い出

5修繕中に1度、修繕後に1度の、計2回訪れました。どちらも家族旅行でした。二度目の旅行は兄が社会人ということもあり、恐らく最後の家族旅行ということで沖縄の観光名所を巡り色々な体験をし、とてもいい思い出になりました。首里城もその思い出の1ページでした。(千葉県・20代男性)
大学4年生になる息子と今年7月に訪れました。 三度目になります。凛としたたたずまいにいつも心が癒されていました。(50代男性)
何年もずっと望んでいたものの、なかなか実現できなかった沖縄旅行にやっと行ける!と楽しみにして行きました。最終日に首里城の観光をしましたが、残念ながら雨…。本当の首里城の色鮮やかさが写真には写りませんでした。それでも、私が小さい頃に父親が社内旅行で行ったと見せてくれた首里城の写真、まさしくそのままの光景が目の前に広がり、とても感動しました。ここが父親も訪れたあの首里城なんだ!と。(兵庫県・30代女性)
思い出・モデルを更に見る

何のためのプロジェクト?

2019年10月31日、火災により首里城が焼失しました。世界中の人々がみな心を痛めており、私たちもとても悲しく思っています。私たちは、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティーの問題や、それに関連する問題を研究している研究者や学生やエンジニアです。この立場にいる者として、同じく悲しんでいるみなさんを元気づけられたらと願って、このプロジェクトを立ち上げました。

コンピュータにおける画像の処理を対象とするコンピュータ・ビジョンという分野の技術の中に、写真やビデオの映像から実在する物の形や色を復元するものがあります。これは文化財のデジタル保存に役立てることができ、eHeritageといった研究プロジェクトがこれまで取り組まれてきました。

火災のニュースを聞いて、私たちはこれらの技術に携わるものとして、首里城の3Dモデルを復元し、失われた部分が再建されるまで、観光資源の回復に少しでも役立てたいと思いました。上のビデオで、このプロジェクトのコンセプトを紹介しています。そこで使われた3Dモデルは、私たちが画像検索によって収集した画像から、公開されているソフトウェアを使って復元したものです。もう少し沢山の視点の写真やビデオがあれば、もっと綺麗な3Dモデルを作ることができます。この3Dモデルをみなさんの写真やビデオによって作り、思い出を共有したいと思います。みなさんのデータによる首里城のデジタル復元にむけて、お持ちの写真、ビデオ、思い出を、私たちに共有してください。

みなさんから集めた写真やビデオで作ったモデルや、シェアして下さった思い出のメッセージで、何ができるでしょうか。沢山の視点のデータがあれば、もっときれいな3Dモデルができます。また、これらを使ってコンテンツを作れば、スマートグラスやスマートフォンのカメラ越しに、失われてしまった部分を現地の風景と重ね合わせて見ることができます。頂いた思い出を使って、ある人がかつてそこに訪れたときに感じた思いを、その場で感じることもできるでしょう。ヘッドマウントディスプレイを使えば、たとえ現地にいなくても、同じ体験することができます。また、時代ごとに3Dモデルを復元すれば、時代によって変わりゆく首里城を体験することもできるでしょう。

あなたの首里城の思い出をシェアしてみませんか。

どうして私たちがやっているの?

私たちはボランティアで集まったメンバーで、火事のニュースを見た時、とても悲しく思ったと同時に、コンピュータ・ビジョンの分野の三次元復元の技術を使って、みなさんからデータを集め、首里城を復元することに社会的な意味があるように思いました。首里城の損失は計り知れませんが、みなさんのデータで復元された3Dモデルは、きっと多くの方を勇気づけ、長く人の心に残ると思ったからです。幸い、私たちの中には、様々なことを研究しているメンバーがいます。アイディアを出しあって、社会に広く意味がある活動をしようと決めました。

コンピュータ・ビジョンという分野の中に、Structure from Motion(SfM)という技術があります。これは、異なる視点からの写真やビデオを使って三次元形状を復元する技術です。私たちの復元もこの技術を利用しています。

SfMを含む三次元復元の初期のアイディアが発表されてから、素晴らしい研究者らが切磋琢磨して研究を続け、何十年も経ちました。現在は、さらなる優秀な開発者らの貢献により、上のビデオの中のCGのように、みなさんのPCでも復元が簡単にできるようになっています。火事のあった週に重なって開催されていたコンピュータ・ビジョンの国際会議である International Conference on Computer Vision 2019 (ICCV 2019) では、10年前に発表されたインパクトのある論文に贈られるHelmholtz賞を、Building Rome in a Dayという論文が受賞しました。火事のあった日の二日前のことでした。この論文は、数十万枚の画像をSfMに入力し、それを多数のコンピュータで効率的に並列処理するためにはどう工夫すればよいかを論じたものです。これによって、ローマのコロッセオやクロアチアのドブロブニクの街並みの形状を、インターネットにある画像から復元することに成功していました。

私たちの中の数名は、それぞれの研究のために、ICCV 2019に参加していました。また、同会議で文化財のデジタル保存のためのeHeritageワークショップのオーガナイザを務めたメンバーもいました。火事のニュースを目にしたとき、こういった立場にいるものとして、できることはないかと考えました。周りの研究者や学生やエンジニアに、私たちでできることをやろうと呼びかけたところ、賛同が得られ、メンバーが献身的に動いてくれました。それから色々と話し合って、みなさんの心に残るものを作ることで、社会貢献をしようと動いています。

私たちがなぜ、自分たちの仕事や研究の時間を割いて、このような活動をするのでしょうか。みなさんの役に立てれば嬉しいからです。しかしそれだけではなく、このような協力の仕方を通じて、みなさんに私たちの分野を知ってもらえることは、ありがたいことです。私たちのメンバーの研究分野は、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティー、機械学習、などです。興味を持ってもらえれば嬉しいです。

メンバー

  • 川上 玲(東京大学)
  • 邵 文(東京大学)
  • 亀井 郁夫(東京大学)
  • 五日市 創(東京大学)
  • 苗村 健(東京大学)
  • 瀧川 永遠希(University of Waterloo)
  • 平木 剛史(大阪大学)
  • 江草 陽太(さくらインターネット)
  • Eduardo Acosta (Raiz New Media)
  • Raul Acosta (Raiz New Media)
  • 木方 夏麟(東京大学)
  • 韓 燦教(東京大学)
  • 宮本 優一(Party Inc.)
  • 内海 ゆづ子(大阪府立大学)
  • 池内 克史(Microsoft)
  • Jean Ponce (INRIA / New York University)
  • Jonathan Chemla (Iconem)
  • Yves Ubelmann (Iconem)
  • 瀬賀 未久(gluon)
  • 杉山 大樹(UmeeT)
  • 喜納 大作(琉球歴史研究家)
  • 藤原 龍(xRArchi)

コラボレーター

  • 古川 泰隆(Simon Fraser University)
  • 筧 康明(東京大学)
  • 伊達 亘(グラフィックデザイナー)
  • 古田 克海(慶應義塾大学)
  • Martial Hebert(Carnegie Mellon University)
  • 石川(ヴィニットポン)ルジラット(東京大学)
  • 上園 海(グラフィックレコーダー)
  • Marc Pollefeys(ETH Zurich / Microsoft)
  • Johannes Schoenberger(Microsoft)
  • 酒井 麻千子(東京大学)
  • 児玉 悠斗(東京大学)

参考文献

  • Changchang Wu, “Towards Linear-time Incremental Structure From Motion”, 3DV 2013
  • Changchang Wu, “VisualSFM: A Visual Structure from Motion System”, http://ccwu.me/vsfm/, 2011
  • Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, “Multicore Bundle Adjustment”, CVPR 2011
  • Changchang Wu, “SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)”, http://cs.unc.edu/~ccwu/siftgpu, 2007
  • Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, “Towards Internet-scale Multi-view Stereo”, CVPR 2010.
  • Michael Kazhdan, Hugues Hoppe, “Screened poisson surface reconstruction”, ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
  • P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, “MeshLab: an Open-Source Mesh Processing Tool”, Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
  • Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. “Building Rome in a day”. Commun. ACM 54, 10 (October 2011), 105-112.
  • Y. Furukawa and J. Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
  • Johannes L. Schönberger and Jan-Michael Frahm. “Structure-from-motion revisited.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
  • Johannes L. Schönberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys. “Pixelwise view selection for unstructured multi-view stereo.” European Conference on Computer Vision. Springer, 2016.

謝辞

本プロジェクトは、さくらインターネット株式会社様からサーバのご支援を頂いて運営しています。
本サイトは「さくらのクラウド」「ウェブアクセラレータ」を利用しています。
本サイトは、Sketchfab, Inc.様の3D viewerを利用しております。
本プロジェクトは、CapturingReality様から3Dモデル生成ソフトウェアRealityCaptureの提供を受けております。
本プロジェクトは、沖縄タイムス様からアーカイブスの提供を受けております。
本プロジェクトは、日本マイクロソフト様からAzureの提供を受けております。

メディア掲載情報

2019/11/06首里城が3Dモデルに?最先端の画像処理技術を使った「首里城デジタル復元プロジェクト」(BLOGOS)
2019/11/06「全焼した首里城を3Dモデルで復元する」 東大研究者ら有志が写真・動画の提供を呼びかけ 再建までの観光資源に(ITmedia)
2019/11/07首里城をデジタルで復元へ「写真提供してほしい」(NHK)
2019/11/08首里城3Dモデル再現へ みんなの写真求めます 東大研究者ら(毎日新聞)
2019/11/08首里城、写真100万枚でデジタル復元 東大講師ら3D化プロジェクト「再建までの観光資源に」(沖縄タイムス)
2019/11/10日本大學首里城重建計畫 向全球募集「100萬」張照片(華視新聞)
2019/11/12デジタルで首里城復元 「再建までの観光資源に」 東大講師ら 写真募り3D化(琉球新報)
2019/11/14首里城、3Dで復元…研究者ら思い出の写真100万枚募る(読売新聞)
2019/11/15首里城火災 広がる支援の輪(NHK沖縄放送 沖縄金曜クルーズ きんくる)
2019/11/15「みんなの首里城をもう一度」首里城デジタル復元プロジェクト発起人の思いに触れる(東大新聞オンライン)
2019/11/28首里城、電気系統から出火か(日経アーキテクチュア)
2019/11/29再建へ 火災からまもなく一か月 首里城蘇らせる取り組み(日本テレビ news every.)
2019/11/29画像集めて首里城3D復元へ 目標100万枚、提供募る(朝日新聞)
2019/11/30VRやアーカイブ 首里城再建、デジタル技術を生かせ(日本経済新聞)
2019/12/01あなたの写真で首里城がデジタル復元される!?プロジェクト発起人の東大講師に話を聞いてみた。(UmeeT)

更新履歴

2019/11/01 本サイトをプレオープン
2019/11/03 本サイトをアップデート
2019/11/05 本サイトを正式オープン・写真・映像の募集スタート
2019/11/29 本サイトのデザインを更新