写真・動画のアップロードはこちらから

写真・動画の収集状況 (twitterで毎週月曜夕方6時更新)

首里城の思い出

この写真は、首里城が火災になる前日に撮られたものです。 弟が首里城に行って来た!と言って送ってくれた写真です。 私も1月に沖縄へ行くのでその時には行こうと思っていたのですが… この写真が最後の写真になってしまいました。 お役に立てる写真なのかわかりませんが、大好き沖縄のため、沖縄の人のために何か微力ながら協力したいと常に思っていました。 少しでも協力出来れば幸いです。 プロジェクトの成功お祈りしています。頑張って下さい!(46歳女性)
昨年、退職記念に妻と34年前新婚旅行に行った沖縄へ行きました。首里城は思っていた以上に大きく夢中になって見て廻りました。見切れなくて、また首里城へ行こうねって約束していました。 また、娘の結婚式がこの11月だったのです。妻と首里城へ行こうねって約束していたのに、残念です。 少しでもお役に立てればと写真をお送りします。(61歳男性)
はじめての沖縄で、はじめて首里城を訪れました。 規模に圧倒され、この旅行で行った中でも特に印象的でした。(23歳女性)
思い出・モデルを更に見る

何のためのプロジェクト?

2019年10月31日、火災により首里城が焼失しました。世界中の人々がみな心を痛めており、私たちもとても悲しく思っています。私たちは、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティーの問題や、それに関連する問題を研究している研究者や学生やエンジニアです。この立場にいる者として、同じく悲しんでいるみなさんを元気づけられたらと願って、このプロジェクトを立ち上げました。

コンピュータにおける画像の処理を対象とするコンピュータ・ビジョンという分野の技術の中に、写真やビデオの映像から実在する物の形や色を復元するものがあります。これは文化財のデジタル保存に役立てることができ、eHeritageといった研究プロジェクトがこれまで取り組まれてきました。

火災のニュースを聞いて、私たちはこれらの技術に携わるものとして、首里城の3Dモデルを復元し、失われた部分が再建されるまで、観光資源の回復に少しでも役立てたいと思いました。上のビデオで、このプロジェクトのコンセプトを紹介しています。そこで使われた3Dモデルは、私たちが画像検索によって収集した画像から、公開されているソフトウェアを使って復元したものです。もう少し沢山の視点の写真やビデオがあれば、もっと綺麗な3Dモデルを作ることができます。この3Dモデルをみなさんの写真やビデオによって作り、思い出を共有したいと思います。みなさんのデータによる首里城のデジタル復元にむけて、お持ちの写真、ビデオ、思い出を、私たちに共有してください。

みなさんから集めた写真やビデオで作ったモデルや、シェアして下さった思い出のメッセージで、何ができるでしょうか。沢山の視点のデータがあれば、もっときれいな3Dモデルができます。また、これらを使ってコンテンツを作れば、スマートグラスやスマートフォンのカメラ越しに、失われてしまった部分を現地の風景と重ね合わせて見ることができます。頂いた思い出を使って、ある人がかつてそこに訪れたときに感じた思いを、その場で感じることもできるでしょう。ヘッドマウントディスプレイを使えば、たとえ現地にいなくても、同じ体験することができます。また、時代ごとに3Dモデルを復元すれば、時代によって変わりゆく首里城を体験することもできるでしょう。

あなたの首里城の思い出をシェアしてみませんか。

どうして私たちがやっているの?

私たちはボランティアで集まったメンバーで、火事のニュースを見た時、とても悲しく思ったと同時に、コンピュータ・ビジョンの分野の三次元復元の技術を使って、みなさんからデータを集め、首里城を復元することに社会的な意味があるように思いました。首里城の損失は計り知れませんが、みなさんのデータで復元された3Dモデルは、きっと多くの方を勇気づけ、長く人の心に残ると思ったからです。幸い、私たちの中には、様々なことを研究しているメンバーがいます。アイディアを出しあって、社会に広く意味がある活動をしようと決めました。

コンピュータ・ビジョンという分野の中に、Structure from Motion(SfM)という技術があります。これは、異なる視点からの写真やビデオを使って三次元形状を復元する技術です。私たちの復元もこの技術を利用しています。

SfMを含む三次元復元の初期のアイディアが発表されてから、素晴らしい研究者らが切磋琢磨して研究を続け、何十年も経ちました。現在は、さらなる優秀な開発者らの貢献により、上のビデオの中のCGのように、みなさんのPCでも復元が簡単にできるようになっています。火事のあった週に重なって開催されていたコンピュータ・ビジョンの国際会議である International Conference on Computer Vision 2019 (ICCV 2019) では、10年前に発表されたインパクトのある論文に贈られるHelmholtz賞を、Building Rome in a Dayという論文が受賞しました。火事のあった日の二日前のことでした。この論文は、数十万枚の画像をSfMに入力し、それを多数のコンピュータで効率的に並列処理するためにはどう工夫すればよいかを論じたものです。これによって、ローマのコロッセオやクロアチアのドブロブニクの街並みの形状を、インターネットにある画像から復元することに成功していました。

私たちの中の数名は、それぞれの研究のために、ICCV 2019に参加していました。また、同会議で文化財のデジタル保存のためのeHeritageワークショップのオーガナイザを務めたメンバーもいました。火事のニュースを目にしたとき、こういった立場にいるものとして、できることはないかと考えました。周りの研究者や学生やエンジニアに、私たちでできることをやろうと呼びかけたところ、賛同が得られ、メンバーが献身的に動いてくれました。それから色々と話し合って、みなさんの心に残るものを作ることで、社会貢献をしようと動いています。

私たちがなぜ、自分たちの仕事や研究の時間を割いて、このような活動をするのでしょうか。みなさんの役に立てれば嬉しいからです。しかしそれだけではなく、このような協力の仕方を通じて、みなさんに私たちの分野を知ってもらえることは、ありがたいことです。私たちのメンバーの研究分野は、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティー、機械学習、などです。興味を持ってもらえれば嬉しいです。

メンバー

  • 川上 玲(東京工業大学/デンソーITラボラトリ)
  • 邵 文(東京大学)
  • 亀井 郁夫(東京大学)
  • 五日市 創(東京大学)
  • 苗村 健(東京大学)
  • 瀧川 永遠希(University of Waterloo)
  • 平木 剛史(大阪大学)
  • 江草 陽太(さくらインターネット)
  • Eduardo Acosta (Raiz New Media)
  • Raul Acosta (Raiz New Media)
  • 木方 夏麟(東京大学)
  • 韓 燦教(東京大学)
  • 宮本 優一(Party Inc.)
  • 内海 ゆづ子(大阪府立大学)
  • 池内 克史(Microsoft)
  • Jean Ponce (INRIA / New York University)
  • Jonathan Chemla (Iconem)
  • Yves Ubelmann (Iconem)
  • 瀬賀 未久(gluon)
  • 杉山 大樹(UmeeT)
  • 喜納 大作(琉球歴史研究家)
  • 藤原 龍(HoloLab Inc. / xRArchi)

コラボレーター

  • 古川 泰隆(Simon Fraser University)
  • 筧 康明(東京大学)
  • 伊達 亘(グラフィックデザイナー)
  • 古田 克海(慶應義塾大学)
  • Martial Hebert(Carnegie Mellon University)
  • 石川(ヴィニットポン)ルジラット(東京大学)
  • 上園 海(グラフィックレコーダー)
  • Marc Pollefeys(ETH Zurich / Microsoft)
  • Johannes Schöenberger(Microsoft)
  • 児玉 悠斗(東京大学)
  • 王 亦楠 (東京大学)
  • 洪 百賢(大阪大学)
  • Yi-Jhen Lin

参考文献

  • Changchang Wu, “Towards Linear-time Incremental Structure From Motion”, 3DV 2013
  • Changchang Wu, “VisualSFM: A Visual Structure from Motion System”, http://ccwu.me/vsfm/, 2011
  • Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, “Multicore Bundle Adjustment”, CVPR 2011
  • Changchang Wu, “SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)”, http://cs.unc.edu/~ccwu/siftgpu, 2007
  • Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, “Towards Internet-scale Multi-view Stereo”, CVPR 2010.
  • Michael Kazhdan, Hugues Hoppe, “Screened poisson surface reconstruction”, ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
  • P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, “MeshLab: an Open-Source Mesh Processing Tool”, Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
  • Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. “Building Rome in a day”. Commun. ACM 54, 10 (October 2011), 105-112.
  • Y. Furukawa and J. Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
  • Johannes L. Schönberger and Jan-Michael Frahm. “Structure-from-motion revisited.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
  • Johannes L. Schönberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys. “Pixelwise view selection for unstructured multi-view stereo.” European Conference on Computer Vision. Springer, 2016.

謝辞

本プロジェクトは、さくらインターネット株式会社様からサーバのご支援を頂いて運営しています。
本サイトは「さくらのクラウド」「ウェブアクセラレータ」を利用しています。
本サイトは、Sketchfab, Inc. 様の3D viewerを利用しております。
本プロジェクトは、CapturingReality 様から3Dモデル生成ソフトウェアRealityCaptureの提供を受けております。
本プロジェクトは、沖縄タイムス様からアーカイブスの提供を受けております。
本プロジェクトは、日本マイクロソフト様からAzureの提供を受けております。
本プロジェクトは、興南学園アクト部様から画像収集のご協力を受けております。
本プロジェクトは、横浜富士見丘学園様から画像収集のご協力を受けております。
本プロジェクトは、Baidu Baike 様のBaidu Baike Museums Projectから画像のご提供と画像収集のご協力を受けております。

後援

本プロジェクトは沖縄県の後援を受けています。

メディア掲載情報

2019/11/06首里城が3Dモデルに?最先端の画像処理技術を使った「首里城デジタル復元プロジェクト」(BLOGOS)
2019/11/06「全焼した首里城を3Dモデルで復元する」 東大研究者ら有志が写真・動画の提供を呼びかけ 再建までの観光資源に(ITmedia)
2019/11/07首里城をデジタルで復元へ「写真提供してほしい」(NHK)
2019/11/08首里城3Dモデル再現へ みんなの写真求めます 東大研究者ら(毎日新聞)
2019/11/08首里城、写真100万枚でデジタル復元 東大講師ら3D化プロジェクト「再建までの観光資源に」(沖縄タイムス)
2019/11/10日本大學首里城重建計畫 向全球募集「100萬」張照片(華視新聞)
2019/11/12デジタルで首里城復元 「再建までの観光資源に」 東大講師ら 写真募り3D化(琉球新報)
2019/11/14首里城、3Dで復元…研究者ら思い出の写真100万枚募る(読売新聞)
2019/11/15首里城火災 広がる支援の輪(NHK沖縄放送 沖縄金曜クルーズ きんくる)
2019/11/15「みんなの首里城をもう一度」首里城デジタル復元プロジェクト発起人の思いに触れる(東大新聞オンライン)
2019/11/28首里城、電気系統から出火か(日経アーキテクチュア)
2019/11/29再建へ 火災からまもなく一か月 首里城蘇らせる取り組み(日本テレビ news every.)
2019/11/29画像集めて首里城3D復元へ 目標100万枚、提供募る(朝日新聞)
2019/11/30VRやアーカイブ 首里城再建、デジタル技術を生かせ(日本経済新聞)
2019/12/01あなたの写真で首里城がデジタル復元される!?プロジェクト発起人の東大講師に話を聞いてみた。(UmeeT)
2019/12/12「日本のゲーム大好き」世界遺産を多数復元…首里城3Dモデル化に協力する海外専門家たち(毎日新聞)
2019/12/13首里城の3D復元プロジェクトを生んだ小さな奇跡の連なり(ASCII.jp)
2019/12/25Shuri Castle to rise from ashes in virtual resurrection(Kyodo News)
2019/12/25全焼した首里城正殿、3Dモデルでよみがえる 東大の研究者ら、ネットで集めた写真・動画から制作(ITmedia)
2019/12/26首里城正殿 在りし日の姿 思い出の写真などで3D復元(NHK)
2019/12/27首里城デジタル3Dで“復元”(めざましテレビ)
2019/12/29Okinawa’s Shuri Castle to rise from ashes in virtual resurrection (Japan Times)
2019/12/31Shuri Castle: Appeal for images to ‘rebuild’ burned site online (BBC News)
2020/1/31 Reconstructing Shuri Castle, One Picture at a Time (NHK World)
2020/2/1OUR Shurijo みんなの首里城デジタル復元プロジェクト (情報処理学会会誌「情報処理」2020年2月号特別解説)
2020/2/5興南中高生がVRを活用し首里城ガイド(RBC)
2020/2/28The Path to Rebuilding Okinawa’s Iconic Castle (NHK World)
2020/3/6Our Shurijo project (Reality Capture)
2020/8/22首里城デジタル復元 AMDアワード受賞(琉球新報)

更新履歴

2019/11/01 本サイトをプレオープン
2019/11/03 本サイトをアップデート
2019/11/05 本サイトを正式オープン・写真・映像の募集スタート
2019/11/29 本サイトのデザインを更新、御差床モデルの追加
2019/12/12 国王の王冠モデルの追加
2019/12/23 正殿のモデルの追加(2,128枚使用)
2020/08/08 SUPPORT Shurijo への協力がスタート