写真・動画のアップロードはこちらから

写真・動画の収集状況 (twitterで毎週月曜夕方6時更新)

首里城の思い出

この写真を撮った日が、はじめて私たちが訪れた首里城を訪れた日です。 子どもたちはスタンプラリーをしたり、首里城からの眺望に感動したり、京の内の雰囲気に何かを感じ取ったり、すっかり首里城のファンになりました。 先々月、今度は夫も一緒に首里城を訪れたばかりでした。 私や子ども達は得意気に首里城を案内して回りました。最後に首里城の前でミュウツーを捕まえたのはいい思い出です。ポケモンGOの話です…(39歳女性)
大学の卒業旅行で行った。 とても綺麗だったので再現して欲しい(27歳男性)
会社の出張で前日から那覇入り。その夜に営業のメンバーと飲み会となり、同行した上司が泡盛攻撃にあい、翌日死ぬ思いで首里城だけは見に行きたいということで訪れました。 再現されたばかりのピッカピカの首里城に感激したのを覚えています。 再び沖縄に首里城が復活することを心より祈念すると共にできる限りの応援をしたいと思っています。 頑張れ、沖縄!蘇れ、首里城!!(53歳男性)
思い出・モデルを更に見る

何のためのプロジェクト?

2019年10月31日、火災により首里城が焼失しました。世界中の人々がみな心を痛めており、私たちもとても悲しく思っています。私たちは、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティーの問題や、それに関連する問題を研究している研究者や学生やエンジニアです。この立場にいる者として、同じく悲しんでいるみなさんを元気づけられたらと願って、このプロジェクトを立ち上げました。

コンピュータにおける画像の処理を対象とするコンピュータ・ビジョンという分野の技術の中に、写真やビデオの映像から実在する物の形や色を復元するものがあります。これは文化財のデジタル保存に役立てることができ、eHeritageといった研究プロジェクトがこれまで取り組まれてきました。

火災のニュースを聞いて、私たちはこれらの技術に携わるものとして、首里城の3Dモデルを復元し、失われた部分が再建されるまで、観光資源の回復に少しでも役立てたいと思いました。上のビデオで、このプロジェクトのコンセプトを紹介しています。そこで使われた3Dモデルは、私たちが画像検索によって収集した画像から、公開されているソフトウェアを使って復元したものです。もう少し沢山の視点の写真やビデオがあれば、もっと綺麗な3Dモデルを作ることができます。この3Dモデルをみなさんの写真やビデオによって作り、思い出を共有したいと思います。みなさんのデータによる首里城のデジタル復元にむけて、お持ちの写真、ビデオ、思い出を、私たちに共有してください。

みなさんから集めた写真やビデオで作ったモデルや、シェアして下さった思い出のメッセージで、何ができるでしょうか。沢山の視点のデータがあれば、もっときれいな3Dモデルができます。また、これらを使ってコンテンツを作れば、スマートグラスやスマートフォンのカメラ越しに、失われてしまった部分を現地の風景と重ね合わせて見ることができます。頂いた思い出を使って、ある人がかつてそこに訪れたときに感じた思いを、その場で感じることもできるでしょう。ヘッドマウントディスプレイを使えば、たとえ現地にいなくても、同じ体験することができます。また、時代ごとに3Dモデルを復元すれば、時代によって変わりゆく首里城を体験することもできるでしょう。

あなたの首里城の思い出をシェアしてみませんか。

どうして私たちがやっているの?

私たちはボランティアで集まったメンバーで、火事のニュースを見た時、とても悲しく思ったと同時に、コンピュータ・ビジョンの分野の三次元復元の技術を使って、みなさんからデータを集め、首里城を復元することに社会的な意味があるように思いました。首里城の損失は計り知れませんが、みなさんのデータで復元された3Dモデルは、きっと多くの方を勇気づけ、長く人の心に残ると思ったからです。幸い、私たちの中には、様々なことを研究しているメンバーがいます。アイディアを出しあって、社会に広く意味がある活動をしようと決めました。

コンピュータ・ビジョンという分野の中に、Structure from Motion(SfM)という技術があります。これは、異なる視点からの写真やビデオを使って三次元形状を復元する技術です。私たちの復元もこの技術を利用しています。

SfMを含む三次元復元の初期のアイディアが発表されてから、素晴らしい研究者らが切磋琢磨して研究を続け、何十年も経ちました。現在は、さらなる優秀な開発者らの貢献により、上のビデオの中のCGのように、みなさんのPCでも復元が簡単にできるようになっています。火事のあった週に重なって開催されていたコンピュータ・ビジョンの国際会議である International Conference on Computer Vision 2019 (ICCV 2019) では、10年前に発表されたインパクトのある論文に贈られるHelmholtz賞を、Building Rome in a Dayという論文が受賞しました。火事のあった日の二日前のことでした。この論文は、数十万枚の画像をSfMに入力し、それを多数のコンピュータで効率的に並列処理するためにはどう工夫すればよいかを論じたものです。これによって、ローマのコロッセオやクロアチアのドブロブニクの街並みの形状を、インターネットにある画像から復元することに成功していました。

私たちの中の数名は、それぞれの研究のために、ICCV 2019に参加していました。また、同会議で文化財のデジタル保存のためのeHeritageワークショップのオーガナイザを務めたメンバーもいました。火事のニュースを目にしたとき、こういった立場にいるものとして、できることはないかと考えました。周りの研究者や学生やエンジニアに、私たちでできることをやろうと呼びかけたところ、賛同が得られ、メンバーが献身的に動いてくれました。それから色々と話し合って、みなさんの心に残るものを作ることで、社会貢献をしようと動いています。

私たちがなぜ、自分たちの仕事や研究の時間を割いて、このような活動をするのでしょうか。みなさんの役に立てれば嬉しいからです。しかしそれだけではなく、このような協力の仕方を通じて、みなさんに私たちの分野を知ってもらえることは、ありがたいことです。私たちのメンバーの研究分野は、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティー、機械学習、などです。興味を持ってもらえれば嬉しいです。

メンバー

  • 川上 玲(東京工業大学/デンソーITラボラトリ)
  • 邵 文(東京大学)
  • 亀井 郁夫(東京大学)
  • 五日市 創(東京大学)
  • 苗村 健(東京大学)
  • 瀧川 永遠希(University of Waterloo)
  • 平木 剛史(大阪大学)
  • 江草 陽太(さくらインターネット)
  • Eduardo Acosta (Raiz New Media)
  • Raul Acosta (Raiz New Media)
  • 木方 夏麟(東京大学)
  • 韓 燦教(東京大学)
  • 宮本 優一(Party Inc.)
  • 内海 ゆづ子(大阪府立大学)
  • 池内 克史(Microsoft)
  • Jean Ponce (INRIA / New York University)
  • Jonathan Chemla (Iconem)
  • Yves Ubelmann (Iconem)
  • 瀬賀 未久(gluon)
  • 杉山 大樹(UmeeT)
  • 喜納 大作(琉球歴史研究家)
  • 藤原 龍(HoloLab Inc. / xRArchi)

コラボレーター

  • 古川 泰隆(Simon Fraser University)
  • 筧 康明(東京大学)
  • 伊達 亘(グラフィックデザイナー)
  • 古田 克海(慶應義塾大学)
  • Martial Hebert(Carnegie Mellon University)
  • 石川(ヴィニットポン)ルジラット(東京大学)
  • 上園 海(グラフィックレコーダー)
  • Marc Pollefeys(ETH Zurich / Microsoft)
  • Johannes Schöenberger(Microsoft)
  • 児玉 悠斗(東京大学)
  • 王 亦楠 (東京大学)
  • 洪 百賢(大阪大学)
  • Yi-Jhen Lin

参考文献

  • Changchang Wu, “Towards Linear-time Incremental Structure From Motion”, 3DV 2013
  • Changchang Wu, “VisualSFM: A Visual Structure from Motion System”, http://ccwu.me/vsfm/, 2011
  • Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, “Multicore Bundle Adjustment”, CVPR 2011
  • Changchang Wu, “SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)”, http://cs.unc.edu/~ccwu/siftgpu, 2007
  • Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, “Towards Internet-scale Multi-view Stereo”, CVPR 2010.
  • Michael Kazhdan, Hugues Hoppe, “Screened poisson surface reconstruction”, ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
  • P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, “MeshLab: an Open-Source Mesh Processing Tool”, Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
  • Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. “Building Rome in a day”. Commun. ACM 54, 10 (October 2011), 105-112.
  • Y. Furukawa and J. Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
  • Johannes L. Schönberger and Jan-Michael Frahm. “Structure-from-motion revisited.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
  • Johannes L. Schönberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys. “Pixelwise view selection for unstructured multi-view stereo.” European Conference on Computer Vision. Springer, 2016.

謝辞

本プロジェクトは、さくらインターネット株式会社様からサーバのご支援を頂いて運営しています。
本サイトは「さくらのクラウド」「ウェブアクセラレータ」を利用しています。
本サイトは、Sketchfab, Inc. 様の3D viewerを利用しております。
本プロジェクトは、CapturingReality 様から3Dモデル生成ソフトウェアRealityCaptureの提供を受けております。
本プロジェクトは、沖縄タイムス様からアーカイブスの提供を受けております。
本プロジェクトは、日本マイクロソフト様からAzureの提供を受けております。
本プロジェクトは、興南学園アクト部様から画像収集のご協力を受けております。
本プロジェクトは、横浜富士見丘学園様から画像収集のご協力を受けております。
本プロジェクトは、Baidu Baike 様のBaidu Baike Museums Projectから画像のご提供と画像収集のご協力を受けております。

後援

本プロジェクトは沖縄県の後援を受けています。

メディア掲載情報

2019/11/06首里城が3Dモデルに?最先端の画像処理技術を使った「首里城デジタル復元プロジェクト」(BLOGOS)
2019/11/06「全焼した首里城を3Dモデルで復元する」 東大研究者ら有志が写真・動画の提供を呼びかけ 再建までの観光資源に(ITmedia)
2019/11/07首里城をデジタルで復元へ「写真提供してほしい」(NHK)
2019/11/08首里城3Dモデル再現へ みんなの写真求めます 東大研究者ら(毎日新聞)
2019/11/08首里城、写真100万枚でデジタル復元 東大講師ら3D化プロジェクト「再建までの観光資源に」(沖縄タイムス)
2019/11/10日本大學首里城重建計畫 向全球募集「100萬」張照片(華視新聞)
2019/11/12デジタルで首里城復元 「再建までの観光資源に」 東大講師ら 写真募り3D化(琉球新報)
2019/11/14首里城、3Dで復元…研究者ら思い出の写真100万枚募る(読売新聞)
2019/11/15首里城火災 広がる支援の輪(NHK沖縄放送 沖縄金曜クルーズ きんくる)
2019/11/15「みんなの首里城をもう一度」首里城デジタル復元プロジェクト発起人の思いに触れる(東大新聞オンライン)
2019/11/28首里城、電気系統から出火か(日経アーキテクチュア)
2019/11/29再建へ 火災からまもなく一か月 首里城蘇らせる取り組み(日本テレビ news every.)
2019/11/29画像集めて首里城3D復元へ 目標100万枚、提供募る(朝日新聞)
2019/11/30VRやアーカイブ 首里城再建、デジタル技術を生かせ(日本経済新聞)
2019/12/01あなたの写真で首里城がデジタル復元される!?プロジェクト発起人の東大講師に話を聞いてみた。(UmeeT)
2019/12/12「日本のゲーム大好き」世界遺産を多数復元…首里城3Dモデル化に協力する海外専門家たち(毎日新聞)
2019/12/13首里城の3D復元プロジェクトを生んだ小さな奇跡の連なり(ASCII.jp)
2019/12/25Shuri Castle to rise from ashes in virtual resurrection(Kyodo News)
2019/12/25全焼した首里城正殿、3Dモデルでよみがえる 東大の研究者ら、ネットで集めた写真・動画から制作(ITmedia)
2019/12/26首里城正殿 在りし日の姿 思い出の写真などで3D復元(NHK)
2019/12/27首里城デジタル3Dで“復元”(めざましテレビ)
2019/12/29Okinawa’s Shuri Castle to rise from ashes in virtual resurrection (Japan Times)
2019/12/31Shuri Castle: Appeal for images to ‘rebuild’ burned site online (BBC News)
2020/1/31 Reconstructing Shuri Castle, One Picture at a Time (NHK World)
2020/2/1OUR Shurijo みんなの首里城デジタル復元プロジェクト (情報処理学会会誌「情報処理」2020年2月号特別解説)
2020/2/5興南中高生がVRを活用し首里城ガイド(RBC)
2020/2/28The Path to Rebuilding Okinawa’s Iconic Castle (NHK World)
2020/3/6Our Shurijo project (Reality Capture)
2020/8/22首里城デジタル復元 AMDアワード受賞(琉球新報)
2020/10/30首里城火災あすで1年 一般からの8万点の写真・動画で在りし日の姿を3Dで復元(NHK『おはよう日本』)
2020/10/30記憶とテクノロジーがつむぐ首里城

更新履歴

2019/11/01 本サイトをプレオープン
2019/11/03 本サイトをアップデート
2019/11/05 本サイトを正式オープン・写真・映像の募集スタート
2019/11/29 本サイトのデザインを更新、御差床モデルの追加
2019/12/12 国王の王冠モデルの追加
2019/12/23 正殿のモデルの追加(2,128枚使用)
2020/08/08 SUPPORT Shurijo への協力がスタート
2020/9/14 思い出の掲載を順次開始
2020/10/30 NHKグローバルメディアサービスと共同制作したモデルを掲載