Our server is supported by SAKURA internet

Reconstructing Shurijo Castle by Google Arts and Culture

다른 3D 모델

무엇을 위한 프로젝트인가요?

2019년 10월 31일, 화재로 인해 슈리성이 소실되었습니다. 전세계의 사람들이 안타까워하고 있고, 저희들도 굉장히 슬퍼하고 있습니다. 저희들은 컴퓨터 비전, 인간-컴퓨터 상호작용, 가상현실에 관련된 문제에 대해 연구하는 연구자, 학생 또는 엔지니어들입니다. 이러한 배경을 살려 같은 슬픔을 공유하고 있는 모두를 복둗워 주길 바라며 이 프로젝트를 시작하게 되었습니다.

컴퓨터에 의한 화상처리를 연구하는 컴퓨터 비전이라는 분야의 기술 중에 사진이나 동영상 데이터로부터 실재하는 물건의 형태나 색을 복원할 수 있는 기술이 있습니다. eHeritage라는 연구 프로젝트는 이 기술을 활용하여 문화재를 디지털 데이터로 보존하는 일에 힘써 왔습니다.

화재 소식을 듣고 저희는 이러한 기술에 종사하는 자로서 슈리성의 3D모델을 복원하고, 소실된 부분이 재건될 때까지 관광자원 회복에 조금이라도 도움이 되었으면 좋겠다고 생각하였습니다. 위 동영상에서 본 프로젝트의 취지를 설명하고 있습니다. 여기에 사용된 3D모델은 저희가 이미지 검색을 통해 수집한 사진들으로부터 공개되어 있는 소프트웨어를 사용해 복원한 것입니다. 더 많은 시점에서 촬영한 사진과 동영상이 있으면 조금 더 깨끗한 3D모델을 만들 수 있습니다. 이러한 3D모델을 여러분의 사진과 동영상을 이용하여 제작하고, 그 추억을 공유할 수 있었으면 합니다.여러분의 데이터를 이용한 슈리성의 디지털 복원을 위해 가지고 계신 사진, 동영상, 추억들을 저희에게 공유해 주세요.

여러분에게 받은 사진과 동영상으로 만든 모델, 공유해 주신 추억의 메시지로 무엇을 할 수있을까요? 더욱 많은 데이터가 있으면 더욱 깨끗한 3D모델을 만들 수 있습니다. 또한 이를 이용하여 컨텐츠를 제작하면, 스마트글래스나 스마트폰을 이용하여, 소실된 부분을 현지의 풍경과 겹쳐서 볼 수 있습니다. 공유해 주신 추억을 통해, 어떤 사람이 그곳을 방문했을 때 받은 감상을 그 자리에서 공감할 수도 있을 것입니다. 헤드 마운트 디스플레이를 이용하면, 현지를 방문하지 않아도 똑같은 체험을 할 수도 있습니다. 또한 시대별로 3D모델을 복원하면, 시대의 흐름에 따라 변해가는 슈리성을 체험할 수도 있을 것입니다.

당신의 슈리성에 대한 추억을 공유해 주세요.

왜 우리들이 하고 있나요?

저희들은 자원봉사로 모인 멤버들로, 화재의 뉴스를 보고 슬픔을 느낌과 동시에, 컴퓨터 비전 분야의 삼차원복원 기술을 이용하여 모두의 데이터를 이용하여 슈리성을 복원하는 것에 사회적인 의미가 있다고 생각했습니다. 슈리성의 손실은 헤아릴 수 없지만, 여러분의 데이터로 복원한 3D모델은 분명 많은 사람들에게 용기를 주고 오래도록 사람들의 마음에 남을 것이라고 생각했기 때문입니다. 다행히도 저희들은 다양한 연구 분야와 배경을 가진 멤버들이 있습니다. 서로 아이디어를 내고, 사회적으로 큰 의미가 있는 활동을 하려 합니다.

컴퓨터 비전이라는 연구 분야 중에, Structure from Motion (SfM)이라는 기술이 있습니다. 이 기술은 다른 시점에서 촬영한 사진이나 동영상을 이용하여 삼차원형상을 복원하는 기술입니다. 저희들의 복원에도 이 기술을 이용하고 있습니다.

SfM을 비롯한 삼차원복원에 대한 초기 아이디어들이 발표된 후, 탁월한 연구자들이 절차탁마하며 연구를 계속하여 몇십년이 흘렀습니다. 현재는 또 다른 우수한 개발자들의 공헌에 의해, 위 동영상 중의 CG처럼 여러분의 PC에서도 간단히 복원이 가능해졌습니다. 화재가 있던 주에 개최된 컴퓨터 비전의 국제학회인 International Conference on Computer Vision 2019 (ICCV 2019)에서는 “Building Rome in a Day”라는 논문이 10년 전에 발표된 임팩트 있는 연구에 수여되는 Helmholtz상을 수상했습니다. 화재가 있기 이틀 전 일이었습니다. 이 논문에서는 수만개의 이미지를 SfM에 입력하고, 다수의 컴퓨터를 이용하여 효율적으로 병렬처리를 하기 위해서는 어떻게 해야할 지에 대해 논하였습니다. 이 논문에 의해, 로마의 콜로세움과 크로아티아의 두브로브니크의 거리의 형상을 인터넷에서 얻은 이미지로부터 복원하는 것에 성공하였습니다.

저희들 중 몇몇은 자신들의 연구를 위해 ICCV 2019에 참가하고 있었습니다. 또한 같은 학회에서 개최된 문화재의 디지털 보존을 위한 eHeritage 워크숍을 주최한 멤버도 있었습니다. 화재 소식을 듣자마자 이러한 입장에 있는 사람으로서 할 수 있는 일이 없을까 생각했습니다. 주위의 연구자, 학생, 엔지니어들에게 우리가 할 수 있는 일을 하자고 말을 걸자, 뜻을 함께하는 멤버들이 헌신적으로 움직여 주었습니다. 그로부터 여러 이야기를 거쳐, 모두의 마음에 남을 수 있는 것을 만듦으로써 사회공헌을 하려 노력하고 있습니다.

저희는 어째서 자신들의 일이나 연구시간을 쪼개서 이러한 활동을 하고 있을까요? 저희의 노력이 여러분에게 도움이 되길 바라기 때문입니다. 그뿐만이 아니라 이러한 협력을 통하여 여러분의 저희의 연구분야에 알아주시는 것을 감사하게 생각하고 있습니다. 저희 멤버들의 연구분야는 컴퓨터 비전, 인간-컴퓨터 상호작용, 가상현실, 기계학습 등입니다. 이에 대해 관심을 가져 주시면 기쁘겠습니다.

멤버

  • Rei Kawakami (Tokyo Institute of Technology/Denso IT Laboratory)
  • Wen Shao (The University of Tokyo)
  • Ikuo Kamei (The University of Tokyo)
  • Hajime Itsukaichi (The University of Tokyo)
  • Takeshi Naemura (The University of Tokyo)
  • Towaki Takikawa (University of Waterloo)
  • Takefumi Hiraki (Osaka University)
  • Yota Egusa (SAKURA internet Inc.)
  • Eduardo Acosta (Raiz New Media)
  • Raul Acosta (Raiz New Media)
  • Karin Kiho (The University of Tokyo)
  • Han Changyo (The University of Tokyo)
  • Yuichi Miyamoto (Party Inc.)
  • Yuzuko Utsumi (Osaka Prefecture University)
  • Katsushi Ikeuchi (Microsoft)
  • Jean Ponce (INRIA / New York University)
  • Jonathan Chemla (Iconem)
  • Yves Ubelmann (Iconem)
  • Miku Sega (gluon)
  • Daiki Sugiyama (UmeeT)
  • Daisaku Kina (Ryukyu history researcher)
  • Ryo Fujiwara (HoloLab Inc. / xRArchi)

협력자

  • Yasutaka Furukawa (Simon Fraser University)
  • Yasuaki Kakehi（The University of Tokyo)
  • Wataru Date (Graphic Designer)
  • Furuta Katsumi(Keio University)
  • Martial Hebert (Carnegie Mellon University)
  • Rujirat (Vinitphol) Ishikawa (The University of Tokyo)
  • Marin Kamizono (Graphic Recorder)
  • Marc Pollefeys (ETH Zurich / Microsoft)
  • Johannes Schöenberger (Microsoft)
  • Yuto Kodama (The University of Tokyo)
  • Yinan Wang (The University of Tokyo)
  • Pai-Hsien Hung (Osaka University)
  • Yi-Jhen Lin
  • Tasuku Mizuno (CITY LIGHTS LAW)

참고문헌

  • Changchang Wu, “Towards Linear-time Incremental Structure From Motion”, 3DV 2013
  • Changchang Wu, “VisualSFM: A Visual Structure from Motion System”, http://ccwu.me/vsfm/, 2011
  • Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, “Multicore Bundle Adjustment”, CVPR 2011
  • Changchang Wu, “SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)”, http://cs.unc.edu/~ccwu/siftgpu, 2007
  • Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, “Towards Internet-scale Multi-view Stereo”, CVPR 2010.
  • Michael Kazhdan, Hugues Hoppe, “Screened poisson surface reconstruction”, ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
  • P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, “MeshLab: an Open-Source Mesh Processing Tool”, Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
  • Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. “Building Rome in a day”. Commun. ACM 54, 10 (October 2011), 105-112.
  • Y. Furukawa and J. Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
  • Johannes L. Schönberger and Jan-Michael Frahm. “Structure-from-motion revisited.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
  • Johannes L. Schönberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys. “Pixelwise view selection for unstructured multi-view stereo.” European Conference on Computer Vision. Springer, 2016.

감사의 글

이 프로젝트는 さくらインターネット株式会社로부터 서버를 지원받아 운영하고 있습니다.
이 사이트는 さくらのクラウド, ウェブアクセラレータ를 이용하고 있습니다.
이 사이트는 Sketchfab, Inc.의 3D viewer를 이용하고 있습니다.
이 프로젝트는 CapturingReality의 3D모델 생성 소프트웨어 RealityCapture를 제공받고 있습니다.
이 프로젝트는 沖縄タイムス에서 데이터 아카이브를 제공받고 있습니다.
이 프로젝트는 Microsoft Japan의 지원을 받고 있습니다.
이 프로젝트는 Konan Act Club의 지원을 받고 있습니다.
이 프로젝트는 Yokohama Fujimigaoka Gakuen의 지원을 받고 있습니다.
이 프로젝트는 Baidu Baike의 Baidu Baike Museums Project에서 이미지 수집의 협조를 받고 있습니다.

Public support

This project is supported by Okinawa Prefecture.

미디어 보도

2019/11/06首里城が3Dモデルに？最先端の画像処理技術を使った「首里城デジタル復元プロジェクト」（BLOGOS）
2019/11/06「全焼した首里城を3Dモデルで復元する」　東大研究者ら有志が写真・動画の提供を呼びかけ　再建までの観光資源に（ITmedia）
2019/11/07首里城をデジタルで復元へ「写真提供してほしい」（NHK）
2019/11/08首里城3Dモデル再現へ　みんなの写真求めます　東大研究者ら（The Mainichi）
2019/11/08首里城、写真100万枚でデジタル復元　東大講師ら3D化プロジェクト「再建までの観光資源に」（Okinawa Times）
2019/11/10日本大學首里城重建計畫 向全球募集「100萬」張照片（華視新聞）
2019/11/12デジタルで首里城復元　「再建までの観光資源に」　東大講師ら 写真募り３Ｄ化（Rykyu Shimpo）
2019/11/14首里城、３Ｄで復元…研究者ら思い出の写真１００万枚募る（The Yomiuri）
2019/11/15首里城火災 広がる支援の輪（NHK Okinawa　沖縄金曜クルーズ　きんくる）
2019/11/15「みんなの首里城をもう一度」首里城デジタル復元プロジェクト発起人の思いに触れる（東大新聞オンライン）
2019/11/28首里城、電気系統から出火か（日経アーキテクチュア）
2019/11/29再建へ　火災からまもなく一か月　首里城蘇らせる取り組み（Nippon TV news every.）
2019/11/29画像集めて首里城３Ｄ復元へ　目標１００万枚、提供募る（The Asahi）
2019/11/30VRやアーカイブ　首里城再建、デジタル技術を生かせ（The Nikkei）
2019/12/01あなたの写真で首里城がデジタル復元される！？プロジェクト発起人の東大講師に話を聞いてみた。（UmeeT）
2019/12/12「日本のゲーム大好き」世界遺産を多数復元…首里城3Dモデル化に協力する海外専門家たち（The Mainichi）
2019/12/13首里城の3D復元プロジェクトを生んだ小さな奇跡の連なり（ASCII.jp）
2019/12/25Shuri Castle to rise from ashes in virtual resurrection（Kyodo News）
2019/12/25全焼した首里城正殿、3Dモデルでよみがえる　東大の研究者ら、ネットで集めた写真・動画から制作（ITmedia）
2019/12/26首里城正殿 在りし日の姿 思い出の写真などで３Ｄ復元（NHK）
2019/12/27首里城デジタル３Ｄで“復元”（めざましテレビ）
2019/12/29Okinawa’s Shuri Castle to rise from ashes in virtual resurrection (Japan Times)
2019/12/31Shuri Castle: Appeal for images to ‘rebuild’ burned site online (BBC News)
2020/1/31 Reconstructing Shuri Castle, One Picture at a Time (NHK World)
2020/2/1OUR Shurijo: Shuri Castle Digital Reconstruction Project (in Japanese, IPSJ Magaine “Information Processing,” Feb. 2020)
2020/2/5興南中高生がVRを活用し首里城ガイド(RBC)
2020/2/28The Path to Rebuilding Okinawa’s Iconic Castle (NHK World)
2020/3/6Our Shurijo project (Reality Capture)