Our server is supported by SAKURA internet

首里城復興 by Google Arts and Culture

Other Models

这个项目的目的是什么？

2019年10月31日，一场烧毁首里城的大火让世界各地的人们为之痛心，我们也同样感到十分悲伤。我们是来自计算机视觉、人机交互、虚拟现实以及其相关领域的研究者，学生和工程师。从我们的专业出发，我们想通过成立这个项目为同样悲伤的人们注入活力。

在计算机视觉领域中，有利用图像和视频来恢复影像中物体的3D形状和颜色等外观的技术。这有助于对文化遗产进行数字化保护，也有很多数字化文化遗产（eHeritage）的研究项目接连问世。

得知火灾的新闻，我们作为相关技术领域的从业者，想通过重建首里城的3D模型来为首里城烧毁部分重建期间的观光资源的恢复做些贡献。上面的视频是我们这个项目的介绍。视频中的3D模型是我们利用公开发布的重建软件对网络上收集来的图像进行复原的结果。如果有从更多的视角拍摄的照片和视频，我们可以重建更加精致的3D模型。我们用大家提供的照片和视频来重建首里城的3D模型，并以此共享大家对首里城的记忆。为了首里城的数字重建，请向我们分享您手中首里城的照片，视频，以及关于首里城的记忆。

这些收集来的照片，视频来重建的模型，以及大家分享的回忆能用来做些什么呢？如果有从大量不同位置拍摄的照片，我们能重建出更加精致的3D模型。使用这个3D模型我们能通过AR眼镜或者手机摄像头来把重建的首里城叠加到被烧毁的位置观看。通过大家分享的留言，我们也可以在这里共享大家参观首里城时的记忆。通过使用VR眼镜，我们也可以远程游览数字重建的首里城。此外，如果能够重建各个年代的首里城3D模型，我们也可以体验首里城时代的变迁。

请和我们分享您与首里城的故事！

为什么是我们在做这个项目

我们是来自各方的志愿者，看到火灾新闻感到十分悲伤的同时，我们觉得利用大家的照片和视频对首里城进行3D数字重建，是一个对大家有意义的项目。首里城火灾的损失无从估计，然而从大家提供的数据复原的3D模型，一定能留在大家的心中，给予人们勇气。所幸我们之中有来自各个领域的研究者，大家集思广益，决定来做这个对社会有意义的项目。

在计算机视觉的领域中，有一种叫做Stucture from Motion （SfM, 从运动到结构）的技术，可以通过从不同位置拍摄的照片和视频来重建物体的立体结构。我们的数字重建也是使用了这个技术。

从包括SfM的3D重建技术的初期成果的发布已经过去了数十年，在这期间优秀的研究者们切磋琢磨，研究至今。现在，感谢优秀的软件开发者们，能让我们在自己的电脑也能制作出上面视频中的模型。正是在火灾发生的那一周，计算机视觉领域的国际会议 International Conference on Computer Vision 2019 (ICCV 2019) 在韩国召开。在火灾发生的两天前，Building Rome in a Day这篇论文获得了Helmholtz奖(颁发给十年前发布的有影响力的论文)。这篇论文讨论了在运用SfM的技术时如何有效的并行处理多达几十万张的图像，并通过网上收集的图像重建了罗马斗兽场和克罗地亚的杜布罗夫尼克古城。

我们之中有因各自的研究参加了ICCV 2019这个国际会议的成员，也有在这个大会中文化遗产数字保护研讨会（ICCV Workshop on e-Heritage 2019）的组织者。看到火灾的新闻的时候，我们不禁思考，作为这个行业的从事者，我们能做些什么。在向周围的研究者们提出这个想法时得到了周边人们的赞同，于是成员们行动了起来。在这之后经过不断地探讨，我们希望以这个形式做出留在大家心中的数字文化遗产，来为社会作出贡献。

最后，我们付出自己的工作和研究时间来做这样的活动的目的，是希望能帮助到为火灾而感到痛心的每一个人。同时我们也希望通过这样的活动让更多的人们了解我们的专业领域：计算机视觉，人机交互，虚拟现实，机械学习等等。希望大家对我们的领域多一些了解。

成员

  • Rei Kawakami (Tokyo Institute of Technology/Denso IT Laboratory)
  • Wen Shao (The University of Tokyo)
  • Ikuo Kamei (The University of Tokyo)
  • Hajime Itsukaichi (The University of Tokyo)
  • Takeshi Naemura (The University of Tokyo)
  • Towaki Takikawa (University of Waterloo)
  • Takefumi Hiraki (Osaka University)
  • Yota Egusa (SAKURA internet Inc.)
  • Eduardo Acosta (Raiz New Media)
  • Raul Acosta (Raiz New Media)
  • Karin Kiho (The University of Tokyo)
  • Han Changyo (The University of Tokyo)
  • Yuichi Miyamoto (Party Inc.)
  • Yuzuko Utsumi (Osaka Prefecture University)
  • Katsushi Ikeuchi (Microsoft)
  • Jean Ponce (INRIA / New York University)
  • Jonathan Chemla (Iconem)
  • Yves Ubelmann (Iconem)
  • Miku Sega (gluon)
  • Daiki Sugiyama (UmeeT)
  • Daisaku Kina (Ryukyu history researcher)
  • Ryo Fujiwara (HoloLab Inc. / xRArchi)

合作者

  • Yasutaka Furukawa (Simon Fraser University)
  • Yasuaki Kakehi（The University of Tokyo)
  • Wataru Date (Graphic Designer)
  • Furuta Katsumi(Keio University)
  • Martial Hebert (Carnegie Mellon University)
  • Rujirat (Vinitphol) Ishikawa (The University of Tokyo)
  • Marin Kamizono (Graphic Recorder)
  • Marc Pollefeys (ETH Zurich / Microsoft)
  • Johannes Schöenberger (Microsoft)
  • Yuto Kodama (The University of Tokyo)
  • Yinan Wang (The University of Tokyo)
  • Pai-Hsien Hung (Osaka University)
  • Yi-Jhen Lin
  • Tasuku Mizuno (CITY LIGHTS LAW)

参考文献

  • Changchang Wu, “Towards Linear-time Incremental Structure From Motion”, 3DV 2013
  • Changchang Wu, “VisualSFM: A Visual Structure from Motion System”, http://ccwu.me/vsfm/, 2011
  • Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, “Multicore Bundle Adjustment”, CVPR 2011
  • Changchang Wu, “SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)”, http://cs.unc.edu/~ccwu/siftgpu, 2007
  • Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, “Towards Internet-scale Multi-view Stereo”, CVPR 2010.
  • Michael Kazhdan, Hugues Hoppe, “Screened poisson surface reconstruction”, ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
  • P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, “MeshLab: an Open-Source Mesh Processing Tool”, Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
  • Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. “Building Rome in a day”. Commun. ACM 54, 10 (October 2011), 105-112.
  • Y. Furukawa and J. Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
  • Johannes L. Schönberger and Jan-Michael Frahm. “Structure-from-motion revisited.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
  • Johannes L. Schönberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys. “Pixelwise view selection for unstructured multi-view stereo.” European Conference on Computer Vision. Springer, 2016.

致谢

本项目得到了SAKURA internet Inc. 的赞助。
本网站使用了“Sakura Cloud”和“Sakura Web Accelerator”。
本网站使用Sketchfab, Inc.的3D viewer。本项目得到了CapturingReality的3D模型生成软件RealityCapture的赞助。
本项目得到了Okinawa Times提供的影像资料赞助。
本项目得到了Microsoft Japan的赞助。
本项目得到了興南学園 Act club的赞助。
本项目得到了横浜富士見丘学園的赞助。
本项目得到了百度百科的百度百科博物馆计划的赞助。

Public support

This project is supported by Okinawa Prefecture.