請點選這裡上傳照片或影片

照片及影片的蒐集狀況 (每周一傍晚6點在twitter更新)

Other Models

這個計畫的目的是什麼?

2019年10月31日,一場大火燒毀了首里城,當全世界都為之震驚時,我們也感到非常難過。我們是一群致力於電腦視覺(CV)、人機互動(HCI)、虛擬實境(VR)及相關課題的研究人員、學生以及工程師。因此,我們為了讓還沉浸在悲傷中的各位打起精神而啟動這個計畫 。

利用電腦來分析影像的電腦視覺研究領域裡,有一種技術可以透過照片或影片內的圖像來重建原有物體的3D形狀或顏色。這個技術有助於文化資產的數位保存,許多數位文化資產(eHeritage)相關計畫也陸續開始執行。

在得知火災的新聞後,我們認為這些技術可以在受損建物重建期間所受損的觀光資源做出貢獻,藉由重建首里城的3D模型讓遊客仍有機會觀賞首里城的樣貌。上面的影片內容是介紹這個計畫的概念。我們利用網路上的圖片搜尋功能取得部分照片,利用公開的軟體重建部分3D模型。如果有更多不同角度的照片或影片,將可以重建更精緻的3D虛擬實境。我們將利用大家的照片或影片重建3D模型,並藉此分享大家對首里城的回憶。為了首里城的數位重建,請與我們一同分享你們的有關首里城的照片、影片、或回憶。

由大家提供的照片與影片所建立的數位模型,及分享的回憶能有什麼用途呢?假如有了大量不同視角的影像數據,我們才有辦法做出更完美的3D模型。除此之外,使用那些影像所作成的3D模型,我們可以透過擴張實境(AR)設備或手機相機拍攝畫面,看到被燒毀的部分經過數位化疊合後,在現場呈現原有的首里城樣貌。經由大家分享的文字訊息,也可以感同身受其他人曾經造訪過那裡的感覺喔!配備頭戴顯示裝置(HMD)的時候,即使不在首里城也能歷身其境。此外,如果能利用3D模型來重建每個時期的首里城的話,也可以體驗到隨著時代變遷的首里城呢!

請與我們分享您回憶中的首里城吧!

為什麼是由我們來執行這項計畫?

我們是來自各地的志願者。我們在看了火災的新聞後而感到非常悲傷的同時,想到了如果使用大家所分享的影像,並利用電腦視覺(CV)的3D復原技術來重建首里城的話,這應該會是一個對社會非常有意義的一件事!雖然首里城的災後損失無法估計,但如果能利用各位所提供的數據來還原首里城的3D模型的話,我們想一定能鼓勵到許多人並在人們心中繼續留存下去。

在電腦視覺(CV)的領域中有一種Structure from Motion(SfM)的技術。這項技術是利用不同視角的相片與影片來復原3D形狀的技術,而我們這次也是利用此技術來重建首里城。

自從發表包含SfM的3D復原的最初構想以來,偉大的研究人員已為此努力研究切磋了數十年。如今,多虧了優秀的開發人員之貢獻,大家的電腦也能輕鬆地重現其3D影像,如同上方影片中的CG動畫一樣。在發生火災的同一週,舉行的電腦視覺(CV)的國際會議International Conference on Computer Vision 2019 (ICCV 2019)上,十年前所發表且具有影響力的論文”Building Rome in a Day” 被頒發了Helmholtz獎。就在發生火災的前兩日。而這個論文是在討論如何將成千上萬的圖片輸入SfM以及如何在多台電腦下有效率地處理它們。因此,從網際網路上成功地還原了羅馬競技場和杜布羅夫尼克市的形狀。

我們團隊中的數名成員也因為自身相關的研究而參與了ICCV 2019的會議。此外,也有成員在同一會議中擔任與文化資產數位保存的eHeritage工作坊主辦人員。在看到火災的新聞時,也思考著是否能就自己的專長領域對此有所貢獻。在向周遭的研究人員、學生、及工程師提出這個想法後,成員們表達出贊同的看法並實際參與這項計畫。經過各種討論後,大家決定以此方式來執行首里城的數位復原計畫,以期能對社會有所貢獻。

我們為什麼要在自己的工作或研究時間,自願撥出額外的時間來參與這項活動呢?當然是希望民眾能夠因為這項計畫而感到開心。不僅如此,我們也希望能藉由這項的通力合作,可以讓一般民眾認識我們的專業領域。我們成員的研究領域包含電腦視覺、人機互動、虛擬實境、及機器學習等。如果您因為這項計畫對這些領域產生興趣,也是一件很棒的事情唷!

團隊成員

  • Rei Kawakami (Tokyo Institute of Technology/Denso IT Laboratory)
  • Wen Shao (The University of Tokyo)
  • Ikuo Kamei (The University of Tokyo)
  • Hajime Itsukaichi (The University of Tokyo)
  • Takeshi Naemura (The University of Tokyo)
  • Towaki Takikawa (University of Waterloo)
  • Takefumi Hiraki (Osaka University)
  • Yota Egusa (SAKURA internet Inc.)
  • Eduardo Acosta (Raiz New Media)
  • Raul Acosta (Raiz New Media)
  • Karin Kiho (The University of Tokyo)
  • Han Changyo (The University of Tokyo)
  • Yuichi Miyamoto (Party Inc.)
  • Yuzuko Utsumi (Osaka Prefecture University)
  • Katsushi Ikeuchi (Microsoft)
  • Jean Ponce (INRIA / New York University)
  • Jonathan Chemla (Iconem)
  • Yves Ubelmann (Iconem)
  • Miku Sega (gluon)
  • Daiki Sugiyama (UmeeT)
  • Daisaku Kina (Ryukyu history researcher)
  • Ryo Fujiwara (HoloLab Inc. / xRArchi)

合作夥伴

  • Yasutaka Furukawa (Simon Fraser University)
  • Yasuaki Kakehi(The University of Tokyo)
  • Wataru Date (Graphic Designer)
  • Furuta Katsumi(Keio University)
  • Martial Hebert (Carnegie Mellon University)
  • Rujirat (Vinitphol) Ishikawa (The University of Tokyo)
  • Marin Kamizono (Graphic Recorder)
  • Marc Pollefeys (ETH Zurich / Microsoft)
  • Johannes Schöenberger (Microsoft)
  • Yuto Kodama (The University of Tokyo)
  • Yinan Wang (The University of Tokyo)
  • Pai-Hsien Hung (Osaka University)
  • Yi-Jhen Lin

參考文獻

  • Changchang Wu, “Towards Linear-time Incremental Structure From Motion”, 3DV 2013
  • Changchang Wu, “VisualSFM: A Visual Structure from Motion System”, http://ccwu.me/vsfm/, 2011
  • Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, “Multicore Bundle Adjustment”, CVPR 2011
  • Changchang Wu, “SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)”, http://cs.unc.edu/~ccwu/siftgpu, 2007
  • Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, “Towards Internet-scale Multi-view Stereo”, CVPR 2010.
  • Michael Kazhdan, Hugues Hoppe, “Screened poisson surface reconstruction”, ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
  • P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, “MeshLab: an Open-Source Mesh Processing Tool”, Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
  • Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. “Building Rome in a day”. Commun. ACM 54, 10 (October 2011), 105-112.
  • Y. Furukawa and J. Ponce. “Accurate, Dense, and Robust Multi-View Stereopsis”. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
  • Johannes L. Schönberger and Jan-Michael Frahm. “Structure-from-motion revisited.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
  • Johannes L. Schönberger, Enliang Zheng, Jan-Michael Frahm, and Marc Pollefeys. “Pixelwise view selection for unstructured multi-view stereo.” European Conference on Computer Vision. Springer, 2016.

致謝

本計畫的執行獲得SAKURA internet Inc. 提供伺服器的支援。
本網站使用“Sakura Cloud”“Sakura Web Accelerator”軟體。
本網站使用Sketchfab, Inc.的3D viewer軟體。 本計畫獲得由CapturingReality所贊助的3D模型建立軟體RealityCapture
本計畫獲得Okinawa Times所贊助的影像資源。
本計畫獲得日本微軟所贊助的Azure軟體。
本計畫獲得興南学園社團提供影像蒐集的協助。
該項目得到了横浜富士見丘学園的圖像收集支持。
該項目得到了百度百科百度百科博物館計測的支持。

支援

該項目得到了 沖繩縣 的支持.

更新記錄

2019/11/01 本網站設立
2019/11/03 本網站更新升級
2019/11/05 本網站正式開放,並對外徵求照片及影片
2019/11/29 本網站設計版面更新,並增加御差床(うさすか)的3D立體模型
2019/12/12 新增國王王冠的3D立體模型