Object Removals for Mobile Mapping System using Generative Adversarial Network

Abstract

Mobile mapping systems (MMS) capture geospatial data using vehicle-mounted sensors and cameras for generating digital maps from capturing equirectangular panoramic images with high definition. However, the collected images contain unwanted information that needs to be remove for further use. Although object removal approaches have been proposed, these methods may not be well-suited for MMS imagery due to their unique characteristics and processing requirements and require more time processing. In this study, we propose a Generative Adversarial Network (GAN)-based technique tailored to remove unwanted vehicles from MMS scenes. To handle the challenge of inpainting full panoramic scenes, we convert MMS images into spherical coordinate system to extract viewports containing target vehicles and remove target from image. Subsequently, a Pix2Pix-based inpainting network is employed to inpaint the target object in viewport. Our approach has many advantages such as 1) our method can inpaint target object not required information other than information in one image 2) our method preserves the output quality while efficiently processing large raw MMS image datasets. Considering the characteristics of MMS datasets, our approach is appropriate for MMS image datasets that require computational efficiency.

ระบบจัดทำแผนที่ชนิดเคลื่อนที่ (mobile mapping system) เป็นเทคโนโลยีช่วยเก็บข้อมูลโดยใช้ยานพาหนะเพื่อบันทึกภาพแบบ 360 องศาที่มีความละเอียดสูงมาก (high definition) ระหว่างเคลื่อนที่ผ่านพื้นที่สำรวจ อย่างไรก็ตามในการนำภาพที่บันทึกไปใช้งาน จำเป็นจะต้องผ่านการประมวลผลเพื่อลบข้อมูลที่ไม่ต้องการออกจากภาพ แม้ว่าปัจจุบันมีงานวิจัยจำนวนหนึ่งนำเสนอเทคนิคกาารลบและเติมวัตถุในภาพถ่าย อย่างไรก็ตามเนื่องด้วยคุณลักษณะของภาพแบบ 360 องศา ที่แตกต่างจากภาพถ่ายดิจิทัลทั่วไป ส่งผลให้เทคนิคดังกล่าวอาจไม่สามารถใช้ลบวัตถุในภาพแบบ 360 องศาได้อย่างสมบูรณ์ และอาจต้องใช้เวลาในการประมวลผลค่อนข้างมาก งานวิจัยนี้มีวัตถุประสงค์เพื่อนำเสนอวิธีการลบและเติมวัตถุในภาพแบบ 360 องศาความละเอียดสูงมาก ด้วยเทคนิค Generative Adversarial Network (GAN) โดยภาพอินพุตจะถูกแปลงให้อยู่ในระบบพิกัดทรงกลม (Spherical coordinate system) เพื่อลบวัตถุเป้าหมายที่มีตำแหน่งอยู่ด้านล่างของภาพซึ่งคือรถสำรวจ จากนั้นจึงทำการเติมภาพส่วนที่ถูกลบออกโดย GAN ซึ่งถูกฝึกฝนให้สร้างภาพใหม่แทนที่ภาพวัตถุเป้าหมายที่ต้องการลบ วิธีการที่นำเสนอนี้มีข้อดีหลายประการ ได้แก่ 1) สามารถนำไปใช้ลบภาพวัตถุเป้าหมายในภาพได้ โดยไม่ต้องอาศัยข้อมูลอื่นมาช่วย 2) คุณภาพของภาพที่ถูกเติมใกล้เคียงกับภาพจริงและผสานอย่างกลมกลืนกับสภาพแวดล้อม นอกจากวิธีการดังกล่าวยังใช้เวลาในการประมวลไม่มาก จึงเป็นวิธีที่มีความเหมาะสมอย่างยิ่งสำหรับระบบจัดทำแผนที่ชนิดเคลื่อนที่ซึ่งต้องการความรวดเร็วในการประมวลผลภาพจำนวนมาก