Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.46 No.3 pp.293-302
DOI : https://doi.org/10.11627/jksie.2023.46.3.293

Standardization Research on Drone Image Metadata in the Agricultural Field

Won-Hui Lee†, Seung-Hun Bae, Jin Kim, Young Jae Lee, Keo Bae Lim
Spartial Information Research Institute, LX
Corresponding Author : leewh@lx.or.kr
18/08/2023 14/09/2023 19/09/2023

Abstract


This study examines and proposes standardization approaches to address the heterogeneous issues of metadata in drone imagery within the agricultural sector. Image metadata comes in various formats depending on different camera manufacturers, with most utilizing EXIF and XMP. The metadata of cameras used in fixed-wing and rotary-wing platforms, along with the metadata requirements in image alignment software, were analyzed for sensors like DJI XT2, MicaSense RedEdge-M, and Sentera Double4K. In the agricultural domain, multispectral imagery is crucial for vegetation analysis, making the provision of such imagery essential. Based on Pix4D SW, a comparative analysis of metadata attributes was performed, and necessary elements were compiled and presented as a proposed standardization (draft) in the form of tag information.



농업분야 드론영상 메타데이터 표준화 연구

이 원희†, 배 성훈, 김 진, 이 영재, 임 거배
한국국토정보공사 공간정보연구원

초록


    1. 서 론

    최근 드론(Drone)는 환경 분야뿐만 아니라 정밀농업, 지능형교통, 사물인터넷(IoT), 감시, 보안, 구조작업, 엔터테인먼트 산업과 같은 많은 응용분야에 광범위하게 활용하고 있다. 특히 농업용 드론촬영 기술은 궁극적으로 농업생 산량 증대, 경작시간 절감을 통한 영농 수월성 제고, 농민 1인당 소화 경작지 규모 증가를 통한 농가 영동규모 확대, 농약 사용 효율성 및 맞춤형 방제 효과 창출 등을 위해 활용되고 있다[1]. 농업분야에서 농경지를 대상으로 촬영 하는 드론은 고정익 또는 회전익 등의 기종이 있다. 촬영 시 생성되는 드론영상은 카메라의 기종에 따라 이미지의 메타데이터 형식이 다르다. 또한 드론의 비행방식인 고정익과 회전익의 특성에 따라 요구되는 기체의 자세값이 다를 수 밖에 없다. 카메라로 취득되는 영상은 기체의 흔들림이나 진동에 영향을 받게 되는데, 고정익은 기체가 기울어지는대로 촬영하지만 회전익은 기체가 기울어져도 수평 으로 유지하는 Gimbol장치로 인해 고정익에 비해 기체의 영향을 덜 받는다. 이와 같이 드론영상의 메타데이이터는 카메라로 촬영시의 상황을 정확하게 기록함으로 영상정합 시 정확한 보정을 할 수 있다.

    한편, 이러한 장점이 카메라 기종에 따라 다양한 형식의 메타데이터로 정해지면 영상정합 SW상 호환성을 저하시킬 수 있다. 영상정합 시 이미지 메타데이터의 항목에 영향을 받게 되는데, 만약 필요한 메타데이터가 없다면 SW 상에서는 기본값으로 대체하여 처리되거나 사용자가 메타데이터를 직접 생성해야 하는 경우도 발생한다. 이는 생성 하고자 하는 영상의 요구되는 목적이나 품질의 수준에 따라 필요성이 달라진다.

    본 연구에서 메타데이터의 표준화를 위한 분석으로 사용되는 SW는 다양한 이미지의 메타데이터를 추출이 가능 한 Exiftool 및 ExiftoolGui를 사용하였다. 메타데이터는 다양한 카메라 제조사에 따라 별도의 포맷이 있지만 대부분 EXif, XMP를 적용하고 있다. 고정익과 회전익에 적용되는 카메라의 메타데이터와 영상정합 SW상에서 요구되는 메타데이터를 검토하였다.

    2. 드론영상 메타데이터 현황

    2.1 회전익

    회전익에 사용되는 주요 카메라 기종은 DJI XT2, MicaSense RedEdge-M이며, MicaSense RedEdge-M은 고정익에서도 사용가능하다. Exiftool SW에서 나타나는 메타데이터는 File, JFIF, Exif, XMP, Composite 등으로 크게 분류되며, File은 이미지 파일의 이름, 크기, 생성날짜 등 기본적인 정보가 있으며, JFIF는 해당 포맷을 지원하기 위한 정보, EXif는 카메라 제조사, GPS, 초점거리 등의 정보, XMP는 Exif와 중복적으로 포함하여 자세값, 조도 등의 정보, Composite는 카메라 조리개 지름, 이미지 사이즈, 셔터 속도 등 부가적인 정보를 담고 있다.

    DJI XT2는 MicaSense RedEdge-M에 비하여 비교적 다양한 항목을 담고 있는데, GPS의 위치정보를 EXif, XMP, Composite에 중복적으로 담고 MicaSense RedEdge-M은 Exif, Composite에만 담고 있다. 자세값에 관하여 DJI XT2 는 Gimbol, Flight 별로 구분하고 있으며, 촬영시의 카메라 및 대기 온도정보가 포함되었다. 반면에 MicaSence RedEdge-M은 자세값이 Yaw, Pitch, Roll의 필드로 구성되며, 동일한 명칭의 항목이 중복되기도 한다. 그런데 MicaSense RedEdge-M은 DJI XT2와 달리 조도(Irradiance) 를 위한 Yaw, Pitch, Roll이 구성되었다. 그리고 태양(Solar) 에 대한 고도, 방위각 정보가 포함되어 식생지수를 추출하는데 필요한 보정데이터를 포함하고 있다. 그리고 이미지 사이즈와 평면해상도는 DJI XT2는 640×512/10.9×8.7인 반면 MicaSense RedEdge-M은 1280×960/266.7 ×266.7이다. 전체적으로 회전익에 사용되는 카메라의 메타데이터의 항목을 검토해보면 DJI XT2는 다양한 분야의 호환성을 위한 범용성을 가진다면, MicaSense RedEdge-M은 농업분야와 같은 특정한 목적에 최적화된 것으로 보인다. <Table 1>는 메타데이터 중 EXIF, XMP의 주요항목들을 정리한 내용이며 세부내용은 부록 <Table 6>에 있다.

    2.2 고정익

    고정익에서 사용되는 주요 카메라는 MicaSense RedEdge-M과 Sentera의 Double4K가 있다. MicaSense RedEdge-M은 회전익에 이미 설명한 바와 같고, Sentera의 Double4K의 메타데이터의 세부내용은 부록 <Table 7>와 같다. GPS정보는 Exif에 있으며, 자세값은 종류 구분에 관한 표시 없이 단일정보로 되었다.

    그리고 카메라의 자세값에 관련된 Yaw, Pitch, Roll에 관한 정보는 회전익과 달리 중복 또는 별도의 구분없이 XMP에서 단일항목으로 되었으며, Band, Wavelength, R,G,B 등 멀티스펙트럴 관련 주요 필드로 구성되었다.

    이러한 장점은 드론으로 촬영시 Double4K가 비교적 높은 고도에서 정밀한 영상을 취득할 수 있다(<Table 2>, 부록 <Table 7>). 그러나 단점으로는 태양반사값 보정을 위한 메타데이터에 관한 기술지원이 되지 않아 정확한 식생 분석으로의 활용은 한계가 있다. Double4K의 이러한 기술 적 단점을 보완한다면 농업분야에서 가장 활용가치가 높을 것으로 판단되므로 해당 메타데이터의 생성에 관한 별도의 연구가 필요하다.

    3. 표준화 방안

    드론 영상을 정합하는 주요 SW로 Pix4D, Metashape 등 이 있다[2, 3]. MetaShape는 Photoscan이라는 이름으로 먼저 출시되어 시장을 주도하였었으나 농업용 NDVI 분석 및 후처리 기능 미비로 Pix4D에 주도권을 내준 것으로 알려져 있다. 현재 정밀농업분야에서는 생육상태를 파악할 수 있는 NDVI기능이 필요하므로 이에 적합한 영상정합 SW로 Pix4D를 주로 사용한다[4]. Pix4D는 Exif와 XMP 태 그정보로 메타데이터를 정의하는데 칼리브레이션을 성공적으로 수행하기 위한 목적으로 Exif 메타데이터가 요구되며, 그 외의 메타데이터는 결과값의 정확도를 높이기 위 한 보조수단으로 활용된다.

    그런데 농업분야에서는 농경지가 산간, 평지 등 다양한 환경이 존재하므로 이를 고려하여 활용되는 드론의 기종이 고정익과 회전익으로 구분된다. 평탄지의 경우 면적이 넓어 지형의 기복으로 인한 장애가 없으므로 고정익으로 신속하게 촬영가능하다. 그러나 산간지역의 경우 지형의 기복 때문에 고정익으로 착륙시 파손위험이 있으므로 회전익을 주로 사용한다. 농업분야에서는 경작지의 지형적인 요인으로 활용되는 드론의 기종과 그에 부속되는 카메라도 다르게 적용될 수 있다.

    드론에 적용되는 카메라 영상의 메타데이터의 정보는 영상정합 SW에서 인식되어 위치 정확도 및 밝기값 보정 등 품질에 영향을 미친다. Pix4D의 경우 메타데이터 항목을 공개하므로 사용자가 미처 확인하지 못한 부분을 영상에 메타데이터를 수정하거나 추가할 수 있다. 그러나 MetaShape의 경우 어떤 메타데이터를 요구하는지 명확하게 공개하지 않기 때문에 생성된 데이터에 대한 신뢰성에 한계가 있다. 그 외 Bently 등 다양한 SW가 있지만 사용자는 촬영규모, 생성된 데이터의 정확도 및 품질 요구수준, 이미지 정합처리 속도 등을 감안하여 영상정합 SW를 선택적으로 활용한다. 그런데 각 SW별로 요구되는 메타데이터 항목이 표준화가 되지 않으면 사용자는 개별 SW의 요구사항에 맞춰 메타데이터를 검토 및 수정해야 하는 번거로움이 따르게 된다[5]. 경작지의 지형환경으로 인하여 결국 드론영상의 메타데이터는 표준화가 필요하며, 이를 위해서는 <Table 3>과 같이 고려사항을 제시하였다.

    드론영상의 메타데이타 표준화에 대한 방안은 가장 범용 적으로 사용되는 SW인 Pix4D에서 요구되는 항목을 기본적으로 충족해야 할 것으로 판단된다. 그 이유는 Pix4D는 농업 분야, 산림분야, 해양분야 등 드론영상처리 및 식생분석에 관한 다양한 기능을 지원하며, 메타데이터의 항목을 공개함으로 투명성이 확보되기 때문이다. Pix4D에서 다양한 카메라의 메타데이터 정보를 이용하여 내부적으로 일관된 프로세스로 처리하기 때문에 사용자가 메타데이터에 대해 고민할 필요는 없다. 그러나 일부 지원되지 않는 카메라의 기종이 있거나, 메타데이터가 누락된 경우 사용자가 직접 메타데이터를 생성해야 한다. 카메라 제조사에서 촬영목적에 맞게 메타데이터에 관하여 기술지원을 하지 않은 경우가 있으며, 비록 해당 제조사에서 메타데이터를 위한 별도의 메타데이터를 제공하여도 영상정합 SW에서 인식가능한 메타데이터로 사용자가 직접 재가공해야 하는 경우도 있다.

    사용자의 입장에서 안정적 품질의 영상을 위해 메타데이터 표준화가 필요한데, 이는 현실적으로 드론영상 정합 SW, 카메라 제조업체 등 모두 상호간 기술적 협조가 필요 하다. 메타데이터의 표준화는 촬영목적에 따라 달라지는 데, <Table 3> 같이 데이터 생성에 필요한 요구수준에 대한 검토가 필요하다. 농업분야에서 경작면적에 따라 취득 되는 사진수량이 달라지고, 필지별 작물현황 파악을 위해 위치정확도가 필요하며, 정확한 영상분석을 위해 센서에 취득된 1․2차정보, 원활한 영상프로세싱 처리에 요구되는 메타데이터 수준 등이 달라진다.

    본 연구에서는 농업용으로 사용하는 Pix4D의 메타데이터를 기준으로 고정익, 회전익에 활용되는 카메라 기종의 해당여부를 <Table 4>와 같이 비교하였다.

    <Table 4>에서 모든 기종에 공통적으로 부족한 것은 GPS위치 정확도(GPSXYAccuracy 등), IMU 정확도 (IMUYawAccuracy 등), 어안렌즈 보정(FisheyeAffineMatrix 등) 등은 지원하지 않는다. 특히 위치정확도는 드론영상 위치의 품질을 고도화하는데 기여할 수 있다. 비록 Pix4D 가 SW상에서 카메라 기종에 따라 메타데이터 항목을 고려하여 내부적으로 처리를 지원하지만 이를 해당되는 항목이 없는 경우 기본적으로 셋팅된 Default값으로 대체하여 처리하는 경우가 있다. 다양한 카메라 기종이 Pix4D의 SW에서 요구하는 메타데이터를 모두 충족하지 않지만, 농업분야에서는 NDVI와 같은 식생지수 분석이 가능한 Pix4D에 서 요구하는 메타데이터를 기준으로 표준화해야 할 것으로 사료된다.

    본 연구에서 제안하는 농업분야 메타데이타의 표준화 (안)은 <Table 5>와 같이 제시하였다. 농업분야에서는 식생지수가 중요하기 때문에 파장대, 다중분광영상 방사보정이 필요하며, 위치정확도를 위한 GPS, IMU, 카메라 정보 등도 필수적으로 요구된다. 이 표준화(안)의 실현을 위해서는 카메라 제조사와 영상정합 SW 개발사가 최소한 해당 메타데이터로 변환 가능한 수준의 기술적 지원이 필요하다. 표준화 태그명의 예시는 Pix4D에서 정의하는 태그명을 참조하였다.

    4. 결 론

    드론 영상을 정합하는 주요 SW로 Pix4D, Metashape (Photoscan) 등이 있지만 정밀농업분야에서는 식생지수 분석을 위해 주로 Pix4D를 활용한다. 고정익과 회전익으로 농경지를 드론영상을 취득할 때 각 카메라의 기종별로 메타데이터가 다르지만 정합SW에서는 개별적으로 지원하므로 활용이 가능하다. 그러나 다양한 영상정합 SW와 카메라 기종별로 EXIF, XMP, Composite의 메타데이터의 비표준화는 사용자가 다양한 SW간 영상분석 등 활용에 한계가 있으므로 표준화가 이루어진다면 영상 정합 SW의 국산화나 신뢰성이 제고될 것이다. 본 연구 에서는 농업분야의 드론 영상 메타데이터의 표준(안)을 Pix4D를 참조하여 제시하였는데, 이는 농업특성상 병충해 관련 식생지수가 중요하기 때문에 파장대, 다중분광 영상 방사보정이 필요하다. 그리고, 위치정확도는 GPS, IMU, 카메라 정보 등 관련정보를 포함하였으며 이 표준화(안)의 실현을 위해서는 영상 SW와 카메라에서 취득한 이미지 간 데이터 품질 요구수준의 충족을 위한 기술적 지원이 필요하다.

    고정익과 회전익의 기체의 구조적 영향이 있더라도 카메라 영상의 포맷은 영향이 없으나 일관된 포맷을 기준으로 메타데이터와 정합 SW 간 영상정합의 로직을 적용하게 된다면 영상데이터에 대한 신뢰성과 SW개발이나 처리 속도면에서 효율성을 기할 수 있을 것이다.

    Appendix

    Acknowledgement

    This study has been partially supported by a Research Fund of ETRI(NRF-2021M3C1C2A01038317).

    Figure

    Table

    Main Item of DJI and MicaSense Metadata

    Main Item of Sentera Double4K Metadata

    Considerations for Standardizing Metadata

    Generation of Metadata by Camera in Pix4D Criteria

    Metadata Standard (Draft)

    Example Metadata of Real Images from DJI XT2 and MicaSense RedEdge-M

    Example Metadata of Real Images from Sentera Double4K

    Reference

    1. Bae, S.H., Lee, J.W., Kang, S.K., and Kim, M.K., Research Trend Analysis of Unmanned Aerial Vehicle (UAV) Applications in Agriculture, Journal of the Korean Society of Manufacturing Technology Engineers, 2020, Vol. 43, No. 2, pp. 126-136.
    2. https://support.pix4d.com/hc/en-us/articles/20 5732309-EXIF-and-XMP-tag-information-for-project-creation.
    3. https://www.agisoft.com.
    4. Jang, J.H., etc, Development of Drone-Based Technology for Efficient Maintenance of Cutting Slope and Pavement, Ministry of Land, Infrastructure and Transport, p. 137.
    5. Kim, S.J., Lee, J.K., Hong, T.Y., Development of XMP Metadata merge tool, Korea Information Processing Society, 2021, Vol. 28, No. 1, pp. 540-541.