進階搜尋


   電子論文尚未授權公開,紙本請查館藏目錄
(※如查詢不到或館藏狀況顯示「閉架不公開」,表示該本論文不在書庫,無法取用。)
系統識別號 U0026-2408202010151500
論文名稱(中文) 立體攝影測量及深度學習結合雙天線RTK於無人機位置之追蹤
論文名稱(英文) Using Stereo Photogrammetry and Deep Learning combined with Dual Antenna RTK for UAV Position Tracking
校院名稱 成功大學
系所名稱(中) 測量及空間資訊學系
系所名稱(英) Department of Geomatics
學年度 108
學期 2
出版年 109
研究生(中文) 吳柏逸
研究生(英文) Po-Yi Wu
學號 P66071020
學位類別 碩士
語文別 中文
論文頁數 80頁
口試委員 指導教授-饒見有
口試委員-曾義星
口試委員-韓仁毓
中文關鍵字 攝影測量  物件偵測  物件追蹤  無人機追蹤 
英文關鍵字 UAV tracking  Object detection  Object tracking  photogrammetry 
學科別分類
中文摘要 橋梁是連接社會經濟運輸道路網的非常重要的基礎設施結構,而橋梁檢測則是維持橋梁結構可用性和服務安全的必要方法。通過橋梁監控,可以保證橋梁的使用安全。在台灣,維護部門通常會定期檢查橋梁,大多使用傳統的檢查方法,這些方法依靠肉眼或輔助工具來檢測橋梁的主要部件是否有裂縫,生鏽和其他損壞,但此方法費時且費力,對檢測人員之安全也堪慮。隨著航空攝影和遙感探測技術的不斷發展,無人機被應用在越來越多的行業中,使用無人機來進行橋梁檢測即為其中一項,使用無人機檢測橋梁的優點為成本低、使用彈性高、適應性廣等優點,但無人機的定位仰賴衛星定位訊號,當無人機處於衛星訊號不穩定的環境下時,例如在橋下,由於無法穩定接收到信號,無人機上配備的天線無法發揮定位功能,會導致無人機拍攝之影像失去地理坐標系中的位置,且無人機也無法進行自動導航。
在這項研究中,為了實時追蹤在障礙物下方飛行期間無人機的地理位置,在平台上安裝了經過率定的低成本的立體相機和雙頻雙天線RTK系統。在無人機飛行過程中,使用相機拍攝飛行中之無人機,透過You Only Look Once(YOLO)來偵測無人機的在影像中的邊界框,並使用Kernelized Correlation Filter(KCF)持續追蹤無人機位置。基於立體攝影測量技術,可以計算出無人機的三維坐標。再通過立體相機和雙天線RTK系統之間預先校準的坐標變換參數,可以得出無人機的地理坐標,並可將此地理位置回傳給無人機以進行自動導航。在這項研究中,我們將提出一個原型,並在一個控制良好的測試地點下評估其定位精度及可行性。
在精度評估中,本方法所得之無人機地理位置與參考值之較差結果皆大於預期目標的觀測距離20公尺內30公分之精度,誤差之主要來源為本研究使用之立體相機之基線過短、由載體到地圖坐標系轉換參數誤差較大,成果顯示本研究之精度與目標精度仍有差距,需改良後才可實際應用。
英文摘要 The bridge is a very important infrastructure structure connecting the social and economic transportation road network, and the bridge inspection is a necessary method to maintain the availability and service safety of the bridge structure. Through bridge monitoring, the safety of the bridge can be guaranteed. Using UAV to inspect bridges is one of the new methods. The advantages of using UAV to detect bridges are comparative low cost, high flexibility, and wide adaptability. However, the positioning of the UAV depends on the satellite positioning signal. When the UAV is under the GNSS denied environment, such as under the bridge, the antenna equipped on the UAV cannot receive positioning information. It will cause the image taken by the UAV to lose its position in the geographic coordinate system, and the UAV cannot perform automatic navigation. In this study, in order to monitor the geographic location of UAV during flying under the obstacle in real time, a calibrated low-cost stereo-camera and a dual-frequency dual-antenna RTK system are installed on the platform. During flying, the image coordinates of UAV can be detected and tracked by using You Only Look Once (YOLO). Based on stereo photogrammetry technique, the three-dimensional coordinates of UAV can be computed. Furthermore, with pre-calibrated coordinate transform parameters between stereo-camera and dual-antenna RTK system, the geographic coordinates of UAV can be derived. In this study, we will propose a protype and evaluate its positioning accuracy under a well-controlled test-site. In the accuracy assessment, the difference between the geographic location of UAV and the reference value obtained by our method is worse than the expected accuracy that 30 centimeters within 20 meters observation distance. The main source of error is that the baseline of the stereo camera used in the study is too short. The results show that the method need to be improved before application.
論文目次 第1章. 前言 1
1.1. 研究背景 1
1.2. 研究動機與目的 2
第2章. 文獻回顧 4
2.1. 無人機於各領域之應用 4
2.2. 直接地理定位 6
2.3. 深度學習及近景攝影測量技術 7
第3章. 實驗設備及測試區 9
3.1. 測試用相機 9
3.2. 雙天線GNSS接收儀 10
3.3. 無人機 11
3.4. 測試區域及資料 12
第4章. 研究方法 15
4.1. GNSS RTK雙天線精度率定 16
4.1.1. GNSS RTK雙天線於透空度良好時之精度 16
4.1.2. GNSS RTK雙天線於部分遮蔽時之精度 18
4.2. 相機率定 21
4.2.1. Stereolabs ZED立體相機內方位率定 21
4.2.2. Stereolabs ZED立體相機相對方位率定 23
4.3. 地面控制場的建置 23
4.4. 轉換參數之率定 25
4.4.1. 載體坐標系與地圖坐標系間之轉換參數率定 26
4.4.2. 相機坐標系與載體坐標系間之轉換參數率定 27
4.5. 目標偵測 29
4.5.1. You Only Look Once (YOLO) 29
4.5.2. 模型架構 31
4.5.3. 模型訓練 33
4.5.4. 模型評估 35
4.6. 目標追蹤 37
4.6.1. Kernelized Correlation Filter (KCF) 37
4.6.2. 重新偵測的策略 38
4.7. 三維坐標計算 39
4.7.1. 空間前方交會法 39
4.8. 無人機飛行位置之地理坐標計算 39
4.8.1. 無人機飛行位置之地理坐標 39
4.9. 評估方法 40
4.9.1. 人工飛行位置量測精度分析 40
4.9.2. 自動飛行位置量測精度分析 42
第5章. 研究成果與分析 44
5.1. GNSS RTK雙天線精度率定 44
5.1.1. GNSS RTK雙天線於透空度良好時之精度 44
5.1.2. GNSS RTK雙天線於部分遮蔽時之精度 47
5.2. 相機率定成果 51
5.2.1. Stereolabs ZED立體相機內方位率定成果 51
5.2.2. Stereolabs ZED立體相機相對方位率定 54
5.3. 地面控制場的建立 55
5.3.1. 無人機影像獲取 55
5.3.2. 地面控制點量測 56
5.3.3. 地面控制場的精度 56
5.4. 轉換參數之率定成果 58
5.5. 目標偵測成果 60
5.6. 評估方法 65
5.6.1. 人工飛行位置量測精度分析 65
5.6.2. 自動飛行位置量測精度分析 70
5.7. 誤差來源 72
5.7.1. GNSS RTK雙天線精度率定 73
5.7.2. 相機率定 73
5.7.3. 地面控制場之建立 73
5.7.4. 坐邊轉換參數率定 73
5.7.5. 目標偵測 74
5.7.6. 理論定位誤差 74
第6章. 結論與未來展望 76
6.1. 人工飛行位置量測精度分析 76
6.2. 自動飛行位置量測精度分析 76
6.3. 未來展望 76
參考文獻 78
參考文獻 Alzahrani, B., Oubbati, O.S., Barnawi, A., Atiquzzaman, M., Alghazzawi, D., 2020. UAV assistance paradigm: State-of-the-art in applications and challenges. Journal of Network and Computer Applications, 102706.
Biscarini, C., Catapano, I., Cavalagli, N., Ludeno, G., Pepe, F., Ubertini, F., 2020. UAV Photogrammetry, Infrared Thermography and GPR for Enhancing Structural and Material Degradation Evaluation of the Roman Masonry Bridge of Ponte Lucano in Italy. NDT & E International, 102287.
Cramer, M., Stallmann, D., 2002. System calibration for direct georeferencing. International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences 34, 79-84.
Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., Fei-Fei, L., 2009. Imagenet: A large-scale hierarchical image database, 2009 IEEE conference on computer vision and pattern recognition. Ieee, pp. 248-255.
Deng, L., Yu, D., 2014. Deep learning: methods and applications. Foundations and trends in signal processing 7, 197-387.
Fraser, C.S., 1997. Digital camera self-calibration. ISPRS Journal of Photogrammetry and Remote sensing 52, 149-159.
Goodfellow, I., Bengio, Y., Courville, A., 2016. Deep learning. MIT press.
He, K., Zhang, X., Ren, S., Sun, J., 2016. Deep residual learning for image recognition, Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778.
Krizhevsky, A., Sutskever, I., Hinton, G.E., 2012. Imagenet classification with deep convolutional neural networks, Advances in neural information processing systems, pp. 1097-1105.
LeCun, Y., Bengio, Y., Hinton, G., 2015. Deep learning. nature 521, 436-444.
Luhmann, T., Robson, S., Kyle, S., Harley, I., 2007. Close range photogrammetry. Wiley.
Martínez-Sánchez, J., Arias, P., Caamaño, J., 2016. Close Range Photogrammetry: Fundamentals, Principles and Applications in Structures. Non-Destructive Techniques for the Evaluation of Structures and Infrastructure 11, 35.
Radoglou-Grammatikis, P., Sarigiannidis, P., Lagkas, T., Moscholios, I., 2020. A compilation of UAV applications for precision agriculture. Computer Networks 172, 107148.
Redmon, J., Divvala, S., Girshick, R., Farhadi, A., 2016. You only look once: Unified, real-time object detection, Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 779-788.
Redmon, J., Farhadi, A., 2017. YOLO9000: better, faster, stronger, Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 7263-7271.
Redmon, J., Farhadi, A., 2018. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767.
Schmidhuber, J., 2015. Deep learning in neural networks: An overview. Neural networks 61, 85-117.
Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., Rabinovich, A., 2015. Going deeper with convolutions, Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 1-9.
Woellner, R., Wagner, T.C., 2019. Saving species, time and money: Application of unmanned aerial vehicles (UAVs) for monitoring of an endangered alpine river specialist in a small nature reserve. Biological Conservation 233, 162-175.
Wolf, P.R., Dewitt, B.A., 2000. Elements of photogrammetry: with applications in GIS. McGraw-Hill New York.
Yu, H., Yang, W., Zhang, H., He, W., 2017. A uav-based crack inspection system for concrete bridge monitoring, 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, pp. 3305-3308.
冯文灏, 2002. 近景摄影测量: 物体外形与运动状态的摄影法测定. 武汉大学出版社.
李育華, 江凱偉, 饒見有, 2009. 車載移動式測繪系統及直接地理定位控制場之設置. 地籍測量: 中華民國地籍測量學會會刊 28, 17-33.
李育華, 江凱偉, 饒見有, 2010. 測繪車之系統率定及其效能分析. Journal of Photogrammetry and Remote Sensing 15, 229-242.
蕭凱文, 饒見有, 王瑞麟, 2018. 利用多軸無人機影像萃取橋梁劣化區三維空間資訊. Journal of Photogrammetry and Remote Sensing 23, 205-221.
陳品旭, 2019. 深度學習及近景攝影測量於挖土機監測之應用. 成功大學測量及空間資訊學系學位論文, 1-77.
內政部國土測繪中心, 2020. e-GNSS即時動態定位系統入口網站. https://egnss.nlsc.gov.tw/HotNews.aspx
論文全文使用權限
  • 同意授權校內瀏覽/列印電子全文服務,於2020-09-01起公開。


  • 如您有疑問,請聯絡圖書館
    聯絡電話:(06)2757575#65773
    聯絡E-mail:etds@email.ncku.edu.tw