三、研究計畫內容(以中文或英文撰寫): (一) 研究計畫之背景。請詳述本研究計畫所要探討或解決的問題、研究原創性、重要性、預 期影響性及國內外有關本計畫之研究情況、重要參考文獻之評述等。如為連續性計畫應 說明上年度研究進度。 研究計畫之背景、重要性與國內外之研究情形 早期無人機(Unmanned Aerial Vehicle, UAV)大多被應用於軍事用途,體積龐大、成本高昂。 近年來,隨著飛行控制系統、相關元件及自動化技術逐漸趨近成熟,促使無人機成為體積小、 安全、低成本、可整合各種附加設備之自動化空中飛行載具,因此無人機在許多科技應用領 域不斷蓬勃發展。有些廠商規劃利用無人機來搬運物品,如亞馬遜公司之 Amazon Prime Air (如圖一所示) [1],利用無人機組建一套物流系統,快速將貨品送到消費者手上,省去公路上 可能遇到的時間浪費及物流員的成本,而亞馬遜公司的無人機隊許可證已於 2020 年 8 月 31 日取得,將在未來投入服務中。無人機另一個重大功能為攝影及錄像,許多攝影愛好者喜歡 利用無人機進行拍攝,因為其視野角度都遠超過我們一般攝影所能展現出來的結果,並且在 空間上較沒有受太大的環境限制,無人機所拍攝出之廣大視野很適合應用在大範圍的場景。 目前中國已有些縣市使用無人機進行科技執法(如圖二所示) [2],利用搭載於無人機上之攝影 機,即時監控路面車輛,再藉由人力判斷違規情況,主要多以違規停車執法為主。 圖一、亞馬遜使用之送貨無人機[1] 圖二、中國無人機進行交通執法[2] 表 CM03 共 25 頁 第 1 頁 根據美國聯邦航空總署(Federal Aviation Administration, FAA)在 2019 年初公布未來二十年 航空產業發展的預測[3],僅在 2018 年一年,商用無人機運營商就向 FAA 註冊了超過 17.5 萬 架新飛機,使商用無人機市場擴大到 277,000 架,全美使用的商用無人機總數增加了 170%以 上,遠遠超過了年初官員預測的 44%的增長。在 2018 年,美國政府預測到 2022 年將有大約 45.2 萬架商用無人機在使用,但由於一些美國知名企業如 Amazon、Google、Walmart 等,都 宣告會將無人機應用於遞送貨物之服務,因此 2019 年 FAA 之報告[3],預測在 2021 年初左右 無人機市場就會達到此規模,並預測商用無人機市場到 2023 年將達到 835,000 架。根據 FAA 的說法,用於研究、飛行員培訓、電影拍攝、建築檢查和大量其他專業活動的商用無人機, 通常比一般業餘無人機愛好者使用的休閒無人機更昂貴,更堅固,然而休閒無人機數量卻更 多。在 2019 年初,官方估計全美大約有 125 萬架業餘無人機在使用,並預測到 2023 年市場 將增長到 140 萬架。 根據 Mordor Intelligence 的小型無人機市場增長趨勢預測報告[4],無人機由於在各種軍事 任務中的應用,而在國防領域上占主導地位,並且在過去的十年中,執法機構對小型無人機 的使用亦急劇增加,因此小型無人機在軍事(Military)及執法(Law Enforcement)上的市場比例, 仍然高於在商業(Commercial)及民用(Civil)上之市場比例(如圖三所示),然而由於在能源和農 業領域上越來越多地使用小型無人機,因此預測在 2020 到 2025 年間,商業用和民用的小型 無人機市場複合年增長率最高。在小型無人機的技術進步方面,美國、中國、俄羅斯、英國 和印度等國家一直在飛速發展,北美佔據重要市場份額,其次是亞太地區和歐洲。2020 年到 2025 年小型無人機區域增長率預測如圖四所示,目前在美國和加拿大,軍事、執法和商業部 門正在努力採購小型無人機,亞太地區的一些國家也一直在增加對小型無人機的採購,其中 印度是一個快速發展的市場,最近印度政府修訂了有關無人機商業用途的法規,預計該法規 將在未來五年內推動小型無人機市場的增長。 圖三、2019 年全球軍事及執法用無人機與商業及民用無人機市場之比例[4] 圖四、2020 年到 2025 年小型無人機區域增長率預測[4] 表 CM03 共 25 頁 第 2 頁 無人機相關技術不斷創新,並且市場應用需求亦不斷增加,在此雙重驅動力影響下,無人 機服務應用模式亦不斷地朝多元化發展。無人機應用服務類型主要可以區分為三大類: 『資訊 蒐集平台或工作輔助應用』 、 『物品運送(物流)』以及『通訊/網路中繼站及空中控制系統』[5]。 在『資訊蒐集平台或工作輔助應用』方面,將無人機結合人工智慧(Artificial Intelligence, AI), 主要可以被應用於資訊蒐集、智慧巡檢系統(Intelligent Patrol-Inspection System)及自動化空中 作業等方面,如地理資訊蒐集[6]、精準農業[7]、混凝土橋梁裂縫偵測[8]、油氣管線檢驗[9]、 國土安全防禦(如圖五所示)[10],智慧交通監控系統(如圖六所示) [11], [12]等等。在『物品運 送(物流)』方面,除了 Amazon、Google、Walmart 等知名企業已經投入了大量經費與人力外, 亦有許多學術研究致力於無人機物品運送,其中包含三維空間無人機運送系統[13]、卡車與無 人機協作(如圖七所示)[14], [15]及火車與無人機協作的運送系統[16]。在『通訊/網路中繼站及 空中控制系統』上,可以將多部無人機佈置於空中,作為網路通訊中繼站,形成通訊網路[17], 此方法經常被用於災害管理系統(如圖八所示)[18], [19]。 圖五、無人機於國防安全之應用[10] 圖六、無人機智慧交通監控系統[11] 表 CM03 共 25 頁 第 3 頁 圖七、卡車與多部無人機協作之物品運送系統[15] 圖八、基於 UAV 之災害管理系統[19] 另一方面,近年來交通違規檢舉項目中,以台北市為例(如圖九所示) [20],違規停車名列 排行榜第一名,遠遠超過其他項目,可見違規停車造成人們很多的困擾,嚴重的話還會造成 交通事故的憾事。目前台北市已開始在多區域增設科技執法設備(如圖十所示) [21],固定式照 相桿,以影像辨識系統每天全時段監控易發生違規停車之區域,一旦發現違規停車時間超過 三分鐘的違停車輛,就會自動執行違規蒐證與舉發作業,這樣可以減去警察執法造成人力消 耗的問題。另外,由於車牌可以說是車輛唯一的「身分證」 ,因此若要進行自動化違規檢舉, 車牌辨識是不可或缺的一環,已經有非常多的研究利用人工智慧進行車牌辨識[22]-[24],並且 車牌自動辨識技術,已越來越被廣泛應用於城市智慧交通系統中,如:闖紅燈檢舉、停車場 出入口管理系統、重要交通路口監控系統等等,目前我國六都直轄市已裝設許多具有車牌辨 識技術的監視器,台中市刑警大隊亦研發出「移動式車牌辨識系統」(如圖十一所示)[25],在 車牌自動辨識技術的幫助下,省去許多員警的辦案時間,增加對於犯罪破案的效率。而停車 場出、入口使用車牌自動辨識系統,可以快速、自動地授予車輛進、出權限並管理場內車輛, 使其擁有較高的安全性,且幾乎無需停下就可以辨識車牌,使車輛順利進、出停車場,也可 以避免車主進行逃漏車費的可能。 表 CM03 共 25 頁 第 4 頁 圖九、台北市交通違規檢舉排行[20] 圖十、台北市科技執法設備[21] 圖十一、台中市刑警大隊研發之「移動式車牌辨識系統」[25] 研究計畫之目的 由於前述所提之「無人機系統」正在急速發展,已經達成「智慧化」 、 「輕量化」 、 「普遍化」 , 並且「價格合理」 ,再加上因為「違規停車」所造成的交通安全問題日益嚴重,本計劃希望設 計一套『無人機智慧交通巡檢系統』 ,自動進行違規停車蒐證檢舉,減輕執法單位的人力消耗、 增進用路人安全。此無人機智慧交通巡檢系統將具備以下功能: 1) 無人機自動巡迴(路徑規劃及避障):無人機在馬路上巡迴時,勢必會遭遇到招牌、電 線、行道樹等等的干擾,光靠全球衛星定位系統(Global Positioning System, GPS)定 位勢必無法順利的完成巡迴的任務。因此本計畫將開發基於三維(3-Dimentional, 3D) 空間視覺同步定位與地圖構建(Simultaneous Localization and Mapping, SLAM)輔以 GPS 之自動路徑規劃系統。首先利用搭載於無人機上之單鏡頭(Monocular)攝影機擷 取影像,並透過無線網路將影像傳至資訊處理與飛行控制中心(預計採用一高效能筆 記型電腦),再透過單鏡頭視覺 SLAM 演算法,即時(Real-Time)進行局部 3D 地圖建 構與定位。同時我們將使用 GPS 即時得知無人機所在之絕對位置,並在已知地圖上 設定目的地之絕對位置,再利用鏈結式(Chain-Based)演算法,根據即時建構之局部 3D 地圖,進行路徑規劃及避障導航,完成無人機自動巡迴。 表 CM03 共 25 頁 第 5 頁 2) 違規停車偵測:本計畫主要是針對平常多數人容易為了一時方便,將車輛違規停放, 或許有時只有一下子的時間,然而在法規上這些是違法的,甚至多次發生造成車禍 的憾事。因此本計畫預計利用無人機,從空中即時擷取路面影像回傳至資訊處理與 飛行控制中心,並利用語意式分割(Semantic Segmentation)深度神經網路(Deep Neural Network),將道路及禁止停車區域(如:紅線或公車停車格),從影像中分割出來,接 著再利用物件偵測(Object Detection)深度神經網路,偵測車輛位置,判斷是否違規停 車,完成違規停車偵測。 3) 違規停車檢舉(車牌辨識及資料庫建檔):在偵測到違停車輛後,使無人機飛至違停 車輛之前方或後方,再利用深度神經網路偵測車牌,並在完成車牌辨識後拍照存證, 最後建立資料庫儲存違停車輛照片及其對應之車牌號碼,以利違規停車檢舉。 本計畫希望設計之『無人機智慧交通巡檢系統』 ,其系統架構如圖十二所示。此系統包含 兩部分: 『無人機系統端』及『資訊處理與飛行控制中心』 ,且主要執行上述三樣任務: 『無人 機自動巡迴(路線規劃及避障)』 、 『違規停車偵測』及『違規停車檢舉(車牌辨識及資料庫建檔)』 。 在執行無人機自動巡迴任務時,首先利用掛載於無人機上之 GPS 系統獲得絕對位置資訊,並 利用掛載於無人機上之攝影機擷取建築物及障礙物影像,再透過無線通訊將 GPS 位置及影像 資訊傳送至資訊處理與飛行控制中心,進行 3D 地圖建構與定位後,再加以規劃路徑,最後再 透過無線通訊將飛行控制指令傳送至無人機系統端,完成導航與避障。完成無人機自動巡迴 功能後,接著就是執行違規停車偵測,首先利用掛載於無人機上之攝影機擷取道路及車輛資 訊,並透過無線通訊傳送至資訊處理與飛行控制中心,再利用深度神經網路偵測道路、禁止 停車區域(如:紅線或公車停車格)以及車輛位置,用以偵測違規停車。在偵測到違停車輛後, 首先由資訊處理與飛行控制中心透過無線通訊,傳送飛行控制指令至無人機,使無人機飛至 違停車輛之前方或後方,再利用無人機攝影機擷取車牌影像,並透過無線通訊傳送至資訊處 理與飛行控制中心,接著利用影像處理技術及深度神經網路完成車牌辨識,並建立資料庫, 儲存違停車輛照片及其對應之車牌號碼,以利違規停車檢舉。 圖十二、無人機智慧交通巡檢系統架構圖 表 CM03 共 25 頁 第 6 頁 (二) 研究方法、進行步驟及執行進度。請分年列述:1.本計畫採用之研究方法與原因及其創 新性。2.預計可能遭遇之困難及解決途徑。3.重要儀器之配合使用情形。4.如為須赴國外 或大陸地區研究,請詳述其必要性以及預期效益等。 本研究計畫為兩年期研究計畫,計畫內容如圖十三所示。第一年計畫目標為「無人機自動 巡迴」 :首先建立飛行控制系統,使我們可以透過資訊處理與飛行控制中心控制無人機,並可 以從無人機接收 GPS 位置及影像資訊;接著,透過掛載於無人機上之單鏡頭攝影機擷取建築 物及障礙物影像,並利用單鏡頭視覺 SLAM 演算法,即時進行局部 3D 地圖建構與定位;同 時我們將利用 GPS 即時得知無人機所在之絕對位置,並在已知地圖上設定目的地之絕對位置, 再利用鏈結式演算法,並根據即時建構之局部 3D 地圖,進行路徑規劃及避障導航,完成無人 機自動巡迴之目標。第二年計畫目標為「違規停車檢舉」 :首先利用無人機攝影機擷取道路及 車輛資訊,並利用語意式分割深度神經網路,偵測道路及禁止停車區域;接著利用物件偵測 深度神經網路,偵測車輛位置,並判斷是否停放於禁止停車區域,完成違規停車偵測;在偵 測到違停車輛後,使無人機飛至違停車輛之前方或後方,並利用影像處理技術及深度神經網 路進行車牌辨識,並拍照存證,最後建立資料庫儲存違停車輛照片及其對應之車牌號碼,完 成違規停車檢舉。 第一年(2021 年 8 月至 2022 年 7 月):無人機自動巡迴 第一年計畫目標為「無人機自動巡迴」 。首先設置資訊處理與飛行控制中心與無人機之間 的通訊系統,使我們可以透過資訊處理與飛行控制中心控制無人機,並可以從無人機接收 GPS 位置及影像資訊。接著,如圖十四所示,我們將利用單鏡頭視覺 SLAM 演算法,即時進行局 部 3D 地圖建構與定位,同時我們將利用 GPS 即時得知無人機所在之絕對位置,並在已知地 圖上設定目的地之絕對位置,再利用鏈結式演算法,根據即時建構之局部 3D 地圖,進行路徑 規劃及避障導航,完成無人機自動巡迴之目標。 圖十三、無人機智慧交通巡檢計畫內容 圖十四、無人機自動巡迴系統架構 表 CM03 共 25 頁 第 7 頁 本計畫第一年採用之研究方法與原因 (a) 建立飛行控制系統 本計畫將使用 DJI Mavic Air 2 搭載的單鏡頭攝影機(如圖十五所示)進行影像擷取。其單鏡 頭攝影機是安裝在與無人機相連之可轉動雲台上,雲台的功能類似一般拍照攝影時常見的手 持穩定輔助工具,能夠幫助我們在某些特殊角度進行拍攝,也能增加拍攝的品質。其雲台共 有 3 軸(俯仰、橫滾、偏航)可進行控制,依照不同軸有不同的轉動角度,雲台俯仰角度最 高可達-90° 至 24°之間。無人機在飛行時需進行即時影像擷取,用以偵測道路資訊及禁止停 車區域並探知飛行空間中存在的障礙物,前者即時將擷取路面影像回傳至資訊處理與飛行控 制中心,利用高效能電腦藉由多個深度神經網路完成違規停車偵測;後者則透過單鏡頭攝影 機進行視覺 SLAM 演算法,為無人機在道路上進行局部 3D 地圖建構與定位,最後再加以利 用路徑規劃與避障演算法,完成無人機自動巡迴。 無人機在空中擷取影像後,需即時回傳資訊至地面進行接下來的影像辨識及視覺 SLAM 運算,因此需要建立資訊處理與飛行控制中心,來與無人機進行空對地或地對空的聯繫及資 訊運算。本計畫將採用一台高效能筆記型電腦做為資訊處理與飛行控制中心,搭載 DJI Mobile SDK 移動設備開發者工具包(其系統架構圖如圖十六所示)[27],並運行 Android 系統,透過無 線通訊技術,遙控無人機並接收影像、GPS 位置等等資訊。DJI Mobile SDK 是一款以 Andriod 或 iOS 系統架構為主的軟體發展套件,其擁有飛行控制功能,讓資訊處理與飛行控制中心可 以透過無線通訊對無人機進行航點設置,讓無人機在預定的航線上飛行。另外,DJI Mobile SDK 亦具備調整相機及雲台位置,並接收即時串流影像及傳感器資訊(如:GPS 位置資訊、 IMU 資訊及指南針資訊)等功能。 圖十五、DJI Mavic Air 2 搭載單鏡頭攝影機[26] 圖十六、DJI Mobile SDK 系統架構圖[27] 表 CM03 共 25 頁 第 8 頁 圖十七、飛行控制系統架構圖 本計畫預計建立的飛行控制系統架構圖如圖十七所示,為了能夠讓資訊處理與飛行控制 中心成功對 DJI Mavic Air 2 無人機進行飛行控制,並從無人機系統端獲取資料,我們需要在 筆記型電腦上搭載 Android 系統,並安裝 DJI Mobile SDK,接著將無人機遙控器與筆記型電 腦利用 USB 傳輸線連接,遙控器與無人機之間,將透過 DJI 獨自研發之 Ocusync 2.0 無線通 訊技術進行訊號傳輸,其距離最長可達 10 公里。另外,資訊處理與飛行控制中心將採用機器 人作業系統(Robot Operating System, ROS),根據無人機擷取之即時影像,運行視覺 SLAM 演 算法,即時進行局部 3D 地圖建構與定位。因此,本計畫將在 Android 系統上搭載 ROSDroid [28],使 Android 系統可以透過 ROS Bridge 與 ROS 連接。 (b) 3D 地圖建構與定位 視覺 SLAM 技術已經被應用於自動駕駛[29]與導航系統[30]。視覺 SLAM 可以利用單鏡 頭(Monocular) [31]、RGB-D 鏡頭[32]或雙鏡頭(Dual Camera) [33]攝影機擷取影像,進行 3D 空 間定位,並由於無人機是飛行於 3D 空間中,因此視覺 SLAM 技術亦被廣泛的應用於無人機 系統[33]-[36]。然而,若利用如 ORB-SLAM 一族[37]-[39],標定 3D 空間特徵點之 SLAM 演 算法,雖然足以為無人機進行局部定位,然而若要在較複雜的環境中進行避障導航,恐怕仍 有所不足。因此本計畫預計採用 LSD-SLAM 演算法[40],其可利用單鏡頭攝影機,建構半稠 密深度地圖(Semi-Dense Depth Map)並進行定位(如圖十八所示),以利無人機之導航與避障。 圖十八、採用 LSD-SLAM 演算法建構半稠密深度地圖並進行定位[40] 表 CM03 共 25 頁 第 9 頁 圖十九、LSD-SLAM 演算法架構圖[40] LSD-SLAM 演算法的一個特點就是,其不需要像 ORB-SLAM 這一類的演算法一樣去計 算特徵點,這個特色在需要即時性的應用中是很重要的。如圖十九所示,LSD-SLAM 演算法 包含了三個主要模組,分別為追蹤(Tracking)、深度地圖估測(Depth Map Estimation)及地圖最 佳化(Map Optimization)。追蹤模組持續追蹤新的攝影機影像,使用前一幀影像姿態作為初始 化,並根據目前關鍵幀(Keyframe)估測鋼體(Rigid Body)姿態;深度地圖估測模組利用被追蹤 的影像幀去優化或替換目前的關鍵幀,深度地圖優化是基於各像素(Per-Pixel)小基線立體配准 (Small-Baseline Stereo Comparisons)的濾波方式,同時耦合對深度地圖的正規化,當相機的位 置移動足夠遠,就停止目前關鍵幀的深度地圖優化,並初始化新的關鍵幀;地圖最佳化模組 將停止優化之深度地圖併入全域地圖(Global Map)之中。 (c) 路徑規劃與導航 目前經常被應用的路徑規劃演算法包含:A*演算法(A Star algorithm)[41]、人工勢場法 (Artificial Potential Field)[42]及鏈結式演算法(Chain-Based Algorithm)[43]。由於每次執行巡航 任務時,巡航的場景(建築物及障礙物狀況)可能都會跟前次任務有所不同,因此本計畫將透過 無人機攝影機即時擷取建築物及障礙物影像,並利用前述所提之 LSD-SLAM 演算法,即時進 行局部 3D 地圖建構與定位;同時我們將利用 GPS 即時得知無人機所在之絕對位置,並在已 知二維地圖上設定目的地絕對位置,再利用文獻[44]所提出之運用虛擬力場之鏈結式演算法, 根據即時建構之局部 3D 地圖,進行路徑規劃及避障導航。 文獻[44]所提出之運用虛擬力場之鏈結式路徑規劃演算法,其概念如圖二十所示,圖中每 個點為航點(Way Point),將每個航點連起來即為無人機的路徑規劃航線,紅色的路線為無人 機原本該運行的路線,而藍色的路線則為原本的路線上因閃避障礙物而形成之路線。從藍色 路線來看,無人機飛近障礙物時,會在虛擬力場中受到多個力的影響;首先無人機會因受到 目標所產生的吸引力而飛向目標,並且在飛行的過程中,障礙物產生排斥力,會使得無人機 在接近障礙物時,因為排斥力而飛離障礙物,在飛離障礙物時所行走的鏈結式路徑,也會受 到各結點間的矯直力影響,進而形成一個滑順的軌跡,而非銳利的角度路線,順利的往目標 前行。對虛擬力場中鏈結所受之力做分析,設𝒛𝑖 = (𝑥𝑖 , 𝑦𝑖 )𝑇 ∈ ℝ2 (𝑖 = 1,2, … . , 𝑁)是鏈結中第𝑖航 點的位置,則一個𝑁航點的鏈結可被表示為: 𝒄 = [𝒛1𝑇 , 𝒛𝑇2 , … , 𝒛𝑇𝑁 ]𝑇 表 CM03 (1) 共 25 頁 第 10 頁 圖二十、運用虛擬力場之鏈結式路徑規劃演算法[44] 假如此鏈結被放置在力場中,其動態方程可以被表示為: (2) 𝒄̈ = 𝑭 其中𝑭為節點之受力總和。節點所受到的力分別為:朝向目標之吸引力(Attractive Force)、障礙 物所產生之排斥力(Repulsive Force)、矯直力(Straightening Force)。朝向目標之吸引力可以被表 示為: 𝐅𝑎𝑡𝑡𝑟 = −∇𝒇(𝐳) (3) 其中𝒇(𝐳)為吸引潛能函數(Attractive Potential Function),並可由下式表示: 2 (4) 𝒇(𝐳) = 𝜀 (‖𝒛𝑖 − 𝒛𝑔 ‖ ) 其中𝜀為一比例常數;𝒛𝑔 為無人機之目的地位置;‖∙‖代表標準歐基里德範數(Standard Euclidean Norm)。為了表示鏈結點所受之障礙物排斥力,首先第𝑛個結點到第𝑚個障礙物的距離可以被 表示為: 𝒅𝑧𝑥 (𝑛, 𝑚) = 𝐳𝑛 − 𝒙𝑚 (5) 其中𝒙𝑚 為第𝑚個障礙物之位置。接著定義以下單位向量: 𝒅 (𝑛,𝑚) 𝐝̂𝑧𝑥 (𝑛, 𝑚) = ‖𝒅𝑧𝑥 (𝑛,𝑚)‖ (6) 𝑧𝑥 則第𝑚個障礙物對第𝑛個結點所產生的排斥力可表示為: 𝐝̂ (𝑛, 𝑚)𝛾𝑟𝑝1 𝑒 (𝛾𝑟𝑝2 ||𝐝𝑧𝑥 (𝑛,𝑚)||𝑛) , 𝑖𝑓||𝐝𝑧𝑥 (𝑛, 𝑚)|| < 𝑑𝑚𝑎𝑥 𝒇𝑟𝑝 (𝑛, 𝑚) = { 𝑧𝑥 0, 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 (7) 其中𝑑𝑚𝑎𝑥 為無人機與障礙物之間之最小安全距離;𝛾𝑟𝑝1及𝛾𝑟𝑝2為負常數。則第𝑛個鏈結點受到 由障礙物產生之總排斥力為: 𝑭𝑟𝑝𝑧𝑥 (𝑛) = ∑𝑀 𝑚=1 𝒇𝑟𝑝 (𝑛, 𝑚) 表 CM03 (8) 共 25 頁 第 11 頁 其中𝑀為局部地圖內之障礙物數目。如此整條𝑁結點鏈結所受到之總排斥力可由下式表示: 𝑭𝑟𝑝𝑧𝑥 = [𝑭𝑇𝑟𝑝𝑧𝑥 (1), 𝑭𝑇𝑟𝑝𝑧𝑥 (2), ⋯ , 𝑭𝑇𝑟𝑝𝑧𝑥 (𝑁)] (9) 最後再考慮結點之間的矯直力𝑭𝑠𝑡 ,則整條鏈結所受到的總力如下: (10) 𝑭 = 𝑭𝑎𝑡𝑡𝑟 + 𝑭𝑟𝑝𝑧𝑥 + 𝑭𝑠𝑡 將第(10)式帶入第(2)式,則可更新整條鏈結之所有結點位置。 本計畫預計採用文獻[44]所提出之虛擬力場鏈結式演算法,結合 LSD-SLAM 進行路徑規 劃與避障導航,其示意圖如圖二十一所示。首先利用 GPS 獲知無人機目前之絕對位置,並在 已知二維地圖上設定目的地之絕對位置,並從無人機朝向目的地建構初始鏈結,如圖二十一 (a)所示;接著利用 LSD-SLAM 即時進行局部 3D 地圖建構,並利用虛擬力場鏈結式演算法, 根據即時建構之局部 3D 地圖,調整並規劃鏈結路徑,如圖二十一(b)所示,其中無人機前方 之扇形區域,代表可以利用無人機前方鏡頭及 LSD-SLAM 即時進行局部 3D 地圖建構之範圍; 最後無人機會依照虛擬力場鏈結式演算法即時規劃之路徑抵達目的地,如圖二十一(d)所示。 (a) (b) (c) (d) 圖二十一、本計畫預計採用之鏈結式路徑規劃與避障導航 表 CM03 共 25 頁 第 12 頁 本計畫第一年預計可能遭遇之困難及解決途徑 (a) 可能遭遇之困難 i. 本計畫預計採用已知二維地圖及 GPS 定位,獲取無人機在已知二維地圖上之 絕對位置,並利用 LSD-SLAM 即時進行局部 3D 地圖建構與定位,再將即時 建構之局部 3D 地圖及定位匹配至已知二維地圖及 GPS 定位,用以進行路徑 規劃及避障導航。然而利用 LSD-SLAM 建構之局部 3D 地圖之座標系,是以 無人機鏡頭姿態為基礎,與 GPS 及已知二維地圖之絕對座標系有所不同,因 而造成匹配上之困難。 ii. 利用 LSD-SLAM 所建構的 3D 地圖,其深度資訊並非絕對距離,而已知二維 地圖上之距離資訊則為絕對距離,因此若要將利用 LSD-SLAM 所獲得的建築 物及障礙物資訊,匹配到已知的二為地圖上,可能有所困難。 (b) 解決途徑 i. 可以先藉由無人機相機雲台角度資訊及 IMU 資訊,進行座標轉換,使得局部 3D 地圖座標軸之 X-Y 平面,平行於已知二維地圖座標軸之 X-Y 平面,再利 用指南針資訊進行座標轉換,使得局部 3D 地圖座標軸之 X、Y 軸平行於已知 二維地圖座標軸之 X、Y 軸,最後再將利用 LSD-SLAM 所定位出之無人機位 置匹配至 GPS 定位位置,則可將兩者之座標軸及位置進行匹配。 ii. 可利用無人機 IMU 資訊,測量出無人機實際飛行之絕對距離,並根據此距離 將利用 LSD-SLAM 所獲得的相對距離 3D 地圖,轉換為絕對距離之 3D 地圖, 如此則可將利用 LSD-SLAM 所獲得的建築物及障礙物資訊,匹配到已知的二 維地圖上。 第二年(2022 年 8 月至 2023 年 7 月):違規停車檢舉 第二年計畫目標為「違規停車檢舉」 :首先利用無人機攝影機擷取道路及車輛資訊,並利 用語意式分割深度神經網路,偵測道路及禁止停車區域;接著我們將利用物件偵測深度神經 網路,偵測車輛位置,並判斷是否停放於禁止停車區域,完成違規停車偵測;在偵測到違停 車輛後,使無人機飛至違停車輛之前方或後方,並利用深度神經網路進行車牌辨識,並拍照 存證,最後建立資料庫儲存違停車輛照片及其對應之車牌號碼,完成違規停車檢舉。 本計畫第二年採用之研究方法與原因 (a) 道路及禁止停放區域偵測 一般深度神經網路於電腦視覺的主要應用可分為影像分類(Image Classification) [45]-[48]、 物件偵測(Object Detection) [49]-[53]及語意式分割(Semantic Segmentation) [54]-[60]。如圖二十 二所示[61],在影像分類中,我們只關心預測場景中物件的類別;物件偵測則是對場景中可能 存在的多個物件進行偵測,並大致了解它們的位置及類別,其中物件定位只需要在對象周圍 繪製定界框(Bounding Box)就足夠了;語意式分割不僅要了解場景中發生了什麼,而且還要非 常細粒度地了解這些事物所位於的圖像區域,是一種像素級(Pixel-Wise)的分割方式。本計畫 需要利用電腦視覺分割出道路及禁止停放區域,然而影像分類、物件偵測深度神經網路並無 法滿足本計畫之需求,因此本計畫將採用語意式分割深度神經網路偵測道路及禁止停放區域。 表 CM03 共 25 頁 第 13 頁 圖二十二、一般深度神經網路於電腦視覺之主要應用[61] 較為知名的語意式分割深度神經網路包含:ENet [54]、SQ [55]、SegNet [56]、DLC [57]、 Two-column Net [58]、ICNet [59]等等。本計畫預計選用文獻[60]所提出之基於 ResNet-18 [48] 之 BiSeNet,其精確度、速度及與其他語意式分割深度神經網路之比較如表一所示。由表一可 見基於 ResNet-18 之 BiSeNet 與其他語意式分割深度神經網路相比,其擁有最高的精確度,並 同時具有非常優良的每秒計算禎數(Frames Per Second, FPS):65.5 FPS。如圖二十三所示, BiSeNet 將語意式分割的算法分為兩個主要模組:空間路徑(Spatial Path)以及上下文路徑 (Context Path),空間路徑是用來保留空間資料以及產生高解析度的特徵圖;上下文路徑則是 進行多次的下採樣,來獲取更大的感受範圍,用以判斷目標分類。 表一、BiSeNet 與其他語意式分割深度神經網路之比較[60] 圖二十三、BiSeNet 深度神經網路架構圖[60] 表 CM03 共 25 頁 第 14 頁 利用深度神經網路對道路影像進行語意式分割,不僅可以將道路區域成功分割出來,亦可 成功標示「路面標線」,如圖二十四所示[62]。因此本計畫將以 BiSeNet 來分割道路及路邊標 線(白線、紅線),套用預設道路訓練集,並對道路及標線分別標注語意,其餘路樹、房屋等等 則標示為其他以降低運算量。如圖二十五所示,首先利用 BiSeNet 找出路邊標線後,再利用 顏 色 判 斷 是 否 為 紅 線 禁 停 區 域 , 接 著 本 計 畫 將 利 用 OpenCV [63] 之 findContours 及 approxPolyDP 函數,找出標線圍出之四邊形並計算出四邊形面積大小,接著我們可以根據無 人機飛行高度及四邊形面積大小,來判斷是公車專用停車格或是一般汽車停車格。 圖二十四、利用深度神經網路對道路影像進行語意式分割[62] 圖二十五、在找到路邊標線後找出紅線及公車專用停車格 表 CM03 共 25 頁 第 15 頁 (b) 違規停車偵測 在利用 BiSeNet 找出禁停區域後,本計畫預計使用物件偵測深度神經網路,找出車輛位 置,並判斷是否違規停車。比起使用語意式分割的方式,利用物件偵測深度神經網路,不管 是在標註樣本或是進行訓練上都可以節省許多的時間,並且擁有較高的準確度,甚至可以區 別不同種類的車輛,如:機車、小型車、卡車、公車等等。較為知名的物件偵測深度神經網 路包含:R-CNN [49]-[50]、YOLOv1 [51]、YOLOv2 [52]、YOLOv3 [53]、ATSS [64]、YOLOv4 [65]等。其中 YOLO 之全名為 You Only Look Once,首次出現於 2015 年,由 Joseph Redmon 和 Ali Farhadi 等人提出[50],以單獨的 CNN 模型進行運算,訓練過程採 End-To-End 的方式, 將圖像輸入後,預測物件之邊界框坐標及物件所屬類別之機率,與其他物件偵測深度神經網 路相比,其最大優勢就是擁有較快的偵測速度。目前 YOLO 系列已發展至由中研院資訊科學 研究所與俄羅斯學者於 2020 年所開發之 YOLOv4,如圖二十六所示,其速度(FPS)勝過其他 物件偵測深度神經網路,且大幅提高 YOLO 模型的偵測精度。 本計畫預計選用 YOLOv4,用以進行車輛位置偵測,並區別大型車(如公車、卡車等等)、 一般小型車、機車(如圖二十七所示),再利用 BiSeNet 找出之紅線及公車專用禁停區域,進行 違規停車偵測。本計畫考量的違規停車包含「紅線違規停車」、「公車專用停車格違規停車」 及「汽車停車格機車違規停車」 。在「紅線違規停車」偵測部分,首先無人機即時回傳影像, 並透過 BiSeNet 進行語意式分割,判斷出紅線位置,再來利用 YOLOv4 物件偵測技術,找出 是否有車輛(不限車輛種類)停在紅線禁停區域上,即可完成紅線違規停車偵測,如圖二十八所 示;在「公車專用停車格違規停車」及「汽車停車格機車違規停車」偵測部分,同樣先將無 人機即時影像,利用 BiSeNet 進行語意式分割,並利用標線找出停車格位置,接著利用停車 格面積大小,來判斷是公車專用停車格或是一般汽車停車格,再利用 YOLOv4 物件偵測技術, 找出是否有汽、機車停在公車專用停車格,以及是否有機車停在一般汽車停車格,用以偵測 公車專用停車格違規停車及汽車停車格機車違規停車,如圖二十九及圖三十所示。 圖二十六、YOLOv4 與其他物件偵測深度神經網路之比較(AP 為 Average Precision、FPS 為 Frames Per Second) [65] 表 CM03 共 25 頁 第 16 頁 圖二十七、以 YOLOv4 進行車輛偵測(綠色方框為一般小型車、藍色方框則為大型車輛、紅色 方框則為機車) [66] 圖二十八、紅線違規停車偵測示意圖[67] 圖二十九、公車專用停車格違規停車示意圖[68] 圖三十、汽車停車格機車違規停車示意圖 表 CM03 共 25 頁 第 17 頁 (c) 車牌辨識與資料庫建立 在利用前述步驟偵測到違停車輛後,我們將使無人機飛至違停車輛之前方或後方,並利用 深度神經網路進行車牌辨識,並拍照存證,最後建立資料庫儲存違停車輛照片及其對應之車 牌號碼,完成違規停車檢舉。 在車牌辨識部分,將分為三個步驟進行:1)車牌偵測、2)車牌字元分割、3)車牌字元辨識。 在車牌偵測,我們將利用前述所提之 YOLOv4 偵測車牌所在位置,如圖三十一所示。車牌字 元分割部份,首先我們必須對利用 YOLO 偵測到之車牌影像,做灰階化、二值化等等影像處 理,用以獲得僅包含車牌資訊之二值化影像,接著再做字元分割,如圖三十二所示。在字元 分割方面,我們將利用二值化車牌影像之垂直像素投影直方圖(Histogram of Pixel Projection) 找出每個字元之左、右邊界,並利用水平像素投影直方圖找出每個字元之上、下邊界,完成 車牌字元分割,如圖三十三所示。在完成車牌字元分割後,再利用字元辨識神經網路完成車 牌辨識,圖三十四所示。在完成車牌辨識後,我們將針對 UAV 所拍攝的違規圖片,在資訊處 理及飛行控制中心建立一個違規車輛資料庫,如圖三十五所示。此資料庫附有搜尋功能,並 可以將搜尋結果依照時間、車牌、以及違規類型做排列。我們亦會針對各項違規,記錄其時 間、車牌以及違規類型,並儲存違規停車照片於資料庫中,以便人員複查及違規停車檢舉。 圖三十一、利用 YOLO 進行車牌偵測[69] 圖三十二、對車牌影像做影像預處理後進行車牌分割 [70] 表 CM03 共 25 頁 第 18 頁 圖三十三、利用像素投影直方圖進行車牌字元分割 [70] 圖三十四、完成車牌字元分割後利用字元辨識神經網路完成車牌辨識[71] 圖三十五、違規車輛車牌資料庫 本計畫第二年預計可能遭遇之困難及解決途徑 (a) 可能遭遇之困難 i. 本計畫考量的違規停車包含「公車專用停車格違規停車」及「汽車停車格機 車違規停車」 ,在公車專用停車格內雖然公車可以停靠,然而其他大型車輛並 不能停入,另外在汽車停車格內雖然不能停放一般機車,但是卻可停放重型 機車,因此在利用 YOLOv4 偵測車輛並進行分類時,僅分類為大型車、一般 小型車、機車並無法解決上述問題。 ii. 地面上的紅線及停車格標線,有可能因為停車車輛遮蔽,使得無法在利用 BiSeNet 進行語意式分割時,將其完整的標示出來,造成違規停車偵測失敗。 表 CM03 共 25 頁 第 19 頁 圖三十六、透過已知標線與匹配至二維地圖之 3D 車輛資訊偵測違停車輛 (b) 解決途徑 i. 可以在利用 YOLOv4 偵測車輛並進行分類時,做更詳細的分類,在大型車輛 部分可再劃分為公車及其他大型車輛,在機車部分,可再劃分為一般機車及 重型機車。 ii. 本計畫第一年預計使用 GPS、IMU、指南針等資訊,將利用 LSD-SLAM 即時 建構之局部 3D 地圖,匹配至已知的二維地圖上。在上述步驟中,被偵測到的 車輛亦會以 3D 深度資訊的型態,被匹配至已知的二維地圖上。因此我們可以 在已知二維地圖上標示紅線及停車格標線資訊,如此即使標線被遮蔽,我們 仍然可以透過已知的二維地圖上之標線,配合被匹配至已知的二維地圖上之 3D 車輛資訊,判斷該車輛是否違規停車,如圖三十六所示。 (三) 預期完成之工作項目及成果。請分年列述:1.預期完成之工作項目。2.對於參與之工作人 員,預期可獲之訓練。3.預期完成之研究成果(如實務應用績效、期刊論文、研討會論 文、專書、技術報告、專利或技術移轉等質與量之預期成果) 。4.學術研究、國家發展及 其他應用方面預期之貢獻。 第一年(2021 年 8 月至 2022 年 7 月)預期完成之工作項目(時程規劃如圖三十七所示) 1. 相關文獻的蒐集、研讀與整理 2. 學習無人機基本操作(考取證照) 3. 資訊處理與飛行控制中心建立 4. LSD-SLAM 建構局部 3D 地圖 5. 匹配局部 3D 地圖與已知二維地圖 6. 自動路徑規劃與避障 第二年(2022 年 8 月至 2023 年 7 月)預期完成之工作項目(時程規劃如圖三十八所示) 1. 基於語意式分割深度神經網路之道路標線偵測 2. 基於物件偵測深度神經網路之車輛偵測 3. 車牌辨識 4. 資料庫建立 5. 無人機智慧交通巡檢系統整合 6. 撰寫報告及論文發表 表 CM03 共 25 頁 第 20 頁 圖三十七、計畫第一年時程規劃甘梯圖 圖三十八、計畫第二年時程規劃甘梯圖 對於參與之工作人員,預期可獲之訓練 1. 習得無人機基本操作 2. 習得 Android 系統及 ROS 系統 3. 習得視覺 SLAM 之 3D 地圖建構及定位技術 4. 習得自動路徑規劃及避障演算法 5. 6. 7. 8. 習得語意式分割深度神經網路 習得物件偵測深度神經網路 習得車牌偵測與辨識技術 增進撰寫報告及論文的能力 預期完成之研究成果 預計兩年內合計能投稿期刊論文 2 篇,發表國際研討會論文 2 篇,發表國內研討會論文 2 篇、完成技術報告 1 篇 。 表 CM03 共 25 頁 第 21 頁 學術研究、國家發展及其他應用方面預期之貢獻 隨著世界上許多個國家在無人機技術上飛速的進步,無人機在市場上也越來越普及,能做 的事情也越來越多。由於前述所提之「無人機系統」在急速發展,已經達成「智慧化」、「輕 量化」、「普遍化」,並且「價格合理」,再加上因為「違規停車」所造成的交通安全問題日益 嚴重,因此本計劃希望設計一套無人機智慧交通巡檢系統,以低成本的方式解決違規停車問 題。此系統將整合多種 AI 技術,如:匹配以視覺 SLAM 建構之局部 3D 地圖至已知二維地 圖;利用已知二維地圖及局部 3D 地圖,進行無人機自動路徑規劃與避障導航;利用深度神經 網路偵測道路、禁止停車區域、車輛位置並進行車牌辨識等,其學術貢獻將可發表數篇國際 研討會及期刊論文。另外,國內尚未有智慧無人機交通巡檢系統,本計畫若然成功,將可減 輕執法單位的人力消耗、增進用路人安全,進而促進國家安全與科技之發展。 (四) 本計畫案若與以下三個主題領域中的一個或多個緊密相關:數學及自然科學、生命科學、 工程及應用科學,請在此簡要指明以作為學術審查參考。 本計劃預計設計一套無人機智慧交通巡檢系統,將整合無人機系統、深度學習偵測與辨識 技術、路徑規劃與避障演算法,並將其應用於違規停車偵測,與『工程及應用科學』緊密相 關。 參考文獻 [1] https://www.amazon.com/Amazon-Prime-Air/b?ie=UTF8&node=8037720011 [2] https://www.chinatimes.com/newspapers/20190304000187-260309?chdtv [3] Federal Aviation Administration, FAA Aerospace Forecast: Fiscal Years 2019-2039. From: https://www.faa.gov/data_research/aviation/aerospace_forecasts/media/FY2019-39_FAA_A erospace_Forecast.pdf [4] Mordor Intelligence, SMALL UAV MARKET - GROWTH, TRENDS, AND FORECAST (2020-2025). From: https://www.mordorintelligence.com/industry-reports/small-uav-market [5] 熊治民,台灣無人機服務應用現況與趨勢,工業技術研究院機械工業雜誌(2020)。From: https://www.automan.tw/magazine/magazineContent.aspx?id=3361 [6] E. Honkavaara, M. A. Eskelinen, I. Pölönen, H. Saari, H. Ojanen, R. Mannila, C. Holmlund, T. Hakala, P. Litkey, T. Rosnell, N. Viljanen, and M. Pulkkanen, “Remote sensing of 3-D geometry and surface moisture of a peat production area using hyperspectral frame cameras in visible to short-wave infrared spectral ranges onboard a small unmanned airborne vehicle (UAV),” IEEE Transactions on Geoscience and Remote Sensing, Vol. 54, No. 9, pp. 54405454, 2016. [7] B. Dai, Y. He, F. Gu, L. Yang, J. Han, and W. Xu, “A vision-based autonomous aerial spray system for precision agriculture,” in Proceedings of the 2017 IEEE International Conference on Robotics and Biomimetics (ROBIO), 2017. [8] H. Yu, W. Yang, H. Zhang, and W. He, “A UAV-based crack inspection system for concrete bridge monitoring,” in Proceedings of the 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2017, pp. 3305-3308. [9] A. Shukla, H. Xiaoqian, and H. Karki, “Autonomous tracking and navigation controller for an unmanned aerial vehicle based on visual data for inspection of oil and gas pipelines,” in Proceedings of the 16th International Conference on Control, Automation and Systems (ICCAS), 2016, pp. 194-200. [10] J. Brown, Drone uses: the awesome benefits of drone technology. From: https://www. mydronelab.com/blog/drone-uses.html [11] J. Li, X. Cao, D. Guo; J. Xie, and H. Chen, “Task scheduling with UAV-assisted vehicular 表 CM03 共 25 頁 第 22 頁 [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] 表 CM03 cloud for road detection in highway scenario,” IEEE Internet of Things Journal, Vol. 7, No. 8, pp. 7702-7713, 2020. M. Hossain, M. A. Hossain, and F. A. Sunny, “A UAV-based traffic monitoring system for smart cities,” in Proceedings of the 2019 International Conference on Sustainable Technologies for Industry 4.0 (STI), 2019. B. Y. Li, H. Lin, H. Samani, L. Sadler; T. Gregory; B. Jalaian, “On 3D autonomous delivery systems: Design and development,” in Proceedings of the 2017 International Conference on Advanced Robotics and Intelligent Systems (ARIS), 2017. C. Wang and H. Lan, “An expressway based TSP model for vehicle delivery service coordinated with Truck + UAV,” in Proceedings of the 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC), 2019, pp. 307-311. K. Peng, J. Du; F. Lu; Q. Sun; Y. Dong; P. Zhou, and M. Hu, “A hybrid genetic algorithm on routing and scheduling for vehicle-assisted multi-drone parcel delivery,” IEEE Access, Vol. 7, pp. 49191-49200, 2019. H. Huang, A. V. Savkin, and C. Huang, “Control of a novel parcel delivery system consisting of a UAV and a public train,” in Proceedings of the 2019 IEEE 17th International Conference on Industrial Informatics (INDIN), 2019, pp. 1047-1050. M. M. Azari, G. Geraci, A. Garcia-Rodriguez and S. Pollin, “UAV-to-UAV communications in cellular networks,” IEEE Transactions on Wireless Communications, Vol. 19, No. 9, pp. 6130-6144, 2020. S. U. Rahman, G. H. Kim, Y. Z. Cho, and A. Khan, “Positioning of UAVs for throughput maximization in software-defined disaster area UAV communication networks,” Journal of Communications and Networks, Vol. 20, No. 5, pp. 452-463, 2018. C. Luo, W. Miao, H. Ullah, S. McClean, G. Parr, and G. Min, Unmanned Aerial Vehicles for Disaster Management, 2019. In: Durrani T., Wang W., Forbes S. (eds) Geological Disaster Monitoring Based on Sensor Networks. Springer Natural Hazards. https://news.ltn.com.tw/news/life/paper/1387410 https://168.motc.gov.tw/theme/news/post/1911011528532 W. Wang, J. Yang, M. Chen and P. Wang, “A light CNN for end-to-end car license plates detection and recognition,” IEEE Access, Vol. 7, pp. 173875-173883, 2019. C. Henry, S. Y. Ahn and S. Lee, “Multinational license plate recognition using generalized character sequence detection,” IEEE Access, Vol. 8, pp. 35185-35199, 2020. W. Weihong and T. Jiaoyang, “Research on license plate recognition algorithms based on deep learning in complex environment,” IEEE Access, Vol. 8, pp. 91661-91675, 2020. https://www.taichung.gov.tw/978349/post https://www.dji.com/tw/mavic-air-2?gclid=Cj0KCQiA_qD_BRDiARIsANjZ2LCl6ci1Jbq5 YysLAEjdYgQeAiCqzTl1L31Z_jfVmwGYSFRZscO7M8gaApPKEALw_wcB https://developer.dji.com/cn/mobile-sdk/documentation/introduction/mobile_sdk_introductio n.html https://github.com/jie-meng/ROSDroid H. Lategahn, A. Geiger, and B. Kitt, “Visual slam for autonomous ground vehicles,” in Proceedings of the 2011 IEEE International Conference on Robotics and Automation, 2011, pp. 1732–1737. A. Albrecht and N. F. Heide, “Improving feature-based visual SLAM in Person Indoor Navigation with HDR Imaging,” in Proceedings of the 2019 IEEE 2nd International Conference on Information Communication and Signal Processing (ICICSP), 2019, pp. 369373. H. Kuang, K. Zhang, R. Li, and X. Liu, “Monocular SLAM algorithm based on improved depth map estimation and keyframe Selection," in Proceedings of the 10th International Conference on Measuring Technology and Mechatronics Automation (ICMTMA), 2018, pp. 共 25 頁 第 23 頁 [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] 表 CM03 350-353. X. Yang, Z. Yuan, D. Zhu, C. Chi, K. Li and C. Liao, “Robust and efficient RGB-D SLAM in dynamic environments,” IEEE Transactions on Multimedia, Early Access (doi: 10.1109/TMM.2020.3038323). S. Yang, S. A. Scherer and A. Zell, "Visual SLAM for autonomous MAVs with dual cameras," in Proceedings of the 2014 IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 5227-5232. W. Wei, L. Tan, G. Jin, L. Lu and C. Sun, “A survey of UAV visual navigation based on monocular SLAM,” in Proceedings of the 2018 IEEE 4th Information Technology and Mechatronics Engineering Conference (ITOEC), 2018, pp. 1849-1853. H. D. K. Motlagh, F. Lotfi, H. D. Taghirad and S. B. Germi, "Position estimation for drones based on visual SLAM and IMU in GPS-denied environment," in Proceedings of the 2019 7th International Conference on Robotics and Mechatronics (ICRoM), 2019, pp. 120-124. M. Rizk, A. Mroue, M. Farran and J. Charara, “Real-time SLAM based on image stitching for autonomous navigation of UAVs in GNSS-denied regions,” in Proceedings of the 2020 2nd IEEE International Conference on Artificial Intelligence Circuits and Systems (AICAS), 2020, pp. 301-304. R. Mur-Artal, J. M. M. Montiel, and J. D. Tardos, “ORB-SLAM: a versatile and accurate monocular SLAM system,” IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147–1163, 2015. R. Mur-Artal and J. D. Tardos, “ORB-SLAM2: an open-source SLAM system for monocular, stereo and RGB-D cameras”, arXiv:1610.06475 [cs.RO], 2017. C. Campos, R. Elvira, J. J. G. Rodríguez, J. M. M. Montiel, and J. D. Tardós, “ORB-SLAM3: an accurate open-source library for visual, visual-inertial and multi-map SLAM,” arXiv:2007.11898v1 [cs.RO], 2020. J. Engel, T. Schops, and D. Cremers, “LSD-SLAM: large-scale direct monocular SLAM,” in Proceedings of the 13th European Conference on Computer Vision, 2014, pp. 834-849. Z. Xu, X. Liu and Q. Chen, “Application of improved Astar algorithm in global path planning of unmanned vehicles,” in Proceedings of the 2019 Chinese Automation Congress (CAC), 2019, pp. 2075-2080. R. L. Galvez et al., “Obstacle avoidance algorithm for swarm of quadrotor unmanned aerial vehicle using artificial potential fields,” in Proceedings of the TENCON 2017 - 2017 IEEE Region 10 Conference, 2017, pp. 2307-2312. M. Argyle, C. Chamberlain and R. Beard, “Chain-based path planning for multiple UAVs,” in Proceedings of the 50th IEEE Conference on Decision and Control and European Control Conference, 2011, pp. 2738-2743. Y. Bharadwaja, S.M. Vaitheeswaran, and C.M. Ananda, “Obstacle avoidance for unmanned air vehicles using monocular-SLAM with chain-based path planning in GPS denied environments,” Journal of Aerospace System Engineering, Vol. 14, No.2, pp. 1-11, 2020. Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition,” in Proceedings of the IEEE, Vol. 86, No. 11, pp. 2278-2324, Nov. 1998. A. Krizhevsky, I. Sutskever, and G. Hinton, “Imagenet classification with deep convolutional neural networks,” In Advances in Neural Information Processing Systems 25, pp. 1106-1114, 2012. C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, “Going deeper with convolutions,” arXiv:1409.4842 [cs.CV], 2014. K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” arXiv:1512.03385 [cs.CV], 2015. R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” arXiv:1311.2524 [cs.CV], 2013. 共 25 頁 第 24 頁 [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] 表 CM03 S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” arXiv:1506.01497 [cs.CV], 2015. J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: unified, real-time object detection,” arXiv:1506.02640 [cs.CV], 2015. J. Redmon, and A. Farhadi, “YOLO9000: Better, Faster, Stronger,” arXiv:1612.08242 [cs.CV], 2016. J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,” arXiv:1804.02767 [cs.CV], 2018. A. Paszke, A. Chaurasia, S. Kim, and E. Culurciello, “A deep neural network architecture for real-time semantic segmentation,” arXiv:1606.02147 [cs.CV], 2016. M. Treml, J. Arjona-Medina, T. Unterthiner, R. Durgesh, F. Friedmann, P. Schuberth, A. Mayr, M. Heusel, M. Hofmarcher, M. Widrich, B. Nessler, and S. Hochreiter, “Speeding up semantic segmentation for autonomous driving,”in Proceedings of the 29th Conference on Neural Information Processing Systems (NIPS), 2016, pp. 1-7. V. Badrinarayanan, A. Kendall, and R. Cipolla, “SegNet: A deep convolutional encoderdecoder architecture for image segmentation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 12, pp. 2481-2495, 2017. X. Li, Z. Liu, P. Luo, C. C. Loy, and X. Tang, “Not all pixels are equal: difficulty-aware semantic segmentation via deep layer cascade,” in Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6459-6468. Z. Wu, C. Shen, A. v. d. Hengel, “Real-time semantic image segmentation via spatial sparsity,” arXiv:1712.00213 [cs.CV], 2017. H. Zhao, X. Qi, X. Shen, J. Shi, and J. Jia, “ICNet for real-time semantic segmentation on high-resolution images,” arXiv:1704.08545 [cs.CV], 2017. C. Yu, J. Wang, C. Peng, C. Gao, G. Yu, and N. Sang, “BiSeNet: Bilateral segmentation network for real-time semantic segmentation,” arXiv:1808.00897v1 [cs.CV], 2018. https://steemit.com/dtube/@ronny.rest/44b78ivb E. Romera, L. M. Bergasa, and R. Arroyo, “Can we unify monocular detectors for autonomous driving by using the pixel-wise semantic segmentation of CNNs,” arXiv:1607.00971 [cs.CV], 2016. https://opencv.org/ M. Gomes et al., “Mapping utility poles in aerial orthoimages using ATSS deep learning method,” Sensors, Vol. 20, No. 21, pp. 1-14, 2020. A. Bochkovskiy, C. Y. Wang, and H. Y. M. Liao, “YOLOv4: Optimal speed and accuracy of object detection,” arXiv:2004.10934 [cs.CV], 2020. https://www.taiwannews.com.tw/en/news/3957400 Anolytics, How to do semantic segmentation using deep learning. From: https://mediu m.com/anolytics/how-to-do-semantic-segmentation-using-deep-learning-a09bd6582b66 https://tw.appledaily.com/headline/20130722/GNQQZIMWKR4PUY7MCTXQAJRJJI/ R. Balsys, Train YOLO v3 to detect custom objects (car license plate). From: https:/ /medium.com/analytics-vidhya/train-yolo-v3-to-detect-custom-objects-car-license-plate-428 ffa4d7aa6 A. Khazri, Automatic lcense pate dtection & rcognition using deep learning. From: https://towardsdatascience.com/automatic-license-plate-detection-recognition-using-deep-le arning-624def07eaaf Q. Nguyen, Detect and Recognize Vehicle’s License Plate with Machine Learning and Python - Part 1: Detection License Plate with Wpod-Net. From: https://medium.com/ @quangnhatnguyenle/detect-and-recognize-vehicles-license-plate-with-machine-learning-an d-python-part-1-detection-795fda47e922 共 25 頁 第 25 頁