無人機(jī)在自主飛行過程中,無人機(jī)控制端APP可對無人機(jī)拍攝的實(shí)時(shí)視頻流進(jìn)行實(shí)時(shí)AI識別,匹配可見光、熱紅外、多光譜多種傳感器??蓱?yīng)用于智慧城市、環(huán)保監(jiān)測、消防預(yù)警、安防監(jiān)控、工廠巡檢、交通監(jiān)測、風(fēng)葉巡檢、基站巡檢、光伏巡檢、國土調(diào)查、靶機(jī)管理、反無人機(jī)雷達(dá)校準(zhǔn)等行業(yè)應(yīng)用場景。
例如,在城市違建應(yīng)用場景下,可以對紅色,藍(lán)色彩鋼瓦,在建違建建筑進(jìn)行AI識別。如果無人機(jī)飛行過程中識別到違建建筑,則可以使用拍照和錄像功能,采集含有違建建筑的航拍數(shù)據(jù)。拍攝的照片和視頻則保存到手機(jī)APP端的文件管理器中,可以按需上傳至云服務(wù)端,供云端二次識別及統(tǒng)計(jì)分析使用。
在環(huán)保河長制應(yīng)用場景下,搭載可見光相機(jī)負(fù)載時(shí),如果無人機(jī)飛行過程中識別到水位超過預(yù)警線及河道存在漂浮物,則自動(dòng)預(yù)警上報(bào)給云服務(wù)端。相應(yīng)地,自動(dòng)預(yù)警時(shí)觸發(fā)自動(dòng)拍攝的預(yù)警前后5秒的照片和視頻則保存到手機(jī)APP端的文件管理器中,可以上傳至云服務(wù)端,供云端二次識別及統(tǒng)計(jì)分析使用。
另外,還可同時(shí)搭載多光譜相機(jī),針對可見光相機(jī)無法準(zhǔn)確表征水質(zhì)特征的缺點(diǎn),基于遙感技術(shù)監(jiān)測河道水質(zhì)光譜信息,實(shí)現(xiàn)對污染區(qū)域的快速識別。
在智慧農(nóng)業(yè)應(yīng)用場景下,可根據(jù)農(nóng)業(yè)作業(yè)需求不同,掛載可見光相機(jī)+多光譜相機(jī)。利用無人機(jī)低空飛行的特點(diǎn),獲取地面農(nóng)作物的高分辨率圖像及光譜數(shù)據(jù),將采集到的影像數(shù)據(jù)上傳到云端平臺上進(jìn)行AI分析,輔助農(nóng)田信息數(shù)據(jù)庫及專家診斷系統(tǒng),提供以下三種農(nóng)業(yè)服務(wù):1、作物長勢預(yù)測和施肥計(jì)算;2、病蟲害狀況診斷與預(yù)測;3、 作物種類識別和數(shù)量計(jì)算,自動(dòng)化科學(xué)診斷,實(shí)時(shí)獲取作物長勢、病蟲害、作物種類數(shù)量等多維度監(jiān)測信息,為精準(zhǔn)、智能化的農(nóng)業(yè)管理提供決策依據(jù),大大提高了農(nóng)業(yè)植保作業(yè)的效率,降低了人工作業(yè)的工作量及人力成本。
在光伏巡檢應(yīng)用場景下,可掛載可見光+熱紅外相機(jī), 根據(jù)事先規(guī)劃的航線,在指定區(qū)域內(nèi)自動(dòng)飛行,通過熱紅外相機(jī)自動(dòng)識別溫度異常區(qū)域,可見光相機(jī)拍照取證,巡檢光伏面板,進(jìn)行全覆蓋無遺漏掃描拍攝,檢測并發(fā)現(xiàn)面板各類故障和污跡、遮擋,分析故障原因,提出消缺整改方案,出具檢測報(bào)告。支持多次巡檢數(shù)據(jù)對比分析;巡檢報(bào)告包含每個(gè)故障點(diǎn)的參考位置信息、故障類型、熱紅外/可見光原始拍攝照片,拍攝時(shí)間等,可作為外場檢修的依據(jù)。
具體功能模塊如下:
APP端采集的航拍數(shù)據(jù)上傳到云服務(wù)端后,云端對含有目標(biāo)(如違建建筑等)的航拍數(shù)據(jù)進(jìn)行自動(dòng)分析,飛完即可出具飛行區(qū)域的違建巡檢報(bào)告。巡檢報(bào)告可統(tǒng)計(jì)每次無人機(jī)飛行的航線名稱、無人機(jī)飛控序列號、航線類型、飛行高度、航向重疊率、旁向重疊率、主航向角度、規(guī)劃時(shí)間以及無人機(jī)的起飛降落時(shí)間、起飛地點(diǎn)、飛行時(shí)長等,并通過航拍對比分析,將多次飛行在相同區(qū)域中AI識別的目標(biāo)進(jìn)行比對。
1)、對比上一次飛行,區(qū)域中目標(biāo)數(shù)量減少多少(已處理多少目標(biāo))
2)、對比上一次飛行,區(qū)域中目標(biāo)數(shù)量增加多少(新增多少目標(biāo))
3)、對比上一次飛行,區(qū)域中目標(biāo)數(shù)量未增加(未處理目標(biāo))
AI目標(biāo)識別模型是由前期無人機(jī)采集的100-200張目標(biāo)照片,進(jìn)行人工標(biāo)注,由AI云系統(tǒng)進(jìn)行訓(xùn)練得到。如果出現(xiàn)識別錯(cuò)誤的情況,可以繼續(xù)增加無人機(jī)采集照片標(biāo)注用于訓(xùn)練樣本,在多次訓(xùn)練后,識別精度會(huì)大大提高和完善,目前可達(dá)到90%以上識別精度。
相對于傳統(tǒng)的歷史照片比對方法,實(shí)現(xiàn)的識別精度更高,且不受時(shí)間限制。如針對違建建筑,傳統(tǒng)的是采用兩期影像比對的方法,即將現(xiàn)在無人機(jī)拍攝的照片和歷史照片(如一個(gè)月前拍攝的)進(jìn)行圖像幀差比對,找出兩幅同一地點(diǎn)拍的照片之間的差別。這種方法存在如下缺點(diǎn):1.需要?dú)v史照片,若沒有,則該方法不可用,在時(shí)間上受限制。2.準(zhǔn)確度較低,一般在50-60%。由于是找圖像差別的地方,通俗比喻,若某家在屋頂晾曬了一大片衣服,而對應(yīng)的歷史照片里并沒有,則該一大片衣服也會(huì)被識別為違建。
本系統(tǒng)采用AI目標(biāo)識別的方法來替代傳統(tǒng)的影像比對方法,雖然前期需要采集100-200張違建照片進(jìn)行訓(xùn)練,但是沒有需要?dú)v史照片的限制,隨時(shí)可以使用,且識別準(zhǔn)確度較高,可以達(dá)到90%甚至更高。且訓(xùn)練成的AI違建識別模型可以復(fù)用,不需要像傳統(tǒng)影像比對那樣,需要不停地去采集數(shù)據(jù),比對數(shù)據(jù),可以復(fù)用于具備相同違建特征的不同城市中,比如都有藍(lán)色或紅色彩鋼瓦搭建的違建工棚等,大大節(jié)約人力成本。
另外,目前傳統(tǒng)的影像比對方法大部分是基于單機(jī)軟件平臺,只能將無人機(jī)sd卡里航拍照片拷貝到電腦上使用,操作步驟繁瑣,且容易數(shù)據(jù)混亂丟失。單機(jī)軟件方式采用授權(quán)碼方式提供給客戶使用,注冊使用不便于多用戶管理。并且,云平臺相比單機(jī)軟件方式,具有可快速定制化開發(fā),易于對接政府、企業(yè)現(xiàn)有信息管理平臺數(shù)據(jù)等優(yōu)勢。
基于空中無人機(jī)AI三維巡檢系統(tǒng),輔助地面端AI監(jiān)控系統(tǒng),通過多傳感器(可見光、熱紅外、負(fù)載IOT傳感器等)融合,通過地物AI目標(biāo)識別(違建屋頂、垃圾堆、河道漂浮物、排污口、車輛、行人等),熱紅外監(jiān)測(排污口、煙火,行人等),空中污染氣體監(jiān)測、空中水質(zhì)光譜監(jiān)測等第三方IOT負(fù)載技術(shù)賦能,無人機(jī)可以從自動(dòng)機(jī)場起飛,實(shí)現(xiàn)無人值守全自主巡檢,飛完即自動(dòng)生成巡檢報(bào)告,返航機(jī)庫。最終以三維無人機(jī)實(shí)景模型構(gòu)建“3D GIS一張圖”大屏可視化空地一體立體綜合管理平臺,可直觀高效地管理城市的人、地、事務(wù)、組織等情況,直觀地展示空地一體化數(shù)據(jù),從而賦能智慧城市智能化、無人化、精細(xì)化、立體化管理,,以“空中天眼”實(shí)時(shí)保障城市運(yùn)行安全,以新質(zhì)生產(chǎn)力賦能低空經(jīng)濟(jì)。特色功能如下:
1. 云端無人機(jī)設(shè)備、地圖相冊、視頻管理。
2. 云端多路視頻直播。
3. 云端實(shí)時(shí)三維飛行軌跡監(jiān)控、高精度傾斜攝影模型建模、Web GIS定制分析。
4. 無人機(jī)控制端APP實(shí)現(xiàn)區(qū)域內(nèi)全自主飛行、實(shí)時(shí)視頻流AI識別、自動(dòng)化采集數(shù)據(jù)、AI芯片加速。
5. 云端二次AI識別,自動(dòng)管理分析數(shù)據(jù),自動(dòng)出具巡檢報(bào)告。
6. 云端跨平臺多瀏覽器支持、電腦端、大屏幕端、手機(jī)端無縫兼容。
7. 云端IOT接入、匹配無人機(jī)PSDK/OSDK負(fù)載硬件。
8. 端云一體、兼容大疆全系列機(jī)型。
9. 多數(shù)據(jù)源接口:可見光、熱紅外、多光譜、雷達(dá)、自動(dòng)機(jī)場。
10. 三維GIS“一圖式”大屏可視化系統(tǒng),可將整個(gè)云平臺的云端設(shè)備管理模塊、云端圖片AI識別分析模塊、云端視頻直播模塊、云端2D飛行軌跡模塊、云端3D飛行軌跡模塊、云端視頻管理模塊、云端信息管理模塊的數(shù)據(jù)在大屏幕上一體化顯示,并提供開放數(shù)據(jù)接口無縫對接其他WEB管理平臺,如智慧城管地面信息系統(tǒng)。
11. 平臺支持基于三維激光點(diǎn)云或?qū)嵕叭S模型對橋梁、電塔、通信塔、建筑、礦山、港口工地塔吊、廠房等立面目標(biāo)進(jìn)行三維航線規(guī)劃,生成三維航線和航拍點(diǎn),由無人機(jī)從自動(dòng)機(jī)場遠(yuǎn)程自主起飛執(zhí)行巡檢作業(yè)。平臺可對多條三維航線進(jìn)行管理及查詢,包括航線名稱,創(chuàng)建時(shí)間,修改時(shí)間,飛行速度等,還可對三維航線進(jìn)行可視化模擬飛行預(yù)覽。
12. 平臺已實(shí)現(xiàn)從三維實(shí)景或點(diǎn)云模型外部導(dǎo)入或快速建模>工單任務(wù)>三維航線規(guī)劃>無人機(jī)接受任務(wù)工單自主巡檢拍照上傳自動(dòng)>映射三維地圖拍照點(diǎn)>照片AI識別及人工輔助>自動(dòng)化出具巡檢報(bào)告的整個(gè)巡檢數(shù)據(jù)流的閉環(huán)運(yùn)轉(zhuǎn)。
13. 平臺可提供管理者“無人機(jī)低空巡查助手”微信小程序,配套無人機(jī)AI三維巡檢云平臺,對無人機(jī)低空飛行巡檢識別到的各類信息進(jìn)行地圖相冊式數(shù)據(jù)統(tǒng)計(jì)和報(bào)告展示,方便管理者實(shí)時(shí)掌握整個(gè)動(dòng)態(tài)巡查數(shù)據(jù),統(tǒng)籌頂層決策。
14. 平臺支持多類型應(yīng)用場景,包括針對廣域目標(biāo)監(jiān)測的室外應(yīng)用場景(如城管、社區(qū)、園區(qū)、河湖、農(nóng)田等),針對立面精細(xì)目標(biāo)檢測的室內(nèi)外應(yīng)用場景(風(fēng)機(jī)、電塔、通信塔、工業(yè)塔、客機(jī)、地下礦等)等。
具體功能模塊如下:
包括多臺無人機(jī)的產(chǎn)品序列號,飛控序列號,民航局民用無人機(jī)登記號,設(shè)備名稱,品牌,型號,無人機(jī)類型,注冊時(shí)間等的管理及查詢。
將采集的航拍圖片(AI識別結(jié)果圖)按照拍攝地點(diǎn)在地圖上分布式顯示。
將采集的航拍圖片集中管理,包括圖片預(yù)覽、查詢、復(fù)制鏈接、下載原圖(含批量下載)、下載AI識別結(jié)果圖(含批量下載)、刪除、圖片位置、清除AI識別緩存、AI識別、AI分析統(tǒng)計(jì)等功能。具備定制化的AI目標(biāo)識別功能,可以自動(dòng)標(biāo)注目標(biāo),進(jìn)行統(tǒng)計(jì)分析。點(diǎn)擊模塊下內(nèi)置的AI識別按鈕后,可以顯示AI識別結(jié)果圖,且可以顯示每一個(gè)識別結(jié)果的種類及置信度(AI識別判斷結(jié)果的參考概率),并可手動(dòng)刪除識別錯(cuò)誤的結(jié)果。
將采集的航拍視頻集中管理,包括滑動(dòng)快速預(yù)覽,播放,下載等功能。
將無人機(jī)飛行過程中云臺相機(jī)的視頻流實(shí)時(shí)在云端同步播放。
可實(shí)時(shí)監(jiān)控多臺無人機(jī)的實(shí)時(shí)2D飛行軌跡,地圖包括衛(wèi)星圖層、路網(wǎng)圖層、交通圖層。且每一次起降飛行記錄可以在飛行歷史中保存,包括飛控序列號、起始時(shí)間、結(jié)束時(shí)間、飛行時(shí)長、2D飛行軌跡等記錄。
可實(shí)時(shí)監(jiān)控多臺無人機(jī)的實(shí)時(shí)3D飛行軌跡,功能包括衛(wèi)星底圖、多種三維飛行視角(跟蹤視角、上方視角、側(cè)方視角)等。且每一次起降飛行記錄可以在飛行歷史中保存,包括飛控序列號、起始時(shí)間、結(jié)束時(shí)間、飛行時(shí)長、3D飛行軌跡記錄、傾斜攝影模型加載等功能。
用于加載無人機(jī)傾斜攝影模型,格式可以為3d titles,osgb(需轉(zhuǎn)換)等。
測量功能包含長度量算,面積量算。可以按需定制淹沒分析,日照分析,視頻墻等功能。
除上述圖片管理模塊、地圖相冊模塊的功能外,增加定制化的AI目標(biāo)識別功能,可以自動(dòng)標(biāo)注目標(biāo),進(jìn)行統(tǒng)計(jì)分析。
主要用在無人機(jī)取水檢測裝置,空氣檢測采集裝置等第三方負(fù)載硬件方面,遠(yuǎn)程控制裝置及收發(fā)裝置傳感器數(shù)據(jù)。用于匹配無人機(jī)負(fù)載硬件,可將硬件多項(xiàng)傳感器數(shù)據(jù)上傳云端,并做數(shù)據(jù)統(tǒng)計(jì)分析。
可統(tǒng)計(jì)每次無人機(jī)飛行的航線名稱、無人機(jī)飛控序列號、航線類型、飛行高度、航向重疊率、旁向重疊率、主航向角度、規(guī)劃時(shí)間以及無人機(jī)的起飛降落時(shí)間、起飛地點(diǎn)、飛行時(shí)長等,并通過航拍對比分析,將本次飛行和上一次飛行在相同非重疊區(qū)域中心點(diǎn)上拍攝照片(無人機(jī)攝像頭垂直向下,拍攝的正射影像)中AI識別的目標(biāo)進(jìn)行比對。對比每一個(gè)非重疊區(qū)域中心點(diǎn)位置上不同次重復(fù)飛行中目標(biāo)AI識別結(jié)果,判斷方式如下: (1)、對比上一次飛行,每一個(gè)非重疊區(qū)域中目標(biāo)數(shù)量減少多少(已處理多少目標(biāo))(2)、對比上一次飛行,每一個(gè)非重疊區(qū)域中目標(biāo)數(shù)量增加多少(新增多少目標(biāo))(3)、對比上一次飛行,每一個(gè)非重疊區(qū)域中目標(biāo)數(shù)量未增加(未處理目標(biāo))
以報(bào)表及圖表形式統(tǒng)計(jì)AI識別的目標(biāo)數(shù)量、狀態(tài)、查處時(shí)間,支持按照時(shí)間、狀態(tài)篩選報(bào)表信息。
“一圖式”大屏可視化系統(tǒng),可將整個(gè)云平臺的云端設(shè)備管理模塊、云端圖片AI識別分析模塊(含圖片管理模塊、地圖相冊模塊)、云端視頻直播模塊、云端2D飛行軌跡模塊、云端3D飛行軌跡模塊、云端視頻管理模塊、云端信息管理模塊的數(shù)據(jù)在大屏幕上一體化顯示,并提供開放數(shù)據(jù)接口無縫對接其他WEB管理平臺。
反無人機(jī)相控陣?yán)走_(dá)接入無人機(jī)云平臺,無人機(jī)實(shí)時(shí)飛行軌跡和雷達(dá)實(shí)時(shí)監(jiān)測軌跡可在2D/3D地圖中對比顯示,并保存為歷史記錄查看。同時(shí),可在數(shù)據(jù)庫中分析對比兩者軌跡,優(yōu)化反無人機(jī)相控陣?yán)走_(dá)的監(jiān)測精度。兩者有機(jī)結(jié)合,構(gòu)成一套大型安保綜合指揮控制系統(tǒng),監(jiān)測已方安保無人機(jī)的同時(shí),可防范未知入侵無人機(jī)。
可實(shí)現(xiàn)WEB端遠(yuǎn)程規(guī)劃AI航線,遠(yuǎn)程控制無人機(jī),完成無人機(jī)無人值守全自主AI巡檢。
適配自動(dòng)機(jī)場,在后臺及大屏端同時(shí)展示自動(dòng)機(jī)場第一視角視頻流、無人機(jī)云臺相機(jī)視頻流和自動(dòng)機(jī)場工作狀態(tài)參數(shù)。
"自動(dòng)機(jī)場+無人機(jī)"三維AI APP端可調(diào)用云端規(guī)劃航線,遠(yuǎn)程控制無人機(jī)從自動(dòng)機(jī)場起飛,執(zhí)行巡檢任務(wù),完成后自動(dòng)返航。可根據(jù)客戶定制化需求,選擇內(nèi)嵌集成實(shí)時(shí)視頻流AI識別模塊,區(qū)域內(nèi)自主飛行航線模塊,PSDK第三方負(fù)載模塊(氣體傳感器、光譜相機(jī)、頻譜偵測設(shè)備、喊話器、探照燈等),三維模型模塊(電塔、基站塔、廣播塔、高層建筑等),精準(zhǔn)三維巡檢航線模塊等,以滿足不同行業(yè)應(yīng)用的精準(zhǔn)化需求。
"自動(dòng)機(jī)場+無人機(jī)"三維AI巡檢系統(tǒng)APP端可調(diào)用可調(diào)用云端規(guī)劃航線,遠(yuǎn)程控制無人機(jī)從自動(dòng)機(jī)場起飛,執(zhí)行巡檢任務(wù),完成后自動(dòng)返航。可根據(jù)客戶定制化需求,選擇內(nèi)嵌集成實(shí)時(shí)視頻流AI識別模塊,區(qū)域內(nèi)自主飛行航線模塊,PSDK第三方負(fù)載模塊(氣體傳感器、光譜相機(jī)、頻譜偵測設(shè)備、喊話器、探照燈等),三維模型模塊(電塔、基站塔、廣播塔、高層建筑等),精準(zhǔn)三維巡檢航線模塊等,以滿足不同行業(yè)應(yīng)用的精準(zhǔn)化需求。