智慧城市的多源数据融合之道2021

智慧城市的多源数据融合之道 吴梦荷、李栋 北京清华同衡规划设计研究院技术创新中心 大纲Contents 01.智慧城市 ·为什么需要智慧城市 ·智慧城市需要什么 02.数据融合 ·什么是数据融合 ·融合什么数据 ·为什么要进行数据融合 ·数据融合的意义 0.3案例分享一三城故事 FME作为多源数据融合分析的工具 ·依托FME的分析功能我们发现了什么 CoanDPg 1200120.00% 1000 9R3 mendeTngi- BtiaRoat 80.00%otot- ComgtEathiang 600 -kgretetFeall 547Mictinto-atietomricinSeriont 60.00%Pesehslo -IF sintagxdttogHw:piuA MentvotsSeny 400 314 40.00% HraijmtteOntmiTtentio Cot 22 3tBopig -Erape3tPitirg BonercAnencalxMecs Cartatoptg 007 20.00% 31- 0.00%S hawtin Tiggr Peakdl HitdTngholPinael ilnawwt Epicrikn 38中文文献（累积%）英文文献（累积%）+中文文献+美文文献Futeauwilberechedin fine ts:ee Oiesshan2yeans02u5yeas5ut0yeansreeta10ysasbehirtpirsx 区 智慧城市 SMARTCITIES 数据融合 DATAFUSION 什么是数据融合？ 融合什么数据？ 为什么要进行数据融合？数据融合的意义？ →数据融合不是简单地将一个企业或组织的所有数据集中在一起； ◆数据融合的目的不是为了得到唯一的“真相”； ●数据融合是将多种数据源、多种结构、多种内容、多种粒度的数据清洗、抽取 整合成一个可基于某种规则相互关联的、可分析的数据集。 融合数据集具有重组、更新的灵活性 统计数据结构化人口行政边界 多互联网半结构化设施 粒坐标 源 物联网 异构内容度 非结构化奥情栅格 ++++++++++++ 融合数据的意义在于： 数据源多种多样，但每一种我们都难 以获得全样本； 城市由相互关联的要素组成，每一类 数据都无法代表城市的全貌； 发现城市要素多维关系： 弥补单一要素在精细度、覆盖度方面 的不足； 进行相互校验、佐证结论观点： 催化激活数据价值 微博数据POI数据房价数据 来源：互联网 非结构化数据（文本）；经纬度坐标 来源：互联网来源：互联网 结构化数据；经纬度坐标结构化数据；经纬度坐标 为单元进行分析。 ◆北京：204个地块★上海：276个地块◆深圳：237个地块 ◆POL点✁集聚程度 ·POI数据按类型分类到地块 空间关系关联地块内POI数据 ◆计算地块内POI核密度 ◆微博数据日期分类到地块 ◆按空间关系将正/负情绪值关联到地块 计算地块内正/负情绪合计值 ●房价数据按月份分类到地块 ●按空间关系将房价值关联到地块 ●计算房价波动值 fisipig mslile SEAT3SEVCA-EMRIV.LTDEEPOEEPOTEar·EWardh2MT E+EtYerBaesTgfarasMinkylocte imiptet5xDr.xtinx EFelgen[EOCAT. twt arais VESerefr. Herogaalesei [8HeiopaPae ConfigureAMapPoiDownload.im PuslishedParameter 8BadenWir Ke Q,MakianSrnt3 1 被市 数据库存储抓取✁POI信息。由于数据量太大会导致内存溢 出，利月FMEServer✁调度功能实现POI✁分批、持续获取 +汁+新to（D+同榴板+POI+upt+KeeDensty 台到车中共享新建文件卖 文意夫ANTAF D名厅j DKTah aBtstp Catpi 大学山 C大学dx 口老铁站pi atsp公安车站pi吴建泉房di 美f 美术榨 C健身男dx 美术馆:he Cpi GYEDI 口国书信内 C体育isx 山 C店do aERdbfpi医院d DERaC我行pi 中网话幼具 中学:h POI数据按照分类扇输出为多个文件。 :JSONFragmenter E rio xiexlax rtones(0 lielnten] ESnmly hutl feik Bhenontqe. BREV itroipfer fifwiben laging ast filakinWir. rafirlixx JsonFlattener将对象✁键和对应值提取到FME要素属性中JsonFraqmenter提取部分Json格式化文本到新✁FME要素中 =WULTI-SQLTE3D:月街增权房出挂➓房价:Im)-FMEWardbench2017.0国 dw.gatcr5xS:XlhinX 民京小区信息/上海小区信息人 Efangiharghi27.. -jFarglia[SQUTE3] Transiormers7 Beckrmarks @UserParamelers(22) QPulisthedParameters(3) GPintPanmeters2 >FMEServerParanetersI. WerkspsceResaurces [WarkspaceParmeters [8Name.rotsets o [Pasward:notseb [8Descipion >Tansdion Loging RedeliterRedred foSstiping QMoksoeSeard furipir5PutNs×brulleigX BdnikurenJEO r3 loiFihn +量Lierhanmeas fAbihedPan Hiait.erdtr"lant RESme Cmlni tinlole Ees Pherkrit-Mton2 (@WaropraFns tin : [athulanetkdeet +(eWrepiFean.tatr rulaa aNenecodtst βPewodqro. bhud Tesfnelettrdefdls heeiytatoatia,sw Liraplidr Hilerht SrtrsrCaiyfnctiatsosiftr Qonfnde 0eSrij: FrinMir chinlve/rs vadn ItsFatnrotar)t(st): lvvrirlte51 I.fnntprhta,Et NM nta 1,1lesd leckgxaPen Litrilke FME中✁pythoncaller转换器可以引用已安装✁工具包 Ssiyogematon SerDoctSaityBatreakEutisiedbagties(sigatl) scipy.stats.gaussian_kde Previcustapkc cJaraig.stats.gassimde(itet,lg,ethkkn)[axrx] Neattoplkc 3gnstinfkcai-kw:tyetirateuzirgfazrinhratls Eneldeityatiatit1yteacetrpdoalitydeeityfertisE)dfrim 7ribbsi1ti,gamm,bevoebeboauirintsdniti-iteitsIt inebaesartnzti:ketit3teairt:at,Tlettiadtixnwcsbetfor1manalstnxtin. Xiats,urxlti-wkltis.nikctinaterd:ebeomeaxcthad Furaten:dtaot:wre,isr Duputststiaxsftm.Ir.czniturimricttatathiritaI-9zre, herun1uyittg3eftin,Iedero. huethad:st,salerrcblalkogtirs 'silwnn',alxrae.rtztcl'alleIfcalur,hiswillbeuad finetlyig.fe,falla't,ttcuitaeaintita xlypreetrsdten.tsnlar.IKne(etsdt,'sat’iswndSeSts forstedrtails. Scipy模块✁高斯核密度估计函数gausian,kde及其参数说明 统计转换器 8xgtxMX AYECHSRR Slaldeg ht hael MESneh fiwiakea. - Neret) enet tirrnienHaat lateWir felikr Lan Haia heir-In earbiz8x Patie Pointonarea转换器✁_overlaps参数统计落在面内✁点总数。 Statiticscalculator转换器可以作总数、平均数、和值等统计算。 等统计 tirlamin(R EMliledismts eien G/Mierhntk ENUmedion tearos lunki fiughe Sisiig 14 F(eglis++@t Misdaiimintinganfimioaia FFEHO Rletipethnatini laaetie igtalrlalEine ·情绪分析 帮助与文档 PR2S 帮助与文档 分8命名体识别API 1.楼口送mestt 1D8(ne1 JREEA 85:eipbat3t 1061etnt 8RRE:F91MET 2.验入步他 smg RCTE3(REMBR) )1::10P:1::0 1数 ·使用HtpCaller发送Web请求 HiPcalePaaneters ttink TrisonirInm:Oalle ortPl:ttrtrti.lepainFktioe HFaLer )QturyStrisFuraetEs Datpet >Bedkers SanbuipesedTe:atuthna Basee3ttrikt:nye iasyreEisbyExotixg:(lstskete:tfra3IFJeadas(stertetert) Tentleendar2 >SmnBeip(9ExdTnFiltPejertetdPatst >keiy8)EandesirdSates Fllestptix: linkcthestictix [ER) FME使月HttpCaller可以发送基于htto协议✁请求（包括GETPOST、PUT、DELETE等），从而完成对腾讯云API✁调用 ●上海公交站点数量更多 ★深圳教育类、公共服务类设施较充足，但高等教育、医疗类设施结构性偏少 120 中学体育馆健身 100公交车站医院商场 80图书馆地铁站大学 小学幼儿园美术馆 60 药店超市银行餐厅 40 20 共16类POI点 地5 馆馆 站 —北京—上海—深圳 空间分布上呈现数量和密度 ✁差异化结构设施密度能反映城市✁空间和功能结构。 POI总量(个) 0·315 ·北京设施集中 315-787✁区域主要在 7872110 12104859东边国贸一带， 以及西北四环 中关村一带。 上海设施密度 高✁区域集中 O·20 100-255 =25-500 #50-96 在中心城区， 深圳设施集中 ✁区域呈带状分布，有罗湖和宝安两个集 中点。 公共服务设 施 小季品施点连馆 分布比较广 0·5 .5·2泛，但深圳 2·4 14·5 医施 0·6 ✁小学和医院✁分布范围相对较小， 主要也集中 在罗湖和宝 16·38 18·36安 交通设施 类—公 交车服务 0·3 13-6 范围远大 6·12 12-30于地铁， 空间均衡 性更好 0·1 1·3 9-0 6·12 生活服务类商业类——空 间倾向性较为 0-3 3-6 E·11