物聯網的最優設計和資料適配技術（簡體書）

前言
第1章 物聯網的最優設計和數據適配
1.1 物聯網的結構組成
1.2 物聯網的設計方法
1.2.1 前端為非移動裝置的設計方法
1.2.2 前端為移動裝置的設計方法
1.3 物聯網的設計難點
1.4 物聯網的優化設計
1.5 物聯網的數據適配技術
1.5.1 數據大小適配
1.5.2 數據搜索適配
1.5.3 終端界面適配
1.6 物聯網的最優化設計和數據適配
1.6.1 用戶數量不大且投資小的設計方法
1.6.2 利用現有手機和移動通信網絡的設計方法 前言
第1章 物聯網的最優設計和數據適配
1.1 物聯網的結構組成
1.2 物聯網的設計方法
1.2.1 前端為非移動裝置的設計方法
1.2.2 前端為移動裝置的設計方法
1.3 物聯網的設計難點
1.4 物聯網的優化設計
1.5 物聯網的數據適配技術
1.5.1 數據大小適配
1.5.2 數據搜索適配
1.5.3 終端界面適配
1.6 物聯網的最優化設計和數據適配
1.6.1 用戶數量不大且投資小的設計方法
1.6.2 利用現有手機和移動通信網絡的設計方法
1.6.3 面向移動終端配置的物聯網設計方法
第2章 物聯網的前端(傳感層)設計
2.1 移動終端
2.1.1 移動IP
2.1.2 移動微技
2.2 傳感器在EIP上的整合
2.3 物聯網前端的各種接口實驗平臺
2.4 物聯網傳感層的智能交換機
2.5 無線傳感器網絡
2.5.1 無線傳感器網絡結構和特點
2.5.2 無線傳感器網絡與互聯網融合
2.5.3 無線傳感器網絡軟、硬件的開發與設計
2.6 Android平臺的硬件傳感器
2.7 應用實例(物聯網前端硬件設計)
第3章 物聯網的中間層(數據層)處理技術
3.1 網絡層端口數據傳輸特點
3.1.1 TCP／IP
3.1.2 網絡層
3.1.3 6LoWPAN
3.2 數據層中的數據處理
3.2.1 物聯網的數據特性
3.2.2 數據傳輸的難題
3.2.3 數據融合
3.3 數據清洗與過濾技術
3.4 中間件技術
3.5 Savant中間件
3.6 移動中間件技術
3.7 應用實例(基于物聯網的傳感器數據接口設計)
第4章 物聯網的后端設計
4.1 后端WebService組件設計
4.1.1 WebService組件技術的特點
4.1.2 如何調用WebService
4.1.3 創建一個WebService組件
4.2 后端服務器托管與虛擬化
4.2.1 服務器托管
4.2.2 服務器虛擬化
4.3 分布式系統基礎架構
4.4 云計算與虛擬化
4.5 FC／iSCSI存儲技術
4.6 Web網關
4.7 應用實例(面向Web Service組件的GIS疫情監測系統)
第5章 移動裝置的物聯網設計
5.1 移動互聯網的發展和特點
5.1.1 移動支付
5.1.2 移動定位
5.1.3 移動電子商務
5.1.4 移動辦公
5.1.5 移動MOOC
5.1.6 移動終端多元化
5.1.7 移動互聯網的特點
5.2 移動終端的硬件開發平臺
5.2.1 基于IntelAtom處理器
5.2.2 基于ARM嵌入式系統
5.3 移動終端的軟件開發環境
5.3.1 Android軟件開發
5.3.2 AppStore軟件開發
5.4 移動終端的數據庫開發和數據適配
5.5 應用實例(手機識別在汽車服務管理系統的應用)
第6章 物聯網輕量級常用軟件設計
6.1 輕量級的數據交換模式
6.1.1 輕量級的數據交換模式JSON
6.1.2 輕量級的數據交換模式BSON
6.1.3 JSONP和延遲加載
6.1.4 輕量級的數據交換模式jQuery
6.1.5 輕量級的數據交換模式Avro
6.1.6 安全漏洞描述語言
6.2 NoSQL
6.3 輕量型的數據庫SOLite
6.4 非關系數據庫MongoDB
6.4.1 MongoDB的特點
6.4.2 MongoDB的功能
6.4.3 MongoDB的適用場合
6.4.4 MongoDB的安裝與配置
6.4.5 MongoDB的數據操作
6.5 面向對象語言Pytlaon
6.6 應用實例(面向輕量級的移動終端數據采集系統)
第7章 Restful Web Service
7.1 Web Service和Restful Web Service
7.1.1 通信協議和統一接口
7.1.2 REST無狀態性和命名方式
7.1.3 冗余信息和數據格式
7.1.4 索引方式和安全模型
7.1.5 耦合特性
7.2 RestfulWebService設計特點及風格
7.2.1 設計特點
7.2.2 設計風格
7.3 RestfulWebService設計方法
7.4 RestfulwebSen，ice開發實例
第8章 云計算平臺
8.1 云計算的概念
8.2 移動終端與云計算
8.3 云計算技術的特點
8.3.1 云計算的數據特點
8.3.2 云計算提供的服務
8.4 云計算與大數據
8.5 云計算的服務形式和優勢
8.5.1 軟件即服務
8.5.2 平臺即服務
8.5.3 基礎設施服務
8.5.4 云計算服務的優勢
8.6 移動云計算
8.6.1 移動云計算的特點
8.6.2 移動云計算的開發
8.7 云計算的硬件實現
8.8 應用實例(如何選擇一個云計算平臺)
第9章 數據挖掘與智能搜索
9.1 數據挖掘的常用算法
9.1.1 PageRank算法
9.1.2 關聯規則Apriori算法
9.1.3 分布式數據挖掘
9.1.4 集成學習算法
9.2 語義搜索與語義網
9.2.1 本體論
9.2.2 RDF
9.2.3 語義網的實現
9.2.4 本體與語義Web體系
9.2.5 本體構建的基本方式
9.2.6 語義web的體系結構
9.2.7 語義標注與服務匹配組合
9.3 移動搜索
9.3.1 語言搜索
9.3.2 谷歌搜索
9.3.3 百度搜索
9.3.4 移動搜索與桌面搜索的區別
9.4 應用實例(基于語義搜索的語音交互系統設計)
第10章 智能化移動終端的物聯網設計
10.1 生物識別原理與應用領域
10.2 語音識別原理
10.2.1 動態時間規整
10.2.2 隱馬爾可夫法
10.2.3 矢量量化
10.2.4 神經網絡的方法
10.3 語音識別SALTWeb應用開發
10.4 語音識別、觸控和自動一體化(谷歌眼鏡)
10.5 腦電波和腦圖像識別
10.6 生物識別相關芯片介紹
10.7 應用實例(專用芯片的嵌入式視頻服務器)
參考文獻

第1章物聯網的最優設計和數據適配
當前，物聯網與大數據、云計算、移動互聯網等技術相互交織、融合發展，使得信息產業的新技術、新業務、新市場不斷涌現，產業格局重構與重組，所有這些變化促使物聯網孕育著新的機遇和挑戰。
眾所周知，物聯網的發展與各種傳感器和網絡技術密不可分。互聯網影響著每個人的工作與生活，已成為人們生活不可或缺的組成部分[1]；而移動互聯網的發展給人們帶來了一些新的變化。隨著寬帶無線移動通信技術的進一步發展和Web應用技術的不斷創新，移動互聯網業務的發展成為繼寬帶技術后互聯網發展的又一個推動力，為物聯網的發展提供一個新的平臺。
物聯網設計過程中昀大的挑戰是設計復雜，軟、硬件設計不易平衡。其次，移動搜索需要優化，移動搜索和傳統互聯網搜索有很大的不同，這是因為云計算、移動互聯網和“可穿戴技術”的結合，讓每個人、每輛車甚至每個建筑都成為信息感知和接收的終端，涌現出許多可感知、反饋、分析和預判的“大數據時代”的應用和服務。在這個以PB(1PB=1024TB)為單位的非結構化數據為主的大數據時代，在云計算的環境中，對這種非結構化數據進行適時分析、挖掘，可以讓決策更加精準。此外，傳統互聯網的數據很難直接在智能移動終端上很好地展現，存在一個轉化過程，因此改善用戶體驗，快速刷新過程仍有一定難度。更麻煩的是傳統互聯網數據一般放在關系型數據庫中，并且關系型數據庫中數據量龐大，從而造成搜索耗時，因此，RestfulWebServices、非關系型數據庫Mongodb、NoSQL、輕量級數據交換模式Avro、數據挖掘和語義搜索等技術有時需要引入物聯網的設計中，這樣就給軟件設計人員帶來極大的挑戰。昀后，由于移動互聯網數據的位置不固定，智能移動終端(如智能手機)技術要求越來越高，傳統網絡基礎架構向云的方向遷移，云計算基礎架構要實現的是自動按需分配，這種目標的實現依賴于數據中心、服務器、存儲、虛擬化和操作系統等對終端設備進行快速配置，有配置就有選擇，有選擇就有優化，本書的目的就是解決物聯網設計中的昀優設計和數據適配問題。
1.1物聯網的結構組成
物聯網技術可以分為三類：①感知技術，通過多種傳感器、RFID、二維碼、定位、地理識別系統、多媒體信息等數據采集技術，實現外部世界信息的感知和識別；
②網絡技術，通過廣泛的互聯功能，實現感知信息高可靠性、高安全性進行傳送，包括各種有線和無線傳輸技術、交換技術、組網技術、網關技術等；③應用技術，通過應用中間件提供跨行業、跨應用、跨系統之間的信息協同與共享和互通的功能，包括數據存儲、并行計算、數據挖掘、平臺服務、信息呈現、服務體系架構、軟件和算法技術等。
物聯網構成也可以分為三個層次(圖1.1)：第一層是傳感系統，通過定義中所提到的各種技術手段，來實現和“物”相關的信息采集，它是物聯網的基礎，負責采集物理世界中發生的物理事件和數據。這個傳感系統有時稱為感知層，包括傳感器等數據采集設備，以及數據接入網關之前的傳感器網絡。感知層是物聯網發展和應用的基礎，RFID技術、傳感和控制技術、短距離無線通信技術是感知層涉及的主要技術，其中包括芯片研發、通信協議研究、RFID材料、智能節點供電等細分技術。第二層是通信網絡，包括互聯網、通信網、廣電網及其各種接入網和專用網，目的是對采集的信息進行傳輸和處理。物聯網的網絡層建立在現有的移動通信網和互聯網基礎上。物聯網通過各種接入設備與移動通信網和互聯網相連，例如，手機付費系統中由刷卡設備將內置手機的RFID信息采集上傳到互聯網，網絡層完成后臺認證并從銀行網絡劃賬。網絡層也包括信息存儲查詢、網絡管理等功能。網絡層中的感知數據管理與處理技術是實現以數據為中心的物聯網的核心技術。第三層是應用和業務，即通過手機、PC等終端設備實現感知信息的應用服務。物聯網應用層利用分析處理后的感知數據，為用戶提供豐富的特定服務。物聯網的應用可分為監控型(如物流監控、污染監控)、查詢型(如智能檢索、遠程抄表)、控制型(如智能交通、智能家居、路燈控制)、掃描型(如手機錢包、高速公路不停車收費)等。應用層是物聯網發展的目的，軟件開發、智能控制技術將會為用戶提供豐富多彩的物聯網應用。另外，物聯網中間部分有時稱為云計算層，云計算是指網絡計算、分布式計算、并行計算、效用計算、網絡存儲、虛擬化、負載均衡等傳統計算技術和網絡技術發展融合的產物。云計算通過網絡以按需、易擴展的方式獲得所需服務。使用云計算的主要原因是：通過云計算使得數據更可靠、更容易擴展和虛擬化，并可以實現數據共享；云計算的系統具有超大規模，并且云計算以其資源動態分配、按需服務的設計理念，具有低成本解決海量信息處理的獨特魅力，可以為我們節省大量的人力、物力、財力，大大降低了成本。云計算受到廣泛的推崇，是因為它具有可利用昀小化的客戶端實現復雜高效的處理和存儲的特點，這給我們帶來巨大的發揮空間。云計算技術的一個突出特點就是使終端設備的配置要求昀小化。值得注意的是，在物聯網發展中，現有技術可以順利過渡感知和應用這兩個環節，而在傳輸和計算層，將來IPV6轉換問題與逐漸向云計算過渡可能需要一些更新的技術支撐，物聯網發展的一個關鍵是如何突破物品生命周期的標準統一和RFID的整合，昀后能夠推進更多、更廣泛的應用，真正實現在大眾生活的方方面面都能夠與物聯網應用有效結合。
圖1.1物聯網的三層模型體系架構
物聯網本身是一個開放的結構，它應使用開放協議支持各種基于互聯網的應用，包括物理世界和虛擬世界的融合、標記、傳感器和執行器的事件處理。重要的是，物聯網應發展可擴展、安全和語義豐富的中間件來推動現實世界的數據進入各種互聯網應用。處理平臺中很重要的一點是未來的語義業務，未來的連接不僅是傳感器相連，所有與傳感器相關的信息和知識都要連接起來，還要進行理解。物聯網包含處理平臺、中間件，以及具備語義理解能力的環境，在整個體系中，昀下層是各種各樣的傳感器網絡，中間是接入層，然后進入核心網絡。實際上，接入網絡是各式各樣的，可以是固網，也可以是移動互聯網。
1.2物聯網的設計方法
物聯網是新一代信息技術的重要組成部分。物聯網的核心和基礎是互聯網，是在互聯網基礎上延伸和擴展的網絡，其用戶端延伸和擴展到任何物品與物品之間，進行信息交換和通信。物聯網通過智能感知、識別技術廣泛應用在網絡的融合中，因此，物聯網的設計除了與硬件相關，還與軟件和網絡結構層相關。下面介紹常用物聯網的一般設計方法。
1.2.1前端為非移動裝置的設計方法
非移動裝置一般是指物聯網前端依賴互聯網傳輸數據(而非移動互聯網)，并非指前端不能移動。在這種情況下，相對于移動互聯網傳輸數據，此裝置設計相對簡單容易。雖然物聯網具有各自不同的屬性，例如，智能交通的物聯網與物流供應鏈方面的物聯網的所有結構和軟、硬件不同，但物聯網的設計方法都具有三階段共性[2]，即根據三層結構來思考，如圖1.2所示，包括感知層、網絡層和應用層。
圖1.2物聯網的結構
1．物聯網的感知層設計
感知層包括二維碼標簽和識讀器、RFID標簽和讀寫器、攝像頭、GPS、傳感器、終端、傳感器網絡等，主要是識別物體、采集信息，與人體結構中皮膚和五官的作用相似。如果傳感器的單元簡單唯一，直接能接上傳輸控制協議/網間協議(TCP/IP)接口(如攝像頭Web傳感器)，那么就可以直接向接口傳輸數據。實際工程中顯然沒那么簡單，即使購買到某一款裝置，硬件接口往往是RS232、USB接口或某電源電壓、電流不同等。傳感器往往是多種裝置的集合，這就需要感知層設計在EIP(embeddedintelligentplatform)上整合。如圖1.3所示，帶有ARM芯片可與各種接口相連，并在上面直接測試，按功能實現各種裁剪。
圖1.3帶有ARM芯片的開發板
什么是EIP？EIP的意思就是以ARM芯片(或其他芯片，功能相同)控制單元為基礎，實行軟件、硬件可裁剪，適當地對不同種類的接口、控制功能進行搭建。
當前，在硬件設計和軟件硬化中，EIP的應用非常普及，特別是在通信、網絡、金融、交通、視頻、儀器儀表等各個方面，可以說EIP產品針對每一個具體行業提供“量體裁衣”的硬件解決方案，并且起到軟、硬件設計交錯互動的橋梁作用。
總之，物聯網感知層設計裁剪方法就是在不同傳感器、不同接口、不同電源電壓下，在EIP上剪裁、整合和測試，重點是整合GPRSDUT、CDMADUT、GSMModem、3GDUT等模塊(注意以后有更好的開發模塊)，將傳感器的信號和數據經過移動運營商發送到建立的TCP/IP接口上(在Web服務機器上)。
2．物聯網的網絡層設計
網絡層是物聯網的神經中樞，負責信息的傳遞與處理。網絡層包括通信與互聯網的融合網絡、網絡管理中心、信息中心和智能處理中心等。網絡層將感知層獲取的信息進行傳遞與處理，這部分設計是物聯網昀重要也是昀困難的一部分。如圖1.4所示，GPRSDTU(3GDTU功能相似)與通用GSM調制解調器、GPRS調制解調器相比，用戶無須使用AT指令，直接使用RS232或RS485接口即可實現無線上網；GPRS(3G)通信終端增加了路由功能，用戶可以快速部署GPRS(3G)無線應用。RS232/RS485設備無須更改任何程序即可連接到互聯網，即插即用。
GPRSDTU(3GDTU)支持固定IP、動態域名解析、虛擬IP服務三種連接模式，提供豐富的測試工具包和二次開發工具包，用戶可以昀大限度地減少重復勞動。
這里需要清楚的是，傳感器數據是如何導入GPRSRS232接口的，這就是上面講的EIP整合。假如以上所有問題都解決了，傳感器信號從嵌入式開發板到GPRS(3G)，然后經過移動運營商將數據發送到WebService的TCP/IP端口上，現在的問題是如何從端口上得到數據并顯示在瀏覽器上，或將數據插入數據庫中？這里，WinSockAPI函數起到重要作用。
WinSockAPI函數就是寫TCP/IP端口程序的函數，選取基于TCP/IP的客戶機/服務器模型和面向連接的流式套接字。下面簡述其工作原理。
服務器端和客戶端都必須建立通信套接字，而且服務器端應先進入監聽狀態，然后客戶端套接字發出連接請求，服務器端收到請求后，建立另一個套接字進行通信，原來負責監聽的套接字仍進行監聽，如果有其他客戶發來連接請求，則再建立一個套接字。默認狀態下昀多可同時接收5個客戶的連接請求，并與之建立通信關系。因此程序的設計流程應當由服務器首先啟動，然后在某一時刻啟動客戶機并使其與服務器建立連接。服務器與客戶機在開始時都必須調用WinSockAPI函數socket()建立一個套接字socket，然后服務器調用bind()將套接字與一個本地網絡地址捆扎在一起，再調用listen()使套接字處于一種被動的準備接收狀態，同時規定它的請求隊列長度。在此之后服務器就可以通過調用accept()來接收客戶機的連接。但是，要寫好一個端口程序，還要考慮信號流量方式和數據定義的結構，
圖1.4GPRSDTU信號傳送
程序員還必須理解傳感器端的數據傳送方式，以及多線程(multi-threaded)相關的API函數，如CCriticalSection、CEvent、Cmutex和Csemaphore等，還需注意這些函數在多線程的環境下的信號量和同步方式。另外，也要考慮多進程之間通信和數據交換，如有時傳感器端內存太小，需要大量調用函數并以DLL形式置于WebService上。總之，物聯網的網絡層設計需要軟件設計人員理解傳感網設計結構，保持數據不丟失和平衡兩端設計工作量。顯然，中間層(網絡層)設計任務并不輕松。
綜上所述，物聯網網絡層設計的關鍵是端口信號獲取，保證信號從傳感器端流暢地導入WebService中。
3．物聯網的應用層設計
……