分片
- 一種基于分片的斷點續傳方法的實現
，提出了一種基于分片的文件斷點續傳方法，對需上傳的文件按照一定的規則進行分片，并結合多線程，提高上傳效率，同時采用斷點續傳的方式，解決上傳失敗后要全部重新上傳的問題。1 常用的文件上傳方法文件上傳的方式一般分為簡單文件上傳和文件斷點續傳兩種[6]。簡單文件上傳是指用戶通過客戶端（如瀏覽器）將文件傳輸到服務器進行保存，在傳輸過程中，服務器不保存文件上傳的狀態，如果傳輸過程中出現任何問題造成文件傳輸中止，文件需要重新傳輸。文件斷點續傳是指在使用文件斷點續傳服務
電子設計工程 2023年23期2023-12-09
- 針對區塊鏈狀態分片合謀攻擊的改進方案
,開發者們提出了分片[6]、DAG[7]、狀態通道[8-9]、側鏈[10]等多種擴容方案。對比各種擴容方案,分片是最有希望能夠實現高性能而不降低去中心化程度的擴容方案。分片包括網絡分片、交易分片和狀態分片[11]。其中網絡分片在網絡層將所有節點劃分到了不同的分片中[12]。交易分片將全網交易劃分到不同的分片中驗證和打包,全網多個分片可以同時打包和驗證不同的交易,并行處理,從而提升全網的整體性能。狀態分片將完整的賬本信息分別存儲到各個分片當中,各個節點不再存
計算機應用與軟件 2023年9期2023-10-09
- 面向工業互聯網的區塊鏈分層分片研究
聯網場景［7］。分片技術是提升區塊鏈吞吐量最直接有效的手段［8］。將分片技術應用于區塊鏈就是將原始的區塊鏈網絡拆分為若干小規模的區塊鏈網絡，每個網絡都由原始網絡中的一部分節點構成，稱為分片。在整個網絡中的交易會被分配到不同分片進行并行處理，因此能夠近似線性地提升區塊鏈的吞吐量［9］。文獻［10］提出一種基于公有鏈的分片方案ELASTICO。在ELASTICO 的每個共識周期中，參與者都需要計算出工作量證明（Proof of Work，PoW）答案，該答案用
計算機工程 2023年3期2023-03-16
- MinIO分片大小對文件上傳性能的影響
當前主要采用文件分片技術在服務器端對分片文件進行合并[5-6]，MinIO原生就是支持文件分片。文中利用MinIO支持文件分片的特性，采用不同分片大小對文件上傳在響應時間、并發數目和持續時間上進行性能實驗，找到當前集群部署環境下適合的分片大小。1 MinIO簡介MinIO 是一個基于Apache License v2.0 開源協議的對象存儲服務，它兼容亞馬遜S3 云存儲服務接口。MinIO 對象存儲系統是為 海量數據存儲、人工智能、大數據分析而設計，它適合
計算機時代 2023年1期2023-01-30
- 狀態分片中交易過載處理的節點競選方案
包括側鏈[4]、分片技術[5]、DAG（directed acyclic graph）技術等[6]。分片是目前最有效的實現高性能而不降低去中心化程度的區塊鏈擴容方案。分片的思想是“分而治之”，在區塊鏈系統中，分片是指將事務和存儲劃分為不同的分組，每個分組并行處理交易，從而提升區塊鏈的性能[7]。分片包括網絡分片、交易分片、狀態分片等，其中狀態分片難度最大，狀態分片在網絡分片和交易分片的基礎上，不僅將交易處理并行化，且因每個分片只存儲與本分片交易相關的狀態信
計算機工程與應用 2022年22期2022-11-20
- 結合深度強化學習的區塊鏈分片系統性能優化
為有效的方式是將分片技術應用到區塊鏈中，并對區塊鏈體系結構進行重新設計。因此，近年來學術界不斷探索在改進的體系結構中利用分片技術的優化控制方法提高區塊鏈吞吐量。目前對于提高區塊鏈吞吐量的主要方法分為靜態優化方法與動態優化方法。靜態優化方法是指區塊鏈采用分片技術時，使用的分片策略一直固定不變。采用靜態優化方法的研究有文獻[2-5]。以上研究對于區塊鏈的分片選擇均是靜態策略，這不符合動態的區塊鏈環境。因此，有研究提出動態優化方法，將分片技術與深度強化學習（de
計算機工程與應用 2022年19期2022-10-18
- 基于MongoDB 分片集群的海量數據存儲設計
。MongoDB分片復制集群，將數據分散到不同的MongoDB 節點，具有負載均衡、故障切換和故障恢復等特點，適合存儲衛星影像等海量小文件數據，能夠提供更大的讀寫吞吐量。2 MongoDB分片復制集群MongoDB 高可用集群有主從復制（Master-Slaver）、副本集（Replica Set）和分片（Sharding）模式三種部署模式。如表1 所示。表1：分片、副本集集群對比主從復制（Master-Slaver）模式不推薦使用，主節點宕機不能自動恢復
電子技術與軟件工程 2022年7期2022-07-11
- 利用狀態歸約處理跨分片交易的多輪驗證方案①
擴容技術主要包括分片方案[5]、DAG[6]、擴塊[7,8]、側鏈技術[9]、狀態通道[10]等. 其中分片方案是目前擴容技術中最為可行的方案, 它利用“分而治之”的思想, 將區塊鏈的存儲和負載分散到并行分片上. 目前分片分為網絡分片、交易分片和狀態分片, 網絡分片是將全網節點劃分到不同分片中, 是交易分片和狀態分片的基礎[11]; 交易分片是將全網交易劃分到不同的分片中進行驗證和打包, 全網多個分片通過并行對交易進行驗證和打包可以在一定程度上提升公鏈的性
計算機系統應用 2022年5期2022-06-27
- 聯合分布算法對區塊鏈分片的穩定性分析優化研究
塊鏈網絡可以通過分片實現吞吐量的提高，但分片會降低區塊鏈的穩定性，因此需要在分片前針對各個委員會失敗概率進行預評估，得到具有較高穩定性的分片方案[1-6].Hafid等提出的使用Hoeffding邊界算法分析區塊鏈協議的穩定性，計算單個委員會的失敗概率并乘以委員會數量得到分片失敗概率的精確邊界，適用于二項分布和超幾何分布的隨機變量[7].Zamani等提出了一種RapidChain方案，其中的穩定性分析算法使用超幾何分布對分片節點進行建模采樣，能準確地計算
四川大學學報（自然科學版） 2022年3期2022-06-17
- 區塊鏈分片技術綜述
將數據庫中擴容的分片方式［2-4］與區塊鏈技術相結合，自此之后，關于區塊鏈分片技術的研究一直層出不窮，不少學者從分布式賬本、共識機制、分片方式等方面針對分片技術進行了大量研究。區塊鏈主要包括網絡分片、交易分片、狀態分片3 種分片方式，其中，網絡分片是基礎，狀態分片是瓶頸。網絡分片通過一定的組織方式將整個網絡分成不同分片，各個分片并行處理整個區塊鏈中的部分交易，各部分交易完全不同，從而同時完成多筆交易驗證。交易分片使得各個網絡分片對交易具有更強的處理能力，其
計算機工程 2022年6期2022-06-16
- 物聯網區塊鏈中基于演化博弈的分片算法
提出。其中，網絡分片被認為是解決區塊鏈可擴展性問題及提升區塊鏈性能最主要的技術之一[7-10]。分片通過將整個區塊鏈網絡拆分為多個子網絡，每個子網絡由一個不同的節點集合進行維護，交易在不同的子網絡內并行處理。由于每個區塊鏈節點不必處理系統中所有的交易，因此極大地提升了網絡的交易處理性能。盡管如此，現有的區塊鏈分片算法仍存在一些挑戰[8]。首先，網絡分片大小是需要考慮的問題，當網絡分片數目較多，即每個分片內節點較少時，會導致共識的安全性問題。相反，當網絡分片
電子科技大學學報 2022年3期2022-05-28
- 網絡數據自適應組包傳輸方法
干較小的部分進行分片傳輸，對網絡通信各傳輸節點的承載能力以及整個傳輸鏈路的可靠性和適應性提出了嚴峻挑戰。針對IP分片現象，介紹了超長數據包網絡傳輸過程中會存在的問題，提出了基于網絡數據包的自適應組包方法，并通過案例進行了測試分析，證明了該方法的可行性。關鍵詞：網絡；分片；自適應中圖分類號：TP393文獻標志碼：A文章編號：1008-1739（2022）04-62-40引言網絡協議的主要作用是在網絡上的設備之間傳輸和傳遞數據，為了完成任務，數據經常被封裝成特
計算機與網絡 2022年4期2022-04-04
- 面向工程數據檢索的ElasticSearch索引優化策略
S索引建立、索引分片以及索引段合并方面來對ES進行改進的策略?；诖?，本文首先在索引創建時對ES的分詞器進行修改并配置自定義詞典，其次提出基于集群節點性能與索引數據量大小的索引分片策略，最后根據節點性能來選擇合適的段合并時機，通過以上優化來提升ES的性能。1 技術基礎本文提出的相關策略是對ES的索引創建、索引分片以及索引段合并方面進行改進，因此先對ES進行一個簡單的介紹。ES是基于Lucene構建的分布式全文智能檢索引擎，具有近實時、高性能、分布式和零配置
計算機與現代化 2022年2期2022-03-10
- 基于分區型區塊鏈醫療電子病歷共享方案
量與可擴展性，將分片（Sharding）技術引入區塊鏈系統進行水平擴容（也稱為橫向擴展，Scale-Out），使其在保證網絡去中心化和安全性的情況下可有 效提高性能，如 Elastico［5］、RapidChain［6］、Omniledger［7］、Monoxide［8］、ZILLIQA［9］等系統就引入了分片技術，由分片技術緩解了單鏈結構下數據存儲與節點共識的壓力，并利用分片間的并行特性增大吞吐量，可擴展性也得到了一定程度的提升，但應用到醫療數據共享場景
計算機應用 2022年1期2022-02-26
- 降低跨分片交易回滾概率的多輪驗證方案
擴容技術主要包括分片方案[6]、DAG[7]、擴塊[8-9]、側鏈技術[10]、狀態通道[11]等。其中分片方案是目前擴容方案中最具可行性的方案，受到廣大學者和社區人員的關注和重視。區塊鏈分片的核心思想是將區塊鏈網絡節點劃分為若干個集合，每個集合獨立運行共識協議，對交易進行共識驗證，并且每個集合可以并行地處理不同的交易集合甚至只存儲部分網絡狀態，從而達到提高交易吞吐量的效果。分片技術雖然可以提升區塊鏈系統的性能，但同時也帶來了新的挑戰。分片后網絡中必然存在
計算機工程與應用 2022年2期2022-01-25
- 基于區塊鏈的中醫電子病歷高效查詢方法研究
g 等［6］通過分片技術提高了區塊鏈數據交易性能；劉懿中等［7］從共識機制方面對區塊鏈進行了詳細研究；方維維等［8］對PBFT 共識算法進行優化，提高了區塊鏈的可擴展性。區塊鏈技術在中醫藥領域的應用主要集中在中醫電子病歷方面。湯穎［9］分析了區塊鏈技術在電子病歷中的應用；肖勇等［10］指出中醫信息化建設中存在的問題，并提出建設性意見。在安全性方面，牛淑芬等［11］提出基于聚合密鑰的密文檢索方案，提高了中醫電子病歷的安全性；侯姝言等［12］將可追蹤性安全機制
軟件導刊 2021年12期2022-01-07
- 網絡分片技術在艦船網絡中的應用
范穎 胡士毅網絡分片是5G時代的一個非常重要的特征,通過對同一物理網絡進行切片劃分,能夠更好地不同業務對網絡SLA的不同服務質量要求,同時可以更好更快速的提供新型業務的部署能力。本文介紹了IP承載網的網絡分片基本概念、目標、切片技術及其方案,重點探討切片技術在艦船網絡中應用,并提出部署建議。1 網絡分片概念與目標3GPP組織對網絡分片的定義如下:在一個物理網絡中,將相關的業務功能、網絡資源組織在一起,形成一個完整、自治、獨立運維的邏輯網絡,滿足特定的用戶和
數字技術與應用 2021年10期2021-11-21
- 提升分片規模和有效性的多輪PBFT驗證方案
擴容方案主要包括分片技術[5]、DAG[6]結構、代理共識協議、增大區塊[7]等。Layer2擴容方案主要包括側鏈[8]、狀態通道[9-10]等。區塊鏈分片的概念最早是在文獻[5]中提出，本質是一種將計算和存儲分散到對等網絡的分區方式，每個節點只維護與其分片相關的信息。分片方案通過切割網絡中的節點和交易，以實現每秒處理數千筆交易的區塊鏈網絡。POW 類共識算法屬于概率性算法，采用最長鏈競爭原則[11]，不適合分片內；POS 類共識算法的邏輯是從整體上假定少
計算機工程與應用 2020年24期2020-12-26
- CDN存量MP4視頻播放優化方法
如把MP4切成小分片，每個小分片有一個MP4BOX，或直接使用DASH等MP4分片新格式。對于CDN已經存儲的海量MP4文件而言，對其進行重編碼和重新注入是一件極為費時費力的工作。本文提出了一種CDN存量MP4視頻播放優化方法，并在實際應用取得了較好的效果。2 CDN虛擬分片方案為優化CDN MP4存量內容的播放速度，可在現有MP4文件的基本上為其增加相應索引，如圖1所示。圖1 CDN對MP4文件虛擬分片的交互架構CDN掃描存量的MP4文件，并成生一個外部
廣東通信技術 2020年10期2020-10-26
- 基于SDN的分片網絡資源編排系統設計
0）為解決傳統的分片網絡資源編排系統無法將網絡控制面與網絡數據面分離的問題，利用SDN技術對分片網絡資源編排系統進行優化。SDN指的就是軟件定義網絡，在2006年由美國斯坦福大學CLean State課題研究組提出。SDN可以作為新型網絡創新架構，能夠利用OpenFlow核心技術將網絡虛擬化。分片網絡資源編排在本質上來講是將網絡設備的網絡控制面與網絡數據面分離，形成分片網絡資源，進而實現網絡資源的靈活編排。分片網絡資源編排系統能夠使網絡以管道的形式變得更加
數字通信世界 2020年9期2020-10-09
- 一種面向公有鏈的輕量級可擴展技術
和可擴展.目前，分片技術被廣泛視為一種能夠解決區塊鏈三角難題的有效方法，通過將交易和狀態進行分割，使得不同的分片能夠并行處理不相關的交易，線性提升系統的處理能力.然而，為了避免惡意節點集中到某個特定分片發起攻擊，需要周期性地將分片節點進行重組.由于分片節點只存儲了當前分片的數據，當被劃分到其他分片后，需要下載新分片的數據，這個過程被稱為狀態遷移.狀態遷移需要下載大量數據，不僅中斷了系統的處理，同時也限制了分片切換的頻率.針對節點存儲資源占用高的問題，研究人
計算機研究與發展 2020年7期2020-07-18
- 5G+區塊鏈網絡分片技術
5G+區塊鏈網絡分片建模，仿真對比了保證分片網絡可信和保證全網可信的兩種網絡分片方案的性能差異，分析了單點受控概率、分片可信度、分片數量、全網可信度等參數對分片規模、網絡規模的影響，給出了在滿足一定可信度條件下，區塊鏈網絡分片的最優規模，并提出一定網絡規模下，區塊鏈網絡從保證分片網絡可信向保證全網可信方案演進再向更大規模分片網絡可信方案演進的路線?！娟P鍵詞】 5G;區塊鏈;擴容;網絡分片doi：10.3969/j.issn.1006-1010.2020.0
移動通信 2020年4期2020-05-07
- MongoDB負載均衡算法優化研究
ngoDB的自動分片原理，提出一種改進的基于節點實時負載的負載均衡算法[3]，以有效解決其自身算法存在的部分問題。1 MongoDB的自動分片1.1 MongoDB簡介MongoDB是10gen公司使用C++編寫開發的基于分布式文件存儲的開源NoSQL數據庫系統，由于其性能高效、功能豐富，在生產中得到了廣泛應用。MongoDB除了具有NoSQL 數據庫的相關特性外，還具有自動分片、集群擴展、單點故障自動恢復、復雜查詢等優點，非常符合存儲海量的半結構化或非結
計算機技術與發展 2020年3期2020-04-09
- 散亂數據擬合的自適應分片逆尺度空間算法
種帶有刪除機制的分片逆尺度空間算法，核心是將分片稀疏性引入到ISS算法中。在稀疏恢復問題上，相較于ISS算法，該算法能夠更好地保護信號的小尺度非零元素，在應用于散亂數據擬合問題中得到了較好的擬合效果。分片稀疏性是一類描述向量中非零元素散亂分布現象的稀疏性。DONOHO和HUO[24]針對片稀疏信號對應觀測矩陣具有的分塊結構，引入分塊矩陣互相干(mutual coherence)條件，可將分塊正交矩陣的精確恢復信號的稀疏度理論上界推廣到一般分塊矩陣之中, 改
圖學學報 2020年1期2020-03-19
- 區塊鏈節點存儲優化方案
獻[13]提出的分片方案在減少區塊存儲和提高新節點加入區塊鏈效率方面都有明顯的優勢.該方案根據惡意節點概率計算分片區塊數量，利用區塊鏈中節點總數計算得到分片保存的副本數量.然而，這種方法存在以下2 個問題：1）將每個分片中編號最小區塊被惡意節點攻擊的概率設置為分片概率，使得分片中較新區塊存在安全問題，因為相比于同一個分片中編號最小的區塊，分片中編號較大的區塊只有存儲更多的分片副本才能保證安全；2）將最少副本數量設定為某個定值也存在安全問題，因為少數分片副本
應用科學學報 2020年1期2020-01-17
- 飛機蒙皮機器人化制造曲面分片算法研究
加工方式采用手動分片，在規劃加工軌跡的過程中便已完成各功能區域劃分[4]，或是根據機械臂可達范圍對模型進行分片處理[2-3]。文獻[5-7]在規劃軌跡前對工件三角網格模型進行分片處理，對每一個分片區域分別進行軌跡規劃，實現分操作的自動運行，拓展了機器人自動化加工的涵蓋范圍，但從實現角度來看依然存有一些問題：（1）分片結果不能保證任意兩三角面片間法向矢量偏角或近似曲率小于設定閾值，而這正是保證加工質量的關鍵所在；（2）分片結果面積小數量多，極為瑣碎，不利于加
民用飛機設計與研究 2019年3期2019-11-04
- 結式在分片代數曲線的研究
張靜【摘要】分片代數曲線為二元樣條函數的零點集合，下面主要利用MATLAB程序，探討結式定理在分片代數曲線中的研究，并通過具體實例證明結式定理在求分片代數曲線的Bezout數的過程中存在著缺陷.在計算幾何以及數學分析中，利用多元樣條函數對給定散亂數據進行插值是一個重要的課題[1]，在多元樣條函數的插值的過程中，如何選取適當的插值結點組是一個關鍵的問題，因為并不是對任意給定的插值結點組，多元樣條插值的存在都是唯一的，王仁宏、Oleg Davydov等學者
數學學習與研究 2019年17期2019-10-18
- 移動通信基站天線的設計與研究
數管理;數據庫;分片;備份與恢復引言近幾年，移動互聯網蓬勃發展，導致通信產業結構持續發生變化，傳統語音和短信業務收入也隨之下降。其主要原因是業務市場飽和以及來自新的市場進入者的競爭，尤其是OTT業務（COver The Top，基于開放互聯網的各種視頻及數據服務業務）對語音、短信業務的沖擊。此外，隨著更多智能終端的使用，可供用戶選擇的新業務、應用數目增長，催生了數據流量消耗的增加。這要求未來的天線具有更高的頻帶利用率和頻譜效率。一、基站天線對通信、雷達、導
科學導報·學術 2019年17期2019-09-10
- Spark框架中RDD緩存替換策略優化
典的算法沒有考慮分片的計算成本問題[6].現有的研究大多數基于此類算法改進,其中部分改進算法諸如GreedyDual[7]、GD-Wheel[8]均考慮了訪問歷史和計算成本,但在一個作業中待處理任務的執行邏輯在Spark中是已知的,對訪問RDD歷史次數進行優化的緩存策略效果不明顯.類似的研究還有不考慮RDD的訪問歷史次數的LCS[9]算法,以及考慮計算成本次數加權的WR[10]算法.本文針對內存占用率與RDD替換時的權重,考慮了分片的歷史訪問次數和計算成本
小型微型計算機系統 2019年6期2019-06-06
- 基于MongoDB的數據分片與分配策略研究?
和完全索引、自動分片、支持故障恢復、支持各種語言驅動程序，自動處理碎片等功能［7～9］，能夠適應現代Web應用飛速增長的海量數據，并且在分布式架構下可以達到很好的性能［10］，是目前最有影響力的NoSQL數據庫之一。然而在分布式的系統架構下，如何將數據進行分片和分配［11～12］是必須要考慮的，因為兩者策略的選擇會直接影響到整個系統的擴展性以及負載均衡性能［13］。因此本文選擇MongoDB數據庫，通過剖析其工作機制以及自動分片的實現算法，提出了分片鍵選擇
計算機與數字工程 2019年4期2019-05-07
- SpaceWire-D的調度表生成方法
短幀(本文稱之為分片)處理，當Fij只占用1個時間槽時則無需分片，因此下文按兩種情況討論順序約束。3.2.1 不分片的情況當幀Fij在調度表中只出現一次時，顯然其起始位置應不小于0，結束位置應不大于N，即:當幀Fij在調度表中多次出現時，其多個周期偏移值滿足下式所示的約束條件:3.2.2 分片的情況(1)對分片先后順序的約束Fij的各個分片具有固定的先后順序關系，若Fij在調度表中只出現1次，則可表示為如下的約束:式中:(βij)s+1為幀Fij第s+1個
中國空間科學技術 2019年1期2019-04-04
- 基于模糊二分查找的幀分片算法設計與實現
對上層數據幀進行分片處理，并在接收端對分片進行聚合處理，恢復原先的上層數據幀[2]。對數據幀進行分片處理需要耗費處理時間，如何設計一種性能優越的幀分片處理算法，對減小協議開銷，提高數據吞吐量，降低系統實現難度具有重要意義。本文設計了一種高效的幀分片算法，并基于C語言對其進行了實現。1 幀分片算法1.1 算法簡介下層數據幀最典型的為物理層幀，常見物理層數據幀的有效載荷長度具有以下兩個特點：1)最大有效載荷長度會根據下層某些動態變化的發送參數(例如調制編碼方式
火控雷達技術 2018年4期2019-01-15
- 以分段分片驗收為基礎的新型項目過程管理
我公司創立了分段分片驗收程序。通過分段分片驗收,在支付進度款上有依據,在項目整體的管理上進行聯動,每到一步就有人會要求驗收,使項目有機成為一體,在后續中間交接時減少三查四定項,減少后期尾項整改的風險。1 “分段分片驗收”產生的背景1.1 工程建設項目周期短，管理要求高隨著全球經濟持續增長,各類工程項目日益復雜,建設規模日益龐大,項目外部環境變化頻繁,政府和企業對項目工期、質量、環境、安全以及經濟目標的要求越來越高,傳統的工程項目管理,如業主通過組建一個臨時
石油化工建設 2018年5期2018-03-21
- 基于DASH標準的視頻自適應傳輸方案
、不同碼率的視頻分片和相應的MPD索引文件，客戶端根據當前網絡狀況等因素向服務器請求相應碼率的視頻分片進行播放。圖1[5]形象展示了DASH的基本原理。圖1 DASH的基本原理當播放視頻內容時，DASH客戶端通過獲取并解析MPD文件，向服務器請求合適碼率的視頻分片。通過適當的緩沖，客戶端在適應了網絡帶寬變化后，并同時監測網絡帶寬的波動，根據其測量結果，繼續獲取后面的視頻分片，以保持緩沖區有足夠的緩沖內容。MPD文件格式和視頻分片Segment是DASH技術
計算機工程與設計 2018年3期2018-03-19
- 《六州歌頭》分片、用韻考論
《六州歌頭》的分片存在歧異：通常被視爲上片結句的三言短韻，在劉潛、李冠二人詞中卻是下片開頭。劉、李二人詞雖有相混，分片卻一致，又是現存最早的此調作品。宋初鼓吹曲《六州》不是大曲，類似換頭重複的曲子，詞調《六州歌頭》的音樂與之相同。以《六州》可證較早的《六州歌頭》的三言短韻在下片開頭處。通過對三言短韻特點的分析，上下片首尾位置的統計，創作手法的分析等，可知三言短韻在早期作品中爲下片換頭，後來則多爲上片結句。此調在北宋錯葉、通葉押韻，在南宋則多押平韻。押韻不
詞學 2018年2期2018-03-05
- 基于分片一致性哈希負載均衡策略與應用
00000)基于分片一致性哈希負載均衡策略與應用蘇躍明1,2，李 晨2，田麗華2(1.西安交通大學 軟件學院，陜西 西安 710000；2.百度(中國)有限公司，北京 100000)采用一致性哈希進行數據分區和負載均衡的分布式鍵值存儲系統具有高可擴展性的特點，但一致性哈希中哈希函數靜態負載均衡的特性不能滿足日益多樣化的應用場景需求。為了適應以上需求，從一致性哈希策略出發，結合動態負載均衡技術，設計了一種基于一致性哈希的動態負載均衡策略。該策略使用與物理節點
計算機技術與發展 2017年11期2017-11-20
- NAPT技術對數據包分片的處理實驗
含標示符的數據包分片如何處理？在H3 Cloud Lab模擬器上進行仿真實驗，對數據包進行分片，探究NAPT對分片的處理過程。實驗發現地址轉換設備記錄并保存了數據包首片的標示符信息，以便對后續分片（不合標示符）的處理。關鍵詞：網絡端口地址轉換；分片；傳輸層；路由；MTU1概述局域網內的IP地址大多為私有地址，但私有地址只能在局域網內部網中使用，不能在Internet公網上使用，現行的路由器設置也不轉發帶有私有地址的數據包。當私有網絡內的主機需要與位于Int
電腦知識與技術 2017年16期2017-07-14
- 探索數據庫分片技術
分即對數據庫進行分片處理，對一個數據庫中的相關表進行水平拆分，存放到不同實例的數據庫中。在大多數情況下，MySQL的分庫分表就是指的該種方式。數據庫分片的得失探討在實際的項目規劃中，如果沒有必要最好不要進行分片處理。當相關業務正常運行時，如果數據庫的并發操作沒有達到臨界值，就貿然對其進行分片，反倒變得難以維護，對運維產生不利影響。為了提高運維效能，應該首先考慮通過性能調優或者提高應用程序以及數據庫設計水平，來推遲分片操作。例如，對于上述產品庫中的衣服表來說
網絡安全和信息化 2017年6期2017-03-09
- IP分片數據包真實體驗
層傳輸時采用的了分片的技術手段。下面我們將通過PING命令發送ICMP數據包來真實體驗一下IP分片的全過程?；A知識：以太網數據傳送大小限制傳統的以太網是共享性局域網，采用載波偵聽多路訪問/沖突檢測CSMA/CD協議。最小幀長必須大于整個網絡的最大時延位(最大時延時間內可以傳輸的數據位)。如果幀長度太小，就可能出現網絡上同時有兩個幀在傳播，就會產生沖突(碰撞)而造成網絡無法發送數據。如果數據幀太長就會出現有的工作長時間不能發送數據，而且可能超出接受端的緩沖
網絡安全和信息化 2016年9期2016-11-26
- 抗IP分片逃避技術的設計與實現*
NIDS缺乏IP分片的重組功能，不能夠還原出原始的報文，使得NIDS不能進行正常的過濾和檢測?，F在的大部分NIDS都具備重組IP分片的功能，但是攻擊者通過精心設置TTL構造的報文[2]，使得報文在NIDS和終端主機之間被丟棄，之后又重傳了內容不同的報文(如圖1所示)，這樣NIDS無法判斷對于同一個序列號(SEQ)，終端主機到底會接收哪個數據包，除非NIDS能夠將所有的情況都列出，才能檢測出“root”這種情況。為了能夠正確地分析一條流[3]，NIDS必須首
計算機工程與科學 2015年2期2015-07-10
- 6LoWPAN的Enhanced Route-over的分片和重組機制
te-over的分片和重組機制陳晶晶1，2，李曉記1，鄭 霖1，2（1.桂林電子科技大學，廣西 桂林 541004；2.通信網信息傳輸與分發技術重點實驗室，河北 石家莊 050081）針對Route-over路由在6LoWPAN中存在需要在每一跳節點進行分片和重組的問題，提出了一種Enhanced Route-over機制，該機制通過在Route-over轉發過程中增加映射表和構建虛擬IP幀，改善了Route-over路由在數據報端到端傳輸時延方面的性能，
無線電工程 2015年10期2015-06-23
- 基于TCP／IP協議棧的數據包分片技術
P／IP協議棧的分片技術把數據包進行分片，并在接收端對其進行重組。眾所周知，TCP／IP本身是有內部分片的［1］，但是其大小不能大于65 535字節，并且只能按照默認的1 514字節的大小在以太網中進行傳輸，但是，網絡傳輸時延、路由器處理時延、丟包率等網絡參數均與數據包長度相關［2］，1 514字節的長度在網絡環境良好時，可以使音視頻應用具有良好的效果，這一點在我們的音視頻聊天系統中可以看到，但是一旦網絡環境不好，可用帶寬減小的時候，只依靠IP本身的分片已
長春工業大學學報 2015年6期2015-06-12
- 一種改進的主從節點選舉算法用于實現集群負載均衡
務器需要完成2個分片的查詢工作,而另一臺服務器處于完全空閑的狀態.查詢性能不均衡[4].該缺點主要由兩個原因導致:1)因為每個分片的注冊線程是完全獨立的,每臺服務器上有兩個不同的分片需要注冊,而由于服務器的啟動速度和網路情況都不相同,往往會出現一臺服務器上的兩個分片都首先注冊到zookeeper[5]的分片管理目錄下而成為主節點,而注冊速度慢的服務器上的兩個節點都會成為從節點.2)即使首次創建時主節點的分配是均衡的,即每臺服務器上有一個主節點和一個從節點,
中國計量大學學報 2015年3期2015-02-27
- 基于糾刪碼冗余技術中的數據可靠性技術的研究
RS糾刪碼的數據分片方法，把用戶數據分成若干分片分別存儲到不同存儲節點。在拜占庭故障的情況下，不同的m個分片的子集可能解碼出不同的數據塊，所以使用分片驗證技術來確保分片來自于唯一正確的數據塊，從而保證數據的可靠性。關鍵詞：糾刪碼冗余技術；數據分片1.糾刪碼冗余技術的原理一般來說，糾刪碼可以用一個四元組（n，k，b，k）來表示，其中，k是編碼前文件塊的個數，b是每個文件塊包含的比特數，k是一個不小于k的數，n是編碼后的文件塊個數[1]。糾刪碼冗余技術用于存儲
卷宗 2015年12期2015-01-07
- 面向分布式環境的信號驅動任務調度算法
預先計算各個任務分片的EFT(earliest finish time)，以確定任務分片的先后關系。2) 層次優先選擇算法。如 PCH(path clustering heuristic)[14]、優先工序集調度[15]等，此類算法以最大化同一層任務分片的并行處理為手段，將任務分片的層數作為優先級，以確定任務分片的調度次序。3) 堆棧式回退算法。如 HEFT-lookahead[16]、回退搶占算法[17]等，此類算法考慮了后續調度中空閑時段被占用的情況，
通信學報 2015年7期2015-01-06
- 6LoWPAN適配層分片重組的研究與實現＊
地址配置、報文的分片和重組、IPv6報頭壓縮、路由、網絡管理等。本文主要分析和研究報文的分片和重組功能［3］。根據RFC2460協議規定，IPv6以下的鏈路層的最大傳輸單元MTU（Maximum Transmission Unit）最小應該是1 280字節［5］。因此作為鏈路層的6LoPAN就要能夠接收1 280字節的數據包，并將其分成127字節以內的IEEE 802.15.4能夠接收的MAC層的數據幀。1.2 IPv6報文格式根據RFC2460協議規定I
單片機與嵌入式系統應用 2014年4期2014-06-25
- 基于Solr的海量日志信息查詢性能優化的研究
性能優化；集群；分片中圖分類號：TP393 文獻標識碼：A 文章編號：1671-7597（2014）03-0037-03隨著傳統互聯網和移動互聯網的持續發展，網絡帶給我們的是不斷增長的各種不同價值信息，然而如何在信息海洋中快速檢索到有價值信息，對于我們來講至關重要。目前一些搜索公司在公共互聯網領域提供了很好的解決方案，但是企業或者政府機關內部相關信息往往需要應用獨立的搜索系統，Solr Cloud則是很好的一個平臺選擇。1 概述隨著企業和政府信息化建設的持
新媒體研究 2014年3期2014-04-21
- 網絡分片網絡安全威脅就在眼前
網絡分片是自IT興起以來就有的一種經過檢驗且可靠的網絡安全原則。早在上世紀70年代，James Martin、Saltzer和Schroeder研究提出的最小權限和職責分離等概念讓企業懂得了只能給用戶提供業務所需要的系統訪問權限，而不提供在此范圍之外的權限。但是，在幾十年的時間里，有無數的安全事件都是因為一些人獲得了本不應該獲得的未授權系統訪問權限。顯然這里出現了問題。例如，最近出現了來自中國的攻擊入侵歐洲網絡的事件，黑客攻破了網絡，并使用高訪問權限盜取數
計算機與網絡 2014年11期2014-04-15
- IP報文分片技術及其在故障分析中的應用
問題多與IP報文分片有關。2 IP報文分片的原理2.1 MTU在TCP/IP協議族中，鏈路層的報文叫做“幀”，每種鏈路層協議對數據幀的長度都有一個限制，這個特性稱作最大傳輸單元 (Maxitum Transmission Unit，MTU)[1]，單位為字節（Byte）。如常用的EthernetII網絡MTU為1500，IEEE 802.3網絡MTU為1492。如果IP層有一個數據報要傳，而且數據的長度比鏈路層的MTU還大，那么IP層就需要分片，使每一片的
計算機與網絡 2014年8期2014-03-29
- 基于云平臺NoSQL的海量天文圖像存儲研究
驗結果表明，數據分片存儲以及選擇最佳的分片大小能有效提高天文數據的存儲和訪問效率。海量天文數據云存儲NoSQL MongoDB數據分片1 引言虛擬天文臺天文數據存儲基本采用“Linux+IDE硬盤+軟RAID技術”模式[1]。實際上，傳統的直接存儲技術難以滿足天文領域每日TB級動態增長的海量數據存儲以及數據的實時處理、同步傳輸和多點備份等一系列需求[2]。近些年來，由于微軟、蘋果、google、IBM、戴爾和Amazon等知名服務商的加入，云存儲技術發展更
計算機與網絡 2014年15期2014-02-04
- 6LoWPAN適配層協議的分片與重組測試方法設計
重要。1 適配層分片與重組技術分析IPv6協議規定的鏈路層最小MTU 為1 280字節，對于不支持該MTU 的鏈路層，協議要求必須提供對IPv6透明的鏈路層的分片和重組。而IEEE 802.15.4MAC層最大幀長僅為127字節［2］，因此，適配層需要通過對IP報文進行分片和重組來傳輸超過IEEE 802.15.4MAC層最大幀長的報文。1.1 分 片當上層遞交一個超過適配層最大載荷長度的報文給適配層后，適配層需要對該報文分片進行發送。適配層分片的判斷條件
單片機與嵌入式系統應用 2013年2期2013-08-27
- OpenFlow網絡中虛擬網絡分片的動態遷移
輯網絡被稱為一個分片（slice）。FlowVisor對OpenFlow網絡進行分片的主要資源包括：帶寬，拓撲，流表項的個數，設備CPU。目前在系統中主要體現的是流表項個數和帶寬。對分片的區別是用流空間的概念來實現的，每一個流空間是一系列統配規則。與流表項不同的是它并沒有轉發規則。對于進入交換設備的數據包，FlowVisor首先要將其攔截并且確定它屬于哪一個分片。每一個分片都有其可見范圍和權限，這需要交換設備對每個分片內的包進行改寫。比如，一個分片內進行廣
網絡安全技術與應用 2013年9期2013-07-23
- P2P流媒體數據調度策略研究
中節點能力和數據分片的優先級,提出了最少最小優先調度算法（LRFA）.算法結合了現有的最少優先策略,將數據的稀缺性和時間特性作為重要因素,對節點能力進行了動態估算,最終實現了節點資源的充分利用.P2P網絡；數據調度；數據優先級；稀缺優先；節點能力近年來基于P2P技術的流媒體應用已成為研究熱點[1].P2P流媒體系統中普通主機節點（對等節點,簡稱Peer節點）從其他Peer節點獲取流媒體數據的同時,也承擔起為其他Peer節點轉發數據的任務,充分利用了空閑的網
河南科技學院學報(自然科學版) 2013年1期2013-06-07
- 入侵躲避技術初探
境中。下面就重疊分片躲避與多線程躲避為例，分析一下網絡躲避技術的原理。重疊分片躲避技術分析把一個大的數據包分成多個切片(IP包)傳輸，是TCP協議的功能之一。正常的情況下接收端按照切片的編號、偏移量，再重新組裝成完整的數據包。正常的協議解析過程是每個分片順序排列，并且按序號送達目的主機。由于網絡的不同路徑延遲不同，造成到達目標的分片不一定是順序的;某個分片或許中途損壞要重傳，延遲自然更大一些;有些系統本身的Bug，分片時偏移量寫錯了，造成分片之間有重疊…這
計算機與網絡 2013年8期2013-04-16
- 模糊系統中方形分片線性函數依K－積分模的泛逼近性
）模糊系統中方形分片線性函數依K－積分模的泛逼近性段晨霞，王貴君（天津師范大學 數學科學學院，天津 300387）首先引入方形分片線性函數和K－擬可加積分的概念，應用誘導算子及積分轉換定理證明了方形分片線性函數在K－積分模意義下對一類可積函數的泛逼近性.該結果表明：模糊系統中方形分片線性函數對連續函數的逼近能力可以推廣為對一般可積系統的逼近能力.方形分片線性函數；K－擬可加積分；＾μ－可積函數；K－積分模；泛逼近性模糊系統是模擬人腦推理性能的一類有效模型，
天津師范大學學報（自然科學版） 2012年3期2012-01-05