Referência de sistemas de processamento de fluxo contínuo: StreamBench

As tecnologias de processamento em lote (como MapReduce, Hive, Pig) amadureceram e t瘱 sido amplamente utilizadas na indtria. Estes sistemas resolveram com 瞡ito o problema do processamento de grandes volumes de dados. No entanto, primeiro ?necess嫫io recolher e armazenar uma grande quantidade de dados numa base de dados ou num sistema de ficheiros. Isso consome muito tempo. Depois, ?necess嫫io tempo para terminar as tarefas de an嫮ise de processamento em lote antes de obter quaisquer resultados. H?muitos casos em que ?necess嫫io analisar resultados de uma sequ瘽cia ilimitada de dados em segundos ou sub-segundos. Para satisfazer a crescente procura de processamento desses dados em fluxo cont璯uo, foram implementados e amplamente adoptados v嫫ios sistemas de processamento em fluxo cont璯uo, como o Apache Storm, o Apache Spark, o IBM InfoSphere Streams e o Apache Flink. No entanto, como avaliar os sistemas de processamento de fluxo antes de escolher um no desenvolvimento da produ誽o ?uma quest緌 em aberto. Neste livro, apresentamos o StreamBench, uma estrutura de benchmark para facilitar as compara踥es de desempenho dos sistemas de processamento de fluxo. Uma carater疄tica fundamental da estrutura do StreamBench ?que ela ?extens癉el - ela suporta a defini誽o f塶il de novas cargas de trabalho, al幦 de facilitar a avalia誽o comparativa de novos sistemas de processamento de fluxo.