随着全球数字化、5G通信技术的成熟、互联网应用于各行各业,累积的数据量越来越大,越来越多企业、行业和国家发现,可以利用类似的技术更好地服务客户、发现新商业机会、扩大新市场以及提升效率,由此引发了一场新的技术革命.
基于Flume设计实现分层日志收集系统,到底有什么好处呢?我们可以先看一下,如果不分层,会带来哪些问题
在2003年以前,Google内部其实还没有一个成熟的处理框架来处理大规模数据。而当时Google的搜索业务又让工程师们不得不面临着处理大规模数据的应用场景,像计算网站URL访问量、计算网页的倒排索引(Inverted Index)等等。
我们都知道,计算机的存储单位有KB、MB、GB、TB等,换算起来,1TB=1024GB、1GB=1024MB、1MB=1024KB、1KB=1024B。1B我们称为一个字节,一个字节有8位,即1B=8bit。bit表示计算机的位,同时它也是信息熵的度量单位。