1、课程简介
Flume是的一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统,支持在日志系统中定制各类数据发送方,用于收集数据,同时提供了对数据进行简单处理并写到各种数据接收方的能力。
Flume的设计原理是基于数据流的,能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。 Flume能够做到近似实时的推送,并且可以满足数据量是持续且量级很大的情况。比如它可以收集社交网站日志,并将这些数量庞大的日志数据从网站服务器上汇集起来,存储到HDFS或 HBase分布式数据库中。
Flume的应用场景:比如一个电商网站,想从网站访问者中访问一些特定的节点区域来分析消费者的购物意图和行为。为了实现这一点,需要收集到消费者访问的页面以及点击的产品等日志信息,并移交到大数据 Hadoop平台上去分析,可以利用 Flume做到这一点。现在流行的内容推送,比如广告定点投放以及新闻私人定制也是基于这个道理。
简化版介绍:
Flume是的一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统,支持在日志系统中定制各类数据发送方,用于收集数据,同时提供了对数据进行简单处理并写到各种数据接收方的能力。
2、适应人群
有一定的Java基础,并且要有一定的大数据开发基础。
3、课程亮点
系统的学习Flume,掌握最先进的数据收集技术。
l Flume
n 快速入门
n 核心详解
n 企业应用
n 自定义Flume组件
n 监控
4、主讲内容
章节一:Flume概述
章节二:Flume架构
章节三:Flume安装
章节四:入门使用案例
章节五:数据持久化
章节六:日志文件监控
章节七:多个Agent模型
章节八:拦截器
章节九:Channel选择器
章节十:Sink处理器
章节十一:导入数据到HDFS
章节十二:Flume SDK
章节十三:Flume监控
0人已评分
我也要评分