一个简单的用户行为日志收集,需要kafka+flume+hive+hdfs
只有日志收集,没有分析的需求,最多也就一天1000万行数据,直接java(集群负载均衡)+mysql不行嘛?
拿mysql存日志,还不如其他的,比如ES
那证明你这个是小公司,大公司后面kafka+flume+hive+hdfs这些大部分是不需要感知的,只管用就行了
都是皮毛, 互联网公司主要是骗钱。 骗到钱了, 装装逼, 招几个技术大神, 装装门面, 本质还是骗钱的。 什么这架构,那架构, 都是忽悠外行的。 和汉芯造假没有本质区别
1000万行数据 就不要提互联网了吧
楼上: 日志系统是互联网业务比较固定单一的系统,方案成熟,且易实施,我不知道楼主说的麻烦在哪里。 简单的、数据量小的当然简单处理就行;但有很多问题,比如数据库阻塞、横向拓展不易、数据挖掘难。一旦出现抖动,重新弄成本怕是要翻番。毕竟各个库转数据,切换是一件非常麻烦的事儿。
简单来说:虽然你自己花5块钱也能做一碗面,为啥不花6块钱买一碗超级豪华的面呢。成熟构架好处就在这儿,平均成本、边际成本算下来非常低。挂了也有人会弄。
看他日志收集后续有没有规划需求啊 我印象里,行为日志收集一般es就可以了,你的数据量足以。
既可以是老板骗客户钱,也有可能是员工骗老板