流程

采集网易云音乐歌手、歌词、音乐、评论等约10-20万+海量数据，存入mysql数据库；

2.使用pandas+numpy/MapReduce对mysql中四类数据进行数据清洗，写入.csv文件并上传至hdfs(含评论NLP文本分类/lsm情感分析);

【资料图】

3.使用hive建库建表，导入.csv数据集；

4.一半分析指标使用hive_sql完成，一半分析指标使用Spark之Scala语法完成；

5.将分析结果使用sqoop导入mysql数据库的指标表；

6.使用Flask+Echarts搭建可视化大屏界面；

创新点

爬虫采集海量数据；

情感分析/NLP文本分类；

实时分析+(hadoop、hive离线分析数据仓库)双实现，可实时可离线防止导师喷人；

4.可视化大屏炫酷显摆；

注意

如果还觉得本系统太简单太low工作量不够，可以选装推荐系统、知识图谱、预测系统、后台管理，可以无缝衔接0秒对接上！！！实现效果如下：

/video/BV1tV4y1q7RJ/?spm_id_from=

/video/BV1PN4y1P7LX/?spm_id_from=

/video/BV1234y1676e/?spm_id_from=