Skip to content
/ HIW Public
forked from Thinkgamer/HIW

基于Django和Hadoop集群进行的大数据分析平台

Notifications You must be signed in to change notification settings

zhchappy/HIW

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

HIW

基于Django和Hadoop集群进行的大数据分析平台

#基本环境 python3.4
diango1.9.6
pip install hdfs
pip install hdfs[avro,dataframe,kerberos]

#注意事项 远程客户端执行hdfs操作,上传和下载文件时,需要将集群的ip和用户名填写在自己本机的hosts文件里,否则会报错
集群的hiveserver2服务要启动

#搭建平台参考文章 VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
http://blog.csdn.net/gamer_gyt/article/details/51991893
基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装
http://blog.csdn.net/gamer_gyt/article/details/52032579
基于hadoop2.7集群的Spark2.0,Sqoop1.4.6,Mahout0.12.2完全分布式安装
http://blog.csdn.net/gamer_gyt/article/details/52045663
三台PC服务器部署Hadoop HA(Hadoop 高可用性架构)
http://blog.csdn.net/gamer_gyt/article/details/52350528

About

基于Django和Hadoop集群进行的大数据分析平台

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • CSS 49.8%
  • Python 29.1%
  • HTML 20.8%
  • JavaScript 0.3%