PiFlow(大数据流水线系统) V0.9 官方版

　　PiFlow是一款非常强大的大数据流水线系统，支持自定义开发数据处理组件。混合型科学大数据流水线系统，这款系统将数据采集、储存的等环节封装成组件，软件简单使用容易，提供100+的数据处理组件。

软件特色

　　简单易用。

　　可视化配置流水线。

　　监控流水线。

　　查看流水线日志。

　　检查点功能。

　　扩展性强：

　　支持自定义开发数据处理组件。

　　性能优越：

　　基于分布式计算引擎Spark开发。

　　功能强大：

　　提供100+的数据处理组件。

　　包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。

　　集成了微生物领域的相关算法。

使用方法

　　解压piflow-server-v0.9.tar.gz。

　　tar -zxvf piflow-server-v0.9.tar.gz。

　　编辑配置文件config.properties。

　　运行、停止、重启PiFlow Server。

　　start.sh、stop.sh、 restart.sh、 status.sh。

　　测试 PiFlow Server。

　　设置环境变量 PIFLOW_HOME。

　　vim /etc/profile。

　　export PIFLOW_HOME=/yourPiflowPath/bin。

　　export PATH=PATH:PIFLOW_HOME/bin。

　　运行如下命令。

　　piflow flow start example/mockDataFlow.json。

　　piflow flow stop appID。

　　piflow flow info appID。

　　piflow flow log appID。

　　piflow flowGroup start example/mockDataGroup.json。

　　piflow flowGroup stop groupId。

　　piflow flowGroup info groupId。

　　如何配置config.properties。

　　#spark and yarn config。

　　spark.master=yarn。

　　spark.deploy.mode=cluster。

　　#hdfs default file system。

　　fs.defaultFS=hdfs://10.0.86.191:9000。

　　#yarn resourcemanager.hostname。

　　yarn.resourcemanager.hostname=10.0.86.191。

　　#if you want to use hive, set hive metastore uris。

　　#hive.metastore.uris=thrift://10.0.88.71:9083。

　　#show data in log, set 0 if you do not want to show data in logs。

　　data.show=10。

　　#server port

　　server.port=8002

　　#h2db port

　　h2.port=50002