在Ubuntu上搭建Storm开发环境

Storm是Twitter开源的流式数据计算框架,现在已成为Apache基金会的开源项目之一。这篇文章向大家介绍Storm在Ubuntu 12.04上的安装运行。

Java环境

Oracle JDK 1.7,配置JAVA_HOME.

依赖包/工具

//g++
$ sudo apt-get install g++
//uuid-dev
$ sudo apt-get install uuid-dev
//autoconf
$ sudo apt-get install autoconf
//Maven
$ sudo apt-get install maven
//Git
$ sudo apt-get install git

ZeroMQ

http://storm-project.net/下载Storm压缩包解压,修改bin目录为可执行文件:

$ sudo chmod 755 bin/*
修改bin/install_zmp.sh中的JAVA_HOME为你的JAVA路径,然后执行安装ZeroMQ:
$ bin/install_zmp.sh
在Unbuntu上遇到这个错误时,需要修改 jzmq/src/Makefile.am 文件内容,把 classdist_noinst.stamp 替换为 classnoinst.stamp 再重新安装ZeroMQ.
make[1]: *** No rule to make target `classdist_noinst.stamp', needed by
`org/zeromq/ZMQ.class'.  Stop.

Storm

将Storm/bin目录添加到$PATH,检查安装版本:

$ storm version
获取Storm Starter项目
$ git clone http://github.com/nathanmarz/storm-starter

使用Leiningen编译Storm

下载Leiningen脚本,将路径添到到$PATH,运行安装最新版本的Leiningen

$ lein
$ lein deps
$ lein compile
$ lein jar
$ java -cp $(lein classpath) storm.starter.ExclamationTopology

使用Maven运行Storm

在Storm Starter的pom文件中加入

<plugin>
    <groupId>org.codehaus.mojo</groupId>
    <artifactId>exec-maven-plugin</artifactId>
    <version>1.2.1</version>
    <executions>
        <execution>
            <goals>
        <goal>exec</goal>
        </goals>
    </execution>
    </executions>
    <configuration>
        <executable>java</executable>
        <includeProjectDependencies>true</includeProjectDependencies>
        <includePluginDependencies>true</includePluginDependencies>
        <classpathScope>compile</classpathScope>
        <mainClass>${storm.topology}</mainClass>
    </configuration>
</plugin>
运行WordCountTopology
$ mvn -f m2-pom.xml compile exec:java -Dstorm.topology=storm.starter.WordCountTopology
© 2018 Silent River All Rights Reserved. 本站访客数人次 本站总访问量
Theme by hiero