storm如何读取redis数据 • Worktile社区

fiy

Worktile&PingCode市场小伙伴

要读取Redis数据，可以使用Storm框架中的RedisBolt组件。

首先，你需要在Storm的拓扑中引入Redis的依赖，方式类似于：

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.7.0</version>
</dependency>

接下来，在Storm拓扑中创建一个RedisBolt实例，例如：

RedisBolt redisBolt = new RedisBolt("hostname", port, "password");

其中，"hostname"是Redis服务器的主机名，port是Redis服务器的端口号，"password"是连接Redis服务器所需的密码（如果有）。

然后，你可以为RedisBolt指定Key，以便从Redis中获取数据。例如：

redisBolt.withKey(new Fields("redisKey"));

其中，"redisKey"是你要读取的数据在Redis中的Key。

最后，在Storm拓扑中将RedisBolt添加到你的数据流中，例如：

topologyBuilder.setBolt("redis", redisBolt)

完成了以上步骤后，Storm框架会自动从Redis中读取对应的数据，并将其输入到下一个Bolt节点进行处理。

需要注意的是，在使用RedisBolt的过程中，你还可以根据需要设置一些其他的属性，比如设置连接池的最大连接数、最大等待时间等。

希望以上信息对你有帮助！

1年前 0条评论

不及物动词

这个人很懒，什么都没有留下～

要以Storm读取Redis数据，你可以使用以下步骤来实现：

首先，你需要为你的Storm拓扑设置Redis作为数据来源。为此，你需要在Storm的依赖中添加Redis客户端库。
创建一个Spout来从Redis中读取数据。Spout是Storm拓扑的数据源，负责从外部数据源中读取数据。你可以使用Jedis客户端来连接Redis，并使用Jedis的API来读取数据。可以通过继承 BaseRichSpout 类并实现 nextTuple() 和 ack() 方法来创建你自己的Spout。
在 nextTuple() 方法中，你可以使用Jedis客户端从Redis中读取数据，并发送给Storm的下一个组件进行处理。使用 collector.emit() 方法将数据发送给下游的Bolt。
接下来，创建一个Bolt来处理从Spout获取的数据。Bolt是Storm拓扑的计算单元，负责对数据进行转换和处理。你可以通过继承 BaseRichBolt 类并实现 execute() 方法来创建你自己的Bolt。
在 execute() 方法中，你可以使用Jedis客户端从Redis中读取数据，并进行相应的处理。你可以将处理后的结果发送给下游的Bolt或者进行其他操作。
在创建Bolt的同时，你还可以使用Jedis客户端来连接Redis，并使用Jedis的API来进行写入操作。如果你的拓扑需要将处理后的结果写入Redis，可以在Bolt中进行相应的实现。
最后，将Spout和Bolt连接起来，并创建一个拓扑。使用Storm的TopologyBuilder类来创建和配置拓扑结构，并将Spout和Bolt添加到拓扑中。你可以使用 builder.setSpout() 方法将Spout添加到拓扑中，使用 builder.setBolt() 方法将Bolt添加到拓扑中，并使用 builder.createTopology() 方法创建拓扑。
运行Storm拓扑。使用Storm的本地模式或分布式模式来运行你的拓扑，并观察从Redis读取的数据。

这些步骤可以帮助你以Storm读取Redis数据并进行相应的处理和分析。

1年前 0条评论

worktile

Worktile官方账号

Storm是一个开源的分布式实时计算系统，它提供了强大的实时数据处理能力。要在Storm中读取Redis数据，可以使用Storm提供的RedisSpout组件。

导入依赖
首先在Storm项目的pom.xml文件中添加Jedis和Storm-redis依赖：

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>2.10.0</version>
</dependency>

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-redis</artifactId>
    <version>1.2.3</version>
</dependency>

创建Redis连接
在Storm的Topology类中，创建一个连接Redis的方法。可以使用Jedis客户端来连接Redis服务器，并返回一个Jedis实例。

private static Jedis createRedisConnection() {
    String host = "localhost";
    int port = 6379;
    
    Jedis jedis = new Jedis(host, port);
    return jedis;
}

创建RedisSpout
接下来，在Topology类中创建一个RedisSpout组件。RedisSpout是Storm提供的用于从Redis中读取数据的Spout，它会持续监控Redis中的数据，并将数据发送到Storm的拓扑中。创建RedisSpout时需要指定Redis连接实例和要读取的Redis键。

private static RedisSpout createRedisSpout(Jedis jedis, String redisKey) {
    RedisPubSubQueueCommands<String, String> queueCommands = new RedisPubSubQueueCommands(String.class, String.class);
    RedisQueueSpout<String, String> redisSpout = new RedisQueueSpout(jedis, queueCommands, redisKey);
    return redisSpout;
}

构建Topology
在Topology类的public static void main方法中，创建一个TopologyBuilder实例，并使用setSpout方法添加RedisSpout。

public static void main(String[] args) throws Exception {
    TopologyBuilder builder = new TopologyBuilder();
   
    Jedis jedis = createRedisConnection();
    RedisSpout redisSpout = createRedisSpout(jedis, "my-redis-key");
    
    builder.setSpout("redis-spout", redisSpout);
    // 添加其他组件和拓扑逻辑
}

这样就可以在Storm中读取Redis数据了。可以根据需要配置其他的Bolt组件和拓扑逻辑来处理读取到的数据。

需要注意的是，Storm是一个分布式计算系统，它可以在多个节点上运行。如果要在多个节点上同时读取Redis数据，可以使用集群模式部署Storm，保证每个节点都能够连接到Redis服务器。

1年前 0条评论