使用Netty框架完成客户端和服务端收发Protobuf消息

前言

本周继续学习尼恩编著的《Netty、Redis、ZooKeeper高并发实战》，一些资源也贴在这里，自己以后想看还可以找到，这个是在博客园的一个入口https://www.cnblogs.com/crazymakercircle/p/9904544.html。
这周主要学习了Netty客户端和服务端通信，书是由浅入深的在进行，从Socket NOI通信到 Reactor反应器模式，再到Netty框架，示例代码都在https://gitee.com/crazymaker/netty_redis_zookeeper_source_code.git 中可以看到，书结合源代码，自己在动手试验一下，感觉还是有些收获。 今天的示例代码就是实践出一个客户端和服务端传递protobuf的例子。

Netty 服务端

先来看一下服务端代码，

@Slf4j
public class ProtoBufServer {

    private final int serverPort;
    ServerBootstrap b = new ServerBootstrap();

    public ProtoBufServer(int port) {
        this.serverPort = port;
    }

    public void runServer() {
        //创建reactor 线程组
        EventLoopGroup bossLoopGroup = new NioEventLoopGroup(1);
        EventLoopGroup workerLoopGroup = new NioEventLoopGroup();

        try {
            //1 设置reactor 线程组
            b.group(bossLoopGroup, workerLoopGroup);
            //2 设置nio类型的channel
            b.channel(NioServerSocketChannel.class);
            //3 设置监听端口
            b.localAddress(serverPort);
            //4 设置通道的参数
            b.option(ChannelOption.SO_KEEPALIVE, true);
            b.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);
            b.childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);

            //5 装配子通道流水线
            b.childHandler(new ChannelInitializer<SocketChannel>() {
                //有连接到达时会创建一个channel
                protected void initChannel(SocketChannel ch) throws Exception {
                    // pipeline管理子通道channel中的Handler
                    // 向子channel流水线添加3个handler处理器

                    // protobufDecoder仅仅负责编码，并不支持读半包，所以在之前，一定要有读半包的处理器。
                    // 有三种方式可以选择：
                    // 使用netty提供ProtobufVarint32FrameDecoder
                    // 继承netty提供的通用半包处理器 LengthFieldBasedFrameDecoder
                    // 继承ByteToMessageDecoder类，自己处理半包

                    // 半包的处理
                    ch.pipeline().addLast(new ProtobufVarint32FrameDecoder());
                    // 需要解码的目标类
                    ch.pipeline().addLast(new ProtobufDecoder(MarketPriceProto.MarketPrice.getDefaultInstance()));
                    ch.pipeline().addLast(new ProtobufBussinessHandler());
                }
            });
            // 6 开始绑定server
            // 通过调用sync同步方法阻塞直到绑定成功
            ChannelFuture channelFuture = b.bind().sync();
            log.info(" 服务器启动成功，监听端口: " +
                    channelFuture.channel().localAddress());

            // 7 等待通道关闭的异步任务结束
            // 服务监听通道会一直等待通道关闭的异步任务结束
            ChannelFuture closeFuture = channelFuture.channel().closeFuture();
            closeFuture.sync();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 8 优雅关闭EventLoopGroup，
            // 释放掉所有资源包括创建的线程
            workerLoopGroup.shutdownGracefully();
            bossLoopGroup.shutdownGracefully();
        }

    }

    //服务器端业务处理器
    static class ProtobufBussinessHandler extends ChannelInboundHandlerAdapter {
        @Override
        public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
            MarketPriceProto.MarketPrice protoMsg = (MarketPriceProto.MarketPrice) msg;
            //经过pipeline的各个decoder，到此Person类型已经可以断定
            log.info("收到一个 MsgProtos.Msg 数据包 =》");
            log.info("protoMsg.getId():=" + protoMsg.getId());
            log.info("protoMsg.getClose():=" + protoMsg.getClose());
        }
    }


    public static void main(String[] args) throws InterruptedException {
        int port = SERVER_PORT;
        new ProtoBufServer(port).runServer();
    }
}

代码中有注释解释，我在这里加一下说明
代码中有两个EventLoopGroup bossLoopGroup和EventLoopGroup workerLoopGroup，使用两个是什么原因呢？ 一个是负责处理连接监听事件， 一个负责处理数据IO事件和Handler业务处理，通俗点解释就是一个负责接客，一个负责服务客户。如果只有一个人就会忙不过来，让后面的人等很久。
b.childHandler这个就是我们具体的如何处理接收到的消息，他们都继承ChannelInboundHandlerAdapter，通过PipeLine把消息进行处理。我们从通道里面拿到的都是字节码，那么要转成我们需要的Protobuf类，就需要用到这些处理类
前两个处理类ProtobufVarint32FrameDecoder和ProtobufDecoder都是Netty提供的，一个是为了解决半包问题，半包问题是因为在TCP传输的时候对数据包进行了拆包或者分包，收到的时候如果直接处理，就会有问题，需要我们在应用层进行二次封装。 在这个示例中如果我们不使用ProtobufVarint32FrameDecoder，客户端也不用，那么就会出现有的可以解析出来，有的报错的情况： com.google.protobuf.InvalidProtocolBufferException: Protocol message contained an invalid tag (zero).
可以用搬家来打比分，我们把一个家从一个地方搬到另外一个地方，还要求布局一样，汽车运输的时候可能要分好几次，那么我们可以先记住位置，然后随便装车搬过去，过去后先暂存，再按记录的位置进行还原，这样来保证一模一样。
ProtobufBussinessHandler 是我们自定义的Handler继承了ChannelInboundHandlerAdapter，通过它我们拿到channel里面的数据，转换成我们的具体的Protobuf对象。这里只是简单的打印出来。 如果要把它继续传下去，需要调用 super.channelRead(ctx,msg)传递下去。

客户端

@Slf4j
public class ProtoBufScanClient {
    private int serverPort;
    private String serverIp;
    Bootstrap b = new Bootstrap();

    public ProtoBufScanClient(String ip, int port) {
        this.serverPort = port;
        this.serverIp = ip;
    }

    public void runClient() {
        //创建reactor 线程组
        EventLoopGroup workerLoopGroup = new NioEventLoopGroup();

        try {
            //1 设置reactor 线程组
            b.group(workerLoopGroup);
            //2 设置nio类型的channel
            b.channel(NioSocketChannel.class);
            //3 设置监听端口
            b.remoteAddress(serverIp, serverPort);
            //4 设置通道的参数
            b.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT);

            //5 装配通道流水线
            b.handler(new ChannelInitializer<SocketChannel>() {
                //初始化客户端channel
                protected void initChannel(SocketChannel ch) throws Exception {
                    // 客户端channel流水线添加2个handler处理器
                    ch.pipeline().addLast(new ProtobufVarint32LengthFieldPrepender());
                    ch.pipeline().addLast(new ProtobufEncoder());
                }
            });
            ChannelFuture f = b.connect();
            f.addListener((ChannelFuture futureListener) ->
            {
                if (futureListener.isSuccess()) {
                    log.info("EchoClient客户端连接成功!");

                } else {
                    log.info("EchoClient客户端连接失败!");
                }

            });

            // 阻塞,直到连接完成
            f.sync();
            Channel channel = f.channel();


            Scanner scanner = new Scanner(System.in);
            log.info("请输入发送内容:");


            GenericFutureListener sendCallBack = new GenericFutureListener() {

                @Override
                public void operationComplete(Future future) throws Exception {
                    if (future.isSuccess()) {
                        log.info("发送成功!");

                    } else {
                        log.info("发送失败!");
                    }
                }
            };


            while (scanner.hasNext()) {
                //获取输入的内容
                String next = scanner.next();
                String[] values = next.split(",");
                if(values.length != 5)
                {
                    log.info("格式不正确!");
                }
                else {
                    MarketPriceProto.MarketPrice msg = build(values);
                    ChannelFuture writeAndFlushFuture = channel.writeAndFlush(msg);
                    writeAndFlushFuture.addListener(sendCallBack);
                }

                log.info("请输入发送内容:");

            }


            channel.flush();


            // 7 等待通道关闭的异步任务结束
            // 服务监听通道会一直等待通道关闭的异步任务结束
            ChannelFuture closeFuture = channel.closeFuture();
            closeFuture.sync();

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 优雅关闭EventLoopGroup，
            // 释放掉所有资源包括创建的线程
            workerLoopGroup.shutdownGracefully();
        }

    }

    //构建ProtoBuf对象
    public MarketPriceProto.MarketPrice build(String[] values) {

        MarketPriceProto.MarketPrice.Builder builder = MarketPriceProto.MarketPrice.newBuilder();

        builder.setId(values[0]);


        builder.setOpen(Double.valueOf(values[1]));
        builder.setHigh(Double.valueOf(values[2]));
        builder.setLow(Double.valueOf(values[3]));
        builder.setClose(Double.valueOf(values[4]));

        return builder.build();
    }

    public static void main(String[] args) throws InterruptedException {
        int port = SERVER_PORT;
        String ip = SOCKET_SERVER_IP;
        new ProtoBufScanClient(ip, port).runClient();
    }
}

Netty客户端代码和服务端很接近，这里它只用了一个线程组，客户端只有它一个使用，和服务端模式不一样，一个就够了。
客户端读取控制台输入数据，然后构造成MarketPriceProto.MarketPrice，它的Proto定义如下

// [开始声明]
syntax = "proto3";
//定义protobuf的包名称空间
package com.ken.netty.protocol;
// [结束声明]

// [开始 java 选项配置]
option java_package = "com.ken.netty.protocol";
option java_outer_classname = "MarketPriceProto";
// [结束 java 选项配置]

// [开始 消息定义]
message MarketPrice {
  string id = 1;
  double open = 2;
  double high = 3;
  double low = 4;
  double close = 5;
}

channel.writeAndFlush（msg）, 这里我们直接把Protobuf对象传递进channel, ProtobufEncoder会对它进行编码。

总结

代码比较简单，这是在有书的帮助和源代码帮助下实现的，不通过书这个也不是这么容易理解的。 作者还实现了一个及时通信的例子https://gitee.com/crazymaker/SimpleCrayIM。 也需要花些时间来学习一下。

本栏目推荐文章
• 字节微服务HTTP框架Hertz使用与源码分析｜拥抱开
• 深入理解spring框架：剖析多线程模式下数据库连接
• Django客户端应用1向服务端应用2发送POST请求并接收解析数据
• 第二章 Spring Boot 整合 Kafka消息队列 生产者
• 【Leetcode 2474. 购买量严格增加的客户】MySQL用户变量编程解决严格递增连续子序列问题
• 通过 KernelUtil.dll 劫持 QQ / TIM 客户端 QQClientkey / QQKey 详细教程（附源码）
• Windows 10 中，可以使用 PowerShell 添加打印和文件服务的角色功能组件，包括 Internet 打印客户端、LPD 打印服务和 LPR 端口监视器 PowerShell 添加打印机并创建新的 LPR 端口。以下是添加打印机和创建新端口的 PowerShell 命令在 Windows 10 中，可以使用 PowerShell 添加 LPR 兼容打印机。
• 如何基于 Gin 封装出属于自己 Web 框架？
• 动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件-01
• 【MySQL】客户端命令

客户端 框架 Protobuf 消息 客户客户端 框架protobuf消息 kubernetes客户端protobuf客户 dhcp模式 消息 客户端 server-sent客户端 消息 客户 消息 错过 客户 手机 onefastclient源码 客户端 框架 客户端 框架jetpack客户 第三方springboot客户端 框架 客户端 框架gunicorn接口 消息 客户springboot websocket