Eu defini a opção "receiveBufferSize" para 1024, mas por algum motivo ainda estou recebendo apenas 768 bytes em messageReceived. O cabeçalho dos dados indica que o tamanho dos dados sendo enviados é 1004.

Abaixo está o código de inicialização para o servidor:

public static void main(String[] args) throws Exception {
    ConnectionlessBootstrap b = new ConnectionlessBootstrap(new NioDatagramChannelFactory());

    // Options for a new channel        
    b.setOption("receiveBufferSize", 1024);
    System.out.println(b.getOptions());

    b.setPipelineFactory(new ChannelPipelineFactory() {

        @Override
        public ChannelPipeline getPipeline() throws Exception {
            return Channels.pipeline(
                    new MyUDPPacketDecoder(),
                    new StdOutPrintHandler());
        }
    });

    b.bind(new InetSocketAddress(myPort));
}