Parallel inference is thought to be faster than recurrent inference, but it turns out that it is not in play file #39
Description
############################## seqlen: 256 ##############################
parallel: 1.0023608207702637
recurrent: 0.1654500961303711
############################## seqlen: 512 ##############################
parallel: 1.9274981021881104
recurrent: 0.06916308403015137
############################## seqlen: 1024 ##############################
parallel: 5.113396883010864
recurrent: 0.07078385353088379
############################## seqlen: 2048 ##############################
parallel: 9.908579111099243
recurrent: 0.0744469165802002
############################## seqlen: 4096 ##############################
parallel: 37.91721701622009
recurrent: 0.11470627784729004