tokenisers¶ tokenisers 提供了一系列预定义令牌器。 令牌器是一个将核苷酸或氨基酸序列转换为索引序列的类。它用于在将输入序列馈送到模型之前对其进行预处理。 请参阅 Tokenizer 了解更多细节。 可用令牌器¶ DnaTokenizer RnaTokenizer ProteinTokenizer