跳转至

tokenisers

tokenisers 提供了一系列预定义令牌器。

令牌器是一个将核苷酸或氨基酸序列转换为索引序列的类。它用于在将输入序列馈送到模型之前对其进行预处理。

请参阅 Tokenizer 了解更多细节。

可用令牌器