(self, tokens: list[int])
| 88 | return self.vocab.decode(ids) |
| 89 | |
| 90 | def decode_list(self, tokens: list[int]) -> list[str]: |
| 91 | return [self.decode([tok]) for tok in tokens] |
| 92 | |
| 93 | def encode(self, inputs_str: str) -> list[int]: |
| 94 | return self.vocab.encode(inputs_str) |