API
trio.ModelInput
class ModelInput(BaseModel):
chunks: list[EncodedTextChunk]ModelInput 是模型输入的数据结构，封装一组编码后的 token 序列。它被 Datum 和 SamplingClient.sample() 等接口用作输入类型。
tokens = ModelInput.from_ints(input_ids)
datum = Datum(model_input=tokens, loss_fn_inputs={"target_tokens": tokens})字段
| 字段 | 类型 | 说明 |
|---|---|---|
chunks | list[EncodedTextChunk] | 编码后的 token 分块列表 |
属性
| 属性 | 类型 | 说明 |
|---|---|---|
length | int | token 总数，等同于 len() |
方法
from_ints
@classmethod
def from_ints(cls, tokens: list[int]) -> ModelInput从 token id 列表构造 ModelInput。
示例
model_input = ModelInput.from_ints([1, 2, 3, 4])to_ints / tolist
def to_ints(self) -> list[int]
def tolist(self) -> list[int]将所有 chunks 展开，返回完整的 token id 列表。两者等价。
示例
tokens = model_input.to_ints() # [1, 2, 3, 4]
tokens = model_input.tolist() # 同上