调一调,理解配置
从批大小与输入长度入手,认识资源预算如何影响一次推理实验。
你的第一台「虚拟推理实验室」。
从配置到生成,从观察到理解,在浏览器里走完一次推理。
无需 GPU · 无需安装 · 无需 API Key
| 阶段 / Part | 耗时 | 占比 | 虚拟时间区间 |
|---|---|---|---|
| 运行一次,查看 Prefill、Decode 与通信的分段耗时。 | |||
固定 128 个虚拟输出 token;通信已包含在阶段总计内,请勿重复相加。此处采用串行示意,不含加载与排队;真实计算和通信可能重叠,不代表实测或屏幕播放用时。
studio 实验环境已准备好。选择一个场景开始探索。
notice 所有指标为教学示意,不代表 DeepInfer 的实测表现。
等待运行。这里会回放预设示例文本,不会调用大模型。
试着改变批大小,观察吞吐、延迟与显存之间的取舍。
一套界面,两种旅程。现在学习模拟流程,未来连接你自己的算力。
不必先拥有服务器。
先理解它是如何工作的。
从批大小与输入长度入手,认识资源预算如何影响一次推理实验。
沿着加载、Prefill、Decode 的顺序,观察日志与示意指标的变化。
在安全的模拟环境里遇到显存不足,理解原因,再亲手修复。
前端、Python、设计、文档。你的普通电脑,就是参与的起点。