TVM 长廊#

• Daobook xgrammar
  • 安装
  • 测试
  • 编译语法
  • 使用语法生成
• Daobook mlc-llm
  • mlc-llm 简介
  • 使用 TVM nn.module 工作流在 MLC-LLM 中添加新模型架构
    • 定义 GPT-2 模型
      • 在 gpt2_model.py 中定义配置类
      • 在 gpt2_model.py 中定义模型架构
      • 使用 nn.spec 定义模型规范
      • 在 gpt2_loader.py 中定义加载器
    • 将模型添加到支持的预构建模型工作流
    • 编译 GPT-2 模型库和权重
    • 使用 DebugChat 调试编译的 MLC 模型