tvm
《TVM编译器原理与实践》新书出版发行
《TVM编译器原理与实践》新书出版发行 《TVM编译器原理与实践》新书推荐 作者:吴建明,吴一昊;出版社:机械工业出版社;出版时间:2023年12月 本书已经出版,目前在淘宝天猫,京东,当当上可以购买。谢谢! 天猫: https://detail.tmall.com/item.htm?abbucke ......
《TVM编译器原理与实践》新书推荐
《TVM编译器原理与实践》新书推荐 作者:吴建明,吴一昊;出版社:机械工业出版社;出版时间:2023年12月 本书已经出版,目前在淘宝天猫,京东,当当上可以购买。谢谢! 天猫: https://detail.tmall.com/item.htm?abbucket=8&id=757068341348& ......
通过UMA使用TVM优化硬件加速器
# Making your Hardware Accelerator TVM-ready with UMA 本文介绍 Universal Modular Accelerator Interface(UMA),UMA提供了易用的API将新的硬件加速器整合进TVM。 展示如何使用UMA将硬件加速器整合进 ......
TVM编译深度学习模型
# Quick Start Tutorial for Compiling Deep Learning Models 本文将展示如何使用Relay python前端构建神经网络,并使用TVM为Nvidia GPU创建实时运行库,需要有cuda版本的TVM和llvm。 ## TVM支持的硬件后端 图中展 ......
TVM交叉编译RPC
# Cross Compilation and RPC 本文将介绍交叉编译以及TVM通过RPC在远程设备上执行。 通过交叉编译和RPC,可以在本地机器上编译程序,然后在远程设备上运行。这在远程设备的资源有限时十分重要,例如Rasberry Pi和移动平台,本文将介绍Rasberry Pi的CPU例子 ......
TVM 代码生成—TIR to LLVM IR
本文地址:https://www.cnblogs.com/wanger-sjtu/p/17573212.html TVM在编译过程中,经历了 ```mermaid graph LR A[3rd IR] --> B[Relay IR] B --> C[TIR] C --> D[LLVM IR] C - ......
TVM Tensor Expression
# 使用张量表达式 我们将注意力转向如何使用张量表达式(Tensor Expression)(TE)来定义张量的计算,并应用循环优化。TE用pure的函数语言(每个表达式没有副作用),定义了张量的计算。整体上查看TVM的上下文时,Relay用一系列算子的集合描述了一个计算,其中每个算子都可以使用TE ......
TVM 源码阅读PASS — VectorizeLoop
本文地址:https://www.cnblogs.com/wanger-sjtu/p/17501119.html VectorizeLoop这个PASS就是对标记为`ForKind::kVectorized`的`For`循环做向量化处理,并对For循环中的语句涉及到的变量,替换为`Ramp`,以便于 ......
TVM-MLC LLM 调优方案
本文地址:https://www.cnblogs.com/wanger-sjtu/p/17497249.html LLM 等GPT大模型大火以后,TVM社区推出了自己的部署方案,支持Llama,Vicuna,Dolly等模型在iOS、Android、GPU、浏览器等平台上部署运行。 https:// ......
TVM面试题
1、TVM中的调度器(Scheduler)是什么?请简要解释TVM调度器的作用和工作原理。 TVM中的调度器(Scheduler)是负责将计算图映射到特定硬件目标上的组件。调度器在TVM中起着关键的作用,它决定了计算图的执行方式、并行化策略以及内存布局等,以优化计算性能和资源利用。 TVM调度器的主 ......
AI编译器CINN v.s TVM 中CodeGen 源码解读
> 如下的技术点梳理仅以「日常优化工作」为牵引点,涉及哪个模块,就具体去看哪个模块的代码。 # 一、CINN 框架 CINN 中`CodeGen`之后的代码编译主要交给了`Compiler`类来负责。核心的函数主要是: * `Build(ir::Module&, string& code)` * ` ......
TVM 中的 Profiler 设计
一、基本用法 首先看 Profiler 的用法: with ms.Profiler() as profiler: # .... 用户代码 print("Tuning Time:") print(profiler.table()) 二、前端接口设计 其中 Profiler 类的设计是绑定和映射到了 C ......
TVM Deploy Runtime[施工中]
本文地址:https://www.cnblogs.com/wanger-sjtu/p/17291070.html tvm 中在部署时有多个选择,最开始的graph exectuor runtime 、后来降低overhead 引入的AOT runtime, 以及后来Nimble 中动态shape引入 ......
AI编译器TVM与MLIR框架分析
AI编译器TVM与MLIR框架分析 面向ASIC设备的编译器框架:TVM or MLIR? 2019~2021年,“摩尔定律失效”这一关键词频频出现于各大技术网站,在此背景下,市面上多如牛毛的AI芯片公司不约而同地给出了通用CPU+专用ASIC芯片的方案,以应对日益增长的AI边、端侧推理计算需求。在 ......