ndk std_thread 获取pid
最近在解决tvm绑核问题时，发现android下绑核只有sched_setaffinity函数，这导致无法使用标准库中的td::thread::native_handle_type thread 进行绑核操作。虽然在ndk 21以上的版本提供了pthread_gettid_np函数获取线程相应的pi...
TVM－MLC LLM 调优方案
LLM 等GPT大模型大火以后,TVM社区推出了自己的部署方案，支持Llama，Vicuna，Dolly等模型在iOS、Android、GPU、浏览器等平台上部署运行。 https://github.com/mlc-ai/mlc-llm 本文在之前作者介绍的基础上,简要介绍一下mlc的调优部署方案。...
TVM 源码阅读PASS — VectorizeLoop
VectorizeLoop这个PASS就是对标记为ForKind::kVectorized的For循环做向量化处理，并对For循环中的语句涉及到的变量，替换为Ramp，以便于在Codegen的过程中生成相关的向量化运算的指令。 VectorizeLoop这个PASS的入口函数如下，只有在打开enab...
packfunc
为实现多种语言支持，需要满足以下几点： 部署：编译结果可以从python/javascript/c++调用。 Debug: 在python中定义一个函数，在编译函数中调用。 链接：编写驱动程序以调用设备特定代码（如CUDA），可以在编译的host侧调用 原型：python侧定义IR PASS，并从...
【TVM教程】 自定义relay算子
本文为tvm 教程的翻译版。这部分介绍了如何在tvm中添加新的relay算子，具体的是以一个累乘（cumprod）算子为例进行介绍。 新增relay算子基本是下面几个步骤： 定义新增算子的属性节点（Attribute Node），声明在编译时已知的固定参数 为新增算子编写类型关系，以集成到rela...
【TVM模型编译】2. relay算子构造
从TVM的官方Tutorial里面，介绍了如何新增自定义算子。(这是我翻译的) 之前的文章讲到了onnx 算子转换到Relay IR的过程 下面以Conv2d算子介绍，编译过程中 Relay IR是如何被调用的。 relay 算子调用上面的get_relay_op实际上是查找所有 relay ir算...
【tvm解析】3. Operator Strategy 机制
Relay Operator Strategy是建立Relay IR与TOPI算子库的桥梁，通过Relay Operator Strategy，每个Relay IR至少与一个compute和一个schedule注册关联起来。至少一个原因在于，一个算子在不同后端设备上有不同的实现，而且一个算子可能有多...
tvm-多线程代码生成和运行
调用链tvm搜索算子在需要多线程运行的算子，是在codegen阶段时插入TVMBackendParallelLaunch的调用。 TVMBackendParallelLaunch 是tvm的线程池并行化入口，具体如下 12345678910111213141516171819/*! * \brief...
【TVM模型编译】1. onnx2relay
上一篇介绍了onnx模型在tvm中优化的总体流程。 在这一篇中，介绍onnx模型到relay模型的转换流程，主要涉及了以下几个方面： onnx算子到relay算子转换 relay算子实现 这一篇介绍onnx算子到relay算子转换过程 onnx算子到relay算子转换12# onnx ->...
【TVM模型编译】0.onnx模型优化流程.md
本文以及后续文章，着重于介绍tvm的完整编译流程。 后续文章将会按照以上流程，介绍tvm源码。其中涉及一些编程技巧、以及tvm概念，不在此部分进行进一步讲解，另有文章进行介绍。 首先介绍一下，从onnx模型转为tvm模型的基本步骤。大致可以分为以下几步： onnx模型转到relay IR 基于Re...