李露Lu Li

AI Infra · 推理框架与 GPU 算子

中国矿业大学 大数据技术与工程 硕士 · 2027 届 · 求职意向：推理引擎 / 算子开发 / 模型适配

开源贡献

vLLM：dots.ocr ViT 支持 Encoder CUDA GraphReview 中

vllm-project/vllm#63074 · 2026.10 · 属于 ViT 全 CUDA Graph 接入计划 #38175

  • 为 dots.ocr 的 42 层 ViT 实现 SupportsEncoderCudaGraph：forward 拆成图外 metadata 准备与图内计算；cu_seqlens 在 CPU 上算好并按批补齐，max_seqlen 按档位取定值，图内没有 CPU 同步。
  • BF16 GEMM 会随行数切换 kernel，因此以“同样补齐的 eager”为基准，5 类分批场景输出逐位一致，并补了上游单测。
  • 文档页（1044 token）补齐到 2048 档反而变慢，所以默认上限设为 512 token，超出时回退 eager。
1.8–4.5×A100 单图 Encoder
（64–256 token）
55→18 msA100 224² 单请求
端到端
1.43→0.23 GiBGraph 显存占用
（上限 512）

项目

CUDA / Triton 算子练习

  • 手写 Shared Memory + 寄存器分块 FP32 GEMM，25 种形状对拍通过，约为 cuBLAS 的 44%（RTX 3090）/ 73%（A100）；正在用 Nsight Compute 分析两张卡差距的来源，并做向量化取数与双缓冲。
  • 转置、Reduce、Online Softmax、RMSNorm 等 CUDA kernel 8 个，Triton kernel 3 个，均通过对拍和越界检查；Vector Add 达 852 GB/s（约 91% 带宽）。
  • Fused Add + RMSNorm 写成 CUDA Extension，经 PyTorch Dispatcher 接入 vLLM。

Mini-vLLM 多模态推理引擎

学习型项目，参考官方 vLLM 实现

  • 调度：Continuous Batching + Chunked Prefill，按 token 预算混合调度；Decode 阶段使用 CUDA Graph。
  • 显存：Paged KV cache（Block Table、Slot Mapping）与 Prefix Caching（引用计数、LRU 淘汰）。
  • 多模态：适配 Qwen3-VL，包括 Encoder Cache、M-RoPE 三维位置编码和 DeepStack 视觉特征注入。
  • 并行：多进程 Worker + NCCL 张量并行，TP=2/4 与单卡逐 token 一致。

实习

江苏比特达信息技术有限公司 · 大模型工程实习生

Qwen3-VL 遥感多模态项目

  • 整合 5 个遥感数据集，构建 76.25 万条训练样本；Qwen3-VL-8B LoRA SFT（ZeRO-2，4×A100），BLEU-4 从 12.17 提升到 49.08，VQA 准确率 82.56%（合同要求 ≥ 75%）。
  • 合并 LoRA 后通过 OpenAI 兼容 API 部署在单张 3090 上，与 SAR 检测、SAM 分割等组成 4 个服务的系统。

教育与荣誉

中国矿业大学 · 大数据技术与工程 · 硕士

  • 研究生国家奖学金、研究生优秀学生
  • ICML 2026 论文共同作者；已授权发明专利 8 项
  • 硕士课题：遥感多模态大模型的因果推理

鲁东大学 · 电子信息工程 · 本科

  • 国家励志奖学金；校级优秀毕业生；电子设计竞赛特等奖

技术栈

vLLMCUDA GraphKV cache张量并行 / NCCL C++CUDATritonPyTorch Nsight Compute / Systemstorch.profiler