摘要：
打开大模型的“黑盒子”，亲手从零搭建一个能对话、能思考、能调用工具的AI模型——这件事在一年前还只属于顶级AI实验室和拥有巨额算力预算的大厂。但如今，一个... 打开大模型的“黑盒子”，亲手从零搭建一个能对话、能思考、能调用工具的AI模型——这件事在一年前还只属于顶级AI实验室和拥有巨额算力预算的大厂。但如今，一个名为 MiniMind 的国产开源项目，正在把这种“奢侈”变成任何人用一台普通电脑就能完成的现实。
这是什么？
MiniMind 是一个完全从零开始、用 PyTorch 原生代码实现的大语言模型全链路训练项目。它最惊人的标签是：仅需约3块钱的GPU租用成本和2小时训练时间，就能训练出一个参数量约6400万的超小语言模型。目前项目在GitHub上已收获 超过5600 Star，采用 Apache 2.0 协议开源。
MiniMind 的体量有多轻？主线最小版本约为 GPT-3 的 1/2700。它不依赖 transformers、trl、peft 等第三方库提供的高层抽象接口，所有核心算法代码均从0使用PyTorch原生实现。
它和那些“调用API调参”的项目有什么本质不同？
打开互联网，满屏都是“5分钟微调大模型”“10行代码实现ChatGPT”的付费课程。但绝大多数这类教学，本质上是在教你怎么用现成框架调几个参数——这更像是在教牛顿如何使用21世纪的智能手机，虽然有趣，却偏离了理解物理本质的初衷。
MiniMind 走的是另一条路。它覆盖了从数据清洗、Tokenizer训练、预训练、监督微调（SFT）、LoRA、RLHF（DPO）、到RLAIF（PPO/GRPO/CISPO）、Tool Use、Agentic RL、自适应思考与模型蒸馏的完整训练链路。每一行代码都是原生的，每一个环节都是可见的。
项目主线结构当前对齐 Qwen3 / Qwen3-MoE 生态，这意味着你在这个“小模型”上学到的结构，和当前最前沿的开源大模型是同源的。它不是一个玩具，而是一张精准的 AI 学习导航 地图——告诉你从零到一构建大模型的每一步该怎么走、为什么这么走。
技术硬核在哪里？
MiniMind 的技术栈相当扎实且完整：
模型结构：采用 Transformer Decoder-Only 结构，Pre-Norm + RMSNorm、SwiGLU 激活函数、RoPE 旋转位置编码，支持 YaRN 长文本外推。Dense 版本约 64M 参数，MoE 版本约 198M-A64M。
Tokenizer：自研的 minimind_tokenizer，词表仅 6400，虽然压缩效率弱于 Qwen2 等中文友好分词器，但极大压缩了 embedding 和输出层的参数占比，更适合小模型的体积约束。
训练能力：支持单机单卡与单机多卡（DDP、DeepSpeed）训练。所有训练脚本均支持检查点保存与断点续训，可自动恢复训练进度，适合长时间训练或不稳定环境。训练可视化方面，默认使用对国内访问友好的 SwanLab 替代 WandB。
推理与部署：兼容 transformers、llama.cpp、vllm、ollama 等主流推理引擎。提供兼容 OpenAI API 协议的极简服务端，可接入 FastGPT、Open-WebUI 等第三方 Chat UI。还提供了基于 Streamlit 的极简聊天 WebUI。
多模态拓展：MiniMind 还拓展了视觉模态模型 MiniMind-V、多模态 Omni 模型 MiniMind-O、扩散语言模型和线性模型。
打个比方，如果说市面上那些“一行代码调模型”的教程是让你坐在头等舱里看风景，那 MiniMind 就是给你一堆零件和一张图纸，让你亲手拼出一架能飞的飞机。在 AI 开源工具的生态里，它填补了一个长期空白——一个真正可复现、可理解、可扩展的“从零造模型”的入门起点。
上手有多简单？
git clone --depth 1 https://github.com/jingyaogong/minimindcd minimind && pip install -r requirements.txt
从 ModelScope 下载预训练好的模型：
modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
然后直接运行推理：
python eval_llm.py --load_from ./minimind-3
想自己从头训练？下载数据集，运行训练脚本：
cd trainer && python train_pretrain.py # 预训练python train_full_sft.py # 指令微调
想要最快速度从零体验？推荐使用轻量数据组合 pretrain_t2t_mini.jsonl + sft_t2t_mini.jsonl，单卡 3090 即可 2 小时复现。
谁在用 MiniMind？
AI 初学者：想真正理解 Transformer 结构、训练流程和底层原理，而不是只会调 API
高校师生：作为大模型课程的实验教学材料，学生可以亲手跑通全流程
个人开发者：在有限算力下快速验证想法、做算法实验
开源社区贡献者：基于 MiniMind 拓展新的算法模块或模态
项目已部署至 ModelScope 创空间，可以在线体验对话效果。
总结
如果说那些动辄百亿参数的大模型是“别人家的孩子”，你只能远远看着，那么 MiniMind 就是你自己能亲手养大的 AI 宝宝。它不是一个通用的聊天应用，而是一套 为 AI 学习者和开发者打造的“从零造模型”完整教程与基础设施。
在这个大模型技术日新月异的时代，能亲手从每一行代码开始理解、构建、训练一个能对话的模型——这种从0到1的创造乐趣，或许比任何付费课程都更值得体验。