Andrej Karpathy

Andrej Karpathy 公开了两种使用语言模型的方法:让编程 Agent 在单卡环境反复执行训练实验,以及让 Agent 持续维护相互链接的 Markdown 知识库。

关于 Andrej Karpathy

Karpathy 的公开作品涵盖语言模型训练,以及怎样把模型用到具体工作中。在 Autoresearch 中,编程 Agent 有一份可以改动的训练脚本、一段固定的训练时间和一个评价指标。研究者可以结合实验日志与 Git 历史,核对哪些改动带来了可测量的变化。

LLM Wiki 关注知识的长期维护。能操作文件的 Agent 从原始资料提取信息,生成互相引用的 Markdown 页面,并在新证据出现时修订已有条目。Karpathy 通过 GitHub Gist 公开了这套设计,读者可以用它来定义自己工作区里的知识库。

Autoresearch:由 Agent 执行的训练实验

上游项目展示了 Agent 如何在固定训练预算下迭代。仓库中的实验指引说明了可改动的范围,以及怎样记录成功和失败的运行。

探索其他发布者

了解其他发布开放工具、项目与 Agent Skills 的个人和团队。

常见问题

Autoresearch 实际执行什么?
编程 Agent 修改训练脚本,运行短时模型训练并记录结果。默认用验证集每字节比特数衡量效果。
试跑官方实验需要什么?
官方配置需要单张 NVIDIA GPU、Python 3.10 或更新版本以及 uv。README 单独列出了社区移植版本。
Autoresearch 文档提到了哪些 Agent?
README 提到了 Codex 和 Claude。先确认基线训练能运行,再从仓库中启动 Agent,并提供实验指引。
怎样比较 Autoresearch 的实验结果?
固定数据、评估设置、GPU 和每次训练的时间预算,比较验证集每字节比特数,再核对改动记录。
Karpathy 发布的 LLM Wiki 是什么?
它是一份关于如何由 Agent 建立和维护个人知识库的设计说明。原始 Gist 介绍了文件结构、更新流程和源资料的角色。
做 LLM Wiki 一定要用 Obsidian 吗?
Karpathy 用 Obsidian 浏览知识库。只要工作区允许 Agent 读取原始资料并编辑知识库,也可以用其他工具查看这些 Markdown 页面。

用 LLM Wiki 方法搭建知识库

了解如何把原始资料、互相链接的页面和 Agent 的日常更新组织成一个长期可用的 Markdown 知识库。