目前 AI 辅助生成学习笔记的最佳实践探讨
假设要学习一门计算机课程, 例如 CS 164 或者 CS 110L, 有朋友来分享一下现阶段的 AI 工具生成笔记的最佳实践吗?
我之前在没有 AI 辅助时的做法:
- 把课程的 Lectures/Slides/Homework/Assignments 原版英文材料转换成 markdown 格式笔记文件, 创建一个 github 仓库同步.
- 对教程视频使用 whisper 模型生成英文字幕.
- 在看课程视频和做 Homework 或者 Assignments 的时候对照着 markdown 格式的笔记增加自己的理解和附注, 将视频中的关键图示截图或者做 Assignments 时的关键思路插入笔记中.
这样做的好处是可以最大程度信任自己的笔记内容, 因为这些信息要么是课程原版, 要么是经过自己测试验证过的. 这样一来就可以作为自己的高可信度知识库材料, 以后就可以随时检索, 不用费心分辨大模型给出的可能有误的信息.
但这种方式的最大缺点是会花费非常多的时间在笔记整理上. 例如一节课程大约是 1 到 1.5 小时, 如果要产出完全覆盖视频内容且包括视频中所有关键图示的笔记文件, 差不多需要 3-5 倍的时间. 所以我就想是否能让 AI 来解决这个整理笔记的体力劳动过程, 把更多时间投入到思考概念和解决方案中.
现在遇到的问题是, 我试过的一些现有的云端 AI 工具 (例如 NoteBookLM) 都只是基于视频的字幕文件或者视频的语音来生成笔记内容, 几乎没有视频的图像信息, 因此也就无法将视频中的关键图示插入笔记中. NoteBookLM 可以做到上传课程材料和视频文件, 然后向他提问概念, 但是做不到完整提取视频信息并生成笔记文件. 对于长度超过 1 小时的单个章节课程视频, 云端工具也是大概率不支持一次性或者分段处理的.
不知道有没有利用开源模型来完成这种从课程材料和课程视频生成非常详尽的图文笔记的开源项目? 实在没有的话只能自己动手写一个试试了, 目前的思路是用 qwen3:14b + glm-ocr/deepseek-ocr + ffmpeg 来实现,但是估计以我手上能用的硬件(Tesla P40)跑到冒烟才能跑完一个视频的内容.
@SuperDaniel313 感谢回复. 我用过 NotebookLM, 它没有解决我的主要问题: 提取长视频中的内容信息. 比如视频里在讲解 maxflow-mincut 算法, 课程材料中可能只有一张结论的图, 但视频里有一步一步的推导过程. 如果是我手动记录笔记, 我会把每一步推导都截图下来并附上自己的理解. 但是 NotebookLM 显然做不到这点.
@cellsyx 如果你能搞到这个课程的课件,或者说它的课本,那么把这些直接送到 NotebookLM 里面。然后再针对具体的知识点进行提问,这个时候 NotebookLM 的回答是相对靠谱的。再不济的情况下,把这种知识点相关的算法书直接上传上去,应该也是等效的。
获取正确知识或者说权威知识的手段,不一定要靠视频课程。你可以取 NotebookLM 的长,然后去补它的短。课程只是让你方便理解知识,书籍上也会有很多这种知识。
我不是很喜欢视频课程,因为检索起来非常麻烦。就像你现在遇到的问题,本质上就是因为视频这种媒介产生的检索问题。知识传递效率最高的还是文本。所以我建议,OP 要不尝试换个方法试试?你要的只是知识,而不是视频,对吧?
@SuperDaniel313 我的意思是, 我已经确定了要学的知识范围, 也已经把课件/教材/视频内容都传到 NotebookLM 里面了. 我目前需要的是让他替我执行*整理初版笔记*这个偏向体力劳动的过程, 而不是简单的问答. 但 NotebookLM 面对长视频场景做不到这点, 所以我才想要找其他的方案, 或者自己写一个项目来完成这个任务. 这样在之后对照视频的学习过程中可以尽量减少 截图-调整笔记 这个步骤的耗时, 更专注在理解和思考上面.
前几天刚好发了一点评论,粘贴过来给 OP 参考一下。
没有 LLM 之前,很多人做笔记的习惯是为了留存一些知识,因为回溯原文的代价比较高,所以把书读薄了之后,自己总结抽象出来的知识,检索起来速度非常快。
但在 LLM 大爆发的这个时代,检索的效率比搜索引擎时代不知道高了多少。可以验证的方式多了很多,比如大模型之间交叉验证,或者直接让大模型联网搜索再验证。
每个人的学习习惯不同,我就打算抛弃这种抽象再总结的内容,不再考虑刻意留存了,只保留大概的印象。用到的时候,如果细节忘记了就直接问 LLM 。大块的内容记不住,那我写下来估计也不会再去看了。忘了就忘了吧,忘了说明不重要。
以下是其他帖子的内容参考
最近刚好在高强度用 NotebookLM 学习新领域知识,体验下来,学习模式和传统是一样,但效率更高。