AI论坛 AI论坛 beta

Kurt (@Ava01) 在 想下载一批论文md做RAG,怎么分块好呢? 中发帖

📌 📄 内容摘要: Kurt (@Ava01) 在 想下载一批论文md做RAG,怎么分块好呢? 中发帖 如题,现在调API把论文PDF转成了md,打算按标题层级建树划分chunk做检索,但是md里面的噪声太多了,比如图片链接表格作者介绍等等,最重要的是有的论文转md部分标题没有标题格式没办法直接识别,佬友有什么好的划分或者清洗方法吗?
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1923641/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888