古籍里明明写错了,OCR为什么必须照错抄?Sarvam怎样用3B模型处理22种印度语言
古籍识别需要读懂模糊文字,却不能把原稿里的旧拼法或错误悄悄改成现代写法。
导读
古籍识别需要读懂模糊文字,却不能把原稿里的旧拼法或错误悄悄改成现代写法。Sarvam 将文档处理拆成版面区块、阅读顺序和逐块转写,再把低置信内容及原图位置交给校对工具和人复核。它用 3B 视觉语言模型处理区块,以降低长页面计算负担;代价是切块可能丢失跨栏、分页或表格上下文,因此需要单独检查阅读顺序和区块边界,并让使用者可以回到原始扫描件核对。模型训练先学习语言,再学习图文对应、OCR 样本与可验证的字符和结构任务。语言先验帮助辨认模糊字符,也可能诱使模型把不熟悉的写法改得更通顺,团队还使用多种语言和版面训练模型,覆盖手稿、表格与公式等材料。所以原始转写与建议修订应分开保存,让每一次人工接受或修改都可追溯。