Marker可以快速且准确地将PDF转换为markdown格式。

Marker可以快速且准确地将PDF转换为markdown格式。

码农世界 2024-05-23 前端 69 次浏览 0个评论

Marker

Marker可以快速且准确地将PDF转换为markdown格式。

  • 支持多种文档类型(针对书籍和科学论文进行了优化)
  • 支持所有语言
  • 移除页眉/页脚/其他杂质
  • 格式化表格和代码块
  • 提取并保存图像以及markdown
  • 将大多数方程转换为latex
  • 支持在GPU、CPU或MPS上运行

    工作原理

    Marker是一个由深度学习模型组成的管道:

    • 提取文本,必要时进行OCR处理(启发式算法,surya,tesseract)
    • 检测页面布局并找到阅读顺序(surya)
    • 清理和格式化每个块(启发式算法,texify)
    • 组合块并后处理完整文本(启发式算法,pdf_postprocessor)

      它仅在必要时使用模型,这提高了速度和准确性。

      示例

      PDF文档类型Marker输出Nougat输出
      Think Python教科书查看查看
      Think OS教科书查看查看
      Switch TransformersarXiv论文查看查看
      Multi-column CNNarXiv论文查看查看

转载请注明来自码农世界,本文标题:《Marker可以快速且准确地将PDF转换为markdown格式。》

百度分享代码,如果开启HTTPS请参考李洋个人博客
每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

评论列表 (暂无评论,69人围观)参与讨论

还没有评论,来说两句吧...

Top