翻译扫描档存在重影 / feat (main): supports ocr on scanned document

[jackiehejian]

当pdf文件均为图像，而不是可编辑（复制）状态时，翻译完全失败，具体见图

[Byaidu]

图片型的 PDF 文档暂时还没办法翻译，目前主要还是在优化电子书和论文的翻译效果

[jackiehejian]

图片型的 PDF 文档暂时还没办法翻译，目前主要还是在优化电子书和论文的翻译效果

好的，非常感谢

[fireinrain]

均为图像有点为难人了，ocr的质量 影响文字的质量 影响翻译的效果

[xxsunyxx]

加一个可选流程paddleOCR，

[xxnuo]

sayura
这个模型非常准确，就是对算力的要求会高于 Paddle OCR

[Byaidu]

sayura 这个模型非常准确，就是对算力的要求会高于 Paddle OCR

和 minerU/marker 比较怎么样呀

[xxnuo]

Owner

sayura 就是 marker 的作者做的开源多国语言和表格的 OCR 模型😂
minerU 这个我没有测试，我只测试了 PaddleOCR 高精度模型，Sayura 效果比它好很多，而且支持多国语言效果很好。
我看 minerU 的 issue，对多国语言的支持好像不佳
缺点就是 Sayura 对 GPU 显存要求有点高，头疼，不太会量化模型。

[xxnuo]

佬们 ocr 的进展如何，我觉得用 paddleocr 撸一个不错，如果已经有佬在做了我就不再造轮子了 @reycn @Byaidu

[Byaidu]

佬们 ocr 的进展如何，我觉得用 paddleocr 撸一个不错，如果已经有佬在做了我就不再造轮子了 @reycn @Byaidu

目前还一点没做…

如果写好了的话欢迎来贡献代码

[hellofinch]

from typing import BinaryIO
import numpy as np
import tqdm
from pymupdf import Document
from pdfminer.pdfpage import PDFPage
from pdfminer.pdfinterp import PDFResourceManager
from pdfminer.pdfdocument import PDFDocument
from pdfminer.pdfparser import PDFParser
from pdf2zh.converter import TranslateConverter
from pdf2zh.pdfinterp import PDFPageInterpreterEx
from pymupdf import Font
import numpy as np
from paddleocr import PaddleOCR

file=""

def extract_text_to_fp(
    inf: BinaryIO,
    pages=None,
    password: str = "",
    debug: bool = False,
    page_count: int = 0,
    vfont: str = "",
    vchar: str = "",
    thread: int = 0,
    doc_en: Document = None,
    model=None,
    lang_in: str = "",
    lang_out: str = "",
    service: str = "",
    resfont: str = "",
    noto: Font = None,
    callback: object = None,
    **kwarg,
) -> None:
    ocr = PaddleOCR(use_angle_cls=True, lang="en")
    rsrcmgr = PDFResourceManager()
    layout = {}
    device = TranslateConverter(
        rsrcmgr, vfont, vchar, thread, layout, lang_in, lang_out, service, resfont, noto
    )

    assert device is not None
    obj_patch = {}
    interpreter = PDFPageInterpreterEx(rsrcmgr, device, obj_patch)
    if pages:
        total_pages = len(pages)
    else:
        total_pages = page_count

    parser = PDFParser(inf)
    doc = PDFDocument(parser, password=password)
    with tqdm.tqdm(
        enumerate(PDFPage.create_pages(doc)),
        total=total_pages,
    ) as progress:
        for pageno, page in progress:
            if pages and (pageno not in pages):
                continue
            if callback:
                callback(progress)
            page.pageno = pageno
            pix = doc_en[page.pageno].get_pixmap()
            image = np.fromstring(pix.samples, np.uint8).reshape(
                pix.height, pix.width, 3
            )[:, :, ::-1]
            page_layout = model.predict(image, imgsz=int(pix.height / 32) * 32)[0]
            # kdtree 是不可能 kdtree 的，不如直接渲染成图片，用空间换时间
            box = np.ones((pix.height, pix.width))
            h, w = box.shape
            result_text=[]
            vcls = ["abandon", "figure", "table", "isolate_formula", "formula_caption"]
            for i, d in enumerate(page_layout.boxes):
                text=''
                if not page_layout.names[int(d.cls)] in vcls:
                    x0, y0, x1, y1 = d.xyxy.squeeze()
                    x0, y0, x1, y1 = (
                        np.clip(int(x0 - 1), 0, w - 1),
                        np.clip(int(h - y1 - 1), 0, h - 1),
                        np.clip(int(x1 + 1), 0, w - 1),
                        np.clip(int(h - y0 + 1), 0, h - 1),
                    )
                    box[y0:y1, x0:x1] = i + 2
                    if page_layout.names[int(d.cls)]=="plain text":
                        imagex = image[y0:y1,x0:x1]
                        result = ocr.ocr(imagex, cls=False)
                        for idx in range(len(result)):
                            res = result[idx]
                            for line in res:
                                text+=line[1][0]
                        result_text.append(text)
            for i, d in enumerate(page_layout.boxes):
                if page_layout.names[int(d.cls)] in vcls:
                    x0, y0, x1, y1 = d.xyxy.squeeze()
                    x0, y0, x1, y1 = (
                        np.clip(int(x0 - 1), 0, w - 1),
                        np.clip(int(h - y1 - 1), 0, h - 1),
                        np.clip(int(x1 + 1), 0, w - 1),
                        np.clip(int(h - y0 + 1), 0, h - 1),
                    )
                    box[y0:y1, x0:x1] = 0
            layout[page.pageno] = box
            # 新建一个 xref 存放新指令流
            page.page_xref = doc_en.get_new_xref()  # hack 插入页面的新 xref
            doc_en.update_object(page.page_xref, "<<>>")
            doc_en.update_stream(page.page_xref, b"")
            doc_en[page.pageno].set_contents(page.page_xref)
            interpreter.process_page(page)

    device.close()
    return obj_patch,result_text

只有一段OCR的内容， 实在是看不懂怎么把OCR出来的结果往后传了。
:(

[xxnuo]

https://github.com/jingsongliujing/OnnxOCR

[xxnuo]

https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo

[gfhdhytghd]

建议使用有道来进行OCR翻译
钱可不是白交的

[gfhdhytghd]

尝试集成tesseract来实现OCR

[jj-a-li]

实际上pdf非常大一部分都是扫描版的，如果不能处理，使用范围会锐减

[su77ungr]

https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo

[hellofinch]

https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo

这个识别其实不是问题，主要是这个识别之后的排版信息没有了。需要对应排版信息。

[1VeniVediVeci1]

https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo

这个识别其实不是问题，主要是这个识别之后的排版信息没有了。需要对应排版信息。

sayura的ocr识别会输出包含bbox坐标和识别结果的json文件

[hellofinch]

排版信息指的不单纯是位置，比如字体，斜体，加粗。现在doclayout已经可以确认box，OCR直接跟后边也可以获取内容，但是行间距，字间距这些信息没有了。

[awwaawwa]

I will explore related things recently, thanks for everyone's suggestions!

[keonchennl]

目前只有这个issue是关于处理扫描版PDF的，不知道当前功能开发的优先级如何，先关注了

[awwaawwa]

下个月会看一看

[NullYing]

先关注了MinerU，扫描件的准确读取率挺高的（不是手机拍照）；想结合这两个项目看起来还是有点难度

[NullYing]

先关注了MinerU，扫描件的准确读取率挺高的（不是手机拍照）；想结合这两个项目看起来还是有点难度

扫描件可以直接理解为图片，实际上是保持排版的图片翻译功能，可以参考微信的实现，长按图片点翻译可以自动翻译

[anbian123]

mathTranslate对于扫描版的pdf文件的翻译效果咋样呢？

[awwaawwa]

mathTranslate对于扫描版的pdf文件的翻译效果咋样呢？

压根不支持😂

[awwaawwa]

BabelDOC 0.3.17 可以在文字区域底下加个白色背景，来部分支持OCR版PDF文档

[one-word]

mark

[Jose-Maria-Martins]

What about https://ocrmypdf.readthedocs.io/en/latest/. Couldn't it improve detection? And make it work for ocr pdfs?

[awwaawwa]

What about https://ocrmypdf.readthedocs.io/en/latest/. Couldn't it improve detection? And make it work for ocr pdfs?

#860 thanks

[awwaawwa]

遇到此问题时，请尝试使用 2.0 预览版 #586 并启用高级选项中的 OCR Workaround 来翻译。