摘要：模塊基于預(yù)訓(xùn)練模型進(jìn)行識(shí)別，識(shí)別出的結(jié)果與一起經(jīng)過(guò)注意力機(jī)制得到加權(quán)的空間注意力，得到的結(jié)果與進(jìn)行組合。五六結(jié)論將融入的前向處理流程，構(gòu)建了一個(gè)魯棒且準(zhǔn)確的模型參考博客

?論文題目：Beyond OCR + VQA: Involving OCR into the Flow for Robust and Accurate TextVQA

?論文鏈接：https://dl.acm.org/doi/abs/10.1145/3474085.3475606

?

一、任務(wù)概述

1. ?視覺(jué)問(wèn)答任務(wù)(VQA)：將圖像和關(guān)于圖像的自然語(yǔ)言問(wèn)題作為輸入，生成自然語(yǔ)言答案作為輸出。
2. ?文本視覺(jué)問(wèn)答任務(wù)(TextVQA)：面向文字識(shí)別的問(wèn)答任務(wù)。

?二、Baseline

? 2.1 Baseline 1：?Look, Read, Reason & Answer (LoRRA)：

• 2019年提出，推出標(biāo)準(zhǔn)數(shù)據(jù)集，原文地址：https://arxiv.org/abs/1904.08920v2
• 典型的TextVQA：將問(wèn)題回答建模為分類任務(wù)，需要給定答案空間。

• 多模態(tài)嵌入：?jiǎn)栴}embedding、圖像中的物體進(jìn)行embedding、OCR的結(jié)果進(jìn)行embedding(FastText做pre-train)
• 嵌入方式：
• • 對(duì)問(wèn)題進(jìn)行GloVe Embedding，再通過(guò)LSTM得到問(wèn)題嵌入 fQ(q)，用于后續(xù)對(duì)圖片特征以及OCR樣本進(jìn)行注意力加權(quán)平均。
  • 將圖像進(jìn)行特征提取，提取的特征fI(v)與fQ(q)一起經(jīng)過(guò)注意力機(jī)制得到加權(quán)的空間注意力，得到的結(jié)果與fQ(q)進(jìn)行組合。

• • OCR模塊基于預(yù)訓(xùn)練模型(Faster RCNN + CTC)進(jìn)行識(shí)別，識(shí)別出的結(jié)果fO(s)與fQ(q)一起經(jīng)過(guò)注意力機(jī)制得到加權(quán)的空間注意力，得到的結(jié)果與fQ(q)進(jìn)行組合。

• • contact一起之后過(guò)分類器(MLP)，分類的類別為問(wèn)題空間a1……an 加上 OCR是識(shí)別出的詞

? 2.2 Baseline 2：M4C

• 主貢獻(xiàn)：提出了迭代預(yù)測(cè)的解碼方式，但我們更關(guān)注特征表示的部分

• Question embedding：BERT-base模型的encoder，但只用前3層，得到矩陣shape=(K, d)
• Detected object embedding：Faster-RCNN + Position，shape=(M, d)
• 融合方式：Linear + LayerNorm

• OCR token embedding?由四部分組成：
  • : 300維的FastText文本特征
  • : Faster RCNN特征，和detected object的獲取方式一樣
  • : 604維的Pyramidal Histogram of Characters（PHOC）特征
  • : 4維的位置特征，計(jì)算方式和detected object一樣
  • 融合方式：前三個(gè)特征過(guò)linear后做layernorm，position多帶帶融合，再加起來(lái)

三、Motivation

1. OCR的錯(cuò)誤識(shí)別會(huì)較大程度影響多模態(tài)信息之間的交互(即fA的過(guò)程)
2. 因?yàn)樵诒碚骺臻g中需要copy OCR識(shí)別的token，OCR的錯(cuò)誤會(huì)較嚴(yán)重的影響解碼器的性能（哪怕另兩個(gè)分支完全準(zhǔn)確也沒(méi)法正確的輸出）

四、Method

? ?4.1 Contribution

1. 增強(qiáng)特征表示的魯棒性：減小OCR錯(cuò)誤和物體識(shí)別錯(cuò)誤對(duì)推理的影響
2. 增強(qiáng)解碼器的魯棒性：在答案預(yù)測(cè)模塊提出一個(gè)上下文感知的答案修正模塊（CRM）對(duì)“復(fù)制”的答案詞進(jìn)行校正。

? ?4.2 Architectural Details—— 視覺(jué)增強(qiáng)的文字表征模塊 TVS (OCR增強(qiáng))

1. method：
   • 文字圖像矯正模塊
   • 編碼模塊：45層ResNet+ 2層Bi-LSTM
   • 解碼模塊：?jiǎn)螌?注意力機(jī)制的GRU
   • 中間語(yǔ)義模塊：根據(jù)文字視覺(jué)信息預(yù)測(cè)語(yǔ)義信息
2. train：利用外部數(shù)據(jù)集訓(xùn)練(SynthText + Synth90K)
3. loss： OCR識(shí)別損失+語(yǔ)義損失
   • 語(yǔ)義損失由真實(shí)和預(yù)測(cè)的語(yǔ)義特征向量間的余弦距離計(jì)算得到
4. 優(yōu)勢(shì)：
   • 通過(guò)語(yǔ)義損失的監(jiān)督，編碼模塊能產(chǎn)生與文字解碼更相關(guān)的視覺(jué)特征
   • TVS為直接由文字圖像的視覺(jué)特性獲得語(yǔ)義表示提供可能。

5. 整網(wǎng)中推理，OCR token details(n個(gè)文本框)：

• • :? TVS的視覺(jué)特征
  • : FastText文本特征
  • : Faster RCNN特征
  • :? Pyramidal Histogram of Characters（PHOC）特征
  • :? 4維的位置bounding box特征
  • 融合方式：

??4.3 Architectural Details—— 語(yǔ)義導(dǎo)向的物體表征 SEO-FRCN（Visual增強(qiáng)）

?

?