編譯:王朝軍

分割——將圖像分割或掃描成多個(gè)片段或像素組——是人工智能擅長(zhǎng)的任務(wù)。例如，Google Alphabe的子公司DeepMind的研究人員最近在一篇學(xué)術(shù)論文中透露，他們開(kāi)發(fā)了一種系統(tǒng)，可以以“近乎人性化”的方式分割CT掃描。現(xiàn)在，德國(guó)波茨丹大學(xué)的科學(xué)家已經(jīng)為一種更卡通的媒體——漫畫(huà)——開(kāi)發(fā)了一種人工智能分割工具。

一幅兩層的壁畫(huà)占據(jù)了英雄城的一邊。蝙蝠俠、羅賓和創(chuàng)業(yè)教父蒂姆·德雷珀由DC漫畫(huà)家吉姆·李繪制。

在預(yù)印平臺(tái)Arxiv.org【基于CNN的漫畫(huà)對(duì)話框檢測(cè)和漫畫(huà)分割】上發(fā)表的一篇論文中，他們描述了一個(gè)可以檢測(cè)和分離的神經(jīng)網(wǎng)絡(luò)(即模擬生物神經(jīng)元的數(shù)學(xué)函數(shù)層)。圖畫(huà)小說(shuō)和漫畫(huà)中的對(duì)話氣泡盒，在涉及到含有“擺尾”和“彎角”氣泡的數(shù)據(jù)集的測(cè)試中，獲得了0.94的F1分?jǐn)?shù)(測(cè)試準(zhǔn)確性的一種度量)，研究人員稱之為最先進(jìn)的。

"對(duì)話框通常由一個(gè)載體(用于包含文本的符號(hào)設(shè)備)和一個(gè)小尾巴組成，小尾巴將載體與其生成的文本的根字符連接起來(lái)。尾巴和載體有不同的形狀、輪廓和擺動(dòng)程度，”研究人員解釋說(shuō)。它將【對(duì)話框】分為不同的類(lèi)別，因?yàn)樗鼈兊墓δ懿煌?與通常用于敘事目的的字幕相比，對(duì)話框通常包含漫畫(huà)中直接的文字或人物的思想。

研究者的人工智能模型成功提取了對(duì)話框

該團(tuán)隊(duì)開(kāi)發(fā)了一種完全復(fù)雜的神經(jīng)網(wǎng)絡(luò)——一種通常用于分析視覺(jué)圖像的人工智能——最初是為醫(yī)學(xué)圖像分割而設(shè)計(jì)的，并為“自然圖像”的分類(lèi)而訓(xùn)練。他們稍加修改，從90本漫畫(huà)書(shū)中增加了750頁(yè)的注釋?zhuān)@是一個(gè)用英文寫(xiě)的圖文小說(shuō)、回憶錄和非小說(shuō)類(lèi)的數(shù)字圖書(shū)館。

隨著時(shí)間的推移，它學(xué)會(huì)識(shí)別漫畫(huà)中的每個(gè)像素是否屬于一個(gè)對(duì)話框。

為了驗(yàn)證他們的方法，研究人員在從圖形敘事語(yǔ)料庫(kù)中提取的750幅圖像的子集(15%)中測(cè)試了一個(gè)訓(xùn)練有素的人工智能系統(tǒng)。令人印象深刻的是，它試圖接近虛擬輪廓——對(duì)話框的邊界不是由物理線條勾勒出來(lái)的，而是通過(guò)定義面板之間線條的“想象”延續(xù)下來(lái)的空。

研究人員假設(shè)他們的人工智能對(duì)話框檢測(cè)系統(tǒng)可以用來(lái)創(chuàng)建帶注釋的漫畫(huà)書(shū)語(yǔ)料庫(kù)，也可以作為歷史手稿、科學(xué)文章、數(shù)字和表格以及報(bào)紙文章的一般分詞的第一步?？傆幸惶?，它可能會(huì)幫助視力不好的人開(kāi)發(fā)輔助技術(shù)。

研究人員提到，這并不意味著它是完美的，這種AI技術(shù)在提取日本漫畫(huà)對(duì)話框的過(guò)程中表現(xiàn)不佳。這可能是由于拉丁字母編碼的“文化特定”特性和訓(xùn)練數(shù)據(jù)集中對(duì)話框的水平方向。然而，有更多更新的漫畫(huà)樣本模型和擴(kuò)展到字幕、角色和其他元素的模型。

“當(dāng)然，這需要人工驗(yàn)證，但鑒于現(xiàn)有的計(jì)算機(jī)視覺(jué)領(lǐng)域，[部分AI]模型的性能至少接近人類(lèi)的性能，我們還是希望解決幾個(gè)繁瑣的標(biāo)注任務(wù)，釋放人力資源用于更有趣的事業(yè)。”研究人員寫(xiě)道。

參考文章:

https://venturebate . com/2019/02/22/ai-extracts-speech-bubbles-from-連環(huán)漫畫(huà)/

—結(jié)束—