AI 看圖說故事的能力,可讓照顧居家照護機器人了解眼前的生活情境,具有找話題的能力,變得溫暖許多。
圖片來源│iStock
中研院資訊科學研究所的古倫維副研究員,主要研究領域是人工智慧( AI )的自然語言處理,現正開發如何讓 AI 不只會說故事,還會看圖說故事。
攝影│林洵安
古倫維的故事生成模型將產生故事的過程分成「語意抽取」及「故事生成」兩個階段。
圖說重製│黃曉君、林洵安 資料來源│古倫維
電腦看圖說故事的範例。No KG 代表機器在不添加額外知識時所產生的故事,Visual Genome 與 Open IE 古倫維團隊用兩個不同的知識庫分別產生的故事,GLAC 是除了古倫維的模型外目前成果最好的模型。由上可知,知識庫的確能幫助故事的上下文連結。最後的 Human 是真人所寫的故事,包含了許多圖片中沒有的知識,甚至精神性的內容。
圖說美化│林洵安 資料來源│古倫維
Share
AD