Éra digitálních fotoaparátů s sebou přinesla jeden zajímavý fenomén. I lidé, kteří dříve nefotili, pořizují desítky a stovky snímků, a na internetu jsou tak k dohledání miliony obrázků všeho možného.
Odborníci z Fakulty informatiky MU už před lety vyvinuli program, který umožňuje vyhledávat podobné snímky – ne ovšem na základě klíčových slov, ale srovnáváním obrazu. Přesto se popisky stále hodí.
I když člověk své fotografie zrovna neprodává přes fotobanku, rád si k nim něco poznamená, aby si v budoucnu rozvzpomněl na detaily. Jenže popsat stovky fotografií dá zabrat. A s tím by právě mohla pomoci aplikace, kterou tým zabývající se podobnostním vyhledáváním testuje.
„MUFIN Image Annotation umožní získat automaticky generovanou textovou anotaci pro libovolný, veřejně dostupný obrázek na internetu,“ popisuje hlavní účel vyvíjené aplikace Petra Budíková z fakulty informatiky.
V zásadě program funguje tak, že uživatel vloží na internet svou fotografii, kterou program srovná na základě obrazové podobnosti s dalšími snímky, a nabídne sérii klíčových slov a popisků, které se dají k jeho fotce připojit. „K tomu je samozřejmě potřeba velká databáze kvalitních obrázků s bohatými a přesnými textovými popisy,“ zdůrazňuje Budíková.
Podobnostní vyhledávání a získávání nápovědy klíčových slov odborníci teprve vyvíjejí, a odhalují tak mnohá úskalí. Když například někdo pořídí fotografii psa na trávníku a hledá podobné obrázky, tak mu program může vygenerovat i jiná zvířata nebo předměty v trávě. Podobné „chyby“ omezí jednak dostatečně široká databáze fotografií pro srovnávání a také další metody.
„Snažíme se využít další zdroje informací, například lexikální databázi WordNet. Je to v podstatě slovník, který obsahuje i některé sémantické vztahy mezi slovy – například ukazuje synonyma, slova nadřazená či podřazená. Pomocí jeho funkcí můžeme pročišťovat popisky, třeba vyhledat a odstranit mezi navrženými klíčovými slovy protiklady (léto a zima). Je také možné popisky pomocí WordNetu obohacovat – pomocí vztahu nadřazenosti třeba zjistíme, že pes či kočka patří do kategorie zvíře,“ uvedla Budíková.
Dalším způsobem, jak se aplikace může rozvíjet, je její postupné učení ve spolupráci s uživatelem. Člověk si při popisu nějakého obrázku vybere z nabízených slov ta, která vyhovují fotografii. Systém na základě této volby může zpřesnit automatický výběr popisů a zároveň si do budoucna zapamatovat, která slova se hodí k typově podobným obrázkům.