機械学習で写真集をキュレーションするというプロジェクト.

写真を画像解析にかけて得られる高次元の特徴量を、t-SNEアルゴリズムをよって二次元にマッピング。各写真を最短距離でつなぐ「経路」の探索を「巡回セールスマン問題 (TSP)」として、遺伝的アルゴリズム(GA) で解いたそうです。(TSPとGAに関してはこの辺が参考になるかと思います. )

  

各写真には、GoogleのCloudVisionやMicrosoftのCognitive Service APIなどを使ってタグやキャプションの情報が追加されています。こうして最終的に一冊の写真集ができあがりました。

Computed Curation — Generator from Philipp Schmitt on Vimeo.

できあがった写真集をつらつらみていると(webでブラウズできます)、たしかになんとなく前後の関係性が感じられます。キャプションが微妙にずれているのが妙にポエティックだったり…

プロジェクトサイト

Computed Curation is a photobook created by a computer. Taking the human editor out of the loop, it uses machine learning and computer vision tools to curate a series of photos from an archive of pictures.

Considering both image content and composition — but through the sober eyes of neural networks, vectors and pixels — the algorithms uncover unexpected connections and interpretations that a human editor might have missed.