グレースケールの写真を自動的にフルカラーに！
早稲田大学の「ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け」が話題ですね。
論文の概要は以下のとおりです。
ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する．提案手法では，画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで，画像全体の構造を考慮した自然な色付けを行うことができる．
提案モデルにおいて，大域特徴は画像全体から抽出され，局所特徴はより小さな画像領域から計算される．これらの特徴は“結合レイヤ”によって一つに統合され，色付けネットワークに入力される．このモデル構造は入力画像のサイズが固定されず，どんなサイズの画像でも入力として用いることができる．
また，モデルの学習のために既存の大規模な画像分類のデータセットを利用し，それぞれの画像の色とラベルを同時に学習に用いることで，効果的に大域特徴を学習できるようにしている．
難しいこと書いてありますが、要はこれさえあれば、古い白黒写真もカラーにできるってことですね。
そうなると、やってみたくなります。しかし、なんかいろいろシステムの準備が面倒な予感・・・。
WEBサービスもあるよ！
この難しい仕組を気軽に簡単にWEBで試せるサービスを見つけました。いやぁ、ありがたいです。
「飯塚らによるディープラーニングでグレースケール画像に自動的に着色する手法のデモ実装をWebでサクッと試せるサービスを作った」
まさに望んだサービスです。このサイトで説明読んだ上で、サービスサイトで入力する画像を指定します。
最初にモノクロの写真を指定して入力、するとカラーにしてもらえます。なお最初にモノクロではなくカラー画像を指定すると、自動的にモノクロ画像に変換されるというとても親切な設計です。
最初の画像を指定したあとで、着色処理ボタンを押します。しばらくすると自動的にカラー写真ができあがります。
やってみた
さて。いろいろ試してみました。
■キノコ
まず軽井沢で撮影したキノコの写真。
オリジナルをモノクロに変換した状態。
おお。確かにカラーになってます。
ただ、オリジナルの画像に比べると彩度が落ち着いた渋い色調になってます。
■Nao
続いてロボットの写真。
赤いNaoの写真をモノクロに。こうすると赤なのか、紺色なのか区別はつきません。
なんとカラーにすると赤いボディカラーが浮かび上がってます。なんで？
こちらがもともとの画像ですが、緑や青の背景はあまり再現されていなかったことがわかります。
■軍艦島
続いて以前、軍艦島に行ってきた時に撮影した写真。
まずモノクロにします。本当に軍艦みたいな雰囲気ですね
淡いカラーになりました。
これはもともとの写真の彩度が低かったこともありますが、自動的に作られたカラーとほとんど一緒という結果に。すごいとしか言いようがありません。
■ロボスタ
続いて社内風景で試してみました。
これがモノクロの状態。
出来上がった写真はカラーというよりセピア調の仕上がりに。これはこれで味わい深いですね。
もともとの写真はこれでした。ちょっとLightroomで青く現像したのが良くなかったのかも。
■ライカMモノクロームの作品
モノクロ写真といえば、ライカのMモノクローム。この時代のデジタルカメラでモノクロしか撮れないというマニアックなカメラですが、そのサンプル作品をカラーにしてみました。
モノクロしかとれないわけでこれがオリジナルです。元のカラーはわかりません。
生成された画像はオリジナルはこうだったに違いないという感じに仕上がりました。
こちらも情報は限りなくすくないすっきりしたオリジナル画像。
ああ、こんな風だったに違いない！というカラー画像になりました。
馬がいる写真。
青空、山、馬の色、素晴らしいカラー化です。信じられないクオリティ！
感想
ということで、画質のよいモノクロ写真であれば、かなりの精度でカラー化ができることがわかりました。
ちなみにユーザーテストでは約90%の色付け結果が自然であるという回答が得られたそうですが、それも納得の完成度だと思います。
今後ますます人工知能の応用範囲が広がっていくのが楽しみになるサービスでした。
おまけ
今回、強く思ったのは「ライカMモノクローム」を買えば、白黒イメージが違和感のないカラー化できるということでした。実際、他のカメラの画像とくらべてカラー化のレベルが数段違う印象でした。
このWEBサービスの作者も「友人らに試してもらったところ、（たまたまなのか理由があるのかはともかく）ライカM モノクロームで撮られた画像がわりかし上手くカラー化されることに気づいた。他にもLeica公式の作例をいれるといい感じになるものが多い。みんなでライカを買おう。」とコメントしています。
いやぁ、欲しくなっちゃいますよね。
なお、レンズは別売りですので、こちらのレンズ「ライカ アポ・ズミクロンM f2.0/50mm ASPH.」がおすすめです。
宝くじが当たったら買おうっと。
では、また！
