【人工知能】ディープラーニングで「白黒写真の自動色付け」やってみた。

color



グレースケールの写真を自動的にフルカラーに!

早稲田大学の「ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け」が話題ですね。

論文の概要は以下のとおりです。

ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する.提案手法では,画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで,画像全体の構造を考慮した自然な色付けを行うことができる.
提案モデルにおいて,大域特徴は画像全体から抽出され,局所特徴はより小さな画像領域から計算される.これらの特徴は“結合レイヤ”によって一つに統合され,色付けネットワークに入力される.このモデル構造は入力画像のサイズが固定されず,どんなサイズの画像でも入力として用いることができる.
また,モデルの学習のために既存の大規模な画像分類のデータセットを利用し,それぞれの画像の色とラベルを同時に学習に用いることで,効果的に大域特徴を学習できるようにしている.

難しいこと書いてありますが、要はこれさえあれば、古い白黒写真もカラーにできるってことですね。

そうなると、やってみたくなります。しかし、なんかいろいろシステムの準備が面倒な予感・・・。



WEBサービスもあるよ!

この難しい仕組を気軽に簡単にWEBで試せるサービスを見つけました。いやぁ、ありがたいです。

「飯塚らによるディープラーニングでグレースケール画像に自動的に着色する手法のデモ実装をWebでサクッと試せるサービスを作った」

まさに望んだサービスです。このサイトで説明読んだ上で、サービスサイトで入力する画像を指定します。



color01

最初にモノクロの写真を指定して入力、するとカラーにしてもらえます。なお最初にモノクロではなくカラー画像を指定すると、自動的にモノクロ画像に変換されるというとても親切な設計です。



color02

最初の画像を指定したあとで、着色処理ボタンを押します。しばらくすると自動的にカラー写真ができあがります。



やってみた

さて。いろいろ試してみました。




■キノコ

まず軽井沢で撮影したキノコの写真。



01

モノクロ画像

オリジナルをモノクロに変換した状態。



02

カラー化した画像

おお。確かにカラーになってます。



03

オリジナルのカラー画像

ただ、オリジナルの画像に比べると彩度が落ち着いた渋い色調になってます。




■Nao

続いてロボットの写真。



04

モノクロ画像

赤いNaoの写真をモノクロに。こうすると赤なのか、紺色なのか区別はつきません。



05

カラー化した画像

なんとカラーにすると赤いボディカラーが浮かび上がってます。なんで?



06

オリジナルのカラー画像

こちらがもともとの画像ですが、緑や青の背景はあまり再現されていなかったことがわかります。




■軍艦島

続いて以前、軍艦島に行ってきた時に撮影した写真。



07

モノクロ画像

まずモノクロにします。本当に軍艦みたいな雰囲気ですね



08

カラー化した画像

淡いカラーになりました。



09

オリジナルのカラー画像

これはもともとの写真の彩度が低かったこともありますが、自動的に作られたカラーとほとんど一緒という結果に。すごいとしか言いようがありません。




■ロボスタ

続いて社内風景で試してみました。



10

モノクロ画像

これがモノクロの状態。



11

カラー化した画像

出来上がった写真はカラーというよりセピア調の仕上がりに。これはこれで味わい深いですね。



12

オリジナルのカラー画像

もともとの写真はこれでした。ちょっとLightroomで青く現像したのが良くなかったのかも。




■ライカMモノクロームの作品

モノクロ写真といえば、ライカのMモノクローム。この時代のデジタルカメラでモノクロしか撮れないというマニアックなカメラですが、そのサンプル作品をカラーにしてみました。



13

オリジナルのモノクロ画像

モノクロしかとれないわけでこれがオリジナルです。元のカラーはわかりません。



14

カラー化した画像

生成された画像はオリジナルはこうだったに違いないという感じに仕上がりました。






15

オリジナルのモノクロ画像

こちらも情報は限りなくすくないすっきりしたオリジナル画像。



16

カラー化した画像

ああ、こんな風だったに違いない!というカラー画像になりました。






17

オリジナルのモノクロ画像

馬がいる写真。



18

カラー化した画像

青空、山、馬の色、素晴らしいカラー化です。信じられないクオリティ!



感想

ということで、画質のよいモノクロ写真であれば、かなりの精度でカラー化ができることがわかりました。

ちなみにユーザーテストでは約90%の色付け結果が自然であるという回答が得られたそうですが、それも納得の完成度だと思います。

今後ますます人工知能の応用範囲が広がっていくのが楽しみになるサービスでした。



おまけ

今回、強く思ったのは「ライカMモノクローム」を買えば、白黒イメージが違和感のないカラー化できるということでした。実際、他のカメラの画像とくらべてカラー化のレベルが数段違う印象でした。

このWEBサービスの作者も「友人らに試してもらったところ、(たまたまなのか理由があるのかはともかく)ライカM モノクロームで撮られた画像がわりかし上手くカラー化されることに気づいた。他にもLeica公式の作例をいれるといい感じになるものが多い。みんなでライカを買おう。」とコメントしています。

いやぁ、欲しくなっちゃいますよね。



leica

なお、レンズは別売りですので、こちらのレンズ「ライカ アポ・ズミクロンM f2.0/50mm ASPH.」がおすすめです。

宝くじが当たったら買おうっと。

では、また!

About the author / 

中橋 義博
中橋 義博

1970年生まれ。中央大学法学部法律学科卒。大学時代、月刊ASCII編集部でテクニカルライターとして働く。大学卒業後、国内生命保険会社本社において約6年間、保険支払業務システムの企画を担当。その後、ヤフー株式会社で約3年間、PCの検索サービス、モバイルディレクトリ検索サービスの立ち上げに携わる。同社退社後、オーバーチュア株式会社にてサービス立ち上げ前から1年半、サーチリスティングのエディトリアル、コンテントマッチ業務を担当する。2004年に世界初のモバイルリスティングを開始したサーチテリア株式会社を創業、同社代表取締役社長に就任。2011年にサーチテリア株式会社をGMOアドパートナーズ株式会社へ売却。GMOサーチテリア株式会社代表取締役社長、GMOモバイル株式会社取締役を歴任。2014年ロボットスタート株式会社を設立し、現在同社代表取締役社長。著書にダイヤモンド社「モバイルSEM―ケータイ・ビジネスの最先端マーケティング手法」がある。

連載・コラム