2019.02.14 Thursday
モノクロ写真をAIでカラー化する
NHK番組などで昔のモノクロ(白黒)写真やニュース映画をカラー化(カラーライズ)した映像を見ることがある。白黒だけの戦前の人々の様子がカラーになり、親近感や意外感を得て、とても興味深い。
フォトショップなどの画像加工ソフトで昔の白黒写真に色をつけてみようと思ったが、意外と難しくて辞めた。
そうしたら、ディープラーニングとAIで、簡単にカラー化できるサイトがあった。無料だが個人非営利利用だ。
ありがとうございます。
「ディープネットワークを用いた白黒写真の自動色付け」で、早稲田大学の石川博教授、筑波大学の飯塚里志助教らが開発した手法で、画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで、画像全体の構造を考慮した自然な色付けを行うことができる、とのこと。既存の大規模な画像データベースも参照して、自然な色付けがされるらしい。
早速試してみた。色付けしたい白黒写真はスキャンしてJPGにしておく。

昭和31年(1956年)1月、温かい正月に縁側で撮影した家族写真だ。
左から母、祖父と私、父、祖母である。
この写真は瞬時にカラー化されたのだが、カラー化された写真を見てゾクゾクッとした。鳥肌ものである。小さいころから何度となく見ていた白黒写真が色が付いただけでこんなにも違うのか。
60年以上、白黒でしかなかった思い出の写真が、色が付いただけで非常な親近感と現実感に襲われた。
祖父はこの写真を撮影して四ヵ月後に亡くなったので、私は何の記憶も思い出もなく、当時はすでにカラーフィルムはこの世にあったものの、祖父のカラー写真は残っていない。かくいう私でさえ、現存する最古のカラー写真は1963年に撮影した小学3年生のときのものだ。
それが色が付くと、まさに現実に祖父がよみがえったようで、それは驚き衝撃と小さな興奮だった。
さらに試してみた。
「siggraph2016_colorization」という別のサイトだ。@mecabさんが運営している。
こちらはモノクロ写真を一度グレースケール化してそれに着色する。
もとの画像はこちら。
同じ昭和31年(1956年)の正月に撮影したものだ。お気に入りのおもちゃを並べてごきげんな私である。古いアルバムをスキャンしたもので、写真はすでにセピア色に変色している。

それを自動でいったんグレースケールにする(これはフォトショップでも簡単に出来るが)。

それをもとにカラー化する。こちらは1工程増えるが、一連の作業は自動で、さほどの時間がかかるものでない。

おもちゃに囲まれた幼い私。まるで現実だ。いや現実だったのだが、自分が生きてきたんだなとの実感が湧く写真だ。
別カットを石川教授のシステムでカラー化したのがこちら。
微妙に色合いが異なる。

こちらのほうが色が濃い。
中央の黒い屋根のブリキの自動車は覚えている。屋根は黒でボディは真っ赤だった。母によると保険屋さんからもらったのだという。
カラー化すると、赤とか青とか黄色とか、原色系はあまり鮮やかに再現されない傾向があるのはNHK番組でも感じていた。やはりどことなく黒くグレーに沈んだ色合いになる。右側の象のおもちゃはセルロイドでピンク色をしていて鼻が動いた。たしかに淡いピンク色になっている。
しかし、障子の下の板部分や、なにより縁側の茶色い木の色はまさにこの通りで、現代のカラー写真でもこの色になる。奥の畳の色も畳だ。これらや肌の色は画像データベースからAIが引っ張ってきたのかもしれない。
おもちゃの色を記憶をもとにフォトショップで着色してみた。
中央の黒い屋根に赤いボディの自動車は正確な色合い。右のピンクの象もこんな色合いだった。
ほかの車や左の機関車は想像だが、鮮やかさが増した。

そして生後100日に母と写真館で撮った写真の比較。

色の鮮やかさはないが、白黒とカラーでは存在感が違う。
母にこれらの写真を見せたらやはり驚いて、いまだに記憶があるのか、着物の色もほとんど忠実だという。

再掲するが、縁側の一家の写真を見た母が言うには、
母の着物はもっと鮮やかだった。この着物は今も捨てないでとってあるが60年出していないのでどんな色や柄か、細かいことは忘れた。
おじいちゃんの着物は茶色がかっていた。
私の服は母が縫ったもので茶色だった。
靴下は青と白のストライプで一番上のズボンに隠れているところは赤だった。
シャツは白と水色の縞模様だった。
おばあちゃんは大島絣で薄い茶色で模様があった。色は大体この写真の通りである。
と素晴らしい色再現、そして母の記憶である。
祖父の着物は濃紺と思っていたが茶色がかっていたのか。それがその通りに再現されている。
色が付くだけでこんなにも印象が違うとはそれも驚きだが、昭和の記憶が平成最後によみがえった。
フォトショップなどの画像加工ソフトで昔の白黒写真に色をつけてみようと思ったが、意外と難しくて辞めた。
そうしたら、ディープラーニングとAIで、簡単にカラー化できるサイトがあった。無料だが個人非営利利用だ。
ありがとうございます。
「ディープネットワークを用いた白黒写真の自動色付け」で、早稲田大学の石川博教授、筑波大学の飯塚里志助教らが開発した手法で、画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで、画像全体の構造を考慮した自然な色付けを行うことができる、とのこと。既存の大規模な画像データベースも参照して、自然な色付けがされるらしい。
早速試してみた。色付けしたい白黒写真はスキャンしてJPGにしておく。

昭和31年(1956年)1月、温かい正月に縁側で撮影した家族写真だ。
左から母、祖父と私、父、祖母である。
この写真は瞬時にカラー化されたのだが、カラー化された写真を見てゾクゾクッとした。鳥肌ものである。小さいころから何度となく見ていた白黒写真が色が付いただけでこんなにも違うのか。
60年以上、白黒でしかなかった思い出の写真が、色が付いただけで非常な親近感と現実感に襲われた。
祖父はこの写真を撮影して四ヵ月後に亡くなったので、私は何の記憶も思い出もなく、当時はすでにカラーフィルムはこの世にあったものの、祖父のカラー写真は残っていない。かくいう私でさえ、現存する最古のカラー写真は1963年に撮影した小学3年生のときのものだ。
それが色が付くと、まさに現実に祖父がよみがえったようで、それは驚き衝撃と小さな興奮だった。
さらに試してみた。
「siggraph2016_colorization」という別のサイトだ。@mecabさんが運営している。
こちらはモノクロ写真を一度グレースケール化してそれに着色する。
もとの画像はこちら。
同じ昭和31年(1956年)の正月に撮影したものだ。お気に入りのおもちゃを並べてごきげんな私である。古いアルバムをスキャンしたもので、写真はすでにセピア色に変色している。

それを自動でいったんグレースケールにする(これはフォトショップでも簡単に出来るが)。

それをもとにカラー化する。こちらは1工程増えるが、一連の作業は自動で、さほどの時間がかかるものでない。

おもちゃに囲まれた幼い私。まるで現実だ。いや現実だったのだが、自分が生きてきたんだなとの実感が湧く写真だ。
別カットを石川教授のシステムでカラー化したのがこちら。
微妙に色合いが異なる。

こちらのほうが色が濃い。
中央の黒い屋根のブリキの自動車は覚えている。屋根は黒でボディは真っ赤だった。母によると保険屋さんからもらったのだという。
カラー化すると、赤とか青とか黄色とか、原色系はあまり鮮やかに再現されない傾向があるのはNHK番組でも感じていた。やはりどことなく黒くグレーに沈んだ色合いになる。右側の象のおもちゃはセルロイドでピンク色をしていて鼻が動いた。たしかに淡いピンク色になっている。
しかし、障子の下の板部分や、なにより縁側の茶色い木の色はまさにこの通りで、現代のカラー写真でもこの色になる。奥の畳の色も畳だ。これらや肌の色は画像データベースからAIが引っ張ってきたのかもしれない。
おもちゃの色を記憶をもとにフォトショップで着色してみた。
中央の黒い屋根に赤いボディの自動車は正確な色合い。右のピンクの象もこんな色合いだった。
ほかの車や左の機関車は想像だが、鮮やかさが増した。

そして生後100日に母と写真館で撮った写真の比較。

色の鮮やかさはないが、白黒とカラーでは存在感が違う。
母にこれらの写真を見せたらやはり驚いて、いまだに記憶があるのか、着物の色もほとんど忠実だという。

再掲するが、縁側の一家の写真を見た母が言うには、
母の着物はもっと鮮やかだった。この着物は今も捨てないでとってあるが60年出していないのでどんな色や柄か、細かいことは忘れた。
おじいちゃんの着物は茶色がかっていた。
私の服は母が縫ったもので茶色だった。
靴下は青と白のストライプで一番上のズボンに隠れているところは赤だった。
シャツは白と水色の縞模様だった。
おばあちゃんは大島絣で薄い茶色で模様があった。色は大体この写真の通りである。
と素晴らしい色再現、そして母の記憶である。
祖父の着物は濃紺と思っていたが茶色がかっていたのか。それがその通りに再現されている。
色が付くだけでこんなにも印象が違うとはそれも驚きだが、昭和の記憶が平成最後によみがえった。