
キヤノンは、監視用途向けとして業界最高レベルのダイナミックレンジ148dBを実現した、1.0型で有効画素数約1,260万画素の裏面照射積層型CMOSイメージセンサーを開発した。画素は4,152 x 3,024ピクセル。
ダイナミックレンジに優れたイメージセンサーは、明暗差の大きい環境を撮影した時に、明るいところと暗いところの双方が明確に見える(白飛びや黒潰れがしにくい)。
ダイナミックレンジに優れたセンサー技術とは
一般の写真撮影では、自動で明るめの写真(暗いところが見やすい)と暗めの写真(明るいところが白飛びしにくい)の2枚(または中間も撮った3枚)を撮影し、自動で合成して明るいところと暗いところが両方視認できる写真に仕上げるHDR技術がデジタルカメラやスマートフォンなどを中心に用いられている。しかしパラパラマンガのように複数の写真を連続して記録再生する動画では、このHDR技術はセキュリティカメラなどの動画撮影ではデジタル処理が膨大になってしまっていた。
キヤノンのこの技術は、画面を736分割し、領域ごとに最適な露光を自動で決定できるため、一般的なハイダイナミックレンジ撮影で必要な合成処理が不要になり、HDR技術を使いながらデータ量の低減や移動する被写体の認識精度向上に貢献する。
広いダイナミックレンジを実現する仕組み
・従来のセンサーでは、明るい部分から暗い部分まで自然に認識できるようにするため、露光時間を変えた複数の画像を合成し、1枚の画像を生成(下記の図の例では、1フレーム内で4種類の露光を実施)。
・開発した新センサーは、736領域それぞれに最適な露光条件を自動で決定することで、合成処理が不要。
近年、監視カメラの需要拡大に伴い、スタジアムの出入り口や夜間の道路など明暗差の大きい環境において高画質な画像を撮像できるイメージセンサーのニーズが高まっている。キヤノンが開発した新センサーは、こうした用途での使用を想定する。
領域別露光の仕組み
・2つ前のフレームと1つ前のフレームの差分から、被写体の動いている部分を検出(①動体マップ生成)。
・1つ前のフレームで、被写体の明るさを領域(※3)ごとに認識し、輝度マップを生成(②)。隣り合う領域の輝度差が大きくなりすぎないよう滑らかにした上で(③隣接露光量差低減)、動体マップの情報から露光条件を補正し、最終的な露光条件を決定(④)。
・決定した露光条件(④)を対象フレームの撮像に反映。
※実際には736領域に分割しているが、下図では簡略化。
具体的な特徴と写真での違いを解説
1. 業界最高レベルのダイナミックレンジ148dB
監視用途向けのイメージセンサーでは業界最高レベルのダイナミックレンジ148dBを実現しており、約0.1lux(ルクス)から約2,700,000luxまでの撮像ができる。例えば、昼間の地下駐車場の出入り口で車両のナンバープレートと運転者の顔を同時に認識したり、スタジアムの出入り口で来場者の顔認証と背景の監視を両立したりするといった用途での活用が期待できる。
2. 領域ごとの明るさに応じて最適な露光時間を自動で決定
明暗差の大きい環境下での撮影において、明部から暗部まで自然に見える画像を取得するために、一般的なハイダイナミックレンジ撮影では、露光時間を変えた複数の画像を合成する処理が必要。この処理を行うことで露光時間のずれが生じ、移動する被写体が重なって写ってしまう(モーションアーチファクト)という課題がある。
このセンサーは、画面を736分割し、領域ごとの明るさに応じて最適な露光時間を自動で決定するため、モーションアーチファクトが発生せず、移動する人物を撮影する場合でも顔認識の精度が向上できるようになる。
また、合成処理が不要となり、1フレームあたりの扱うデータ量が少なくなるため、約1,260万画素の多画素で約60fpsの高速な撮像性能を実現した。(30fps時のダイナミックレンジは148dB。約60fps時のダイナミックレンジは142dB)
3. 設置環境や使用用途に応じて撮影条件をカスタマイズ可能
動画は静止画(1フレーム)の連続でできているが、1フレームの時間内で露光条件の設定を完了させないと、明暗が激しく変化する環境や、速い動きの被写体の撮影に追従することが難しくなる。このセンサーは、複数のCPUと専用の処理回路を内部に搭載しているため、1フレームの時間内で領域ごとの露光条件設定を同時に素早く処理することができるほか、撮影環境や使用用途に応じて撮影条件などをカスタマイズすることを可能にした。
速い動きの被写体を高精度に撮影するニーズのある道路や駅、明暗が激しく変化するスタジアムの入り口などの環境での使用が期待される。
開発した新センサーによる撮影例
・昼間の地下駐車場入り口のように、一般的なカメラでは車両のナンバープレートが白飛びし、運転手が黒つぶれしてしまうシーンにおいて、ナンバープレートの文字と運転手の顔を同時認識することが可能。
・業界最高レベルのダイナミックレンジ148dBを実現しており、約0.1luxから約2,700,000luxまでの撮像が可能。満月の夜程度の明るさが0.1lux、電球や車のヘッドライトのフィラメントの明るさが500,000lux。
開発した新センサーの画像
輝度データの分布(ヒストグラム)
一般的な高画質センサー
視認状況:運転手〇、ナンバープレート×(白飛び)
輝度データの分布(ヒストグラム)
一般的な高画質センサー
輝度データの分布(ヒストグラム)
この記事を読んだ人におすすめ
-
カインズがレジのない無人店舗「CAINZ Mobile Store」の実証実験を本社内で開始 同店舗で採用する最新技術を公表
-
NECが海陽中等教育学校に顔認証を導入 全生徒・教職員約600名が構内売店で手ぶら・非接触の買い物が可能に
-
VIAとトヨタマテハンがAIを活用したフォークリフト作業の安全強化システムで提携 トヨタのAI検知能力と安全性の技術力を評価
-
ティアフォーの車載HDRカメラとNVIDIA Jetson AGX Orin開発者キットによる「C1カメラ画像認識スターターキット」販売開始
-
カメラとAIで検査するトヨタ向け「AI外観検査装置」の対象を拡大 トランスアクスルのアルミケースの生産ラインにも導入 Musashi AI
-
「GTC 2022」Jetson/自律マシン、AIビジョン関連で注目のセッション5選 AIとGPUの世界最大級のイベントは9月19日から
-
プラント、ビル、空中で複数ロボットを連携させる「ハブ」を目指すブルーイノベーション
-
医療センターで病院設備と複数ロボットを連携、清掃・案内・配送サービス実証導入 清水建設とブルーイノベーション、オムロン
ABOUT THE AUTHOR /
神崎 洋治
神崎洋治(こうざきようじ) TRISEC International,Inc.代表 「Pepperの衝撃! パーソナルロボットが変える社会とビジネス」(日経BP社)や「人工知能がよ~くわかる本」(秀和システム)の著者。 デジタルカメラ、ロボット、AI、インターネット、セキュリティなどに詳しいテクニカルライター兼コンサルタント。教員免許所有。PC周辺機器メーカーで商品企画、広告、販促、イベント等の責任者を担当。インターネット黎明期に独立してシリコンバレーに渡米。アスキー特派員として海外のベンチャー企業や新製品、各種イベントを取材。日経パソコンや日経ベストPC、月刊アスキー等で連載を執筆したほか、新聞等にも数多く寄稿。IT関連の著書多数(アマゾンの著者ページ)。