03

時代の流れを読んで未来のカメラを構想し
開発者の力を結集して現実化する

豊田 哲也

画像システム開発2部
部長

冨澤 将臣

画像システム開発1部
部長

竹内 寿

メカ制御技術部
部長

感動を伝える画作りを目指して

まずはオリンパスのデジタルカメラにおける画作りの思想について教えてください。

豊田:基本的な画作りの考え方は、フォーサーズシステムの時代から変わっていません。それは臨場感です。見たことのない風景に心を動かされてシャッターを切る。そのときの想いが写真を見ると鮮やかによみがえる。そんな感動を伝えることを目指しています。そのような画作りのために、高画質の追求は避けて通れません。高画質は目的ではありませんが、感動を伝える手段として絶対に必要になると考えています。その核となるのが、レンズの解像力です。被写体の像はレンズを通してイメージセンサーに結像します。そこから取り込んだ電気信号に対して、色変換、ノイズ除去、シャープネス処理など、さまざまな画像処理を施します。これまで当社の画像処理技術は、高いレンズ性能を出し切ることにフォーカスしてきましたし、その方針はこれからも変わりません。

機動性と高画質を両立させるハイレゾショット

高画質ということでは、2015年のE-M5 Mark IIで三脚使用によるハイレゾショットが実現し、E-M1Xではついに手持ちによるハイレゾショットが実現しました。開発の背景を教えてください。

豊田:マイクロフォーサーズの最大の長所は機動性です。それは小型軽量で持ち運びしやすいだけでなく、高速のオートフォーカス(AF)や連写性能など、機材としての総合的な力を備えているということです。もちろん画質についても絶対の自信を持っていますが、美術品や自然風景のような特定の被写体を撮るお客様からは、もっと高い解像度で撮りたいというご要望がありました。しかし、イメージセンサーを高画素化すると、AFや連写の性能が低下し、機動性が損なわれてしまいます。そこで編み出したのがハイレゾショットです。つまり、高い機動性を保ちながら、究極の高解像度を実現するソリューションとして考えたわけです。

まずは、三脚ハイレゾショットの仕組みから教えてください。

竹内:それは私のほうから説明しましょう。私は手ぶれ補正を担当しているのですが、(ハイレゾショットを考案していた)豊田から、手ぶれ補正のユニットを使ってイメージセンサーを1/2画素単位で動かしてほしいという依頼がありました。1/2画素単位でイメージセンサーをずらしながら撮った8枚の画像を合成して高解像画像を生成する、というものです。しかし、1/2画素単位ぴったりに動かさなければ高解像画像は得られないのですが、当時の手ぶれ補正ユニットの精度では達成が困難でした。そこで、ハイレゾショット専用に、イメージセンサーを高精度に動かすモードを新規開発して対応しました。

三脚ハイレゾショット
0.5ピクセル単位でセンサーを動かしながら、8回撮影した画像をもとに50Mセンサー相当の高解像写真を生成。80MのRAW撮影も可能。
1. 通常の撮影 / 2. ハイレゾショット

新しいアプローチで手持ちハイレゾショットを実現

E-M1Xでは、ついに手持ちでハイレゾショットが撮れるようになったということですね。

豊田:三脚ハイレゾショットを開発しているときから、「マイクロフォーサーズは機動性に優れる」と主張していながら、ハイレゾショットには三脚が必要というのはどうなのかな、という思いはありました。実際に製品を出してみると、機能そのものには高い評価をいただいた一方で、三脚がなくなると楽だし、三脚を使うと撮れないアングルや撮影ポイントでも使えるようになるのに、という声もいただきました。そこで本格的な技術開発に着手しました。

どんな仕組みで実現しているのですか。

豊田:新しい画像処理技術を開発しています。手持ちで複数の画像を撮ると、それぞれの画像は手ぶれがしっかり補正されますが、画像と画像の間には微妙な位置ずれが発生します。その微妙な位置ずれをうまく活用し、画素と画素の間を埋めることで高解像度の画像を作り出すというアルゴリズムを開発しました。三脚ハイレゾショットは規則的にイメージセンサーを動かすので8枚の画像で済みますが、手持ち撮影による位置ずれは不規則なので16枚撮影します。

手持ちハイレゾショット
撮影中に発生するわずかな位置ずれを利用し、16回撮影した画像をもとに50Mセンサー相当の高解像写真を生成。
1. 撮影中に発生する位置ずれ

まったくオリジナルのやり方で高画質化を実現しているのですね。

豊田:当社では、究極の高画質のために、非常にユニークで挑戦的な研究開発を絶えず続けています。これからも新たな驚きをお届けしていきます。

像面位相差AFで動体への追従性が向上

狙った瞬間をとらえるために、AFは重要な要素になると思います。マイクロフォーサーズのAF進化の歴史を教えてください。

豊田:AFは、イメージセンサー、画像処理エンジン、アルゴリズムが三位一体となった技術です。AFの方式は、コントラストAFと位相差AFに大別できます。マイクロフォーサーズは、当初コントラストAFだけでシステムを開発しました。コントラストAFはとても精度が高いのですが、ピントが合っているかどうかはレンズを動かさないとわからないので、動く被写体にフォーカスを追従させるときなどは不利になることがあります。そこでコントラストAFの進化は続けつつ、原理的に解決できない部分は像面位相差AFでの解決を図りました。位相差AFは、視差を利用した方式と考えるとわかりやすいと思います。イメージセンサーに右目と左目に相当する素子を埋め込み、2つの画のずれ具合を検出して、被写体の距離を検出します。これによって、動体への追従も一眼レフと比べて遜色ないものになりました。更に、被写体を確実にとらえるための大切な要素であるEVF、この応答性や見え方にも徹底的にこだわっています。

AFアルゴリズムの腕の見せどころ

E-M1Xでは、どのような点が改善されていますか。

豊田:このカメラは、画像処理エンジンを2基積んでいます。それによって初めて可能になることがあるので、AFアルゴリズムのフルモデルチェンジと言うべき大幅な改良を施しました。プロの写真家の方々とともに、一からアルゴリズムを磨き上げ、あらゆるシーンへの対応力を飛躍的に高めています。

アルゴリズムとは何か、少しかみ砕いて説明していただけますか。

豊田:イメージセンサーから出てくるのは、あくまでも位相差情報。つまり、どこがどれだけずれているかという情報です。それを受けて、次はどこにレンズを動かすべきかを予測するのがアルゴリズムです。連写の場合、撮影をしながら全体のデータを解析して、その被写体が前に向かってきているのか、奥に行くのか、横に動くのか、ごく近い未来を予測して、そこに次のフォーカスを合わせていきます。ですから、アルゴリズムによってAFの性能はかなり変わってくるのです。例えばサッカーであれば、本当に合わせたい被写体は1人のサッカー選手ですが、カメラから見ると、常に被写体やほかの選手が動いています。それをいかに安定して追い続けられるかはアルゴリズムの腕の見せどころです。

AI(人工知能)技術を駆使してモータースポーツ、鉄道、飛行機のAFを革新

E-M1Xでは、インテリジェント被写体認識AFという機能が初めて搭載されています。これはどんな機能になりますか。

竹内:AFは被写体に漠然とフォーカスを合わせるのではなくて、被写体のどこに合わせるかが重要です。プロの写真家の方々にお聞きすると、例えばモータースポーツの撮影では車にピントが合っているだけではダメだと。ドライバーのヘルメット、できればドライバーの目にピントが合っていないといい写真とは言えないとおっしゃいます。高速で走っている車をとらえるだけでも難しいのに、ドライバーの目に合わせるなんて至難の業です。なんとか一般のお客様でも、そんな写真が撮れないかと考えて開発したのがインテリジェント被写体認識AFです。被写体ごとに最適なAFポイントをカメラが自動的に選んで、そこにフォーカスを合わせて追従するという機能になります。

具体的にどのように機能するのですか。

竹内:ディープラーニングというAI技術を使い、車などの被写体、被写体上のドライバーやヘルメットを検出します。例えばモータースポーツの場合、撮影待機状態ではフォーミュラカーやラリーカーといった被写体全体を検出します。被写体は8つまで検出でき、見つけた被写体に白枠が付きます。そして、シャッターボタンを半押ししてAFするときは、AFターゲット上で一番大きい被写体が選択され、その被写体上にあるドライバーのヘルメットにピンポイントでピントを合わせます。現状では、モータースポーツ、飛行機、鉄道の3つが対象ですが、対応する被写体を増やしていきたいと考えています。

インテリジェント被写体認識AF
1. AFターゲット / 2. 検出被写体(最大8台検出)

画像処理エンジンがあらゆる電気処理を担当

先ほどE-M1Xは画像処理エンジンを2基積んでいるので、新しいAFアルゴリズムを搭載できたというお話がありました。ここからは、画像処理エンジンについてお聞きしたいと思います。そもそも画像処理エンジンでは何をしているのですか。

冨澤:画像処理エンジンは、あらゆる電気処理をするICチップです。デジタルカメラは、言うならばすべてを電気処理で行うカメラです。画像処理エンジンは、イメージセンサーから取り込んだデータに必要な電気処理を施して外に送り出す役割を果たしています。ここで色変換、ノイズ低減、AFなど、ありとあらゆる処理をしています。

どんな処理をするかを画像処理エンジンの開発部隊が考えるのですか。

冨澤:カメラでこんなことがしたい、こんなふうにやりたいと考えるのは、アルゴリズムの開発部隊です。画像処理エンジンの開発部隊は、彼らの考えたことがカメラでキッチリ動くようにするという役割です。

豊田:例えば色変換というのは、簡単に言うとアルゴリズムです。我々アルゴリズムの開発部隊がアルゴリズムを考えて、画像処理エンジンの開発部隊にその実装を依頼します。すると、画像処理エンジンの開発部隊が、それをハードウエアとして実現するという流れになっています。

真に大切なのは先を読む力

画像処理エンジンは機種ごとに作るのですか。

冨澤:画像処理エンジンは機種ごとではなく、ある世代のカメラをまかなうという作り方をします。作るときにはS/N比にしろ、常用感度にしろ、すべての性能を倍に引き上げるのを目標にします。新しく作ったアルゴリズムが大きくなっても、画像処理エンジンがそれを全部引き受ける。そういう考え方で作っています。

それだけの性能向上をどうやって図っているのですか。

冨澤:まずは半導体の進化に乗って、最先端の技術を用いること。それによって、いたずらにサイズを大きくしたり電力消費を増やしたりせずに性能向上を達成しています。ただ、それだけでは良い画像処理エンジンにはなりません。本当に大切なのは先を読む力です。アルゴリズムの開発部隊は次に実現したいことを見ていますが、画像処理エンジンの開発部隊は開発期間が長いので、もう1つ先を読まないといけない。時代の変化に対応できるようにあらかじめスペースを作って画像処理エンジンに伸びしろを付けておきます。そうしないと、画像処理エンジンは本当の意味で進化していきません。

未来をどう予測するかで、次世代のカメラでできることも違ってくるわけですね。

冨澤:オリンパスならではの技術をどういうタイミングで実現していくのか、それはとても重要です。先ほど話に出てきたハイレゾショットにしてもインテリジェント被写体認識AFにしても、もともと画像処理エンジンには、そのための専用回路は入っていません。ただ、時代の流れを見ながら、次に何が求められるかを予測して、応用性のある材料をあらかじめ入れておきました。そのパーツを上手く組み合わせて実現しているわけです。

プロ写真家の方々からの要望が予測の源

予測の指標となるのは何ですか。

冨澤:開発スタッフで、こんなことができたらいいなという話はよくしています。それと、我々も実験室にいるだけではなくて、プロ写真家の方々に同行して、撮影の現場を見せていただいています。そして、プロの写真家の方々が操作につまずく場面を目にすると、まだまだ改善の余地があると肌で感じます。それが、予測の材料になるわけです。言われたことをやっているだけだと、それができたときにはもう賞味期限切れということも起きます。将来、アルゴリズムの開発部隊が使いたくなるような材料をどう入れておくかが、画像処理エンジンのエンジニアの腕の見せどころです。

ミラーレスの先駆者としてのアドバンテージ

E-M1Xには、E-M1 Mark IIに搭載している画像処理エンジン「TruePic VIII」を2基搭載しています。その狙いを教えてください。

TruePic VIII 2基搭載

冨澤:画像処理エンジンを作るときは、必ず拡張性を考えるようにしています。その中の1つとして、TruePic VIIIには2基で同期が取れる仕組みを入れておきました。その機能を今回のE-M1Xに使っています。その力をどう使うかについては、いろんなやり方があると思います。連写速度などのスペックを2倍にすることを目指してもいいのですが、ほかのデバイスの制約もあるのでなかなか難しいところです。そこで、もう1基は別の処理に使うという考え方をしています。例えば、連写速度を変えずにAFの追従性を高めたり、インテリジェント被写体認識AFを実現したりしています。

豊田:手持ちハイレゾショットもそうですね。手持ちハイレゾショットは2基で処理を手分けすることで、処理時間が10数秒ほどで済んでいます。1基だけだったら、相当時間がかかるでしょうし、もしかすると実現できなかったかもしれません。

2基の画像処理エンジンを連写速度のようなわかりやすいことに使うのではなく、新しい価値のために使っているということですね。

冨澤:数字だけを追うのは本質ではないと考えています。資源が限られているときに、1つのスペックを突出させるよりも、本当に使いやすい機材を作るほうがオリンパス流なんじゃないかと思います。

豊田:例えば、背面モニターの再生スピードもそうですね。連写性能が高くても、再生して画像を探すのに時間がかかっては仕方がありません。再生スピードも、画像処理エンジンを使ってしっかり向上させています。そういうところは、カタログのスペック表には載らないのですが、本当の使い勝手はそういうところで決まってくると思います。

オリンパスはいち早くミラーレスに取り組んできましたが、それが画像処理エンジン開発において良かったということはありますか。

冨澤:もちろん、あります。やはり製品は市場に出て初めて正しい評価がわかる。頭で考えただけではダメです。我々は、ミラーレスというシステムで、最初に市場からの評価を受けました。それが次の開発の糧になっています。それはかなりのアドバンテージになります。そういう意味では、市場との対話は他社より1サイクルは先に進んでいますし、お客様にはミラーレスの先駆者としての期待感も持っていただいていると思います。

※所属、役職は2019年3月現在

ソーシャルメディア公式アカウント

  • Facebook
  • Olympus Live YouTubeチャンネル