入力画像を鮮明に拡大するSH版超解像ソフトウエアを製品化
～携帯電話等向けに、超解像用LSIを搭載することなく、画像解像度に合わせて、ソフトウエアで高精細及びクリアな拡大画像を実現～
株式会社ルネサス テクノロジ
株式会社ルネサス テクノロジは、このたび、画面の高精細化が進む携帯電話等の携帯機器向けに、1枚の画像を画面の解像度等にあわせて拡大しても高精細でクリアな画像を実現する超解像技術を開発した。同社32ビットCPU『SHコア』搭載製品で超解像処理を実行させるためのソフトウエア（プログラム）を『SH版超解像ソフトウエア』として製品化し、2009年10月より提供開始する。
同製品は、同社の携帯電話向けアプリケーションプロセッサ『SH-Mobileシリーズ』及び携帯機器向け『SH-MobileRシリーズ』（注1）の、『SH4AL-DSP』『SH-4A』コア搭載製品に用いることで、たとえば、QVGA（320×240画素）相当のワンセグ（注2）画像をVGA（640×480画素）サイズの携帯電話画面に拡大表示する際も、画像がぼやけることなく、高精細で臨場感のある画像を作成可能である。また、特別なハードウェアを追加することなく、超解像に対応した動画像・音声処理システムを実現できるため、システムの小型化や開発期間の短縮が図れる。
＜製品化の背景＞
携帯電話などの携帯機器では、WVGA（850×480画素）など画面解像度の高精細化が進み、より高精細でクリアな画像が映し出されるようになってきている。一方、携帯機器で扱われる画像コンテンツのサイズは様々であり、機器の画面解像度より低解像度の場合は、画面に合わせて拡大表示される。この際、従来手法で拡大して画像を表示する場合には、画像がぼやけるという問題がある。また、従来のシャープネス（注3）などの手法では、情報を誇張しすぎるあまり、不自然な画像になってしまう場合があった。このため、携帯電話等にも超解像技術が求められており、かつ、携帯機器で重要な小型、低消費電流を維持しつつ実現する必要がある。
同社では、このようなニーズに対応し、携帯機器向けの超解像技術を開発すると共に、同社『SH-Mobileシリーズ』『SH-MobileRシリーズ』がすでに多くの携帯電話や携帯機器に採用されていることから、これらの製品で超解像処理を実行する超解像ソフトウエアを製品化した。ソフトウエアにより、超解像用LSIを新規搭載することなく高精細でクリアな拡大画像を作成できる。
＜製品について＞
本製品の主な特徴は以下の通り。
（1） 超解像技術により、高精細で臨場感のあるクリアな拡大画像を実現
従来のシャープネス手法では、デジタル受像素子（CCDやCMOSセンサ）で発生するノイズや、ビデオコーデック(動画のエンコード＜符号化［録画］＞及びデコード＜復号化［再生］＞)のデータ圧縮に起因するノイズ（注4）なども、合わせて強調してしまい、画質劣化を伴うという問題があった。
今回開発した超解像技術では、従来の方法とはまったく異なるアプローチを行い、1枚の画像の特徴から様々な判断を実行し、ノイズの誇張を最小限に抑えたことで、拡大した元画像に比べ、より高精細で、解像感、臨場感のあるクリアな画像を実現できました。たとえば、木々の葉の解像感や、動物の毛並み、光沢のある表面などの質感が大幅に向上する。
（2） ソフトウエアでの超解像処理により、システムの小型化、開発期間短縮が可能
ソフトウエアで超解像処理を実現するために、従来は非常に多くの処理が必要な画像処理サイクルを大幅に減らすことに成功した。これにより、従来はGHzオーダー必要であった超解像処理を250MHz程度（注5）まで削減でき、同社SHコア搭載製品を用いたソフトウエア処理で容易に超解像処理が可能である。
また、新たなLSIを搭載せずに、超解像に対応した動画像・音声処理システムを実現できるため、システムの小型化や開発期間の短縮が図れる。
（3） 用途に合わせた超解像処理の強度指定が可能
本超解像処理は、様々な解像度の静止画、動画に適応することが可能である。また、機器も大きさと性能が様々なことから、多様なシステムに応じるため、超解像処理の強度を段階的に設定できる仕様とした。これにより、ユーザの好みにより適した画像、映像処理が実現可能である。
今後は、超解像技術を今回の携帯機器向けソフトウエアソリューションに続き、同社のマトリクス型超並列プロセッサ『MXコア』（注6）向けソリューションや、ビデオ処理エンジン（ビデオI/O）（注7）向けソリューションとして提供されていく予定である。このように、ユーザに、ソフトウエアからハードウエアソリューションまで、対応システムに応じた選択を提供する。
■ 注記
（注1） SH-Mobile (SuperHTMMobile Application Processor)：携帯電話システム向けに、ベースバンドLSIと接続して、オーディオや動画などのマルチメディア・アプリケーションを専用に処理する同社独自のプロセッサ。携帯電話用途以外の携帯機器向けに展開した「SH-MobileRシリーズ」もラインアップしている
（注2） ワンセグ： 日本における携帯・移動体端末向け地上デジタル放送サービス
（注3） シャープネス手法： 細かい絵柄部分を強調し、解像感を向上させる手法
（注4） ノイズ： ここでは、ブロックノイズ（デジタル圧縮で見られる、ブロック状のノイズ）やモスキートノイズ（デジタル圧縮で見られる、輪郭や線付近に現れるノイズ）など
（注5） 消費サイクルの条件： QVGAサイズで15fpsの動画像を、VGAサイズで15fpsの動画像に超解像処理する際の処理サイクル
（注6） マトリクス型超並列プロセッサ「MXコア」： 同社独自のアーキテクチャによる、メモリ技術をベースにしたマトリクス型プログラマブルプロセッサ。同時に1024並列での演算を実行可能であり、画像など大容量マルチメディアデータの高速処理を実現する
（注7） ビデオI/O： 同社のLSI搭載用ビデオ処理エンジン。
回転、拡大縮小、画面ブレンド処理などの画像処理を行う、ハードウエアエンジンであり、フルHD（High Definition）サイズに対応する。
■ 応用例
携帯電話等の携帯機器で画像を扱う機器
CPUで画像処理を実現するシステム
■ 「SH版超解像ソフトウエア」仕様
入力画像フォーマット：YUV=4:2:0
出力画像フォーマット：YUV=4:2:0
入力画像サイズ：176×144 ～ 720×480
出力画像サイズ：入力画像の縦横2倍（面積4倍）
超解像強度：3段階
対応CPU：「SH4AL-DSP」/「SH-4A」
プログラムサイズ：5KB
メモリサイズ：10KB（フレームメモリ含まず）
スタックサイズ：1KB