ディープハイブリッドクロスガイダンスフィルターによるジョイントデプスマップ超解像法 (2023)

パターン認識、第 136 巻、2023 年、記事 109263

ネットワーク二値化はハードウェアのメモリ節約と高速化において有望な方法ですが、必然的に中間特徴の二値化残差が生じ、パフォーマンス能力の低下につながります。上記の問題を軽減するために、極度の低ビット シナリオに適したネットワーク構造を実現するためのネットワーク トポロジ設計スキームに焦点を当てます。この論文では、AuxBranch と呼ばれる補助ブランチの検索を通じて特徴の二値化残差を補償するベースライン補助拡張ネットワーク設計法を提案します。中間特徴マップは、ベースライン特徴と補助特徴を組み合わせることによって合理的に強化され、完全精度ネットワークの対応する特徴出力を模倣します。さらに、予備精度、特徴の類似性、計算の複雑さの 3 つの要素を備えたハイブリッド性能推定器 (PE) を考案します。 PE は、二値化ベースラインの効率的なアーキテクチャ検索を共同で実行し、さまざまな制約の下での計算複雑さの自動調整を可能にします。広範な実験により、私たちのアプローチは精度と計算パフォーマンスの点で優れており、さまざまなネットワーク バックボーンや二値化ポリシーにプラグ アンド プレイであることが示されています。私たちのコードは次の場所で入手できますhttps://github.com/VipaiLab/AuxBranch。

パターン認識、第 136 巻、2023 年、記事 109241

画像を 2 つの「単純な」レイヤーに分解することは、画像の回復や強化などの低レベルの視覚タスクで広く使用されています。未知数の数が入力よりも大きいため、これは不正設定問題です。この論文では、タスクを意識した事前推定と分解モデルを含む 2 段階の戦略が導入されています。分離層を正規化するために、ピクセル単位の分析スパーシティ モデルが提案されます。これは、分析演算子で生成された変換画像がスパースであると仮定します。すべてのピクセルを 1 つのペナルティ重みで正規化するのとは異なり、タスクを意識した事前分布を使用して各ピクセルのスパース レベルを推定し、ピクセルごとのスパース ペナルティを達成しようとします。さらに、1 つの分離層は合成スパーシティ モデルとピクセル単位の分析スパーシティ モデルの両方で正規化され、それらの相補的なメカニズムを活用します。画像の局所的な特徴を利用する分析とは異なり、合成では、過剰な辞書と非局所的な類似性キューを活用して、分解結果を正規化するための柔軟な事前情報を提供します。提案されたモデルは、交互の最適化アルゴリズムによって解決されます。 Retinex モデルと雨すじ除去の 2 つのアプリケーションで評価します。複数の強調データセット、多くの合成画像と実際の雨画像に対する広範な実験により、私たちの方法が Retinex 分解中に画像ノイズを除去でき、忠実度の高いディレイニング結果を生成できることが実証されました。最先端の方法と比較して、定量的指標と視覚的品質の点で競合するパフォーマンスを実現します。

パターン認識、第 136 巻、2023 年、記事 109250

画像の破損は現実世界ではよくあることです。たとえば、実際の画像には未知のブラー、バイアス フィールド、ノイズ、またはその他の種類の非線形分布シフトが含まれる可能性があり、そのためエンコード方法が妨げられ、下流のタスクの信頼性が低くなります。画像のアップグレードには、高レベルの文脈化された情報と空間固有の詳細の間の複雑なバランスが必要です。問題を解決するための既存のアプローチは、単一の破損に焦点を当てるように設計されており、買収した製品が複数の劣化に見舞われた場合、パフォーマンスの低下は避けられません。この研究では、複数の劣化に対処し、ブレ除去、バイアスフィールド補正、およびノイズ除去を通じて画像の品質を向上させる可能性を調査します。独立した学習によって引き起こされる伝播エラーの問題に取り組むために、3 つの特別なデコーダーで構成される統合されたスケーラブルなフレームワークを提案します。 2 つのデコーダは提供された画像からアーティファクトの注意を学習し、それによって単一の画像上に現実的な個々のアーティファクトと複数のアーティファクトを生成します。 3 番目のデコーダは、複数の破損を含む合成画像上のアーティファクトを除去するようにトレーニングされ、それにより高品質の画像を生成します。さらに、データ観察から直接複数の画像劣化をモデル化することで、以前の画像劣化合成アプローチを改善します。まず、おもちゃの MNIST データセットを作成し、提案されたアルゴリズムの特性を調査します。次に、脳 MRI データセットを使用して、シミュレートされた (必要な場合) と現実世界のアーティファクトの両方を含むメソッドの堅牢性を実証します。さらに、私たちの方法は、特定のデータセットから新しいドメインで学習された劣化演算子を実装することにより、単一または複数の劣化合成に使用できます。コードは論文が受理され次第公開されます。

パターン認識、第 136 巻、2023 年、記事 109244

現実世界の急速な変化に対応するために、人間の認知システムは概念を継続的に学習することができます。それどころか、従来の深層学習モデルには、以前に学習した知識を保存するこの機能がありません。新しいタスクを学習するためにニューラル ネットワークが微調整されると、以前に学習されたタスクのパフォーマンスが大幅に低下します。増分物体検出に関する最近の研究の多くは、高度な正則化を導入することでこの問題に取り組んでいます。これらの方法は有望な結果を示していますが、多くの場合、その利点は最初の段階的なステップの後は短命です。多段階の増分学習では、古い知識の保存と新しいタスクの学習の間のトレードオフが徐々に厳しくなります。したがって、正則化ベースの増分オブジェクト検出器のパフォーマンスは、後続の学習ステップで徐々に低下します。この論文では、拡張可能な増分オブジェクト検出器 (DIODE) を提案することで、マルチステップの増分検出タスクにおけるこのパフォーマンス低下を軽減することを目的としています。タスク共有パラメータの場合、私たちの方法は、前のタスクの重要な重みの変更に適応的にペナルティを与えます。同時に、モデルの構造は、新しいタスクの学習を促進するために、限られた数のタスク固有のパラメーターによって拡張または拡張されます。 PASCAL VOC および COCO データセットに対する広範な実験により、最先端の手法と比べて大幅な改善が見られました。特に、最先端の方法と比較して、私たちの方法は、新しく学習したタスクごとにパラメーターの数をわ​​ずか 1.2% 増やすだけで、最大 6.0% のパフォーマンス向上を達成します。

パターン認識、第 136 巻、2023 年、記事 109249

この文書では、デジタル画像の品質を向上させることができる低照度画像補正の自動方法である TreEnhance を紹介します。この方法では、ツリー検索理論、特にモンテカルロ ツリー検索 (MCTS) アルゴリズムと深層強化学習を組み合わせます。低照度画像を入力として与えると、TreEnhance は、その強化されたバージョンと、それを取得するために使用された一連の画像編集操作を出力として生成します。トレーニング フェーズでは、このメソッドは 2 つの主なフェーズを繰り返し交互に実行します。1 つは修正バージョンの MCTS が画像編集操作の空間を探索し、最も有望なシーケンスを選択する生成フェーズで、もう 1 つは最適化フェーズで、ニューラル ネットワークのパラメーターが強化ポリシーの実装が更新されます。新しい画像の強化には 2 つの異なる推論ソリューションが提案されています。1 つは MCTS に基づいており、より正確ですが、より多くの時間とメモリを消費します。もう 1 つは、学習したポリシーを直接適用し、高速ですが、精度がわずかに劣ります。さらなる貢献として、写真編集者が特定の入力画像に適用した補正手順を「逆転」するガイド付き検索戦略を提案します。他の最先端の方法とは異なり、TreEnhance は画像解像度に制約を課さず、最小限の調整でさまざまなシナリオで使用できます。ローライト データセットと Adob​​e Five-K データセットの 2 つのデータセットでこのメソッドをテストし、定性的および定量的観点の両方で良好な結果を得ました。

パターン認識、第 136 巻、2023 年、記事 109267

3D 点群の登録は、コンピュータ ビジョン (CV) およびコンピュータ グラフィックス (CG) における基本的な問題です。最近、登録精度と推論速度における利点を示す一連の学習ベースのアルゴリズムが提案されています。ただし、これらの学習ベースの方法では、通常、位置合わせにおける制約された回転と平行移動による変換は無視されます。この論文では、制約された回転変換と並進変換を解決するための新しいハイブリッド最適化手法を提案します。最適化において制約された変数を処理するためにマッピング関数が導入されました。私たちの手法は、マルチビュー部分点データセットで優れたパフォーマンスを達成し、ICCV 2021 の登録チャレンジで 1 位を獲得しました。この手法は、合成データセット ModelNet、ICL-NUIM、および現実的な 3DMatch データセットでも検証されています。私たちは、大域的最適化手法には点群登録に関する大きな研究の可能性がまだあることを示します。コードは次の場所で入手できます。https://github.com/Dizzy-cell/HOUV。