深層学習により参照が可能になる

Nature Communications volume 13、記事番号: 3297 (2022) この記事を引用

7567 アクセス

5 引用

37 オルトメトリック

メトリクスの詳細

蛍光顕微鏡による体積イメージングは​​、軸方向の分解能が横方向の分解能より劣る異方性の空間分解能によって制限されることがよくあります。 この問題に対処するために、体積蛍光顕微鏡法における異方性画像を強化する深層学習対応の教師なし超解像技術を提案します。 一致する高解像度のターゲット画像を必要とする既存の深層学習アプローチとは対照的に、私たちの方法では、画像形成に関する事前の知識がなくても、ネットワークのトレーニングに単一の 3D 画像スタックのみが必要なため、実践にかかる労力が大幅に削減されます。処理、トレーニングデータの登録、またはターゲットデータの別途取得。 これは、横方向画像平面の高解像度 2D 画像と他の平面の低解像度 2D 画像の間の不対マッチングから学習する、最適なトランスポート駆動型のサイクル一貫性のある敵対的生成ネットワークに基づいて実現されます。 蛍光共焦点顕微鏡とライトシート顕微鏡を使用して、訓練されたネットワークが軸方向の解像度を向上させるだけでなく、結像面間の抑制された視覚的詳細を復元し、結像アーティファクトを除去することを実証します。

三次元 (3D) 蛍光イメージングにより、通常は二次元 (2D) 画像からは取得できない生体サンプルに関する重要な構造情報が明らかになります。 組織除去法 1、2、3、4、5 およびライトシート蛍光顕微鏡法 (LSFM) 6、7、8、9 の最近の進歩により、前例のない規模と速度で、場合によってはより微細な生体組織の合理化された 3D 視覚化が可能になりました。詳細。 それにもかかわらず、3D 蛍光顕微鏡の空間分解能はまだ完璧には程遠いです。 等方性解像度を達成することは依然として困難です。

蛍光顕微鏡における異方性は、通常、軸方向の結像面におけるより大きな不鮮明さを指します。 このような解像度の空間的不均衡は、光の回折、軸上のアンダーサンプリング、収差補正の程度など、多くの要因に起因する可能性があります。 3D 構造照明顕微鏡 (3D-SIM)11、12 や誘導放出抑制 (STED) 顕微鏡 13 など、本質的に光の回折限界を超える超解像顕微鏡 10 の場合でも、軸方向の解像度と横方向の解像度の一致は依然として重要です。チャレンジ14. LSFM では、蛍光励起経路が検出経路と必ずしも一致しないため、軸分解能が大幅に向上します9が、真の等方性点像分布関数 (PSF) は、ほとんどの最新のライトシート顕微鏡技術では達成が困難です。通常、軸方向の解像度は横方向の解像度よりも 2 ～ 3 倍悪いです 15、16、17。

近年の蛍光顕微鏡における画像復元では、古典的なデコンボリューション アルゴリズムに代わるデータ駆動型のアプローチとしてディープ ラーニングが登場しました。 ディープラーニングには、画像マッピングの統計的な複雑さを捉え、手作業でパラメータを苦労して微調整することなく、エンドツーエンドの画像変換を可能にするという利点があります。 例としては、さまざまなイメージングモダリティおよび開口数サイズ 18 にわたる解像度の改善、等方性 19,20 またはノイズの低減 19 などがあります。 これらの方法は顕微鏡の操作にある程度の柔軟性を提供しますが、これらの深層学習ベースの方法では、ネットワーク トレーニングのターゲット データ ドメインに関するある程度の知識を前提とする必要があります。 たとえば、等方性再構成については、Weigert et al19,20。 は、高解像度の横方向画像と、明示的な PSF モデルでぼかした低解像度の軸方向画像をペアにする教師あり学習戦略を使用しました。 Zhangら21． は、顕微鏡から取得した画像劣化モデルを使用して GAN ベースの超解像度技術を実装しました。 どちらの場合も、画像劣化プロセスは動的に学習可能ではなく、そのような固定画像劣化プロセスの仮定では、事前分布の精度に依存して画像復元を成功させる必要があり、顕微鏡検査者に別の操作層が追加されます。 さらに、画像劣化の最初の仮定が正しくない場合、現実世界のデータセットでのパフォーマンスが制限される可能性があります。 特にハイスループットの体積蛍光イメージングでは、イメージング条件が変動することが多く、サンプルの視覚特性も多様であると考えられます。 その結果、大規模ボリューム画像全体にわたる事前情報の均一な仮定は、トレーニングされたモデルの過剰適合をもたらし、画像復元のパフォーマンスと信頼性を悪化させる可能性があります。

この課題を考慮すると、サイクル一貫性のある敵対的生成ネットワーク (cycleGAN) を使用した教師なし学習という最近のアプローチ 22 は、光学における不正設定逆問題の解空間を狭めるための有望な方向性です 23,24。 具体的には、トレーニングに一致するデータのペアを必要としないため、実際には有利です。 2 つの確率分布間の最適トランスポート問題として定式化すると、教師なし学習ベースのデコンボリューション顕微鏡は、ぼやけ PSF を推定し、それをデコンボリューションすることによって、ぼやけた顕微鏡画像の分布を高解像度の顕微鏡画像にうまく移すことができます。 したがって、以前の研究で理論的に分析された GAN26 と比較して、人工的な特徴が生成される傾向が低くなります 23。 さらに、PSF の構造が部分的または完全にわかっていれば、ジェネレーターの 1 つを簡単な操作で置き換えることができ、これにより、cycleGAN の複雑さが大幅に軽減され、トレーニングがより安定します24。 それにもかかわらず、残された技術的問題の 1 つは、最適な輸送のための比類のないターゲット分布として使用できるように、ノイズ プロファイルや照明条件などの同様の実験条件下で追加の高解像度顕微鏡画像を取得することが難しいことです。 特に、3D 等方性解像度でこのような参照トレーニング データ セットを取得することは、実際には依然として困難です。

この問題に対処するために、ここでは、単一の 3D 入力画像を与えた場合に体積蛍光顕微鏡法における軸方向の解像度を盲目的に強化する教師なし深層学習フレームワークを紹介します。 このネットワークは、高解像度の等方性 3D 参照ボリュームを必要とせずに、異方性の空間解像度を持つ 1 つの画像スタックでトレーニングできます。 これにより、同様の実験条件下で追加のトレーニング データ セットを取得する必要が完全に回避されます。 私たちのフレームワークは、横方向および軸方向のビューで一貫して画像化されたオブジェクトの抽象表現の形成を利用しています。たとえば、一般化された 3D ニューロンの外観を再構築するためのニューロンの 2D スナップショットです。 次に、教師なし学習スキームは抽象表現を使用して、画像から解像度関連の情報だけを分離し、アキシャル画像のアンダーサンプリングまたはぼやけた詳細も分離します。 この戦略は、脳の皮質領域全体など、大規模なボリューム画像のアプリケーションに利点をもたらします。 図 1a は私たちのアプローチを示しています。 私たちは、シミュレーション、共焦点蛍光顕微鏡 (CFM)、およびオープントップ ライトシート顕微鏡 (OT-LSM) におけるフレームワークの成功を実証しました。 CFM 実験では、主に光の回折と軸方向のアンダーサンプリングによって引き起こされる異方性に取り組みました。 その結果を、垂直角度で個別に撮影した 3D 画像と比較しました。 OT-LSM 実験では、私たちの目標は、複数の画像劣化要因の混合によって支配される異方性に、私たちの方法が対処できるかどうかをテストすることでした。これらの要因の多くは、PSF 畳み込みで単純にモデル化されていません。たとえば、サンプルの振動によるモーション アーティファクトなどです。ステージのドリフト。 すべてのケースにおいて、参照フリーの深層学習ベースの超解像アプローチは、側面の情報を保存し、抑制された微細構造を復元しながら、軸方向の解像度を向上させるのに効果的でした。

a 蛍光顕微鏡では、3D イメージングは​​光の回折と走査方向のアンダーサンプリングから生じる異方性の影響を受けることがよくあります。 単一サンプルの超解像に対する私たちのアプローチは、横方向と軸方向のスライス、または横方向と軸方向の MIP からサンプリングすることによって、高解像度多様体と低解像度多様体の間の双方向変換 G と F を学習することです。 b フレームワークの概略図。 生成ネットワーク G と F は、アキシャル画像を超解像し、プロセスを元に戻すことをそれぞれ学習することで、低解像度画像と高解像度画像の間のデータ固有の変換マッピングを学習します。 G と F は 3D 畳み込み層を使用し、識別ネットワーク DX と DY は G と F の学習プロセスを駆動し、2D 畳み込み層を使用します。 大規模ボリュームの推論は、隣接するブロックが重複しているサブボリュームに対して繰り返し実行されます。 c 私たちの方法によるブラインドデコンボリューションの結果。さらに (d) と (h) にズームインした ROI (黄色の点線のボックスで表示) を使用します。 d 2D での再構成精度の評価。 シグナルは、Otsu の方法を使用してバックグラウンドからセグメント化され、定量化のために PSNR と SSIM で示されました。 e 大規模推論の 3D 視覚化。 7003 ボクセルのランダムな領域が、PSNR と MS-SSIM を計算するためのテスト ボリュームとして選択されました。 カラーバーは、0 と 1 の間で正規化された信号強度を表します。 f 軸ぼけと Z 軸アンダーサンプリングというさまざまなイメージング条件下でのテスト ボリュームで PSNR と MS-SSIM を使用したパフォーマンスの比較。 アンダーサンプリングは、軸方向のガウスぼかしの後に標準偏差 4 で実行されます。 g MIP 画像の SSIM と PSNR を使用したパフォーマンスの比較。 断面 (n = 47 の重複しない独立したサンプル) を 15 のスライス深さで撮影し、MIP 画像を生成しました。 「側面」とは、高解像度の参照を提供するためにぼかしの前に垂直に回転されたボリュームの側面セクションを指します。 h グラウンド トゥルースとの FWHM 不一致による解像度の向上。c のズームイン ROI 内のマークされた線からの断面強度プロファイル。 私たちは、グラウンド トゥルースに対する管状物体 (n = 317 の重複しない独立したサンプル) の FWHM 不一致を測定しました。 ネットワーク出力による再構成では、再構成精度が顕著に向上しています。 FWHM を計算するために、強度プロファイルをガウス関数に当てはめました。 (g) および (h) パネルにプロットされた箱ひげ図の場合、箱はデータセットの第 1 四分位 (Q1) と第 3 四分位 (Q3) の間の四分位間範囲 (IQR) を示し、中央のマーク (水平)線) は中央値を示し、ひげは最小値 (Q1-1.5*IQR) と最大値 (Q3+1.5*IQR) を示します。 外れ値は、ひげの向こう側にある菱形のマーカーで表されます。

フレームワークの全体的なアーキテクチャは、最適トランスポート駆動サイクル一貫性生成敵対的ネットワーク (OT-cycleGAN) からインスピレーションを受けています23。 図 1b は、フレームワークの学習スキームを示しています。 2 つの 3D 生成ネットワーク (図 1b の G と F) を採用し、異方性 3D 画像から等方性 3D 画像を生成する方法 (前方パスまたは超解像パス)、およびその逆 (後方パスまたはぼかしパス) をそれぞれ学習します。 これらのネットワークの生成プロセスを抑制するために、2 つのグループの 2D 識別ネットワーク (図 1b の DX と DY) を採用します。 私たちの主要なイノベーションは、学習段階での識別ネットワークのサンプリング方法に基づいたネットワーク学習の効果的なオーケストレーションから生まれています。 順方向パスでは、DX の識別ネットワークは、横方向画像情報を保存しながら、生成された 3D 画像からの 2D 軸方向投影画像と実際の 3D 画像からの 2D 横方向画像を比較します。 生成されたボリュームからの投影画像は、事前に決定された範囲内のランダム化された深さを持つ最大強度投影 (MIP) として取得され、隣接するスライスから投影された横方向の視覚情報をエミュレートするように設計されています。 識別ネットワークをトレーニングするためのサンプルのこのペアリングにより、3D 生成ネットワーク G が 3D ボリューム出力の軸方向の解像度のみを向上させることができます。 一方、逆方向パスの DY の識別ネットワークは、再構成された 3D 画像からの 2D 画像を、対応する各直交面で実際の 3D 画像からの 2D 画像と比較します。 3D 生成ネットワーク F は、画像復元プロセスを元に戻すことを学習します。 サイクル一貫性の損失により学習プロセスが安定化し、G と F が相互に逆になるように導きます。 この識別ネットワークと生成ネットワークのアンサンブルによってミニマックス ゲーム 26 の形で損失収束のバランスを達成することにより、ネットワーク G は元の異方性解像度から所望の等方性解像度への変換を学習するように訓練されます。

私たちは最初に 3D 合成画像の異方性をシミュレートし、ブラインド デコンボリューションのタスクのフレームワークをテストしました。 900 × 900 × 900 ボクセルの合成ボリュームには、ランダムに配置され、3D 弾性グリッドベースの変形フィールドによって変形された 10,000 個の管状オブジェクトが含まれています。 このシミュレーション モデルにより、チューブが非線形に互いに絡み合うことが可能になり、微小管や神経ネットワークなどの複雑なメッシュの管状構造を持つ生体サンプルのシミュレーションに最適です。 次に、この画像は、標準偏差 4 で軸方向にのみぼけるガウス カーネルで畳み込み処理されました。補足の図 1 は、この生成プロセスを視覚化しています。 ネットワークは 1 つの画像サンプルを使用してトレーニングされ、トレーニングと推論中に 1203 ～ 1443 ボクセルのサブ領域を持つミニバッチを使用しました。 推論後、サブ領域は元の画像空間にスタックされて戻されました (図 1b)。

図 1c～h に提案手法によるブラインドデコンボリューションの結果を示す。 図 1c の関心領域 (ROI) に視覚的に示されているように、ブラインド デコンボリューションの後、ネットワーク出力は、軸方向のぼやけによって以前はマスクされていたチューブの複雑な絡み合いを解決しました。 大規模な解像度の向上を定量化するために、700 × 700 × 700 ボクセルの領域をランダムに選択し、ピーク信号対雑音比 (PSNR) とマルチスケール構造類似性指標測定 (MS-SSIM) 27 を次のように計算しました。メトリクス。 3D ネットワーク出力では、PSNR と MS-SSIM メトリクスがそれぞれ約 2 dB と 0.16 高いことに気づきました (図 1e): 入力 PNSR と MS-SSIM は 16.94 dB と 0.70、出力 PSNR と MS-SSIM 19.03dBと0.86でした。 ネットワークのパフォーマンスに対する画像劣化の影響を評価するために、軸方向のブレと軸方向のアンダーサンプリングのレベルなど、さまざまな画像条件に対してトレーニングおよびテストを行いました。 軸方向のぼやけのレベルはガウス カーネルの標準偏差によって制御され、標準偏差 4 のガウスぼかしに加えて軸方向のアンダー サンプリングが行われ、スライスを取得することで蛍光顕微鏡のアンダー サンプリング プロセスを模倣します。間隔: たとえば、4x は、z 軸で 4 つのスライスごとにスライスを取得することを意味します。 サブサンプリング後、画像のサイズは双線形補間によって元の寸法に戻されました。 さまざまなレベルの劣化を通じて、ネットワーク出力のパフォーマンスが一貫して高くなっていることがわかりました (図 1f)。 学習の目的は、生成されたボリュームの MIP を使用してアキシャル ボリュームを強化することであったため、47 枚の 700 × 700 ピクセルのアキシャル MIP 画像の PSNR と構造類似性指数測定 (SSIM) も測定し、その結果を対応する側面 MIP 画像と比較しました。垂直方向の角度でイメージ化された参照ボリュームを、横方向解像度の参照として使用します。 ネットワーク出力のメトリクスは、横方向 MIP 画像のメトリクスにより近似していました (図 1g)。

再構成能力を評価するために、317個の管状物体をランダムに選択し、グランドトゥルースに対する入力画像と出力画像のFWHM（半値全幅）の不一致を計算しました（図1h）。 ネットワーク出力の平均 FWHM 不一致は、入力の 2.95 ピクセルの不一致と比較して、0.61 ピクセルの不一致で約 5 分の 1 でした。 また、ネットワーク出力では、入力の 2.41 ピクセルと比較して標準偏差が 0.60 ピクセル低くなりました。 代替方法として、さまざまなヒストグラムベースの二値化手法、つまり大津の手法 28、反復自己組織化データ分析手法 29 (ISODATA)、および平均しきい値処理 30 を使用して、背景から信号をセグメント化しました。 図1dに大津法によるセグメンテーションの例を示します。 すべてのセグメンテーション方法において、PSNR および SSIM メトリクスは、入力よりもネットワーク出力の方が一貫して高かった (補足図 2)。 出力画像のデコンボリューションの精度をさらに評価するために、デコンボリューションの前後でフーリエ スペクトル解析も実行して、高周波情報の復元をより適切に視覚化し、入力と比較して出力の周波数情報がより近似していることを示しました。グラウンドトゥルースとその側面の対応物に非常に近い（補足図3）。 さらに、トレーニング中に私たちのフレームワークが解釈可能であるとみなされることに気づきました。 逆方向パスの生成ネットワークを介してインパルス応答を計算することで、ぼやけ PSF モデルを近似することができました。最初は、軸ぼかしプロセスをエミュレートする線形ぼかしカーネルとしてモデル化されました (補足図 4)。

CFMを使用してThy 1-eYFPマウスの脳の皮質領域をイメージングすることにより、軸面の解像度の向上を実証しました。 サンプルは組織から除去され、光学切片を使用して 3D で画像化されました。 CFM での光学的セクショニングでは、横方向分解能と軸方向分解能の間に顕著なコントラストが生成され、z 深さ 3 μm 間隔で横方向分解能は 1.24 μm と推定されました。 物理サイズが約 1270 × 930 × 800 µm3 である画像ボリュームは、再サンプリングされて、双一次補間を使用して 1 µm のボクセル サイズに等方的に再構築されました。 解像度向上の信頼性を確認する参考資料を提供するために、サンプルを物理的に 90 度回転させた後、サンプルの高解像度横方向 XY 平面が元のボリュームの軸方向 XZ 平面と一致するように追加でイメージングしました。軸方向の YZ 平面。 次に、BigWarp Plugin31 を使用して、参照ボリュームを入力画像空間にセル間レベルで登録しました。 個別に取得されたリファレンスは、独立したイメージング条件と潜在的なレジストレーション エラーのため、完全なグラウンド トゥルース画像からはほど遠いものの、フレームワークによって再構成された詳細が実際の物理的測定値と一致するかどうかに関して、利用可能な最良のリファレンスを提供します。

CFM ボリュームでのテストでは、トレーニングされたネットワークにより、以前の高度に異方性の解像度がほぼ完璧な等方性の解像度に復元されました。 横面と軸面が対称な構造について、分解された軸方向画像上の距離と横方向画像の対応する距離を比較することにより、解像度の向上を示しました。 図2aに示す一例は、主に円筒形である基底樹状突起です。 この例では、その差はナノスケール (約 0.05 μm) でした。 側面画像と超解像アキシャル画像の間のテクスチャの違いは人間の目には知覚できないため、復元の前後にフーリエスペクトル解析を実行し、出力の周波数情報が側面画像の周波数情報と一致するように復元されたことを示しました（補足）図5）。

Thy 1-eYFP マウスの脳の皮質領域を画像化しました。 提案された方法により、CFM ボリュームでほぼ等方的な解像度が達成されました。 アキシャル画像は、メモリ内の 1 ～ 2 ギガバイトにわたる単一の CFM ボリュームでトレーニングおよびテストされた生成ニューラル ネットワークによって盲目的に強化されました。 アキシャル面の解像度の向上は全体的であり、画像空間全体で一貫していました（補足図6も参照）。 XY 平面 (黄色の線) と XZ 平面 (青色の線) における円柱状デンドライトの収束断面強度プロファイルは、XZ 平面 (青色の点線) の入力と比較して、ほぼ完全な等方性解像度を示しています。 1.71 μm、XZ FWHM は 1.76 μm で、入力 XZ FWHM 6.04 μm から大幅に低減されています。 スケール バー: 100 μm、50 μm、20 μm (2D)、および 20 μm (3D) の順にズームします。 b 画像復元結果 (「ネットワーク」) は、マウス皮質の上部皮質領域を 150 μm の厚さの MIP 画像として示します。 結果は、元の軸方向イメージング (「入力」) および参照側方イメージング (「90 度回転」) と比較されました。 ズームインされた ROI は黄色のボックスとしてマークされます。 抑制された、またはぼやけた詳細がネットワーク出力画像で回復され、側面画像と一致しました。 スケール バー: 50 μm (上部 ROI)、10 μm (中央 ROI)、20 μm (下部 ROI)。 c 修復前後の皮質上部層の錐体ニューロンの3D再構成とニューロン追跡。 軸面の解像度の向上により、3D ニューロン形態のより正確かつ詳細な再構築が可能になります。 側面画像から対応する位置を実証することにより、追加のニューロン追跡を検証しました。 アンダーサンプリングと Z ブラーにより、スキャン方向 (2D ROI の矢印) に対して垂直に走る神経突起を追跡することがより困難になりましたが、ネットワーク出力からはより正確な追跡が可能になりました。 スケール バー: 50 μm (3D) および 10 μm (2D ROI)。 d ペアごとに改善された、参照画像までの距離メトリックとしての MIP 画像の PSNR 分布。 MIP 画像 (n = 31 の独立した画像) は、深さ 150 μm の 140 × 140 μm2 の断面からのものでした。 箱ひげ図の場合、箱はデータセットの Q1 と Q3 の間の IQR を示し、中央のマークは中央値を示し、ひげは最小値 (Q1-1.5*IQR) と最大値 (Q3+1.5*IQR) を示します。 e (b) の拡大 ROI 内のマークされた線からの断面強度プロファイル。 90°回転したラインが入力に登録されます。 (a) および (c) のパネルでは、カラー バーは 0 と 1 の間で正規化された信号強度を表します。

私たちは、マイクロメートルスケールで元のアキシャル画像と高解像度の一致を提供する参照画像（図2b、cで90°回転したラベルが付けられている）と比較することによって、分解された詳細の解剖学的精度を検査しました。 私たちは、このネットワークがアキシャル画像テクスチャを高解像度画像ドメインに変換することに成功しただけでなく、以前に抑制されていた詳細を復元することにも成功していることに気付きました。これは参照イメージングによって検証されました。 参照画像に従って、ネットワーク出力は、画像空間全体にわたって一貫して、神経組織の解剖学的特徴を正確に強調しました（図2aおよび補足図6）。 図2b、cに示すように、ネットワークは皮質領域全体の形態、密度、接続性が異なる重要な解剖学的特徴の適応的回復を管理するため、ネットワークにより皮質領域のより高度な細胞構築学的研究が可能になりました。 たとえば、皮質上部層では、以前はぼやけていた錐体ニューロンの頂端樹状突起が解決されました（図2bの中央左のROI）。 ネットワーク出力により、錐体ニューロンおよび介在ニューロンによるこれまで見えなかった皮質微小回路も明らかになりました（図2bの下部ROI）。 断面強度プロファイル（図2e）は、アキシャルイメージングで以前にぼやけていた抑制された詳細のそのような回復を示しています。 ネットワークによって軸方向の解像度は向上しましたが、側面には認識可能な歪みやアーティファクトが導入されていないことがわかりました。

抑制された詳細のこのような回復は、強化された出力ボリュームからニューロンの形態を再構築する際の顕著な改善につながりました。 私たちは、セグメンテーションなどの現在の標準的なニューロン追跡方法である NeuroGPS-tree32 を使用して 2 つの錐体ニューロンを追跡し、その後人間による補正を行いました。 トレースは、他の画像の対応物についての知識なしに、盲目的に実行されました。 図 2c は結果を示しています。 視覚的に比較すると、ネットワーク出力からのトレースはどの方向にも制限されていませんでしたが、入力画像では、NeuroGPS ツリーは Z 軸アンダーサンプリングによって中断された神経突起をトレースできませんでした（図 2c の 2D ROI）。 。 入力、ネットワーク、参照イメージングからのニューロン トレースの比較を補足図 7 に示します。ネットワークによって再構成された詳細の解剖学的精度を定量化するために、ネットワークによる再構成をスライスごとの検証によって実証しました。側面イメージングからの画像のトレースを出力します。 検証は偽陽性の削除により再構成された神経突起の分岐を調べるレベルで行った。 たとえば、検証されたバイナリ画像では、一致しない神経突起を持つトレース画像領域は 0 に設定され、一致する神経突起を持つ領域は 1 に設定されます。 トレース結果と検証プロセスについては、補足ムービー 1 および 2 でさらに説明します。次に、元のトレースと検証されたトレースの比率を計算することで、トレースの生物学的精度を測定しました。 2 つのテスト ニューロンからのニューロン再構成の精度は 98.31% と 98.26% でした。

信号レベルでの軸方向解像度の向上を定量化するために、入力軸方向画像と参照側方画像でそれぞれ 140 × 140 µm2 の 31 個の重複しない ROI を特定しました。これらの ROI では、同一の神経構造が区別可能であり、蛍光発光による視覚的に同様に検出されました。 次に、入力 ROI とネットワーク出力 ROI のピーク信号対雑音比 (PSNR) 距離を、対応する参照 ROI と測定して比較しました。 このネットワークにより、入力 ROI と出力 ROI のペアあたり 2.42 dB の平均 PSNR 改善が導入されました (図 2d)。 この分析は、ネットワークによって復元されたテクスチャの詳細には、側面画像でより識別しやすい解剖学的に正確な特徴が含まれていることを示唆しています。 それらのメトリックの違いは、復元された詳細の知覚精度を完全に反映しているわけではなく、異なる角度でのイメージングによるイメージングセッション間の蛍光発光の違いに起因することに気づきました（補足図8を参照）。 さらに、ラットの脳組織をCFMでイメージングすることにより、他の生物学的細胞または組織タイプのトレーニングとテストを行うことにより、フレームワークの汎化能力をテストしました。蛍光GFAPマーカーで標識された星状細胞とレクチンで標識された血管です（補足図9および10を参照） ）。 私たちの評価では、このフレームワークは画質と再構成において生物学的に意味のある改善を示しました。

ライトシート顕微鏡 (LSM) は、光学的に透明な組織を含む大きな組織標本の高スループット細胞イメージングに特化した顕微鏡技術です。 私たちのフレームワークの画像復元機能をさらに調査するために、オープントップ LSM (OT-LSM) システム 33 で実験的に測定された PSF のデコンボリューション機能をテストしました。 OT-LSM を使用して、全体の物理サイズが 360 × 360 × 160 µm3 の画像スタックで 0.5 µm の蛍光ビーズをイメージングしました。 画像は、双一次補間を使用して 0.5 μm のボクセル サイズに等方的に再構築するために再サンプリングされました。 ビーズは任意に広げられ、一部のビーズは互いにより近い間隔で配置されました。 私たちのフレームワークによる結果を図3に示します。デコンボリューション後のネットワーク出力の2Dおよび3D再構成は、ほぼ等方性の解像度を示し、ほぼ球形の形状になりました（図3a）。 このデコンボリューション効果は、個々の蛍光ビーズ間で一貫していました。 デコンボリューションのパフォーマンスを定量化するために、ランダムに選択した 300 個を超える輝点の 2D FWHM 値を計算し、画像復元前と後の横方向 FWHM と軸方向 FWHM を比較しました。 図3bに示すように、復元画像内の輝点のFWHM分布は、側面の入力のFWHM分布とほぼ同じ一致を示します。 ネットワーク出力は PSF の軸方向の伸びを補正し、軸方向の平均 FWHM 〜 3.91 ± 0.28 μm が 〜1.95 ± 0.12 μm に減少しました。これは、横方向入力の平均 FWHM 〜 1.98 ± 0.13 μm に非常に近づきました。 このネットワークでは、側面にほとんど偏差が生じず、平均 FWHM 不一致は約 0.13 ± 0.06 μm でした。

0.5 µm の蛍光ビーズをイメージングして、OT-LSM システムの PSF を実験的にモデル化しました。 a 3D および 2D で視覚化された PSF デコンボリューションの例。 強度プロファイルはガウス関数に当てはめられました。 軸方向の伸びは、蛍光顕微鏡検査における一般的な問題です。 私たちのフレームワークは、それを元の球状の蛍光ビーズに分解します。 スライス画像は入力画像の信号範囲上で視覚化されました。 カラーバーは、0 と 1 の間で正規化されたシグナル強度を表します。スケール バー: 10 μm (左)、1 μm (中央と右)。 b PSF デコンボリューション前後の側面および軸面で実験的に測定された PSF の FWHM。 この方法を適用する前に、同じ場所から明るいスポットを抽出しました (重複しない別個の領域から、XY 平面については n = 300 スポット、YZ 平面については 305 スポット)。 各スポットは 2D ガウス関数に当てはめられ、FWHM が計算されました。 軸面の PSF は、側面の PSF とほぼ同じ解像度にデコンボリューションされました。 箱ひげ図の場合、箱はデータセットの Q1 と Q3 の間の IQR を示し、中央のマークは中央値を示し、ひげは最小値 (Q1-1.5*IQR) と最大値 (Q3+1.5*IQR) を示します。 外れ値は、ひげの先にあるアスタリスク型のマーカーで表されます。

サブマイクロメートルの解像度でマウスの脳全体をイメージングするなど、大規模なサンプルを高解像度でイメージングすると、低解像度では目立たない予期しない画像アーティファクトの集合が発生する可能性があります。 LSM 顕微鏡検査では、これらのアーティファクトは、多くの場合、適切に校正されていないか、設置されている顕微鏡の副産物です。 特に、標準的な OT-LSM システム 34、35 では、励起経路と結像経路が互いに垂直である必要があり、XZ 平面と YZ 平面の間で不均一に画質に歪みが生じる可能性がありますが、この異方性はしっかりと焦点を合わせることで緩和できます。興奮33． 未知の画像劣化プロセスの組み合わせでフレームワークを盲目的にテストするために、複数の画像アーティファクトを備えた OT-LSM システムでトレーニングおよびテストしました。これには、空気と光の屈折率の不一致によって引き起こされる球面収差によるぼやけたアーティファクトだけが含まれません。浸漬媒体ではなく、画像空間全体に不均一に広がるその他のアーティファクト。たとえば、励起レーザーの掃引と検出センサーのローリング シャッターの間の同期ミスによる画像ダブリング アーティファクトや、物理サンプルのドリフトによるモーション ブラー アーティファクトなどです。電動ステージ。 私たちは、これらの問題に盲目的に対処するためにフレームワークをテストしました。単一セッションのイメージングから、信頼できるマーカーやこれらのアーティファクトを防ぐための他の従来の方法による事前情報はありません。 この OT-LSM システムの異方性問題では、ネットワークが各直交平面で 2 つの異なる画像変換を学習する必要があり、画像空間全体で一貫性がないため、YZ 平面と XZ 平面に個別の識別子を使用するフレームワークのバリエーションを実装しました。判別ネットワークの投影サンプリングをスライス サンプリングに置き換えます。

OT-LSM を使用して、Thy 1-eYFP で標識された組織を除去したマウスの脳の皮質領域を画像化しました。この領域の物理的サイズは約 930 × 930 × 8600 µm3 です。 画像は、双一次補間を使用して 0.5 μm のボクセル サイズに等方的に再構築するために再サンプリングされました。 顕微鏡システムの画像解像度は横方向に約 0.5 μm、軸方向に約 4.6 μm、Z 深さの走査間隔は 1 μm であると推定され、上に挙げた複数の画像アーチファクトが生成されました。 OT-LSMシステムの概略図については、補足図11を参照してください。図4aに示すように、OT-LSMシステムによるアキシャル画像の画質劣化がXZ平面とYZ平面で同一ではないことに気づきました。 、XZ および YZ 画像は、Y 軸と一致する光の伝播と、スキャン中の組織を除去したサンプルの横方向の動きからの振動によって、さまざまな程度の影響を受けたためです。

a 選択した 3D ROI の MIP 画像を使用した、未校正の OT-LSM の直交画像平面間の画質の比較。 スケール バー: 100 μm および 25 μm (ROI を拡大)。 b 錐体ニューロンの体細胞および基底樹状突起の 3D 再構成。選択した 3D ROI の軸方向 MIP 画像。 ネットワークは XZ 平面の倍増効果を修正し、信号と背景の間のコントラストも強調しました。 解像度の向上は XZ 平面と YZ 平面全体で一貫していました。 入力画像と出力画像は同じ強度スペクトル上で視覚化されました。 カラーバーは、0 と 1 の間で正規化された信号強度を表します。スケール バー: 25 μm。 c 入力からの YZ および XZ MIP イメージ、Richardson-Lucy アルゴリズムによるデコンボリューション結果、およびネットワーク出力。 ネットワーク出力のデコンボリューションとアーティファクト補正は、OT-LSM ボリュームの 8600 スライス画像全体にわたって一貫していました。 MIP 画像は深さ 150 μm です。 6 つの独立した画像ボリュームを使用して実験を繰り返したところ、同様の結果が得られました。 スケール バー: 50 μm および 10 μm (ROI を拡大)。

図4cに示すように、ネットワーク出力は、信号と背景の間のコントラストを強調しながら、XZ平面とYZ平面の間の解像度が均一に向上していることを示しました。 この改善により、3D ニューロン形態のより詳細な再構築が可能になりました (図 4b)。 復元された詳細を視覚的に比較するために、実験的に取得した PSF モデルに基づいて、Richardson-Lucy (RL) デコンボリューション アルゴリズム 36,37 を使用して画像ボリュームをデコンボリューションしました (図 3)。 RL デコンボリューションは、Fiji-Plugin DeconvolutionLab38 を使用して 10 回の反復で実行されました。 RLデコンボリューション画像では、入力画像の球面収差によって以前に抑制されていた一致する詳細が見つかりました（図4c）。 両方のアキシャル面での解像度の向上により、質感と精度に知覚できないほどの違いがありました。 ただし、画像の劣化が画像空間全体で不規則であるため、RL デコンボリューション画像は、特定の PSF によってモデル化されていない追加の画像アーティファクトに対処できませんでした。 対照的に、ネットワークはこれらの画像アーチファクトの多くを修正しました。 たとえば、励起と検出の間の非同期性から生じる画像ダブリングアーチファクトは、目に見えて減少しました（図4bのXZ平面画像および図4cのXZ平面ROI）。 ステージのドリフトによって引き起こされる水平リップルアーティファクトも修正されました（図4cのYZ平面ROIと補足図12）。 アーティファクト補正が画像空間全体で一貫していることに気付きました。

LSM システムのフレームワークの定量的評価のために、顕微鏡 33 を横方向解像度約 0.5 μm、軸方向解像度約 1.9 μm に校正し、以前の画像アーティファクトのほとんどを大幅に低減することにより、ほぼ等方性のグラウンドトゥルース画像を生成しました。 。 次に、標準偏差 10 の軸方向ガウス カーネルを適用することで、深さ方向の PSF ぼかしプロセスをシミュレートしました。約 490 × 130 × 150 µm3 の画像ボリュームでトレーニングおよびテストしました。 元のモデルを使用したテストでは、ネットワークは軸方向のぼやけた情報の大部分を正常に復元しました。 補足図 13 は、この実験の結果を示しています。 RL デコンボリューション画像と比較して、ネットワーク出力画像は細かい部分の回復を示しています（補足図 13a の拡大 ROI）。 さらに、グラウンドトゥルースと比較して、ネットワークは水平ストライプアーティファクトも補正していることに気づきました。これは軸方向のアンダーサンプリングによって引き起こされ、補足図13aのグラウンドトゥルースROIに示されています。 軸方向の解像度の向上を定量化するために、テスト ボリュームを 8 つの重複しない領域に分割し、深さ 17.5 μm のそれぞれの MIP で画質メトリクスを計算しました。 PSNR と MS-SSIM は参照認識メトリックとして使用され、BRISQUE39 は非参照画質メトリックとして使用され、入力およびグラウンド トゥルースと比較して、出力画像の知覚的な自然さを評価しました。 すべての指標で改善が見られました (補足図 13b)。 BRISQUE メトリクスは、出力画像がぼやけた入力よりも知覚的により自然であり、グラウンド トゥルースとの違いがほとんどないことを示唆しています。 また、3D 出力ボリュームで全体的な PSNR が 1.98 dB 向上していることもわかりました。

これまでのところ、画像形成において互いに多くの相違点が含まれるシミュレーション、CFM、および OT-LSM においてこの手法の有効性を実証してきました。 したがって、学習の本質的な要素は画像形成プロセスの条件に依存しないため、このフレームワークは蛍光顕微鏡スペクトルの他の形式にも広く適用できると考えられます。

この研究では、高解像度の側面画像から学習することで従来の蛍光顕微鏡の軸方向の解像度を向上させる、深層学習ベースの超解像技術を開発しました。 私たちのフレームワークの強みは、一致しないデータ ペアからの教師なし学習を利用することにあります。これにより、画像変換の学習をユーザー定義の 3D 単位空間に局所化し、収差などの画像特性の地域的な変動から切り離すことができます。または蛍光イメージングプロセスから自然に生じるアーティファクト。 シミュレーション、CFM、および OT-LSM を使用した実験では、この機能が、画像空間全体で画像劣化のレベルが異なる大規模体積蛍光顕微鏡での抑制された細部の等方性再構成に明確な利点をもたらすことを示しました。

教師なし学習である GAN アーキテクチャに基づく深層学習モデルは、非常に妥当性のある高レベルの詳細を生成することに優れており、アート スタイルの転送 22,40 や高レベルの詳細の微調整などのタスクで知られています 41。 ただし、生物学研究において顕微鏡画像を向上させる場合、詳細を適切に生成することは諸刃の剣となります。 詳細の信憑性が高いため、特に実際の生物学的証拠を参照せずに、復元された画像の信頼性を検証することが困難になります。 この論文では、シミュレーション研究からの理論的証拠と、直交イメージングと人工ぼかしからの実験的証拠の両方を提供して、そのような再構成された高周波情報の有効性を実証しました。 結果は、私たちの OT-cycleGAN ネットワーク設計が、この優れた生成力を活用しながら、最適な輸送の定式化と逆方向パスの劣化モデルの物理学にインスピレーションを得た設計によって解空間を厳密に制限することによって、信頼性からの逸脱の問題に対処していることを裏付けました。高周波情報を再構築します。 さらに、私たちのアブレーション研究は、私たちのフレームワークの重要なコンポーネントをより深く調べることを提供します（補足注1および補足図14）。

実際には、私たちの方法は、顕微鏡におけるあらゆる異方性問題に対する万能の解決策であると誤解されるべきではありません。 必要に応じて、ユーザーは後処理で視覚化のための追加の手順を含めることができます。 たとえば、画像の視覚化方法 (2D と 3D、または視覚化の強度範囲) に応じて、一部の視覚的アーティファクトが発生する可能性があります。 補足図 15 は、そのような場合の例を示しています。 識別ネットワークは 2D MIP 画像でトレーニングされるため、そのような視覚的アーティファクトは 2D MIP 画像としてのみ視覚化するとより識別しやすくなる可能性があります。 ただし、補足図15に示すように、これらのアーティファクトは誤った再構成から生じるものではありません。 3D で完全に視覚化すると、偽の構造は存在しません。 トレーニング反復中にサブボリューム間で局所的なコントラストが著しく変化する画像ボリュームの場合、ほとんどのアーティファクトは非常に低い強度範囲内に設定され、かろうじて目に見えるままですが、高度に飽和した強度範囲で視覚化すると、より目立つように見える場合があります。 このような場合、ユーザーはヒストグラムマッチング42を使用して、入力画像のヒストグラムに従って出力画像を局所的に正規化できます。 補足図16は、PSFデコンボリューション実験からの画像ボリュームを使用したテストを示しています。 後処理だけでローカル信号対雑音比 (SNR) が増加しました。

最後に、私たちの方法の主な利点は、展開の容易さにあります。 補足図に示すように。 図９および図１０に示すように、このフレームワークは、画像化された組織または蛍光標識マーカーの種類によって必ずしも限定されるわけではない。 したがって、私たちの方法は体積蛍光顕微鏡におけるさまざまなイメージングシナリオに適用できるはずです。 また、画像形成プロセス、トレーニング データの登録、またはターゲット データの個別の取得についての事前知識がなくても、ネットワークのトレーニングに必要なのは単一の 3D 画像スタックだけであるため、実践にかかる労力も大幅に削減されます。 従来の深層学習ベースの超解像手法のほとんどでは、これらの要素の何らかの組み合わせが一般的に必要であると考えられています43。 このため、私たちの方法により、体積顕微鏡データに超解像を適用するという既存の困難が大幅に軽減されることが期待されます。

管状オブジェクトを含むランダム化されたメッシュ構造をシミュレートするために、まず 900 × 900 × 900 ボクセルの 3D 画像空間で 20,000 個の点をランダムに選択し、2 ピクセルの太さの 10,000 本の直線を描画しました。 次に、シグマ値 3 の 70 グリッド位置を持つ 3D 弾性グリッドベースの変形フィールドを適用しました。その後、変形ボリュームが正規化され、グラウンド トゥルース ボリュームとして扱われました。 ぼやけたボリュームを取得するために、標準偏差 4 の Z ぼかしガウス カーネルを適用しました。補足の図 1 は、このプロセスを視覚化しています。

Tg(Thy1-eYFP)MJrs/Jマウスは、ヘテロ接合変異マウスを交配した後、遺伝子型決定によって同定され、マウスはC57BL/6 WTバックグラウンドに10世代戻し交配され、その後韓国脳研究所の同じ動物施設で維持された。 (KBRI)。 マウスは、周囲温度20～22°で、7:00に「点灯」する12/12の明暗サイクルで、標準的な餌と水を自由に摂取できるように、ケージあたり2～5匹のグループで飼育しました。一定の空気流を通し、摂氏温度および湿度 (約 55%) に保ちます。 動物の健康状態を定期的に監視した。 すべての動物手順は、KBRI の施設内動物管理使用委員会 (IACUC) によって承認された動物管理ガイドライン (IACUC-18-00018) に従いました。 マウス脳スライスの準備として、ゾレチル (30 mg/kg) とキシラジン (10 mg/kg 体重) の混合物を注射してマウスを麻酔しました。 蠕動ポンプを使用してマウスに新鮮な冷リン酸緩衝生理食塩水 (PBS) 20 ml と 4% パラホルムアルデヒド (PFA) 溶液 20 ml を灌流し、マウスの脳全体を抽出して 4% PFA 中で 4 ℃で 1 ～ 2 日間固定しました。 C. 固定したマウスの脳を冠状に500μmの厚さにスライスした。 次に、脳スライスを、光学的透明化のために、屈折率（RI）マッチング溶液（C match、1.46 RI、Crayon Technologies、韓国）中で37℃で1時間インキュベートしました。 提案された方法は、光学的に透明な組織サンプルの画像に適用されました。 補足図のサンプル準備のため。 9 および 10 については、補足 2 を参照してください。

CFM イメージングでは、光学的に透明な組織標本を 35 mm カバーガラスの底部ディッシュにマウントし、プラン アポクロマート 10 倍レンズを備えた正立共焦点顕微鏡 (Nikon C2Si、日本) を使用した画像取得中に RI マッチング溶液に浸漬しました。 (NA = 0.5、WD = 5.5 mm)。 光学切片の Z スタックは 3 または 4 μm 間隔で取得されました。

OT-LSM イメージングには、最近開発された顕微鏡システム 33 を使用しました。このシステムの設計は、水プリズム オープントップ ライトシート顕微鏡 34,35 に基づいています。 異方性を誘発するために、イメージング視野全体にわたる励起光シートの厳密な集束を除外しました。 このシステムには、励起光シートの軸方向掃引用の照明アームの一部として ETL (EL-16-40-TC-VIS-5D-M27、Optotune) と sCMOS カメラ (ORCA-Flash4.0 V3 デジタル CMOS) が含まれています。カメラ、浜松）をローリングシャッターモードで使用し、サンプルからの発光を収集します。 このシステムは、照明アームとイメージングアームの両方で 10 倍の空気対物レンズ (MY10X-803、NA 0.28、ミツトヨ) を使用し、サンプル表面に +45° と -45° を向けます。 カスタム液体プリズムには、透明溶液への通常の光入射用の RI マッチング溶液が塗布されました。 励起光源は、488 nm または 532 nm CW レーザー (Sapphire 488 LP-100、Coherent; LSR532NL-PS-II、JOLOOYO) でした。

OT-LSM 脳画像の場合、蛍光イメージングから生じるごま塩ノイズを除去するために、半径 2 ピクセルのメディアン フィルターが適用されました。 すべての画像は、パーセンタイルベースの彩度を使用して 0 と 1 の間で厳密にスケールするように正規化され、合成画像の場合は下位と上位が 0.25%、CFM 画像の場合は 0.03%、OT-LSM 画像の場合は 3% でした。 どちらの OT-LSM 実験でも、OT-LSM システムはサンプルを 45° または -45° で画像化するため、アフィン変換として YZ 平面にせん断を適用して、正しいサンプル空間を再構成しました。 画像の視覚化は、Fiji ソフトウェア 44 および Paraview 45 を使用して実行されました。

2 つの錐体ニューロンは、接続する神経突起を可視化するために選択されました。 最初に、NeuroGPS-Tree ソフトウェアを使用して自動的に追跡されました。 体細胞の位置は、V3D ソフトウェア 46 を使用して手動で選択されました。 NeuroGPS ツリー ソフトウェアは、手動の観察と修正によって経験的に選択されたバイナリしきい値とトレースしきい値のパラメーターを使用して、これらの体細胞位置をトレースに使用しました。 最初のトレースの後、トレースはバイナリ画像ボリュームに変換され、ソース画像ボリュームとのスライスごとの比較に基づいて手動で修正され、一致する神経突起を 1 に設定し、残りを 0 に設定しました。 検証ステップでは、トレースが登録された参照ボリューム内の対応する位置に変換され、サンプルを物理的に 90 度回転させた後に個別に画像化されました。 検証は、参照画像スライス (補足ムービー 1 および 2) 上のトレースを検証することにより、スライスごとに行われました。 たとえば、一致しない神経突起を持つ画像領域は 0 に設定され、一致する神経突起を持つ画像領域は 1 に設定されます。 精度は次のように計算されました。

ここで、W、H、D はトレースされるボリュームの幅、高さ、深さを表します。 Ｖは参照検証後のバイナリ検証済みボリューム、Ｃは参照検証前のバイナリ修正済みボリュームをそれぞれ表す。

私たちのアルゴリズムを導出するために、高解像度のターゲット空間 \({{{{\mathcal{X}}}}}\) が、確率尺度 µ に従った等方性解像度を持つ仮想 3D 画像ボリュームで構成されていると仮定します。一方、入力空間 \({{{{\mathcal{Y}}}}}}\) は、確率測度 \(\nu\) に従う、軸方向の解像度が低く、異方性解像度を持つ測定された 3D ボリュームで構成されます。 最適なトランスポート駆動サイクルGAN23 によれば、\({{{{\mathcal{Y}}}}}\) の 1 つの画像ボリュームを \({{{{\mathcal{X} }}}}}\)、\({{{{{\mathcal{X}} における統計的距離の最小化の観点から、確率分布 \(\nu\) を µ に、またはその逆に輸送することで、この問題を解決できます。 }}}}\) と \({{{{{\mathcal{Y}}}}}\) を同時に実行できます23。これは、cycleGAN を使用して実装できます。 私たちの実装では、そのような統計的距離を推定し、距離を最小化するように生成ネットワークをガイドするのが識別ネットワークの役割です。 残念ながら、\({{{{\mathcal{X}}}}}\) は架空の等方性の高解像度ボリュームで構成されているため、\({{{{\mathcal{X }}}}}}\) を生成されたボリュームから取得します。 この技術的な問題は、次の観察によって解決できます。すべての 3D ボリュームに対して等方性解像度が想定されているため、 \({{{{{\boldsymbol{x}}}}}}\,{{{{{\mathcal{\in } }}}}}\,{{{{{\mathcal{X}}}}}\)、XY、YZ、および XZ 平面は、入力ボリュームの横方向の解像度と同じ解像度を持つ必要があります (つまり、入力ボリュームの XY 平面 \({{{{{\boldsymbol{y}}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal {Y}}}}}}\))。 したがって、統計的距離を XY、YZ、および次の最小二乗敵対的損失を使用する XZ プレーン:47

どこ

ここで、下付き文字 xy、yz、および xz は、xy、yz、および xz 平面上のスライス情報を指し、下付き文字 xyproj、yzproj および xzproj は、XY、YZ、および XZ 平面上の最大強度投影を指します。 この投影では、隣接するスライスからの側面上の Z 方向にぼやけた投影が考慮されます。 ここで、画像ボリューム y からの XY 2D スライス画像である yxy は、仮想等方性ボリューム分布 \({{{{\mathcal{X}}}}} からの XY、YZ、および XZ 平面参照として使用されます) \) を作成し、復元されたボリューム G(y) の対応する平面と比較します。

一方、逆方向パス弁別器グループ DY は、次の損失を最小限に抑えるようにトレーニングされます。

どこ

そのため、ぼやけたボリューム \(F({{{{\boldsymbol{x}}}}})\) の XY、YZ、および XZ 平面イメージは、入力ボリューム \({{{{{\boldsymbol{y}}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal{Y}} }}}}\)。

G は、入力画像ボリュームに対して 3D ブレ除去またはアップサンプリングを実行する 3D ジェネレーターであることに注意してください。 この 3D 復元プロセス中に、元の XY スライス画像が歪む可能性があります。 したがって、ジェネレーター G は、XZ スライスと YZ スライスの両方の解像度を向上させるようにトレーニングする必要がありますが、XY 平面のパフォーマンスを低下させないようにトレーニングする必要があります。 この問題は、逆方向パスのジェネレーター F にも関係します。 したがって、順方向パスの 3D 復元ステップと逆方向パスの 3D 劣化ステップ中に、軸方向サンプリングと横方向サンプリングの両方の識別器が必要になります。 さらに、2 つの軸面間の画質に差異がない場合、両方の軸面から学習するために使用できる識別ネットワークは 1 つだけです (つまり、\({D}_{X}^{\left(2\right) )}={D}_{X}^{\left(3\right)}\) および \({D}_{Y}^{\left(2\right)}={D}_{Y} ^{\left(3\right)}\))。 たとえば、シミュレーション研究や CFM 実験がこのケースの例です。

次に、ニューラル ネットワーク トレーニングの完全な目的は次のようになります。

ここで \({{{{{{\mathcal{L}}}}}}_{{{{{{\mathcal{c}}}}}}{{{{{\mathcal{y}}}} }}{{{{\mathcal{c}}}}}}\left(G,F\right)\) はサイクル整合性損失を指し、絶対差の合計として計算されます。 L1 損失、F (G(y)) と y の間。 サイクル一貫性損失の重みとしての λ は、実験では 10 に設定されています。 サイクル一貫性保持アーキテクチャの目的関数は、画像データを推定されたターゲット ドメインにできる限り近づけながら、モデルの可逆性を維持しながら、モデルの生成能力と識別能力の間のバランスを達成することを目的としています。ドメイン間のマッピング。 生成と識別のバランスは、生成ネットワークが損失を最大化することを学習し、識別ネットワークが敵対者として損失を最小化することを学習するため、画像変換の両方のパスで敵対者の損失が収束することによって達成されます。

結果として得られるアーキテクチャは、それぞれ順方向パスと逆方向パスにある 2 つの深層生成ネットワークと、順方向パスと逆方向パスにそれぞれ 2 つのグループにある 4 つまたは 6 つの識別ネットワークで構成されます。 概略図を図1bに示し、ネットワーク設計の詳細な説明を補足図17と補足注記3および4に示します。

順方向パスの生成ネットワーク G は 3D U-Net アーキテクチャ 48 に基づいており、ダウンサンプリング パス、最下層、アップサンプリング パス、出力層で構成されます。 一方、逆方向パスの生成ネットワーク F は、生成ネットワークがブラーまたはダウンサンプリングのプロセスをどの程度うまくエミュレートできるかに基づいて調整および置換可能です。 私たちは、ダウンサンプリングステップなしで、3D U-netアーキテクチャとディープリニアジェネレーター49の間の最適な選択を経験的に検索しました（補足図17bを参照）。 シミュレーション、CFM 脳画像、OT-LSM 蛍光ビーズ画像にはディープ リニア ジェネレーターを F として選択し、OT-LSM 脳画像には 3D U-Net を F として選択しました。 ディープ線形ジェネレーターのカーネル サイズは、畳み込み層の深さに応じて変化します (補足図 17b を参照)。

OT-LSM 画像のトレーニング段階の前に、ボリューム全体を深さ 20 ～ 50 ボクセルの重複する隣接領域を持つ 2003 ～ 2503 ボクセルのサブ領域に分割しました。 サブ領域の数は、脳画像データの場合は約 3000、蛍光ビーズ画像データの場合は約 580 です。 次に、反復ごとのバッチ トレーニング用に領域をランダムに切り取り、データ拡張手法としてランダムに選択された軸上でそれを反転しました。 クロップサイズは、脳画像の場合は 132 × 132 × 132 ボクセル、蛍光ビーズ画像の場合は 100 × 100 × 100 ボクセルでした。

OT-LSM の軸方向分解能は、照明経路が YZ 軸に沿っているため、XZ 面と YZ 面で異なりますが、CFM イメージングの軸方向分解能は XY 面全体で一貫しています。 このため、CFM 画像では、データ拡張手法として画像ボリューム全体 (1 ～ 2 ギガバイト) をメモリにロードし、Z 軸に沿ってランダムに回転させました。 次に、領域をランダムにトリミングし、反復ごとにランダムに選択された軸上で反転しました。 このため、ネットワークは 1 つの画像ボリューム全体でトレーニングされ、そのトレーニングの進行状況はエポックではなく反復でマークされました。 クロップサイズは 144 × 144 × 144 ボクセルとして設定されます。 すべての実験の推論段階では、クロップ サイズは 120 × 120 × 120 ボクセルとして設定され、重なり合う領域の深さは 30 ボクセルであり、各出力サブ領域から深さ 20 ボクセルで境界を切り取って弱い部分を除去しました。元の画像空間に組み立て直す前に、境界付近の信号を除去します。 すべての実験で、反復ごとのバッチ サイズは 1 に設定されます。

3D U-net 生成ネットワークでは、すべての 3D 畳み込み層のカーネル サイズは 3、ストライドは 1、パディング サイズは 1 で、すべての転置畳み込み層のカーネル サイズは 2、ストライドは 2、パディング。 深層線形生成ネットワークでは、6 つの畳み込み層のカーネル サイズは [7,5,3,1,1,1] で、ストライドは 1、パディング サイズは [3,2,1,0, 0,0]。 識別ネットワークでは、畳み込み層のカーネル サイズは 4、ストライドは 2、パディング サイズは 1 です。軸方向の投影の深さについては、2 スライスから 15 スライスの間に限定された各反復でランダム化された深さに設定します。脳の CFM イメージングの場合は 2 スライスから 10 スライスの間で、シミュレーション研究、蛍光ビーズ イメージング、アストロ サイトの CFM イメージング、および合成的にぼかした OT-LSM イメージングの場合は 2 スライスから 10 スライスです。

すべての実験において、すべての学習ネットワークは Kaiming 初期化 50 を使用して初期化され、適応モーメント推定 (Adam) オプティマイザー 51 を使用して 1 × 10−4 の開始学習率で最適化されました。 CFM 画像と OT-LSM 脳画像の場合、トレーニングは、GeForce RTX 3090 グラフィックス カード (Nvidia) および Intel(R) Core(TM) i7-8700K CPU @ 3.70 GHz を搭載したデスクトップ コンピューターで実行されました。 モデルのトレーニング時間は、画像の性質や、トレーニング反復ごとの ROI のサイズなどのハイパーパラメーターによって異なります。 たとえば、シミュレーションのベースライン モデルのトレーニングは 11,000 回目の反復で選択され、反復あたり 1483 ボクセルの 16 ビット画像ボリュームを使用して約 19 時間かかりました。 この場合の GPU メモリ消費量は約 24 GB でした。 7003 ボクセルのテスト ボリュームでの推論には 3 ～ 5 分かかりました。 私たちの実装では、U-Net モデルには 707 万 7000 個のトレーニング パラメーターが含まれ、深層線形ジェネレーターには 647 万個のトレーニング パラメーターが含まれ、各識別ネットワークには 276 万 3000 個のトレーニング パラメーターが含まれています。 トレーニングされたネットワークのパフォーマンスは、PSNR、SSIM、MS-SSIM27、BRISQUE39、および SNR を使用して測定されました。 この研究における PSNR、SSIM、および SNR の定義は、それぞれ補足ノート 5、6、および 7 に記載されています。

特に指定がない限り、すべてのニューラル ネットワークは、ハイパーパラメーターと入力データのセットごとに 1 回トレーニングされました。 推論に関しては、すべての実験が画像ボリュームごとに少なくとも 3 回独立して繰り返され、同様の結果が得られました。 ここで、提案されたフレームワークは参照フリーであり、生物学的特徴が画像空間全体で変化する可能性がある大規模画像に適用されます。 すべての実験で、画像空間全体が評価され、同様の結果が得られました。

研究デザインの詳細については、この記事にリンクされている Nature Research レポートの概要をご覧ください。

シミュレーション、CFM 実験、PSF デコンボリューションの OT-LSM 実験、人工ブラーを使用した OT-LSM 実験のトレーニング データとテスト データ、およびアーティファクト補正のための OT-LSM 実験のテスト データは、Zenodo データベースに保管されています。 https://doi.org/10.5281/zenodo.635294852。 アーティファクト補正のための OT-LSM 実験のトレーニング データは、サイズ制限があるため、合理的な要求に応じて対応著者から入手できます。 ソースデータはこのペーパーに付属しています。

ネットワークのトレーニングと予測のコード (Python/PyTorch による) は、Github リポジトリで公開されています53。

Chung, K. et al. 無傷の生物学的システムの構造的および分子的調査。 ネイチャー 497、332–337 (2013)。

記事 ADS CAS Google Scholar

Chung, K. & Deisseroth, K. 神経系のマッピングの明瞭さ。 ナット。 方法 10、508–513 (2013)。

記事 CAS Google Scholar

ヤン、B.ら。 全身除去による透明な無傷組織内の単一細胞の表現型解析。 セル 158、945–958 (2014)。

記事 CAS Google Scholar

リチャードソン、DS およびリヒトマン、JW 組織の浄化。 セル 162、246–257 (2015)。

記事 CAS Google Scholar

浜 宏 ほかスケール: 生物学的イメージング用の光学的透明パレット。 ナット。 神経科学。 18、1518–1529 (2015)。

記事 CAS Google Scholar

ペンシルベニア州サンティ ライトシート蛍光顕微鏡: レビュー。 J. 組織化学 細胞化学 59、129–138 (2011)。

記事 CAS Google Scholar

Huisken, J.、Swoger, J.、Bene, FD、Wittbrodt, J. & Stelzer, EH 選択的平面照明顕微鏡による生きた胚の深部の光学的切片作成。 サイエンス 305、1007–1009 (2004)。

記事 ADS CAS Google Scholar

Keller, PJ、Schmidt, AD、Wittbrodt, J. & Stelzer, EH 走査型ライトシート顕微鏡によるゼブラフィッシュの初期胚発生の再構成。 サイエンス 322、1065–1069 (2008)。

記事 ADS CAS Google Scholar

ヴァーヴィア、PJ et al. ライトシートベースの顕微鏡による大型標本の高解像度 3 次元イメージング。 ナット。 方法 4、311 ～ 313 (2007)。

記事 CAS Google Scholar

いや、SW遠視野光学ナノスコピーだ。 サイエンス 316、1153–1158 (2007)。

記事 ADS CAS Google Scholar

Gustafsson, MG 構造化照明顕微鏡を使用して、横方向の解像度限界を 2 倍上回りました。 Ｊ．Ｍｉｃｒｏｓｃ． 198、82–87 (2000)。

記事 CAS Google Scholar

Schermelleh、L. et al. 3D構造化照明顕微鏡による核周囲の部分回折多色イメージング。 サイエンス 320、1332–1336 (2008)。

記事 ADS CAS Google Scholar

Hell, SW & Wichmann, J. 誘導放出による回折分解能限界の突破: 誘導放出減少型蛍光顕微鏡。 オプション。 レット。 19, 780 (1994)。

記事 ADS CAS Google Scholar

Schermelleh, L.、Heintzmann, R.、Leonhardt, H. 超解像蛍光顕微鏡のガイド。 Ｊ．Ｃｅｌｌ Ｂｉｏｌ． 190、165–175 (2010)。

記事 CAS Google Scholar

Power, RM & Huisken, J. マルチスケール イメージングのためのライトシート蛍光顕微鏡のガイド。 ナット。 方法 14、360–373 (2017)。

記事 CAS Google Scholar

Ahrens, MB、Orger, MB、Robson, DN、Li, JM & Keller, PJ ライトシート顕微鏡を使用した細胞解像度での全脳機能イメージング。 ナット。 方法 10、413–420 (2013)。

記事 CAS Google Scholar

Glaser、AK et al. 大きな臨床標本のスライドを使用しない非破壊病理学のためのライトシート顕微鏡。 ナット。 バイオメッド。 工学 1、1–10 (2017)。

記事 Google Scholar

Wang, H. et al. 深層学習により、蛍光顕微鏡におけるクロスモダリティの超解像が可能になります。 ナット。 方法 16、103–110 (2019)。

記事 CAS Google Scholar

Weigert、M.ら。 コンテンツを意識した画像修復: 蛍光顕微鏡の限界を押し広げます。 ナット。 方法 15、1090–1097 (2018)。

記事 CAS Google Scholar

Weigert, M.、Royer, L.、Jug, F. & Myers, G. 畳み込みニューラル ネットワークを使用した 3D 蛍光顕微鏡画像の等方性再構成。 医用画像コンピューティングとコンピュータ支援介入—MICCAI 2017 (Descoteaux, M. et al. 編) 126–134 (Springer, Cham, 2017)。

Zhang、H.ら。 登録不要の敵対的生成ネットワークに基づく、高スループット、高解像度の深層学習顕微鏡。 バイオメッド。 オプション。 急行10号、1044号（2019年）。

記事 Google Scholar

Zhu, J.-Y.、Park, T.、Isola, P. & Efros, AA、サイクル一貫性のある敵対的ネットワークを使用したペアのない画像間の変換 (2017)。 2017 年 22 ～ 29 日に開催されたコンピューター ビジョンに関する国際会議 (ICCV) で発表された論文。

Sim, B.、Oh, G.、Kim, J.、Jung, C. & Ye, JC 逆問題における教師なし学習のための最適なトランスポート駆動サイクル GAN。 サイアム J. イメージング サイエンス 13、2281–2306 (2020)。

記事 MathSciNet Google Scholar

リム、S.ら。 デコンボリューション顕微鏡用のブラー カーネルを備えた CycleGAN: 最適なトランスポート ジオメトリ。 IEEEトランス。 コンピューテーショナル イメージング 6、1127–1138 (2020)。

記事 MathSciNet Google Scholar

Villani、C. 最適な輸送: 新旧 Vol. 338 (シュプリンガー サイエンス & ビジネス メディア、2008)。

グッドフェロー、I.ら。 Ghahramani, Z.、Welling, M.、Cortes, C.、Lawrence, N. & Weinberger, KQ (編著) 敵対的生成ネット。 (Ghahramani, Z.、Welling, M.、Cortes, C.、Lawrence, N. & Weinberger, KQ 編) Advances in Neural Information Processing Systems、Vol. 27 (Curran Associates, Inc.、2014)。

Wang, Z.、Simoncelli, E. & Bovik, A. 画質評価のためのマルチスケール構造類似性 (2003)。 2003 年 9 ～ 12 日に開催された信号、システム、コンピュータに関する第 3 回アシロマ会議で発表された論文。

Otsu, N. グレーレベルのヒストグラムからの閾値選択方法。 IEEEトランス。 システム、マン、サイバーン。 9、62–66 (1979)。

記事 Google Scholar

Ridler, TW & Calvard S. 反復選択法を使用した画像のしきい値処理。 IEEEトランス。 システム、マン、サイバーン。 8、630–632 (1978)。

記事 Google Scholar

Glasbey, C. ヒストグラムベースのしきい値アルゴリズムの分析。 CVGIP: グラフ。 モデル画像処理。 55、532–537 (1993)。

Google スカラー

Bogovic, JA、Hanslovsky, P.、Wong, A. & Saalfeld, S. 学習されたコントラスト合成によるカルシウム画像の堅牢な位置合わせ (2016)。 2016 年 13 ～ 16 日に開催されたバイオメディカル イメージングに関する国際シンポジウム (ISBI) で発表された論文。

クアン、T.ら。 Neurogps ツリー: 高密度の神経突起を持つ大規模なニューロン集団の自動再構築。 ナット。 方法 13、51–54 (2016)。

記事 CAS Google Scholar

キム、B.ら。 オープントップの軸方向掃引ライトシート顕微鏡。 Biomedical Optics Express 12、2328–2338 (2021)。

マクゴーティ、R. et al. 従来の方法で取り付けられた標本用のオープントップ選択的平面照明顕微鏡。 Optics Express 23、16142–16153 (2015)。

Mcgorty, R.、Xie, D. & Huang, B. 生物学的イメージングのための High-na オープントップ選択面照明顕微鏡。 Optics Express 25、17798–17810 (2017)。

Richardson、WH ベイズベースの反復画像復元法。 J. 光学学会午前。 62、55 (1972)。

記事 ADS Google Scholar

Lucy, LB 観察された分布を修正するための反復手法。 The Astronomical J. 79、745–754 (1974)。

セージ、D.ら。 Deconvolutionlab2: デコンボリューション顕微鏡用のオープンソース ソフトウェア。 方法 115、28 ～ 41 (2017)。

記事 CAS Google Scholar

Mittal, A.、Moorthy, AK & Bovik, AC 空間領域における画質評価は参照されていません。 IEEEトランス。 画像処理。 21、4695–4708 (2012)。

記事 ADS MathSciNet Google Scholar

Isola, P.、Zhu, J.-Y.、Zhou, T. & Efros, AA 条件付き敵対的ネットワークによる画像間の変換 (2017)。 2017 年 21 ～ 26 日のコンピューター ビジョンとパターン認識 (CVPR) 会議で発表された論文。

Karras, T.、Laine, S.、Aila, T. 敵対的生成ネットワーク用のスタイルベースのジェネレーター アーキテクチャ (2019)。 2019 年 16 ～ 20 日に開催されたコンピューター ビジョンとパターン認識 (CVPR) 会議で発表された論文。

ゴンザレス、RC & ウッズ、RE デジタル画像処理 (ピアソン、2018)。

Belthangady, C. & Royer, LA 蛍光画像再構成における深層学習の応用、約束、そして落とし穴。 ナット。 方法 16、1215–1225 (2019)。

記事 CAS Google Scholar

シンデリン、J.ら。 フィジー: 生物学的画像解析のためのオープンソース プラットフォーム。 ナット。 メソッド 9、676–682 (2012)。

記事 CAS Google Scholar

アヤチット、U. ParaView ガイド: 並列視覚化アプリケーション (Kitware, Inc.、米国ニューヨーク州クリフトンパーク、2015 年)。

Peng, H.、Ruan, Z.、Long, F.、Simpson, J. & Myers, E. V3d は、大規模な生物学的画像データ セットのリアルタイム 3D 視覚化と定量分析を可能にします。 ナット。 バイオテクノロジー。 28、348–353 (2010)。

記事 CAS Google Scholar

マオ、X.ら。 最小二乗法による敵対的生成ネットワーク (2017)。 2017 年 22 ～ 29 日に開催されたコンピューター ビジョンに関する国際会議 (ICCV) で発表された論文。

Ronneberger, O.、Fischer, P. & Brox, T. U-net: 生物医学画像セグメンテーションのための畳み込みネットワーク (2015)。 2015 年 5 ～ 9 日に開催された医用画像コンピューティングおよびコンピュータ支援介入に関する国際会議 (MICCAI) で発表された論文。

Bell-Kligler, S.、Shocher, A.、Irani, M. 内部 GAN を使用したブラインド超解像度カーネル推定 (2019)。 2019 年 8 ～ 14 日の神経情報処理システム (NeurIPS) に関する会議およびワークショップで発表された論文。

He, K.、Zhang, X.、Ren, S. & Sun, J. 整流器の詳細: 画像ネット分類における人間レベルのパフォーマンスを超える (2015)。 2015 年 11 ～ 18 日に開催されたコンピューター ビジョンに関する国際会議 (ICCV) で発表された論文。

Kingma, DP & Ba, J. Adam: 確率的最適化の手法 (2014)。 https://arxiv.org/abs/1412.6980 でプレプリントします。

Park, H. et al. 体積蛍光顕微鏡用のリファレンスフリー等方性超解像データセット (2022)。 ゼノド https://doi.org/10.5281/zenodo.6352948。

Park, H. Neuroclear: 体積蛍光顕微鏡用のリファレンスフリー等方性超解像 (2022)。 ゼノド https://doi.org/10.5281/zenodo.6371391。

リファレンスをダウンロードする

HP と JCY は、韓国国立研究財団 (Grant NRF-2020R1A2B5B03001980 および NRF-2017M3C7A1047904) によって支援されました。 トランスジェニックマウスの脳サンプルは、韓国脳研究所のチャン・マン・ハ博士から提供された。

韓国科学技術院、生物脳工学科、大田市、韓国

パク・ヒョンジュン＆イェ・ジョンチョル

ソウル国立大学医科大学生理学・生物医学科、ソウル、韓国

ナ・ミョンス＆チャン・ソンフェ

韓国、浦項市、浦項科学技術大学、統合生命科学およびバイオテクノロジー部門

キム・ボムジュ＆キム・キヒアン

浦項科学技術大学機械工学科、浦項、韓国

パク・スヒョン＆キム・キヒアン

ソウル国立大学医科大学神経科学研究所、ソウル、韓国

チャン・ソンフェ

キム・ジェチョル AI 大学院、韓国科学技術大学院大学、大田、韓国

イェ・ジョンチョル

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

HP がこの調査を考案し、実施しました。 JCY はプロジェクトの構想と協議を監督しました。 MN は CFM イメージング データを生成しました。 SC は CFM イメージングを監督しました。 BK と SP は OT-LSM イメージング データを生成しました。 OT-LSMイメージングは​​KKが監修しました。 HPとJCYが原稿を書きました。

イェ・ジョンチョルさんへの手紙。

著者らは競合する利害関係を宣言していません。

Nature Communications は、この研究の査読に貢献してくれた匿名の査読者に感謝します。 査読者レポートが利用可能です。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Park, H.、Na, M.、Kim, B. 他深層学習により、体積蛍光顕微鏡でのリファレンスフリーの等方性超解像が可能になります。 Nat Commun 13、3297 (2022)。 https://doi.org/10.1038/s41467-022-30949-6

引用をダウンロード

受信日: 2021 年 5 月 18 日

受理日: 2022 年 5 月 10 日

公開日: 2022 年 6 月 8 日

DOI: https://doi.org/10.1038/s41467-022-30949-6

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。