AIは不完全なユーザーの手に渡ります

npj デジタルメディスン第 5 巻、記事番号: 197 (2022) この記事を引用

5965 アクセス

3 引用

35 オルトメトリック

メトリクスの詳細

人工知能と機械学習 (AI/ML) の使用が医療分野で拡大し続けるにつれ、アルゴリズムのバイアスを軽減してアルゴリズムが公正かつ透明性をもって使用されるようにすることに多くの注意が払われています。 AI/ML の人間ユーザー間の潜在的な偏見や、ユーザーの信頼に影響を与える要因への対処には、あまり注目が集まっていません。私たちは、AI/ML ツールを使用しながらユーザーのバイアスの存在とその影響を特定するための体系的なアプローチを主張し、意思決定科学と行動経済学からの洞察を活用して、ユーザーをより批判的で思慮深い方向に導く組み込みインターフェース設計機能の開発を求めます。 AI/ML を使用した意思決定。

人工知能と機械学習 (AI/ML) の使用はヘルスケア分野で拡大し続けており、個別化された臨床意思決定の強化に大きな期待が寄せられています1。 AI/ML ツールがより普及するにつれて、アルゴリズムのバイアスを軽減して、AI/ML ツールが公正かつ透過的に使用されるようにすることに多くの注意が払われています。しかし、AI の人間ユーザー間の潜在的な偏見を軽減することにはあまり注目が集まっていません。自動システムが病気の予測、スクリーニング、または診断の能力においてより洗練されるにつれて、臨床上の意思決定において自動システムに依存したいという誘惑が増大するでしょう2。しかし、ユーザーの AI への依存に影響を与える要因はほとんど理解されておらず、医療専門家には意思決定において AI が果たすべき役割に関するガイドラインが不足しています。私たちは、AI ツールを使用しながらユーザーのバイアスの存在と影響を特定し、臨床上の意思決定と患者の転帰に及ぼす影響を特定するための、より体系的なアプローチを主張します。具体的には、意思決定科学と行動経済学からの洞察を活用し、AI ツールを使用したより批判的で思慮深い意思決定にユーザーを誘導するために、埋め込みインターフェイス設計機能を使用してマイナスの結果が予想されるバイアスを軽減する方法についての実証研究をさらに強化することを求めています。

規制当局や政策立案者は、一か八かの意思決定において AI システムに過度に依存することの潜在的な害を認識し、人間が常に最新情報を把握できるようにすることを推奨し、次のような AI/ML システムの安全性の向上に行動計画や推奨事項を重点的に置いているようです。計算精度の向上3、4、5。その一方で、開発者は、解釈可能性に重大な制限があるディープラーニングやニューラルネットを含む「ブラックボックス」AI/ML の信頼性、説明責任、説明可能性に対処する新しい方法を革新しています6、7。これらの目標は、臨床意思決定に AI/ML を使用する場合に特に重要であると思われます。その理由は、誤分類や患者への潜在的危害によるコストが高いだけでなく、過度の懐疑や信頼の欠如により、利害関係者による有望な新しい AI テクノロジーの採用が減少する可能性があるためです。実験環境以外での使用と利用を禁止します。

しかし、私たちの一人 (Babic et al.8 の SG) は最近、医療従事者に対し、ブラックボックス AI/ML モデルについて提示される説明には慎重になるよう警告しました。

Explainable AI/ML … 事後的にアルゴリズムで生成されたブラックボックス予測の理論的根拠を提供しますが、それは必ずしも予測の背後にある実際の理由や予測に因果関係があるわけではありません。したがって、ブラックボックスの事後的な合理化はその内部の仕組みの理解に寄与する可能性が低いため、説明可能性の明らかな利点は「愚か者の金」です。むしろ、私たちはそれをよりよく理解しているという誤った印象を残される可能性があります。」

したがって、米国食品医薬品局 (FDA) のような規制当局は、医療における AI/ML の厳密な条件として説明可能性に焦点を当てるのではなく、安全性と有効性に直接関係する AI/ML システムの側面にもっと総合的に焦点を当てる必要があります。特に、これらのシステムが対象ユーザーの手元でどのように機能するか。 FDA は最近、自動化バイアスのリスクを明確に認識する最終ガイダンス 9 を発表し、AI/ML ベースのソフトウェアを医療機器として変更するための新しい規制枠組みの構築に取り組んでいます (つまり、ソフトウェア自体が医療機器として分類されている場合)。米国連邦食品医薬品化粧品法 201(h)(1) 10)、Babic et al. FDAのような規制当局も、少なくとも場合によっては、現実世界の環境でAIを使用した場合の人的要因やその他の結果をテストするために、適切に設計された臨床試験を重視すべきだと主張している。 Gerke ら 11,12 も同様に、より多くのアルゴリズムツールは、使用目的の設定や人間と AI の相互作用を反映するさまざまな手順コンテキストにわたるパフォーマンスを理解するために、前向きにテストする必要があると主張しています。これらの学者たちが提案しているユーザーテストの種類は、AIツールのベータ版から最終バージョンまでのパイプラインを特徴づける一般的なユーザビリティと受容性のテストを超えたものである。この種のテストは、ほとんどの場合ヒューリスティックに行われ 13、少数の評価者を使用してインターフェイスを検査し、関連するユーザビリティ原則 (例: 解釈可能性、知覚される有用性、ナビゲーション性、使用の満足度など) への準拠を判断します。これらの指標は、ツールのインターフェイスを使用した直近のユーザーエクスペリエンス (つまり、「UX」テスト) を評価するのに役立つことがよくありますが、発生する「緊急」または「コンテキスト」バイアスの潜在的な原因を特定して対処するには、より深いレベルのユーザーテストが必要です 15。製品の設計とユーザーの特性、ユースケース、または使用設定の間の不一致が原因です。こうした不一致は、AI ツールの場合、パフォーマンスがユーザーの操作や解釈に左右されにくい 12、または適応アルゴリズムが継続的に変化する 16 場合よりも、従来の医療機器や医薬品に比べて予測および説明が難しい可能性があります。これらの不一致を軽減するには、ユーザーテストの概念を、AI のパフォーマンス指標と近接したユーザビリティに焦点を当てた現在の焦点を超えて、不完全な環境で不完全なユーザーによって実際に AI システムがどのように適用されるかを形成する人的要因とシステム的要因を調査することによってのみ達成できます。さらに、テストは、さまざまな状況にある個人が AI ツールとどのように対話するかを単に観察することに限定される必要はありません。以下で説明するように、行動科学からの既存の洞察を使用して、これらの相互作用を形成する最適な方法をテストすることもできます。

人間と機械の関係の歴史のこの段階では、ほぼ全員が AI の不完全なユーザーです。これは、不完全な合理性を意味します。AI から得られる洞察を含む、私たちの情報の解釈と意思決定への統合は、十分に文書化された形のバイアスの影響を受けやすいです 19,20。ただし、すべてのバイアスが同じように顕著であるか、AI の安全、効果的、責任ある使用に関連しているわけではありません。法的観点と倫理的観点の両方から見て、最も重要な認知バイアスは、人間が意思決定においてリスクをもたらす形で AI にどの程度依存するかに影響を与えるものです。依存は、一方では AI に対する完全な拒絶または懐疑、もう一方では AI から得られた結論を「盲目的に」過剰に依存または受け入れるというスペクトルに沿っています。どちらのタイプのエラーも患者の転帰にマイナスの影響を与える可能性があり、過小信頼は不作為のエラーにつながる可能性があり、過大信頼はコミッションエラーにつながります。

臨床意思決定者がこの範囲のどこに該当するかは、彼らが AI システムをどの程度信頼するかによって決まります。人類学や発達心理学の文献には、人間の信頼は、商品やサービスだけでなく、愛着行動 22,23 (愛情、養育など) の返報性や交換 21 の文脈で他人がどのように行動するかによって影響を受けるという調査結果が記載されています。忠誠心24、誠実さ25、能力26は人間と人間の信頼において重要な役割を果たしており、複雑な社会的力学をうまく切り抜け、どのような不測の事態の下でどのエンティティやオブジェクトが信頼できるかを理解することで個人のリスクを軽減するのに役立つ進化した能力としてますます概念化されています27、28、29。私たちは人間関係における信頼について多くのことを知っていますが、人間がどのような状況で機械を信頼するのかについては、まだ理解し始めたばかりです。人間と機械の相互作用、つまり「ヒューマンファクター」研究に関する文献は、軍事、航空宇宙、ロボット工学などの他の分野でも数十年にわたって存在しています。しかし、自律システムと人間の相互作用に関する疑問（自動化バイアスなど）が AI 分野、特に AI 倫理に広く影響を与え始めたのはここ 10 年以内のことです2,11。

不確実性の状況で意思決定が行われる場合、信頼は特に重要な役割を果たします。もちろん、不確実性はほとんどの臨床的意思決定の中心的な特徴であり、特に、観察された結果の長い歴史が欠けている症状（例：COVID-1930）や治療（例：脳深部刺激31や遺伝子治療32）の場合に当てはまります。 Wang と Busemeyer (2021)33 が説明しているように、危険な決定には既知のオッズまたは確率でさまざまな結果が生じるという点で、「不確実な」選択状況は「危険な」選択状況と区別できます。コインを投げると、50% の確率で表が出ることがわかります。ただし、表に賭けるには高いリスクが伴い、具体的には 50% の確率で負けます。一方、不確実な意思決定シナリオには、よく知られている、または合意された結果の確率がありません。これはまた、不確実な意思決定の状況を危険にさらしますが、それらのリスクは合理的な意思決定を可能にする程度には十分に知られていません。情報が不足している状況では、重要な決定は必然的に不完全な推論、またはいくつかの予測可能な認知バイアスにつながる可能性のある「ギャップを埋めるヒューリスティック」の使用を使用して行われます20。個人は権威ある人物に従うかもしれません（メッセンジャーバイアス34、権威バイアス35）。彼らは他の人が何をしているのかを見ようとするかもしれません（「バンドワゴン」と社会規範の影響35、36）。あるいは、感情的な予測を誤り、現在の感情状態を将来の自分に投影する可能性があります37。臨床上の意思決定の緊急性の認識または実際の緊急性は、曖昧さ回避（既知のリスクと未知のリスクの選好38）や現状または債務不履行への先送り39、損失回避（同じ規模の利益よりも損失を重視する40）などのバイアスをさらに加える可能性があります。これらのバイアスは、迅速な意思決定が必要な場合に未知のリスクを軽減することを目的としていますが、すべての可能な情報が利用可能であれば、常に「最善の」行動方針に到達できるとは限りません。

医療における AI の最も魅力的な利点の 1 つは、この不確実性を軽減できることです。たとえば、患者の状態が X 時間後に悪化するか、介入後 Y 年の生存利益を享受できるかという個別の推定値を計算します。しかし、AI が不確実性の低減にうまく貢献できるかどうかは、推定値がどのように解釈され、それに基づいて行動されるかに大きく依存します。 AI 使用時の意思決定バイアスを調査した少数の研究では、さまざまな専門レベルの医師が、コンピュータ化されたシステム (自動化バイアス 41,42,43,44,45) だけでなく人間によって生成された不正確なアドバイスを無視できないことが多いことが判明しています。人は一般に暗示に影響されやすいものです。悪いアドバイスにも従う傾向は、専門知識が少ない参加者の間でさらに蔓延しているようです46,47。 AI システムからそのようなアドバイスを受け取ると、アンカリング効果や確証バイアスなどの他の認知バイアスが作用する可能性があり、さらなる危険が生じる可能性があります。確証バイアスとは、ユーザーが特定の視点に向かうよう誘導され、それを裏付ける情報に不釣り合いに注意を向けるというものです48。他の研究では、参加者は最終決定を下す際にアルゴリズムのアドバイスに従うことを嫌がる（アルゴリズムバイアス）ことがわかっています49,50,51が、この結果は、人々が人間の判断よりもアルゴリズムによる判断を好む場合があることを示す他の研究とは矛盾しています46,47,52。

認知バイアスとそれらが出現する可能性のある偶然性の多様性を考慮すると、AI を意思決定にどのように統合するかを形作る顕著な要因と、AI システムが実際に実行できる機能と一致するように信頼を調整する最適な方法を文書化するには、さらなる体系的な研究が必要です (たとえば、一定の確率と精度で何かを予測します)。ロボット工学では、人間と機械の間の不十分な「信頼調整」が中核的な脆弱性であり、パフォーマンス低下の主要な予測因子とみなされています53,54。同様に、信頼と信頼を体系的に測定、制御、または調整する試みを行わずに AI をユーザーの手に渡すことは、これらの意思決定の状況を特徴付けるすでに高いレベルの不確実性を軽減するどころか悪化させる可能性があり、潜在的に悲惨な結果を招く可能性があります。

AI/ML における医療従事者のリテラシーを向上させるという現在の取り組み 55,56,57 は、臨床上の意思決定において AI が果たすべき役割について、特異な差異を十分な情報に基づいた推論に置き換える必要性を浮き彫りにしています。しかし、AI が臨床 (または何らかの) 意思決定にどのように使用されるか、または使用されるべきかについて実証的な結論がほとんど得られていないため、医療専門家がどのような指導を受けるべきかを知るのは困難です。多くの学者は、犯罪の再犯58、健康状態と保険への加入1、病気（皮膚がんなど）のリスク59などの要因を予測する際に、否定的な社会的偏見を再現することが示されているアルゴリズムツールから教訓を得て、AIツールは、次のような決定を置き換えるべきではないと主張している60,61。これらは「一か八かのリスク」、つまり健康や司法関連に重大な影響を与えるものとみなされます。医療現場では、自律的に病気を特定し診断する十分に実証された能力を備えた AI であっても、人間主導の検査で確認する必要があると推奨する専門家もいます 62,63。軍事64や海事（無人輸送65など）用途における自律型兵器システム（AWS）についても同様の結論が出されており、人間をループの「中に」入れておくべきか、ループの「上」に置いておくべきかについて議論が続いており、後者は人間が危険にさらされている可能性があることを示唆している。意思決定において積極的な役割を果たす必要はありませんが、AI の結論が AWS の結論と矛盾する場合には (間に合えば) AI の推論に介入したり、AI の推論に訴えたりすることができます (そしてそうすべきです)。

人間が依然としてループの「中」または「上」にいるべきであることに同意する場合、医療専門家は AI 由来の情報にどのように反応すると予想すべきでしょうか? 慎重に進めるという推奨事項は、正当ではあるものの、強力な AI を利用して複雑な医療上の決定を行う医師の意思決定ニーズに適合するには広すぎるように思えます。 AI の習熟度 (偏見、透明性、責任に関する AI の欠点を含む) を医学教育の一部とすべきであるという合意が広がっており、医学生はデータサイエンス、生物統計、計算科学、さらには健康 AI についての十分な知識を習得する必要があるという提案も出ています。倫理66により、とりわけ「情報と誇大広告」を分離し、AI システムを批判的に評価できるようにする57,67。他の人々68は、効果的なバイアス軽減戦略を学び、ヒューリスティックが臨床上の意思決定にどのような影響を与えるかについての認識を養うことが、医学教育のすべての段階で優先されるべきであると主張している。しかし、医療提供者がどのバイアスに最も注意すべきかは依然として不明です。プロバイダーが自らのバイアスを認識する責任を負うべきかどうか、あるいは、臨床上の意思決定やテクノロジー自体の設計において AI ツールを実装するための標準化されたプロセスにバイアス緩和を組み込むことができるか（または組み込むべきか）。

医師が臨床革新に歩調を合わせるために責任を持って AI を使用する方法を学ぶ必要性がますます高まっているのはおそらく事実ですが、他の補完的なアプローチも検討する必要があります。有望なオプションの 1 つは、バイアス軽減技術を AI システムとユーザーインターフェイスの設計機能そのものに組み込むことで、臨床上の意思決定において当社が重視する特定の特性を医師が実証できる可能性を高めることです。この概念は、コンピューティング倫理における長年の研究69,70に基づいて構築されており、価値重視設計 (VSD71)、価値観 @ Play72、反射的設計73、敵対的設計74、および重要な技術的実践75などのさまざまな用語で知られており、元々はフリードマンとニッセンバウムによって開拓されました76。 ,77 は、信頼とユーザー福祉を優先する人間とコンピュータの相互作用を形成するための、内省的で反復的なプロセスを奨励する方法として 1990 年代に導入されました。 VSD の実行方法にはまだ多くのバリエーションが残っていますが、このアプローチの背後にある中心的な動機となっている仮定は、反射型設計アプローチがユーザーのバイアスを軽減してより好ましい結果を得るのに役立つということです。 VSD の 3 つの主要な段階に従うには、ステークホルダーの価値観の範囲と多様性を特定し、明確化された目標に向けてそれらのバランスを取る最適な方法 (概念的)、特定の価値観と実践が関連する結果に及ぼす影響 (経験的) を観察し、技術仕様を考案することが必要になります。利害関係者の価値観 (技術的) に合わせてシステムの使用を反映または形成するのに役立つシステムを設計します。例としては、プライバシー、自主性、開示の権利の原則を反映する対話型 Web ブラウザの Cookie 管理システムを設計することが挙げられます71。学者らは、AI ツールの予測不可能な影響と適応性を考慮して、ライフサイクルの監視と評価の 4 番目の継続的なステップを、特に AI の VSD に拡張しました 14,78。

これらのアプローチに基づいて、VSD アプローチは AI ツールの設計に価値観を組み込むのに役立つだけでなく、そのようなツールの使用においてより倫理的で批判的な反省を行うようにユーザーに積極的かつ戦略的に影響を与える (促す) ことができると私たちは主張します。このようなアプローチには、健康上の意思決定におけるナッジの倫理への重要な関与と、意思決定において医師に示してもらいたい目標値の範囲の特定が必要です。ナッジはリバタリアン・パターナリズムの一形態であり、情報の構成、インセンティブの構築、および特定の行動の取り込みを高めるその他の手段などの戦略を通じて意思決定が積極的に形成されます79。このアプローチの有効性を示す証拠は 20 年近く前に遡ります 80 が、例えば、新型コロナウイルス感染症のパンデミック中に、手洗いや社会的距離などの公衆衛生を促進する行動の順守を促すために、ナッジ戦術が効果的であることが示されています 81。批判がないわけではありませんが（たとえば、操作の一種である可能性がある82、83）、ナッジの中心的な理論的根拠は、個人の選択を維持しながら、集団レベルの利益をもたらす行動に人々を誘導することです84。ただし、AI ツールを使用するときに「適切な」意思決定を行うためにどの価値観が関与するかを誰が決定するかは複雑であり、これらのシステムを設計する開発者だけでなく、複数の多様な利害関係者からの視点を活用する必要があります。ヒポクラテスの誓いは、医師の決定は患者の最善の利益と思われるものに資するものでなければならないという基本的な基準を定めています。追加の基準は、意思決定と臨床意思決定サポートに関する豊富な文献から得られており、「質の高い」意思決定とは、情報に基づいて患者の価値観と一致する前向きな結果を生み出す意思決定であることを示唆しています。意思決定の自律性 82 など、他の目標値も関連する可能性が高く、AI ツールの性質や、対象となるユーザーや使用状況によって提起される倫理的問題に応じて、顕著な目標値が変化する可能性があることに注意する必要があります。たとえば、青年期の精神疾患の発症を予測し予防するために設計された AI ツールは、意思決定における特定の目標値 (例: 意思決定の自律性、開かれた未来に対する患者の権利) を引き上げる一方で、精神疾患の存在と予後を特定するツールです。成人の肺がんは他の問題を引き起こす可能性があります（例、否定的な感情的反応の回避、行動可能性への配慮、患者の知らない権利）。「質」の意思決定のどの目標値がどの臨床シナリオで最も顕著であるかを解明するには研究が必要です。

AI が関与するすべての臨床意思決定に関連すると考えられる目標値の 1 つは、AI への過度の依存による潜在的な悪影響を回避するために、意思決定における再帰性を促進する必要性です。 AI アルゴリズムへの過度の依存による潜在的な悪影響を実証する文献 1,86 は増加しており、AI 導入の指針としての再帰性と熟慮の重要性が強調されています。したがって、これらの調査と観察は、VSD アプローチの概念段階と経験段階に情報を提供し、ユーザーの興味に合わせた方法で AI システムの熟慮的かつ再帰的な使用を形作るのに役立つインターフェイスを設計するという技術的な課題を残します。研究によると、情報の提示方法が、ユーザーが反省的思考や批判的思考を行う可能性に影響を与える可能性があることが実証されています。例えば、Zhang et al.87 による研究では、参加者に自分の意見と別の視点をもたらす理由と考えられるものを明確にする短い質問に答えるよう求めることで、熟考を促すシンプルなインターフェイスナッジを採用しました。 Weinmann88 は、別の視点について推論することを促す質問をすることで「内部での熟議」を強化するために、同様の質問を含むオンラインインターフェイスを開発しました。 Harbach らによる他の研究 89 では、ユーザーの選択の結果を示す (たとえば、特定のユーザープライバシーパラメーターの選択による潜在的な影響をユーザーに思い出させる) ことによって熟考を促すインターフェイス設計要素の使用の有効性が実証されています。 Menon et al.90 も同様に、特にターゲットを絞った認知バイアス (アンカリングや社会的望ましさの効果など) に関連して「インターフェイスナッジ」を変更することがユーザーの熟考や反応にどのように影響するかを調査しました。これらの研究は、戦略的なインターフェイス設計が反射を強化し、情報の受動的受信を減らすのにどのように役立つかを強調しています。

たとえば、AI システムインターフェイスに特有の設計要素は、利害関係者のタイプに応じて異なる場合があります。介入後の患者の 1 年生存率を推定する AI モデルに対する医師の過度の依存を減らすために設計されたインターフェースには、他の臨床的、心理社会的、環境的要因や追加の専門家の意見を参考にしたことを医師に記録するよう促す簡単な質問やチェックリストが含まれる可能性があります。 AI の推定を裏付ける (または異議を唱える) ため。補足的に、同じツールの患者向けインターフェースは、より全体的な価値の明確化演習の中で数値的な生存推定値を文脈化して、患者の意思決定に影響を与える 1 つ以上の治療目標に丸をつけるよう求め、内省的で価値観に基づいた意思決定を促すことができます。このような再帰性メトリクスを組み込むことは、AI ツールへの過度の依存からユーザーを遠ざけるのに役立つだけでなく、臨床試験のコンテキスト内外での実際の臨床意思決定への影響を評価することにも役立ちます。

ただし、この機能を利用できるツールはインターフェイスだけではありません。臨床チーム間の熟慮を促す方法で AI システムが臨床フローにどのように適合するかを概念化することも、過剰依存の可能性を減らすのに役立つ可能性があります91。設定（例：医療審査委員会中の AI ツールの集団使用と診療所での個別使用）、タイミング（治療候補の前後）、情報アクセス（直接-患者と医師の特権による結果の伝達）。 AI を他の既存の臨床技術と統合すると、意思決定に統合される情報の幅が広がるため、AI ツールの使用結果も変わる可能性があります92。組織的な側面には、トレーニング、監督、引き継ぎ、臨床チームのメンバー間の情報の流れが含まれる場合があります91。

上で説明したこれらの洞察は、AI を使用して意思決定の質と結果にプラスの影響を与えるために調整される可能性のある要因の氷山の一角にすぎません。それらは、意思決定科学、行動経済学、ヒューマンファクター、心理学、政治学、ロボット工学などの多様な分野で特定され、広く議論されることがよくあります。ただし、これらの洞察のうち、AI システム設計に統合されたり、AI の使用方法を積極的に形成するために臨床試験で系統的にテストされたりするものはまだほとんどありません。

私たちは、AI ツールが「野に放たれる」前に、臨床試験でのリスクベースのアプローチに従って AI ツールの少なくとも一部をテストすることで、その結果と不完全な人間の行為による影響をよりよく理解する必要があるという他の人の主張に同調します。使用目的の設定を反映します。私たちは、特定のユーザーのバイアスと意思決定のコンテキストが実際に AI ツールがどのように使用され、患者の転帰にどのように影響を与えるかを経験的に特定してテストする必要性に注意を向けることによって、この提案を進めています。私たちは、VSD を使用して、臨床上の意思決定における批判的な考察を促進し、偏見を軽減し、AI システムへの過度の依存を減らす方法でマンマシンインターフェイスの戦略を立てることができることを提案します。このアプローチは、AI システムにある程度のバイアス軽減を直接組み込むことで、意思決定における AI ツールの最適な役割を医師自身で (AI に関する基本的なトレーニングまたは知識のみで) 理解する負担の一部を軽減できると考えています。そしてインターフェース。

Obermeyer, Z. & Emanuel, EJ 未来を予測する - ビッグデータ、機械学習、臨床医学。Ｎ．Ｅｎｇｌ． J.Med. 375、1216 (2016)。

記事 Google Scholar

Klugman, CM & Gerke, S. 生命倫理 AI の台頭: 呪いか祝福か? 午前。Ｊ．Ｂｉｏｅｔｈ． 22、35–37 (2022)。

記事 Google Scholar

米国食品医薬品局。医療機器としての人工知能/機械学習 (AI/ML) ベースのソフトウェア (SaMD) アクションプラン。（2021年）。

委員会 E. 人工知能に関する調和規則 (人工知能法) の制定と特定の組合立法法の改正。欧州委員会（ブリュッセル、2021年4月21日）。

Jobin, A.、Ienca, M.、Vayena, E. AI 倫理ガイドラインの世界的な状況。ナット。マッハ。知性。 1、389–9 （2019年）。

記事 Google Scholar

Chen T、Guestrin C. 知識発見とデータマイニングに関する第 22 回 ACM SIGKDD 国際会議の議事録。 2016年。

Markus, AF、Kors, JA & Rijnbeek, PR 医療向けの信頼できる人工知能を作成する際の説明可能性の役割: 用語、設計の選択、および評価戦略の包括的な調査。Ｊ．Ｂｉｏｍｅｄ．知らせる。 113、103655 (2021)。

記事 Google Scholar

Babic, B.、Gerke, S.、Evgeniou, T.、Cohen, IG ヘルスケアにおける AI の説明に注意してください。サイエンス 373、284–286 (2021)。

記事 CAS Google Scholar

米国食品医薬品局。臨床意思決定支援ソフトウェア – 業界および食品医薬品局スタッフ向けのガイダンス。（2022年）。

米国食品医薬品局。米国連邦食品、医薬品、化粧品法。（2018年）。

Gerke, S. ヘルス AI は悪ではなく善に？ AI ベースの医療機器に対する新しい規制枠組みの必要性。 Yale J. 医療政策、法、倫理 20、433 (2021)。

Google スカラー

Gerke, S.、Babic, B.、Evgeniou, T.、Cohen, IG 人工知能/機械学習ベースのソフトウェアを医療機器として規制するためのシステムビューの必要性。 NPJ 桁。医学。 3、1–4 (2020)。

記事 Google Scholar

Nielsen, J. & Molich, R. ユーザーインターフェイスのヒューリスティック評価。手順シチ会議ハム。係数を計算します。システム。 1990、249–256 (1990)。

Google スカラー

ウー、E.ら。医療 AI デバイスの評価方法: FDA 承認の分析から得た制限と推奨事項。ナット。医学。 27、582–584 (2021)。

記事 CAS Google Scholar

価格 WN II。医療 AI と文脈バイアス。ハーバード法学ジャーナル、33、2019。

Babic, B.、Gerke, S.、Evgeniou, T.、Cohen, IG 医療における規制上のロックダウンに関するアルゴリズム。サイエンス 366、1202–1204 (2019)。

記事 CAS Google Scholar

アンセル、検事、マクドナルド、EK バイアス、黒人の命、学術医学。Ｎ．Ｅｎｇｌ． J.Med. 372、1087–1089 (2015)。

記事 CAS Google Scholar

Kostick-Quenet、KM et al. 機械学習における人種的偏見を軽減します。 J. Law Med. 倫理 50、92–100 (2022)。

記事 Google Scholar

Blumenthal-Barby、JS 良い倫理と悪い選択: 行動経済学の医療倫理との関連性。（MITプレス、2021年）。

Kahneman D.、Slovic SP、Slovic P.、Tversky A. 不確実性の下での判断: ヒューリスティックとバイアス。（ケンブリッジ大学出版局、1982年）。

Pillutla, MM、Malhotra, D. & Murnighan, JK 信頼の帰属と返報性の計算。 J.Exp. 社会サイコル。 39、448–455 (2003)。

記事 Google Scholar

Corriveau, KH et al. 母親の主張に対する幼児の信頼: 幼児期の愛着の安定性との縦断的なつながり。子開発者 80、750–761 (2009)。

記事 Google Scholar

フェット、A.-K. 他。信頼することを学ぶ：精神病の初期における信頼と愛着。サイコル。医学。 46、1437–1447 (2016)。

記事 Google Scholar

Butler, JK Jr. & Cantrell, RS 上司と部下の二者関係をモデル化するための行動決定理論のアプローチ。サイコル。議員第 55 号、19 ～ 28 (1984)。

記事 Google Scholar

Mayer, RC、Davis, JH & Schoorman, FD 組織の信頼の統合モデル。アカド。管理。改訂 20、709–734 (1995)。

記事 Google Scholar

Grover, SL、Hasel, MC、Manville, C. & Serrano-Archimi, C. リーダーの信頼違反に対するフォロワーの反応: 違反の種類、回復の可能性、および回復プロセスに関する根拠のある理論。ユーロ。管理。 J. 32、689–702 (2014)。

記事 Google Scholar

バナジ MR & ゲルマン SA 社会世界をナビゲートする: 幼児、子供、その他の種が私たちに教えてくれること。（オックスフォード大学出版局; 2013）。

フォーセット、C. 子供たちは社会的関係を推測するために唾液の共有に参加します。サイエンス 375、260–261 (2022)。

記事 CAS Google Scholar

カウフマン L. & クレメント F. 社会のために配線: 社会と文化への道を認識する。トポイ 33、459–75。（2014年）。

記事 Google Scholar

ヴィッカリー、J. et al. パンデミックの文脈における証拠に基づいた意思決定への課題: 新型コロナウイルス感染症政策アドバイザーの視点に関する定性的研究。 BMJ グローブ。健康 7、e008268 (2022)。

記事 Google Scholar

ムニョス、KA 他強迫性障害に対する小児の脳深部刺激を検討する際の差し迫った倫理的問題。脳の刺激。 14、1566 ～ 72 年。（2021年）。

記事 Google Scholar

Hampson, G.、Towse, A.、Pearson, SD、Dreitlein, WB & Henshall, C. 遺伝子治療: 米国の医療制度における証拠、価値、手頃な価格。 J.コンプ。エフ。解像度 7、15–28 (2018)。

記事 Google Scholar

Wang、ZJ & Busemeyer、JR 認知選択モデリング。（MITプレス、2021年）。

Menon, T. & Blount, S. メッセンジャーバイアス: 知識評価の関係モデル。解像度器官。振る舞い。 25、137–186 (2003)。

Google スカラー

Howard, J. バンドワゴン効果と権威バイアス。認知エラーと診断ミス。 21–56 (スプリンガー; 2019)。

Slovic、P. 好みの構築。午前。サイコル。 50、364 (1995)。

記事 Google Scholar

Levine、LJ、Lench、HC、Karnaze、MM、Carlson、SJ 予測および記憶された感情におけるバイアス。カー。意見。振る舞い。科学。 19、73–77 (2018)。

記事 Google Scholar

Christman、J. 個人の政治: 個人の自律性と社会歴史的自己。（ケンブリッジ大学出版局、2009）。

Samuelson, W. & Zeckhauser, R. 意思決定における現状維持バイアス。 J. リスクが不確実。 1、7–59 (1988)。

記事 Google Scholar

Hardisty、DJ、Appelt、KC & Weber、EU 良くも悪くも、私たちは今すぐそれを望んでいます: 利得と損失に対する固定費の現在バイアスは、異時点間の選択における大きさの非対称性を説明します。 J. Behav. 決定。マック。 26、348–361 (2013)。

記事 Google Scholar

Alon-Barkat, S. & Busuioc, M. AI アルゴリズムによるアドバイスの意思決定者処理: 自動化バイアスと選択的遵守。 https://arxiv.org/ftp/arxiv/papers/2103/2103.02381.pdf (2021)。

ボンド、RR 他医療における自動化バイアス: 心電図を読み取る際の通訳者の精度と不確実性に対する自動診断の影響。 J. 心電図。 51、S6–S11 (2018)。

記事 Google Scholar

Cummings 氏、インテリジェントなタイムクリティカルな意思決定支援システムにおける ML オートメーションバイアス。航空業界における意思決定。 289–294 (Routledge、2017)。

Jussupow, E.、Spohrer, K.、Heinzl, A.、Gawlitza, J. 医療診断の決定を強化しますか? 人工知能による医師の意思決定プロセスの調査。情報システム。解像度 32、713–735 (2021)。

記事 Google Scholar

Skitka、LJ、Mosier、KL、Burdick、M. 自動化は意思決定にバイアスを与えますか? 内部。 J. ハム。計算します。スタッド。 51、991–1006 (1999)。

記事 Google Scholar

Dijkstra、JJ、Liebrand、WB、Timminga、E. エキスパートシステムの説得力。振る舞い。情報テクノロジー。 17、155–163 (1998)。

記事 Google Scholar

Logg, JM, Minson, JA & Moore, DA アルゴリズムの評価: 人々は人間による判断よりもアルゴリズムによる判断を好みます。器官。振る舞い。ハム。決定。プロセス。 151、90–103 (2019)。

記事 Google Scholar

Furnham, A. & Boo, HC アンカリング効果に関する文献レビュー。 J. 社会経済学。 40、35–42 (2011)。

記事 Google Scholar

Diab, DL、Pui, SY、Yankelevich, M.、および Highhouse, S. 米国および米国以外のサンプルにおける選択決定支援に関する一般の認識。内部。Ｊ．Ｓｅｌ．評価。 19、209–216 (2011)。

記事 Google Scholar

Dietvorst, BJ, Simmons, JP & Massey, C. アルゴリズム嫌悪: アルゴリズムが間違いを犯しているのを見て、人々は誤ってアルゴリズムを避けます。 J.Exp. サイコル。 Gen. 144、114 (2015)。

記事 Google Scholar

Promberger, M. & Baron, J. 患者はコンピュータを信頼しますか? J. Behav. 決定。マック。 19、455–468 (2006)。

記事 Google Scholar

ゴーブ、S. et al. AI の言うとおりにする: 臨床意思決定支援の導入における感受性。 NPJ 桁。医学。 4、1–8 (2021)。

記事 Google Scholar

Mosier、K.L、Skitka、LJ、Burdick、MD、Heers、ST 自動化のバイアス、説明責任、および検証行動。ヒューマンファクター・アンド・エルゴノミクス協会年次総会の議事録。 pp. 204–208 (SAGE Publications Sage CA、ロサンゼルス、カリフォルニア州、1996)。

CD ウィッケンズ、学士クレッグ、アリゾナ州ヴィアン、アラバマ州セボック不完全な自動化の使用における自己満足と自動化バイアス。ハム。ファクター 57、728–739 (2015)。

記事 Google Scholar

Li, D.、Kulasegaram, K. & Hodges, BD 機械を恐れる必要がない理由: 機械学習の世界における医療のチャンス。アカド。医学。 94、623–625 (2019)。

記事 Google Scholar

Paranjape, K.、Schinkel, M.、Panday, RN、Car, J.、Nanayakkara, P. 医学教育における人工知能トレーニングの紹介。 JMIR医学。教育する。 5、e16048 (2019)。

記事 Google Scholar

Park, SH、Do, K.-H.、Kim, S.、Park, JH、Lim, Y.-S. 医学生は医療における人工知能について何を知っておくべきですか? J.Educ. 評価。 Health Prof. 16、18 (2019)。

記事 Google Scholar

Leavy, S.、O'Sullivan, B. & Siapera, E. 人工知能におけるデータ、権力、偏見。 https://arxiv.org/abs/2008.07341 (2020)。

Goyal, M.、Knackstedt, T.、Yan, S.、および Hassanpour, S. 皮膚がん診断のための人工知能ベースの画像分類方法: 課題と機会。計算します。バイオル。医学。 127、104065 (2020)。

記事 Google Scholar

ロフタス、TJ 他人工知能と外科的意思決定。 JAMA Surg. 155、148–158 (2020)。

記事 Google Scholar

Rudin, C. 一か八かの意思決定のためのブラックボックス機械学習モデルの説明をやめ、代わりに解釈可能なモデルを使用してください。ナット。マッハ。知性。 1、206–215 (2019)。

記事 Google Scholar

Kelly, CJ、Karthikesalingam, A.、Suleyman, M.、Corrado, G.、King, D. 人工知能で臨床効果をもたらすための主な課題。 BMC医学。 17、1–9 (2019)。

記事 CAS Google Scholar

Yu、K.-H.、アラバマ州ビーム、IS コハネヘルスケアにおける人工知能。ナット。バイオメッド。工学 2、719–731 (2018)。

記事 Google Scholar

コーウェンMBCrRW。関連性の高い対応を迅速に行うには、Human-On-the-Loop が最適な回答ですか? 2021. https://www.japcc.org/essays/is-human-on-the-loop-the-best-answer-for-rapid-relevant-responses/ (2022 年 8 月 23 日にアクセス)。

Man, Y.、Lundh, M. & Porathe, T. 陸上での無人船舶操船における調和の追求: 人的要因の観点から、船上と陸上の違いは何ですか? 輸送における人的要因。 81–90 (CRC Press、2016)。

Katznelson, G. & Gerke, S. 医学部教育における医療 AI 倫理の必要性。上級健康科学教育する。 26、1447–1458 (2021)。

記事 Google Scholar

Grunhut, J.、Marques, O. & Wyatt, AT 医学教育カリキュラムにおける人工知能のニーズ、課題、および応用。 JMIR医学。教育する。 8、e35587 (2022)。

記事 Google Scholar

Doherty, TS & Carroll, AE 認知バイアスを克服できると信じています。 AMA J. Ethics 22、773–778 (2020)。

記事 Google Scholar

フリードマン、B. & ニッセンバウム、H. コンピューターシステムのバイアス。コンピュータ倫理。 215–232 (Routledge、2017)。

Introna, LD & Nissenbaum, H. ウェブの形成: 検索エンジンの政治が重要な理由。情報社会 16、169–185 (2000)。

記事 Google Scholar

フリードマン B.、カーン PH、ボーニング A.、ハルトグレン A. 繊細なデザインと情報システムを重視します。早期の取り組みと新しいテクノロジー: 研究室の開放。 55–95 (スプリンガー、2013)。

Flanagan, M.、Howe, DC & Nissenbaum, H. 重要な価値観: ソーシャル指向のゲームデザインにおけるデザインのトレードオフ。手順シチ会議ハム。係数を計算します。システム。 2005、751–760 (2005)。

記事 Google Scholar

Sengers, P.、Boehner, K.、David, S. & Kaye, JJ 反射デザイン。手順 4位デセン。会議クリティカル。計算: 感覚感性 2005、49–58 (2005)。

Google スカラー

DiSalvo C. 敵対的デザイン: Mit Press; 2015年。

Agre、P. & Agre、PE 計算と人間の経験。（ケンブリッジ大学出版局、1997）。

フリードマン B. & カーン PH ジュニア人間の主体性と責任あるコンピューティング: コンピューターシステム設計への影響。Ｊ．Ｓｙｓｔ．ソフトウェア。 17、7–14 (1992)。

記事 Google Scholar

ニッセンバウム、H. コンピュータ化社会における説明責任。科学。工学倫理 2、25–42 (1996)。

記事 Google Scholar

Floridi, L.、Cowls, J.、King, TC & Taddeo, M. 社会的利益のために AI を設計する方法: 7 つの必須要素。科学。工学倫理 26、1771–1796 (2020)。

記事 Google Scholar

ドーラン、P. et al. 行動に影響を与える: マインドスペースの方法。 J.経済心理学。 33、264–277 (2012)。

記事 Google Scholar

Kosters, M. & Van der Heijden, J. メカニズムから美徳へ: ナッジ理論の評価。評価 21、276–291 (2015)。

記事 Google Scholar

スミス、HS et al. 新型コロナウイルス感染症パンデミックの初期段階で健康増進を促すための MINDSPACE フレームワークのレビュー。人口健康管理、2022 年。

Blumenthal-Barby、JS 理由と強制の間: 医療および医療政策の文脈における倫理的に許容される影響。ケネディ研究所 Ethics J. 22、345–366 (2012)。

CAS Google スカラー

ハウスマン、DM & ウェルチ、B. 議論: ナッジするかナッジしないか。 J.ポリット。フィロス。 18、123–36。（2010年）。

記事 Google Scholar

サンスティーン CR なぜナッジするのか?: リバタリアン・パターナリズムの政治: エール大学出版局。 2014年。

Witteman、HO et al. 患者の意思決定支援の体系的な開発: IPDAS コラボレーションからの最新情報。医学。決定。マック。 41、736–754 (2021)。

記事 Google Scholar

Dressel, J. & Farid, H. 再犯予測の精度、公平性、限界。科学。上級 4、eaao5580 (2018)。

記事 Google Scholar

Zhang, W.、Yang, T. & Tangi Perrault, S. 反省を促す: 単なる政治知識へのチャンネル以上のもの。手順 2021 CHI カンファレンスハム。因数計算。システム。 2021 年 1 ～ 10 日 (2021 年)。

Google スカラー

ワインマン、C. 政治的思考の測定: 「内部の議論」の尺度の開発と検証。礼儀正しい。サイコル。 39、365–380 (2018)。

記事 Google Scholar

Harbach, M.、Hettig, M.、Weber, S.、Smith, M. 個人的な例を使用して、セキュリティとプライバシーに関する意思決定のためのリスクコミュニケーションを改善します。手順シチ会議ハム。係数を計算します。システム。 2014、2647–2656 (2014)。

記事 Google Scholar

Menon, S.、Zhang, W. & Perrault, ST 熟議性を促す: インターフェイスの機能がオンラインの議論にどのように影響するか。手順 2020 CHI カンファレンスハム。因数計算。システム。 2020、1–13 (2020)。

Google スカラー

Sujan M.、Furniss D.、Hawkins RD、Habli、I. 医療における人工知能の使用における人的要因: 業界全体に及ぶ課題。セーフティクリティカルシステムシンポジウム：ヨーク、 2020年。

スージャン、M.ら。患者ケアにおける人工知能の安全な使用に対するヒューマンファクターの課題。 BMJヘルスケアインフォーム。 26、e100081 (2019)。

リファレンスをダウンロードする

KK-Q。は、国立衛生研究所国立トランスレーショナルサイエンス推進センター (1R01TR004243-01) および国立精神衛生研究所 (番号 3R01MH125958-02S1) からの助成金を報告しています。 SG は、欧州連合 (助成契約番号 101057321 および 101057099)、国立衛生研究所の国立生物医学画像生物工学研究所 (NIBIB) (助成契約番号 3R01EB027650-03S1)、および米国ロック倫理研究所からの助成金を報告しています。ペンシルベニア州立大学。

医療倫理および医療政策センター、ベイラー医科大学、米国テキサス州ヒューストン

クリスティン・M・コスティック＝ケネ

ペンシルバニア州カーライル、ペンシルベニア州ディキンソン法、米国

サラ・ガーク

PubMed Google Scholar でこの著者を検索することもできます

両著者とも同様にこの記事に概念的な貢献をしました。 KK-Q。最初の草稿には SG が貢献し、その後の草稿には SG が執筆に貢献しました。

Kristin M. Kostick-Quenet への通信。

著者らは競合する利害関係を宣言していません。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Kostick-Quenet、KM、Gerke、S. AI は不完全なユーザーの手に渡ります。 npj 数字。医学。改訂第 5 号、197 (2022)。 https://doi.org/10.1038/s41746-022-00737-z

引用をダウンロード

受信日: 2022 年 8 月 24 日

受理日: 2022 年 11 月 29 日

公開日: 2022 年 12 月 28 日

DOI: https://doi.org/10.1038/s41746-022-00737-z

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

ニュース

AIは不完全なユーザーの手に渡ります