콘텐츠로 건너뛰기

JAMA 설문 조사: AI 모델 설명은 편향을 유의하게 줄이지 않습니다.

이번 달 JAMA에서 발표 된 조사 연구에서 미시간 대학의 컴퓨터 과학자와 임상의가 인공 지능의 이용을 검토했다. 입원 환자를 진단하는 데 도움이됩니다.

구체적으로, 임상의가 사용하는 AI 모델이 어떻게 작동하는지, 그리고 어떻게 편향되거나 제한되는지에 대한 통찰력을 얻은 경우 진단 정확도가 어떻게 영향을 미칩니다. 받는지에 대해 그들은 관심이있었습니다.

이미지 기반 AI 모델 설명을 사용하면 공급자가 체계적으로 치우쳐서 부정확할 수 있는 알고리즘을 식별할 수 있습니다. 그러나 연구자들은 그러한 설명 가이드는 “임상의가 체계적으로 편향된 AI 모델을 인식하는데 도움이 되지 않는다”는 것을 발견했다.

체계적으로 편향된 AI가 진단 정확도에 어떤 영향을 미치는지, 그리고 이미지 기반 모델 설명이 오류를 줄일 수 있는지 여부를 평가하기위한 노력에서 연구자들은 병원 근무 의사 , 간호사, 의사 조수가 참가 하는 미국 13 주에 걸쳐 무작위화 된 임상 짹짹 조사 연구를 설계 했습니다.

이들 임상의는 급성 호흡 부전으로 입원한 환자의 현 증상, 신체 검사, 검사 결과, 흉부 X선 사진 등의 9개의 임상 장면을 나타냈다. “

연구자들에 따르면, 그 후 그들은 “각 환자의 급성 호흡 부전의 근본 원인으로 폐렴, 심부전 또는 만성 폐색성 폐 질환의 가능성을 판단한다”고 요구되었다고 한다.

임상의는 처음에는 AI 모델 입력이 없는 두 개의 짤막이 나타났습니다. 그런 다음 AI 모델에 대한 설명이 있거나 없으면 AI 모델이 입력된 6개의 비네트를 볼 수 있도록 무작위화되었습니다. 이 6개의 비네트 중, 3개는 표준 모델의 예측을 포함하고, 다른 3개는 체계적으로 편향된 모델의 예측을 포함했습니다.

연구 결과는 “임상 의사가 표준 AI 모델 예측 및 모델 설명을 사용하여 환자의 임상 개요를 검토 할 때 기준선 정확도와 비교하여 진단 정확도가 4.4 % 크게 향상되었습니다. ”이 포함되어 있습니다.

그러나 다른 한편으로, 체계적으로 편향된 AI 모델 예측을 임상가에게 보여주면 정확도는 11% 이상 떨어졌으며, 모델 설명은 그러한 부정확한 예측으로 인한 악영향을 막을 수 없었습니다.

연구자들의 판단에 따르면 표준 AI 모델은 진단 정확도를 향상시킬 수 있지만 체계적인 바이어스로 진단 정확도가 떨어지고 “일반적으로 사용되는 이미지 기반 AI 모델에 대한 설명 그렇다면이 유해한 영향은 완화되지 않았다.

Mike Miliard는 Healthcare IT News의 편집장입니다.
작가에게 이메일을 보냅니다. mike.miliard@himssmedia.com
Healthcare IT News는 HIMSS 출판물입니다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다