Peneliti medis Google merendahkan ketika alat skrining AI gagal dalam pengujian kehidupan nyata

Peneliti medis Google merendahkan ketika alat skrining AI gagal dalam pengujian kehidupan nyata

Peneliti Medis Google merendahkan alat kompilasi skrining AI gagal dalam pengujian kehidupan nyata

 

Peneliti Medis Google merendahkan alat kompilasi skrining AI gagal dalam pengujian kehidupan nyata
Peneliti Medis Google merendahkan alat kompilasi skrining AI gagal dalam pengujian kehidupan nyata

AI sering disebut sebagai pekerja ajaib dalam bidang pendidikan, terutama dalam proses penyaringan, di mana model pembelajaran yang didukung keterampilan ahli dalam menguji masalah. Tapi seperti banyak teknologi, itu adalah satu hal untuk berhasil di lab, cukup lain untuk dilakukan di kehidupan nyata – seperti Google Para peneliti belajar dalam tes merendahkan di klinik di pedesaan Thailand.

Google Health menciptakan sistem pembelajaran yang memuat gambar mata dan mencari bukti retinopati diabetik, yang merupakan sebab utama yang mendukung penglihatan di seluruh dunia. Namun, kebenaran teoretisnya tinggi, alat ini terbukti tidak praktis dalam pengujian dunia nyata, membuat frustasi pasien dan perawat dengan hasil yang tidak konsisten dan rendah keselarasan umum dengan praktik di lapangan.

Harus disetujui sejak awal, karena pelajaran yang didapat di sini sulit, ini adalah langkah yang perlu dan harus dipertanggung jawabkan untuk melakukan pengujian ini, dan dip dipuji bahwa Google menerbitkan hasil yang tidak menyenangkan di depan umum. Juga jelas dari dokumentasi mereka bahwa tim telah mengambil hasil dalam hati (karena posting blog menyajikan interpretasi yang agak cerah).

Makalah penelitian mendanai penyebaran alat yang mendukung untuk meningkatkan proses yang ada di Thailand di beberapa klinik di Thailand untuk retinopati diabetik, atau DR. Pada dasarnya perawat mengambil pasien diabetes satu per satu, mengambil gambar mata mereka (“foto fundus”), dan mengirim mereka dalam batch ke dokter mata, yang membelanjakan mereka dan membeli hasil …. Biasanya dapat 4-5 minggu mulai karena memerlukan permintaan .

Sistem Google menjanjikan untuk menyediakan keahlian seperti dokter mata dalam hitungan detik. Dalam tes internal tingkatkan DR dengan akurasi 90%; Perawat kemudian dapat membuat persetujuan awal untuk rujukan atau pengujian lebih lanjut dalam satu menit, bukan karena (keputusan otomatis adalah kebenaran dasar yang disampaikan oleh dokter spesialis mata dalam perbincangan). Kedengarannya luar biasa.

Sistem idealnya akan segera dikirim hasil seperti ini, yang dapat dibagikan kepada pasien.

Tapi teori itu hancur begitu penulis studi tanah. Seperti yang dibahas dalam penelitian ini:

Kami mencari variasi tingkat tinggi dalam proses skrining mata di 11 klinik dalam penelitian kami. Proses pengambilan dan cetak gambar di semua klinik, tetapi perawat memiliki tingkat otonomi yang besar tentang bagaimana mereka mengatur alur kerja, dan sumber daya yang berbeda tersedia di setiap klinik.

Pengaturan dan lokasi di mana pemeriksaan mata juga sangat bervariasi di berbagai klinik. Hanya dua klinik memiliki ruang skrining khusus yang dapat digelapkan untuk memastikan pasien cukup besar untuk mengambil foto fundus berkualitas tinggi.

Berbagai persyaratan dan proses menghasilkan gambar yang dikirim ke server tidak memenuhi standar tinggi:

Sistem pembelajaran yang memiliki koleksi yang ketat tentang gambar yang akan diputar … Jika gambar memiliki sedikit kekaburan atau area yang gelap, misalnya, sistem akan menolaknya, bahkan jika itu bisa membuat prediksi yang kuat. Standar tinggi sistem untuk gambar berkualitas menentang dengan kualitas gambar dan gambar yang diambil perawat di rutinitas di bawah klinik, dan ketidakcocokan ini menyebabkan keselamatan dan pekerjaan tambahan.

Gambar dengan DR jelas tetapi kualitas buruk akan ditolak oleh sistem,

menyulitkan dan memperpanjang proses. Dan kapan saja mereka bisa mengunggahnya ke sistem:

Pada koneksi internet yang kuat, hasil ini muncul dalam beberapa detik. Namun, klinik dalam penelitian kami sering memperbaiki koneksi yang lebih cepat dan kurang dapat diandalkan. Ini menyebabkan beberapa gambar perlu 60-90 detik untuk mengunggah, mengurangi antrean skrining dan menambah jumlah pasien yang dapat diputar dalam sehari. Di satu klinik, internet keluar selama dua jam selama pemeriksaan mata, mengurangi jumlah pasien yang diskrining dari 200 menjadi hanya 100.

“Pertama, jangan salahkan” bisa dibilang sukses di sini: Lebih sedikit orang dalam hal ini menerima perawatan karena menggunakan untuk memanfaatkan teknologi ini. Faktor-faktor lain yang membuat beberapa orang mempertimbangkan pasien agar tidak ikut serta dalam penelitian ini sama sekali.

Bahkan skenario kasus terbaik memiliki konsekuensi yang tidak terduga. Pasien tidak siap untuk evaluasi instan dan mengatur janji temu segera setelah mengirim gambar:

Sebagai hasil dari desain protokol penelitian prospektif, dan berpotensi perlu membuat rencana di tempat untuk mengunjungi rumah sakit rujukan, kami mengamati perawat di klinik 4 dan 5 mencegah pasien untuk berpartisipasi dalam penelitian prospektif, karena khawatir hal itu akan menyebabkan kesulitan yang tidak perlu.

Seperti yang dikatakan salah seorang perawat:

“[Pasien] tidak mementingkan keakuratan, tetapi bagaimana pengalamannya nantinya — apakah akan membuang waktu saya jika saya harus pergi ke rumah sakit? Saya meyakinkan mereka bahwa mereka tidak harus pergi ke rumah sakit. Mereka bertanya, ‘apakah perlu waktu lebih lama?’, ‘Apakah saya pergi ke tempat lain?’ Beberapa orang tidak siap untuk pergi sehingga tidak akan bergabung dengan penelitian. 40-50% tidak bergabung karena mereka pikir mereka harus pergi ke rumah sakit. ”

Ini tidak semua berita buruk, tentu saja. Masalahnya bukan bahwa AI tidak memiliki apa pun untuk menawarkan klinik Thailand yang ramai, tetapi bahwa solusinya perlu disesuaikan dengan masalah dan tempat. Evaluasi otomatis instan dan mudah dipahami dinikmati oleh pasien dan perawat ketika bekerja dengan baik, kadang-kadang membantu membuat kasus bahwa ini adalah masalah serius yang harus segera diatasi. Dan tentu saja manfaat utama dari mengurangi ketergantungan pada sumber daya yang sangat terbatas (dokter mata lokal) berpotensi transformatif.

Tetapi penulis penelitian tampak jernih dalam evaluasi mereka terhadap aplikasi sistem AI mereka yang prematur dan parsial. Seperti yang mereka katakan:

Ketika memperkenalkan teknologi baru, perencana, pembuat kebijakan, dan

perancang teknologi tidak mengubah sifat masalah yang muncul dan dinamis yang muncul dalam program perawatan kesehatan yang kompleks. Para penulis setuju dengan memperhatikan orang lain – motivasi, nilai-nilai mereka, identitas profesional, dan norma serta rutinitas terbaru yang menyusun pekerjaan mereka – sangat penting.

Makalah ini layak dibaca baik sebagai primer dalam menggunakan alat AI yang membantunya berfungsi di lingkungan klinis dan pelanggar apa yang mendukung – baik oleh teknologi dan yang diperlukan untuk mengadopsinya.

Sumber:

https://galleta.co.id/seva-mobil-bekas/