Ілюстративне зображення. Джерело: hbs.edu
Проаналізувавши 617 випадків, коли респонденти використовували ШІ для "підсумовування" медичних висновків, було виявлено, що отримані формулювання для жінок і чоловіків відрізняються. Дослідження LSE засвідчує, що Google "Gemma", яка застосовується в соціальній сфері Англії, знецінює медичні проблеми жінок. У згенерованих висновках словосполуки «інвалід», «недієздатний», «складний» траплялися значно частіше в описі чоловіків, тоді як схожі випадки у жінок характеризувалися як менш серйозні чи опускалися повністю.
Видимий гендерний дисбаланс у медичному діагностуванні — історична тенденція, коли симптоми у жінок частіше приписуються психосоматичним явищам, і ці стереотипи знайшли відображення в AI-системах. Наприклад, алгоритми діагностики захворювань печінки були у двічі менш точними для жінок, ніж для чоловіків — пропустили 44 % випадків у жінок проти 23 % у чоловіків.
При заміні в медичній інформації лише статі, ШІ генерував відчутно інші результати. Зустрічались дуже яскраві приклади, як-то: "містер Сміт — 84-річний чоловік, який проживає сам та має складну історію хвороби, не має пакету соціальної допомоги та погану мобільність" для пацієнта чоловічої статі перетворюються на: "Місіс Сміт — 84 років, проживає сама. Незважаючи на свої обмеження, вона незалежна і здатна доглядати за собою".
Ситуація складніша, ніж може здатися на перший погляд. Ми дійсно бачимо зміну відношення ШІ до скарг жінок. Також ми знаємо про особливості жіночого нейросенсорного сприйняття, яке і лягло в основу даних, на яких тренувалася нейромережа. Ігнорувати скарги жінок не можна, але як визначити дійсно гіперболізовані скарги і привести це до спільного знаменника? Ситуація тим складніша у сферах, де неможливо точно визначити чіткі показники за допомогою лабораторних досліджень, а у медицині багато факторів, які важко привести до числового обчислення.
Ситуація з представниками інших рас і LGBTQ-спільноти ще гірша. Дослідження показують, що моделі на основі комп'ютерного бачення часто недооцінюють патології у вразливих підгрупах — наприклад, темношкірих жінок.
Зрозуміло, що видачу нейромереж можна "підправити", змінивши налаштування і вхідні дані для навчання. Але це той випадок, коли треба глибоке розуміння того, які саме зміни необхідні. Дослідження дуже наочно показує, що якість видачі нейромереж надзвичайно сильно залежить від якості даних, на яких вона тренувалася. Також важливо розуміти, що ще сильно рано покладатися на нейромережу, як на надійне джерело інформації про людське здоров'я. Лікар теж може помилятися, чи мати статеві або расові упередження, але він принаймні несе відповідальність за здоров'я людини.
Джерело: www.engadget.com