AI і упередження: помилка людини чи проблема алгоритму?

Уявіть, що ви надсилаєте резюме на вакансію мрії, а ваша заявка відхиляється ще до того, як її побачить жива людина. Або намагаєтеся взяти кредит, а комп’ютер каже «ні».. без пояснень, просто на основі якихось цифр у базі даних. 

Штучний інтелект щодня приймає рішення про наше життя: аналізує резюме, схвалює кредити, формує те, що ми бачимо в соцмережах, і навіть допомагає судам. Здається логічним, алгоритми ж об’єктивні, у них немає ні емоцій, ні особистих симпатій. Але ось парадокс: AI не тільки копіює наші помилки, він їх посилює в рази.

Звідки AI знає, що робити

Щоб навчити штучний інтелект працювати, йому показують величезну кількість прикладів: тексти, фотографії, історії прийнятих рішень, записи розмов. Проблема одна: всі ці дані створені людьми. А люди, як ми знаємо, не ідеальні.

Подумайте самі: якщо модель вчиться на резюме успішних працівників компанії, де протягом 20 років наймали переважно чоловіків, що вона запам’ятає? Правильно, що чоловіки «підходять» краще. AI не розуміє, що це була несправедливість чи історичні обставини. Він просто бачить: “О, у цих даних більше чоловіків у керівництві. Значить, так має бути”.

Те саме із судовими справами. Якщо певні групи людей історично частіше отримували суворіші вироки, алгоритм вважатиме це нормою. Він не відчуває несправедливості, він просто рахує.

Як ми «навчаємо» AI дискримінації

Упередження просочуються в AI на кожному кроці:

Історія нас підставляє. Якщо раніше жінкам рідше давали керівні посади (а так і було), то для AI це виглядає як закономірність: «жінки рідко стають керівниками = жінки погані керівники».

Дані можуть бути однобокими. Система розпізнавання облич, яку тренували переважно на фото європейців, просто гірше впізнаватиме азіатів чи африканців. Не через якийсь злий умисел, а тому що їй не показали достатньо різноманітних прикладів.

Люди теж помиляються. Розробники обирають дані, маркують їх, вирішують, що вважати «успіхом». І на кожному з цих етапів можуть прокрастися їхні власні неусвідомлені упередження.

Які упередження «ловить» AI

Штучний інтелект може бути несправедливим по-різному:

Гендерні стереотипи: для AI «програміст» частіше чоловік, а «медсестра» – жінка. Просто тому, що в даних така статистика переважає.

Расові забобони: системи оцінки кредитних ризиків можуть давати гірший рейтинг людям певних національностей, навіть коли їхні фінансові показники однакові.

Дискримінація за віком: рекрутингові AI можуть «не любити» старших кандидатів, хоча вік напряму ніде не вказаний. Просто алгоритм побачив закономірність: той, хто закінчив університет давніше, начебто менш «успішний».

Класові упередження: де ти живеш, де вчився, який у тебе поштовий індекс, все це може вплинути на те, як AI оцінює твої шанси.

Коли все йде не так: реальні історії

Amazon шукав співробітників… але тільки чоловіків

У Amazon вирішили автоматизувати найм персоналу. Здається, чудова ідея: завантажити в систему резюме всіх успішних працівників за останні 10 років і попросити AI знайти схожих кандидатів. Проблема? Серед тих успішних працівників було значно більше чоловіків.

Що зробив AI? Він почав автоматично знижувати рейтинг резюме, де траплялося слово «жінка» або назви жіночих коледжів. Система фактично навчилася дискримінувати жінок, хоча ніхто її цього не вчив спеціально.

Amazon розібрався в проблемі і закрив проєкт. Але історія показала: навіть велетні технологій можуть випадково створити дискримінаційний AI.

Чат-бот, який став расистом за добу

У 2016 році Microsoft запустив у Twitter чат-бота на ім’я Tay. Ідея була проста: нехай спілкується з людьми і вчиться на живих діалогах. Звучить невинно, правда?

За 24 години Tay перетворився на расиста і сексиста. Він почав публікувати огидні повідомлення, які навіть страшно цитувати. Microsoft вимкнув бота за 48 годин, але урок засвоїли: якщо AI навчається на необробленому контенті з інтернету, він швидко навчиться найгіршому, що там є.

Суди, які довіряють упередженим алгоритмам

В американських судах використовували системи, які мали прогнозувати: чи скоїть людина злочин знову? Здається корисним інструментом для суддів, які вирішують питання про умовно-дострокове звільнення.

Але дослідження ProPublica виявило жахливу закономірність: алгоритм систематично завищував ризики для афроамериканців і занижував для білих підсудних. Помилявся щодо чорношкірих майже вдвічі частіше. Чому? Тому що навчався на даних системи, яка сама по собі була расово упередженою.

AI не був програмно расистським. Він просто відтворював те, що бачив у даних.

Uber піднімає ціни, коли вам найгірше

Система Uber використовує AI для динамічного ціноутворення: коли попит зростає, ціни автоматично йдуть вгору. З бізнес-точки зору це логічно.

Але що сталося під час теракту в Сіднеї? Люди масово викликали таксі, тікаючи від небезпеки. Алгоритм побачив: «О, попит різко зріс!» і підняв ціни у 4 рази. 

Uber додав виключення для екстрених ситуацій. Але проблема глибша: динамічне ціноутворення означає, що послуга стає недоступною для небагатих людей саме тоді, коли вона найбільше потрібна. Це теж різновид дискримінації.

Чому не можна просто «вимкнути» упередження

Здається очевидним рішенням: давайте просто видалимо з даних інформацію про стать, расу, вік і проблема зникне! Якби все було так просто.

• AI бачить приховані ознаки. Навіть якщо алгоритм не знає вашої статі, він може здогадатися з імені, університету, хобі в резюме, навіть стилю написання.
• Історія залишається в даних. Припустимо, жінкам платили менше за ту саму роботу і алгоритм прогнозування зарплат відтворить цю несправедливість, навіть не знаючи статі кандидата. Він просто побачить: «Особи з такими характеристиками історично отримували меншу зарплату» і продовжить тренд.
• Об’єктивності взагалі не існує. Навіть вибір того, що вважати «хорошим результатом» – це людське рішення, сповнене цінностей. Що важливіше: щоб система була максимально точною? Чи щоб вона була справедливою до всіх груп? Різні відповіді дають зовсім різні алгоритми.

Хто тепер відповідає за AI?

Після запуску AI Act 1 серпня 2024 року відповідальність за штучний інтелект у Європейському Союзі розподілена між кількома рівнями. На рівні ЄС головну роль відіграє European AI Office – спеціальний орган при Європейській комісії, що контролює й впроваджує AI Act, особливо для загальних моделей AI. Він працює разом з European Artificial Intelligence Board (координаційно-радчий орган), а також Scientific Panel і Advisory Forum, які надають технічні й експертні рекомендації. Національні «competent authorities» у кожній країні відповідають за контроль і виконання правил в своїй юрисдикції. Повна застосовність закону очікується до 2 серпня 2026 року з окремими етапами та вимогами, що вже діють

Три ролі: хто за що відповідає

Закон розділяє всіх на три категорії:

Постачальники – ті, хто створив AI. Вони несуть основну відповідальність за те, щоб їхній продукт був безпечним.

Розгортачі – компанії, які беруть готовий AI і вбудовують у свої продукти. Наприклад, додають чат-бота на сайт. Навіть якщо ви самі не писали цей AI, у вас є обов’язки:

• оцінити ризики перед впровадженням
• задокументувати, як ви ці ризики мінімізуєте
• слідувати інструкціям розробника
• повідомляти клієнтів, що вони спілкуються з AI

Звичайні користувачі за проблеми в AI ми не відповідають. Якщо щось іде не так, це питання до постачальника та розгортача.

Чотири рівні небезпеки

Закон ділить весь AI на чотири категорії, залежно від того, наскільки він може зашкодити:

• Мінімальний ризик: AI, який нічого особливого не вирішує. Генерує презентації без конфіденційної інфи, додає фільтри до фото. Тут майже немає обмежень.
• Обмежений ризик: різні помічники, чат-боти підтримки. Можуть вплинути на досвід користувача, але не приймають важливих рішень. Головна вимога: скажіть людям, що вони спілкуються з роботом, а не з живою особою.
• Високий ризик (тут серйозно). AI в медицині, правосудді, освіті, підборі персоналу, схваленні кредитів. Такі системи потребують повної перевірки перед запуском і постійного контролю.
• Неприйнятно. Сюда входять: технології маніпуляції свідомістю, соціальний рейтинг громадян, масове стеження за людьми. Таке використовувати не можна, крапка.

Якщо ваш AI «високого ризику»: що потрібно зробити

Оцінка перед запуском. Перш ніж вмикати систему, треба:

• знайти всі можливі ризики
• записати, як ви їх мінімізуєте (анонімізація, шифрування)
• перевірити, що слідуєте інструкціям розробника
• І тільки тоді – запускати

Прозорість. Люди мають знати, коли спілкуються з AI. Можна написати під полем вводу: «Наш чат-бот використовує AI для швидкої допомоги». Або бот може сам представитися на початку діалогу.

Право знати «чому». Якщо AI прийняв рішення, яке вас стосується, ви можете запитати, наприклад: «Чому мене не ідентифікували? Які дані ви перевіряли? Що не співпало?»

Право на людину. Якщо рішення AI вам не подобається, ви маєте змогу попросити живого оператора. Це критично важливо. AI може помилятися, і людина повинна мати можливість оскаржити його вердикт.

Постійний моніторинг. Налаштувати один раз і забути – не варіант. Треба регулярно перевіряти: як працює система, чи не з’являються збої, чи не змінилася поведінка алгоритму.

Навчання команди. Люди, які працюють з AI, мають розуміти:

• як його правильно використовувати
• які в нього обмеження
• коли виходять оновлення та встановлювати їх
• періодично вчитися новому

NovaTalks: як уникнути помилок AI у контакт-центрах

Попри всі виклики, штучний інтелект залишається потужним та ефективним інструментом для контакт-центрів, якщо його правильно впроваджувати та контролювати. Платформа NovaTalks має багаторічний досвід імплементації AI-рішень для обслуговування клієнтів, і ми знаємо, як уникнути типових пасток.

Чому AI у NovaTalks працює надійно

Контрольоване середовище. На відміну від випадків Amazon чи Microsoft Tay, де AI навчався на неконтрольованих даних, AI-інструменти NovaTalks працюють у чітко визначених рамках. Ми не дозволяємо системі самостійно формувати упередження з випадкових джерел.

Постійний людський контроль. AI-асистент у NovaTalks допомагає операторам у реальному часі: виправляє помилки, перекладає, змінює тон, узагальнює розмову. Але остаточне рішення завжди залишається за людиною. Це критична різниця між нашим підходом і повністю автоматизованими системами.

Прозора автоматична оцінка якості. Наша система автоматичної оцінки якості аналізує 100% діалогів (порівняйте з 5%, які може охопити менеджер вручну). Але ми не використовуємо її для автоматичних звільнень чи покарань. Це інструмент для виявлення проблемних місць, де потрібна увага людини.

Сертифікована безпека. NovaTalks офіційно підтверджено відповідність ISO/IEC 27001:2022 – глобальному стандарту управління інформаційною безпекою. Це означає, що всі дані, які обробляються через нашу платформу, перебувають під надійним захистом.

Наш досвід показує: AI може бути справедливим

За роки роботи з банківським, фінансовим та телекомунікаційним секторами ми виробили принципи, які допомагають уникнути дискримінаційних помилок:

Різноманітні дані для навчання: ми використовуємо датасети, що охоплюють різні групи клієнтів, регіони, мови та стилі спілкування.

Регулярний аудит: наші AI-системи проходять періодичну перевірку на наявність упереджень. Ми аналізуємо, чи однаково добре вони працюють для всіх сегментів користувачів.

Відповідність AI Act: як компанія, що працює з європейським ринком, ми дотримуємося вимог AI Act і несемо повну відповідальність за якість і справедливість наших рішень.

Навчання команди: ми систематично навчаємо наших клієнтів та їхні команди правильно використовувати AI-інструменти, розуміти їхні обмеження та вчасно втручатися, коли потрібно.

У NovaTalks AI не замінює людину, а розширює її можливості. Чат-боти та автоматичні відповіді забезпечують підтримку 24/7, але складні питання завжди передаються живим операторам. Система зберігає всю історію звернень і дані клієнтів, що дозволяє надавати персоналізований сервіс без упереджень.

Наша BI-система та текстова аналітика надають об’єктивні інсайти про роботу контакт-центру, допомагаючи приймати обґрунтовані рішення.

AI у контакт-центрах може і повинен бути ефективним та справедливим. NovaTalks доводить це щодня, допомагаючи компаніям автоматизувати рутину без ризику дискримінації чи втрати контролю над якістю обслуговування.

Що робити нам усім

Проблема упереджень у AI – це не баг, який можна швидко пофіксити. Це виклик, який вимагає зусиль від усіх.

Розробники мають ретельніше працювати з даними, регулярно перевіряти системи на упередження, залучати різноманітні команди до створення та тестування AI.

Компанії несуть відповідальність за те, як вони використовують технології. Треба оцінювати ризики і бути чесними з користувачами.

Регулятори повинні встановлювати чіткі правила, які захищають людей, але при цьому не душать інновації.

Якщо ми хочемо, щоб штучний інтелект був справедливішим за нас, мало просто дати йому більше даних. Треба навчити його нашим цінностям, а не тільки нашій статистиці.

AI не може бути об’єктивним, доки ми самі необ’єктивні. Але визнання цієї проблеми і це вже перший крок до її розв’язання. І цей крок ми можемо зробити вже сьогодні.

Часті запитання