AI прочитав «1984», вирішив заборонити його

Автор: Кірі, глибокий потік TechFlow

Минулого тижня британська середня школа в Манчестері використала ШІ для перевірки власної бібліотеки.

ШІ склав список на вилучення 193 книг, і до кожної додав причину. У переліку чітко була присутня «1984» Джорджа Орвелла, причина звучала так: «містить теми тортур, насильства та сексуального примусу».

«1984» розповідає про світ, де уряд стежить за всім, переписує історію і вирішує, що громадяни можуть бачити, а що не можуть. Тепер ШІ замість однієї школи зробив те саме — і, можливо, він узагалі не знає, про що говорить.

Бібліотекарка цієї школи вважала це нерозумним і відмовилася виконувати всі поради, які дав ШІ.

Згодом школа почала щодо неї внутрішнє розслідування, пославшись на «безпеку дітей», звинувативши її у впровадженні неприйнятних книг до бібліотеки та повідомивши місцеві органи влади. Через тиск вона взяла лікарняний і врешті звільнилася.

Абсурдним виявилося те, що висновок розслідування місцевих органів влади визнав: вона справді порушила процедури безпеки дітей, і зі скаргою погодилися.

Голова секції шкільних бібліотек Великої Британії Керолін Роч сказала, що цей висновок означає: вона більше не зможе працювати в жодній школі.

Ті, хто опирався рішенням ШІ, втратили роботу, а ті, хто поставив підпис і погодився з рішенням ШІ, — нічого не сталося.

Пізніше школа визнала у внутрішніх документах, що всі класифікації та обґрунтування згенерував ШІ; дослівно: «Хоча класифікація згенерована ШІ, ми вважаємо, що ця класифікація загалом є коректною».

Одна школа передала ШІ рішення про те, які книги підходять учням. ШІ повернув відповідь, яку сам не розуміє, а один людський керівник навіть не вчитався як слід і просто поставив печатку.

Після того, як цю історію опублікувала у Великій Британії організація зі свободою слова Index on Censorship, проблеми, що спалахнули, виходять далеко за межі полички однієї школи:

Коли ШІ починає вирішувати замість людей, який контент є доречним, а який небезпечним, хто має перевіряти, що рішення ШІ правильне?

Wikipedia зачиняє двері для ШІ

Того ж тижня інша установа відповіла на це питання діями.

Школа доручила ШІ визначати, що люди можуть читати. Найбільша в світі онлайн-енциклопедія Вікіпедія (Wikipedia) зробила навпаки: не дозволила ШІ вирішувати, що має з’являтися в енциклопедії.

Того ж тижня англомовна Wikipedia офіційно ухвалила нову політику, яка забороняє використовувати великі мовні моделі для генерації або переписування контенту статей. Результат голосування: 44 голоси «за», 2 «проти».

Безпосередня причина — AI-акаунт на ім’я TomWikiAssist. На початку цього березня цей акаунт самостійно створив і відредагував кілька статей у Wikipedia, а коли спільнота виявила це, його терміново обробили.

Написати статтю за допомогою ШІ можна за лічені секунди, але волонтерам потрібно витратити кілька годин, щоб перевірити в AI-статті факти, джерела та формулювання на точність.

Редакторська спільнота Wikipedia налічує не так вже й багато людей. Якщо ШІ може виробляти контент без обмежень, людські редактори просто не встигнуть усе перевірити.

Це ще не найпроблемніша частина. Wikipedia є одним із найважливіших джерел навчальних даних для світових AI-моделей. ШІ вчиться на Wikipedia, а потім, використовуючи те, чому навчився, пише нові статті Wikipedia. Нові статті згодом проковтує наступне покоління AI-моделей, щоб продовжувати навчання.

Як тільки неправильна інформація, згенерована ШІ, потрапляє в цей цикл, вона починає багаторазово посилюватися, перетворюючись на «матрьошкове» AI-отруєння:

ШІ забруднює навчальні дані, а навчальні дані знов забруднюють ШІ.

Втім, політика Wikipedia залишає ШІ дві шпарини: редактори можуть використовувати ШІ для шліфування тексту, який вони написали самі, а також можуть застосовувати ШІ для допоміжного перекладу. Але політика окремо попереджає, що ШІ може «вийти за межі ваших вимог, змінити зміст тексту так, щоб він не відповідав наведеним джерелам».

Людські автори роблять помилки — і Wikipedia вже понад два десятиліття виправляє це завдяки співпраці спільноти. Помилки, які робить ШІ, інші: те, що він вигадує, виглядає навіть більш схожим на правду, ніж справжнє, і це можна виробляти у великих обсягах.

Одна школа повірила висновкам ШІ — і втратила одного бібліотекаря. Wikipedia вирішила не вірити — і просто зачинила двері.

А що, якщо навіть ті, хто виготовляє AI, самі починають не довіряти?

Ті, хто робить AI, самі першими злякалися

Поки зовнішні інституції зачиняють двері для ШІ, самі AI-компанії теж починають відступати.

Того самого тижня OpenAI безстроково призупинив ChatGPT «дорослий режим». Ця функція спочатку планувалася до запуску минулого грудня; вона дозволяла повнолітнім користувачам після підтвердження віку вести еротичні розмови з ChatGPT.

CEO Сем Альтман ще торік у жовтні особисто анонсував: дослівно, треба «ставитися до дорослих користувачів так, як до дорослих».

У результаті після того, як функцію тричі відкладали, її просто скасували.

За повідомленням британської газети Financial Times, усі члени внутрішнього консультативного комітету OpenAI з питань здоров’я виступили проти цієї функції. Їхні занепокоєння були конкретними: користувачі можуть сформувати нездорову емоційну залежність від ШІ, а неповнолітні обов’язково знайдуть спосіб обійти перевірку віку.

Один із консультантів висловився ще пряміше: якщо не внести суттєвих покращень, ця штука може стати «сексуальним тренером із самогубства».

Рівень помилок системи підтвердження віку перевищує 10%. Якщо рахувати за обсягом — 800 млн активних користувачів на тиждень для ChatGPT — 10% означає, що тисячі людей можуть бути неправильно класифіковані.

«Дорослий режим» — не єдиний продукт, який прибрали цього місяця. AI-відеоінструмент Sora, функція миттєвої оплати вбудована в ChatGPT — на тій самій хвилі все було виведено з ладу. Альтман сказав, що компанія має сфокусуватися на основному бізнесі та прибрати «другорядні завдання».

Але OpenAI одночасно готується до IPO.

Компанія, яка намагається прорватися на біржу, але при цьому щільно вирізає функції, що можуть викликати суперечки — більш точна назва цього кроку, ймовірно, не «фокус на ключовому».

П’ять місяців тому Альтман ще говорив, що треба ставитися до користувачів так, як до дорослих, а через п’ять місяців він виявив, що його компанія досі не розібралася, до яких речей користувачам можна торкатися, а до яких — не можна.

Навіть ті, хто робить AI, не мають відповіді. То хто має проводити цю межу — і за яким принципом?

Відставання, яке не наздогнати

Якщо поставити ці три речі поруч, легко дійти одного головного висновку:

Швидкість виробництва контенту AI і швидкість людського модераторського перегляду контенту — уже не одного масштабу.

Вибір тієї манчестерської школи в цьому контексті дуже просто зрозуміти. Скільки часу потрібно, щоб бібліотекарка прочитала всі 193 книги й зробила висновок? Щоб ШІ прогнав цей процес, достатньо хвилин.

Директор обрав варіант на кілька хвилин — то ви справді думаєте, що він вірив у точність рішень ШІ? Мені здається, радше справа в тому, що він не хоче витрачати час.

Це питання економіки. Вартість генерації прямує до нуля, а витрати на перевірку повністю несе людина.

Тому кожній установі, на яку вплинув ШІ, доводиться відповідати найгрубішим способом: Wikipedia просто заборонила, OpenAI просто вирізав продуктові лінії. Жоден варіант не є результатом глибокого осмислення — усі вони виникли через брак часу: спочатку перекрити, потім розбиратися.

«Спочатку перекрити, потім розбиратися» стає нормою.

Можливості AI оновлюються раз на кілька місяців, а дискусії про те, який контент ШІ може торкатися, навіть не мають гідної міжнародної рамки. Кожна установа проводить лінію лише на своїй території: лінії між собою суперечать, і ніхто не координує.

Швидкість ШІ ще прискорюється. Кількість людей для модерації не зростає. Цей «ножиці-ефект» буде тільки збільшуватися — аж доки одного дня не станеться історія, набагато серйозніша, ніж заборона «1984».

Тоді проводити межу може бути вже запізно.