Deloitte Australia ще върне част от 440 000 австралийски долара, платени от правителството за доклад, пълен с очевидни грешки, създадени от AI
Финансовата консултантска компания Deloitte Australia ще възстанови частично сумата от 440 000 австралийски долара (около 290 000 щатски долара), платени от австралийското правителство за доклад, който е изпълнен с очевидни грешки, генерирани от изкуствен интелект. Сред проблемите са фабрикувана цитат от решение на федерален съд и препратки към несъществуващи академични изследвания.
Докладът на компанията за Министерството на заетостта и трудовите отношения първоначално е публикуван на уебсайта на ведомството през юли. Ревизирана версия е публикувана в петък, след като Крис Ръдж, изследовател в областта на здравното и социалното право от Университета в Сидни, алармира медиите, че докладът е „пълен с фабрикувани препратки“.
Какво е установено
Deloitte е прегледала 237-страничния доклад и „потвърдила, че някои бележки под линия и препратки са били неправилни“, съобщи министерството във вторник.
„Deloitte се съгласи да възстанови последната вноска по договора“, се казва в изявлението на министерството. Точната сума ще бъде оповестена след възстановяването на средствата.
Помолена да коментира неточностите в доклада, Deloitte заяви пред Асошиейтед прес, че „въпросът е разрешен директно с клиента“. Компанията не отговори на въпроса дали грешките са генерирани от изкуствен интелект.
Проблемът с „халюцинациите“ на AI
Склонността на генеративните системи с изкуствен интелект да измислят информация е известна като „халюцинация“.
Докладът е преглеждал използването на автоматизирани санкции в IT системите на министерството в австралийската система за социални грижи. Ведомството заяви, че „съдържанието“ на доклада е запазено и няма промени в препоръките му.
Ревизираната версия включва разкритие, че генеративна AI езикова система, Azure OpenAI, е използвана при написването на доклада.
Откритите грешки
От доклада са премахнати цитати, приписани на федерален съдия, както и препратки към несъществуващи доклади, приписани на експерти по право и софтуерно инженерство.
Ръдж заяви, че е открил до 20 грешки в първата версия на доклада.
Първата грешка, която му направила впечатление, погрешно посочвала, че Лиза Бъртън Крофорд, професор по публично и конституционно право в Университета в Сидни, е написала несъществуваща книга със заглавие, предполагащо, че е извън нейната област на експертиза.
„Веднага разбрах, че или е халюцинирано от AI, или е най-добре пазената тайна в света, защото никога не бях чувал за книгата и звучеше нелепо“, каза Ръдж.
Сериозни последици
Работата на негови академични колеги е използвана като „знаци за легитимност“ – цитирана от авторите на доклада, но не и прочетена, заяви Ръдж. Той добави, че смята неправилното цитиране на съдия за по-сериозна грешка в доклад, който ефективно представлява одит на правната съобразност на министерството.
„Те са изопачили съдебно дело и са измислили цитат от съдия и си помислих: това всъщност е по-важно от егото на академиците. Става въпрос за неправилно представяне на закона пред австралийското правителство в доклад, на който то разчита. Затова смятах, че е важно да защитим добросъвестността“, каза Ръдж.
Политическа реакция
Сенаторът Барбара Покок, говорител на партията на Зелените по въпросите на публичния сектор, заяви, че Deloitte трябва да възстанови цялата сума от 440 000 австралийски долара.
Deloitte „е злоупотребила с AI и го е използвала много неподходящо: неправилно е цитирала съдия, използвала е несъществуващи препратки“, каза Покок пред Австралийската Broadcasting Corporation. „Имам предвид неща, заради които студент от първи курс би имал сериозни проблеми.“
Случаят поставя важни въпроси за използването на изкуствен интелект в професионални консултантски услуги и необходимостта от задълбочена проверка на съдържание, генерирано от AI системи.
