Вчені зі Стенфорда пояснили, чому великі обсяги документів ускладнюють роботу нейромереж
Дослідники Стенфордського університету довели, що з ростом обсягу документів у системі їх розрізнити стає дедалі складніше — це явище отримало назву «семантичний колапс». Нейромережа, що класифікує документи, стикається з проблемою: чим більше подібних за змістом даних, тим гірше вона здатна давати точні відповіді.
Пояснюється це тим, що при надходженні документів система перетворює їх у вектори. Коли обсяг даних невеликий, створюються чіткі кластери, і пошук працює ефективно. Проте після приблизно 10 000 документів ці кластери починають перекриватися, відстані між векторами скорочуються, і всі документи виглядають дуже схожими.
В результаті штучний інтелект перестає вибирати релевантні документи, а точність пошуку падає на 87% при 50 000 документах. Семантичний пошук у цьому випадку поступається за якістю звичайному пошуку за ключовими словами, водночас зростає ймовірність появи хибних, або «галюцинацій», відповідей.
Це дослідження має важливе значення для розвитку штучного інтелекту та обробки великих масивів текстових даних, оскільки пояснює межі ефективності сучасних нейросетей у сфері семантичного пошуку.
«Семантичний колапс» є викликом, котрий дослідники та розробники мають враховувати при побудові систем обробки природньої мови, аби покращувати їх точність і надійність у майбутньому.
Також, ми писали що як судовий процес за участю Krafton показав ризики використання штучного інтелекту в бізнесі
