Сотрудникам Калифорнийского университета удалось выяснить, что ChatGPT пока не способен пройти тест Тьюринга. Результаты проведенного исследования появились в препринте на сайте arXiv.
Специалисты решили проверить лучшую на сегодня языковую модель с упором на работу Алана Тьюринга. Семьдесят лет назад он создал тест, благодаря которому можно определить, достигает ли машина уровня интеллекта и разговорной речи.
Участниками исследования стали 650 человек. Они беседовали друг с другом или с GPT, затем им предстояло выяснить, с кем они разговаривали. Оказалось, что модели GPT-4 обманули в 41% случаев, а модели GPT-3.5 сделали это лишь в 5-14% случаев. В 63% испытаний люди заверили участников, что не являются машинами. Ученые заключили, что GPT-4 не проходит тест Тьюринга.