ChatGPT ухудшился: исследователи из Стэнфорда выяснили причину

Пользователи на официальном форуме OpenAI сетовали на плохие ответы от языковой модели ChatGPT-4 и чат-бота Bing от работающей на ней же Microsoft.

Ученые из Стэнфордского университета изучили эволюцию чат-ботов от OpenAI и обнаружили, что ChatGPT в последнее время ухудшился.

Об этом говорится в результатах проведённых тестов.

Исследователи использовали следующие методы для оценки его возможностей:

• решение математических задач;
• ответы на щекотливые/опасные вопросы;
• генерация кода;
• визуальное мышление.

Исследователи подчеркнули, что вышеперечисленные задачи были тщательно отобраны, чтобы проанализировать "разнообразные и полезные возможности этих LLM" (больших языковых моделей). Но позже они определили, что их производительность и поведение были совсем другими и не в лучшую сторону.

Специалисты исследовали результаты тестов, продемонстрировавших, насколько изменялось поведение GPT-3.5 и GPT-4 в течение относительно короткого промежутка времени.