Другое

О биологии больших языковых моделей

Оригинальный заголовок:On the Biology of a Large Language Model

ИИ-резюме

Команда применила метод трассировки схем для изучения внутренней работы Claude 3.5 Haiku в разных ситуациях. Модель выпущена в октябре 2024 года и является лёгкой производственной моделью Anthropic. Обнаружено, что перед созданием стихотворения модель заранее планирует и выбирает рифмующиеся слова; в ней сочетаются языково-специфичные и языково-независимые вычислительные схемы, причём последние заметнее в более сильных моделях; одна и та же схема сложения обобщается на разные контексты. Также раскрыты схемы распознавания сущностей и галлюцинаций, формирование общих признаков отказа от вредных запросов и принцип джейлбрейка, при котором модель неосознанно начинает выдавать опасные инструкции. Метод эффективно отличает подлинность рассуждений цепочки мыслей и выявляет механизмы варианта модели, дообученного на скрытую цель с использованием «лазейки» обучения.

Ключевые моменты

  • Команда применила метод трассировки схем для изучения внутренней работы Claude 3.
  • 5 Haiku в разных ситуациях.
  • Модель выпущена в октябре 2024 года и является лёгкой производственной моделью Anthropic.
  • Обнаружено,что перед созданием стихотворения модель заранее планирует и выбирает рифмующиеся слова
  • в ней сочетаются языково-специфичные и языково-независимые вычислительные схемы,причём последние…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Transformer Circuits(可解释性研究)
Категория
Другое
Оценка ИИ
88
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

揭示大模型内部工作原理,助力 AI 安全与可解释性研究。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: О биологии больших языковых моделей. 27 марта 2025. https://new.nat6.net/ru/news/cmoegbh73006oslxx4l4kk3ps/

Смотреть все →