Что значит «локально»

Слово «локально» встречается в карточках чаще любого другого: у нас это примерно треть каталога. И почти всегда оно значит что-то своё. Ниже четыре разные вещи, которые называют одинаково — от самой честной до самой лукавой.

Четыре смысла одного слова

Модель и программа на вашем компьютере. Всё считается у вас: веса скачаны, интернет не нужен. Данные не покидают машину просто потому, что их некуда отправить. Это самый сильный смысл слова.

Программа у вас, модель в облаке. Интерфейс локальный, но текст запроса уходит на чужой сервер и возвращается ответом. Так работают почти все «десктопные клиенты». Формально данные уходят — просто не в браузере, а из установленной программы.

Программа на вашем сервере. Вы арендовали машину, поставили там модель и базу. Для вас это «у себя», физически — чужой датацентр. Приватность выше облачного сервиса, но диск принадлежит не вам.

Гибрид. Часть работы идёт у вас, часть в облаке: запись локальная, расшифровка на сервере, или наоборот. Самое частое на практике и самое невнятное в описаниях.

Почему разница важна

«Локально» отвечает на вопрос «кто может прочитать мои данные». Локальная модель — никто, кроме вас. Локальный клиент с облачной моделью — владелец сервиса и все, кто имеет к нему доступ по закону или по ошибке.

Для регулируемых сфер это не абстракция: юристы, медики, финансы. Там «локально» — это условие работы, а не приятный бонус.

Как проверить за минуту

Посмотрите, сколько весит скачанное. Модель на 7 миллиардов параметров в сжатом виде занимает единицы гигабайт. Если после установки на диске прибавилось сто мегабайт — модель не у вас.

Отключите интернет и повторите. Работает — считается на месте. Отвечает ошибкой — ходит в сеть.

Загляните в настройки на слово «ключ». Если просят API-ключ, запросы идут к владельцу ключа. Это не плохо, это просто не «локально».

Проверьте, что уходит. Есть сетевые мониторы, но проще посмотреть в конфигурации адреса: если в настройках есть домен сервиса, программа с ним разговаривает.

Что ещё стоит знать

Локально не значит бесплатно. Платите электричеством, видеопамятью и временем: модель на вашей видеокарте отвечает медленнее облачной.

Локально не значит безопасно. Программа с доступом к файлам может их читать и отправлять, если захочет. «Локальность» ограничивает утечку данных модели, но не поведение самого приложения.

Сжатие меняет качество. Локальные модели обычно берут в сжатом виде — формат GGUF и подобные. Чем сильнее сжатие, тем меньше памяти нужно и тем больше модель ошибается. Один и тот же вес в разных сжатиях — это разные модели по качеству.

Телеметрия бывает отдельно. Даже при локальной модели приложение может отправлять статистику использования. Это не ваши тексты, но это тоже трафик.

Как читать наши карточки

Мы пишем «локально» только там, где это сказано у авторов проекта, и не достраиваем за них. Если в описании сказано «работает офлайн» — значит модель у вас. Если сказано «приватность прежде всего» и при этом просят ключ — это второй случай из списка выше.

Материалы про память и локальные модели — на полке «Память», про агентов и обвязки — в теме «Агенты».