Стоимость компа для вменяемого локального ИИ сопоставима с несколькими годами оплаты топовых онлайн ИИ.
Это уже проходит. Следите за новостями. Маск на выходных обрезал лимиты вдвое. Не предупредив никого!
Ну и? Ты ожидаешь увеличения стоимости подписок? При том что на рынке десяток игроков уже? OpenAI, Anthropic, Google, Meta, X, Microsoft, DeepSeek, Alibaba, Moonshot, Z.ai, Tencent, Xiaomi, Minimax, Mistral - и это мне кажется я кого-то забыл (нет, не Сбер с Яндексом). Ну да, Grok урезал лимиты, но будем откровенны, он и далеко не лидер по числу подписчиков.
асколько я помню, в половине новых ДОМАШНИХ компов этих самых PCIe линий на всё не хватает, даже если они НЕ PCIe-5! Читал про современную мать, в которой второй слот для SSD имел только один канал PCIe.
У меня работает на древнем i7-6700 память DDR4 сборная солянка, карта cmp170hx с PCI 2.0! При чем тут PCI-5? Да, это влияет на скорость префила, но не очень сильно. Больше влияет на скорость загрузки модели )))
Здесь нужно добавить, они не юзают там данные компании. Во вторых, у многих компаний подписка без выхода в интернет. ИИ работает во внутренней сети
Это, простите, как? Невозможно использовать Claude во внутренней сети. Вернее, агент-то можно, я хоть прям щас могу переменными окружения натравить на LLM на своём компе, но юзают именно подписки. Именно с обращением к серверам Anthropic. Насчет "юзать данные компании" - смотря что считать этими данными - агентов и модели облачные вовсю интегрируют с корпоративной Jira и Confluence.
на рынке десяток игроков уже? OpenAI, Anthropic, Google, Meta, X, Microsoft, DeepSeek, Alibaba, Moonshot, Z.ai, Tencent, Xiaomi, Minimax, Mistral
Хорошо, что Вы вспомнили характеристику "лидер". В каждой области применения - свой лидер. Я бы не стал кодить бизнеслогику с помощью той же Suno. С Китаем пока сложнее, они пока обучают свои модели на людях, даром. Что будет потом, не знают даже сами китайцы.
на рынке десяток игроков уже? OpenAI, Anthropic, Google, Meta, X, Microsoft, DeepSeek, Alibaba, Moonshot, Z.ai, Tencent, Xiaomi, Minimax, Mistral
Хорошо, что Вы вспомнили характеристику "лидер". В каждой области применения - свой лидер. Я бы не стал кодить бизнеслогику с помощью той же Suno. С Китаем пока сложнее, они пока обучают свои модели на людях, даром. Что будет потом, не знают даже сами китайцы.
Эмм... Ну то есть юзать дома на железе за охулиард (тот мак на который ты слюни пускаешь) тот же китайский квен ты можешь, а тех же китайцев по подписке (например Kimi K3.1 Pro у которой в десятки раз больше параметров) - не можешь? А где логика?
Angelberth Новость получасовой давности: Beget: виртуальный хостинг запущен у 35% серверов, выделенные серверы частью доступны, домены работают, бэкапы в работе... Работы по запуску остальных серверов продолжаются. Каждый сервер проверяется вручную.
Сбой произошёл около часа ночи с 1 на 2 ноября. Это сообщение отредактировал murla - 4 ноя 2026 в 19:24
Логика в том что логики нет. Сейчас точка двойной бифуркации: - переход на ИИ, - попытка перехода, как минимум, на самоокупаемость. Плюс, политика и эмбарго.
Всё что работает сейчас может внезапно стать недоступным либо из политических соображений, либо из экономических.
Стоимость компа для вменяемого локального ИИ сопоставима с несколькими годами оплаты топовых онлайн ИИ. Только здесь ты будешь всё время топовым пользоваться, а домашний комп через несколько лет устареет и его придется апгрейдить. Это только если какая-то специфическая задача, типа ИИ для целой фирмы, или генерация порно-контента для заработка. Тогда это будет оправдано. А чисто для себе дешевле и проще тем же OpenCode пользоваться. Его вообще бесплатно можно юзать если несложные и нечастые задачи.
спорно, ноут который я использую для работы имеет топовую комплектацию которая вряд ли потеряет актуальность ближайшие лет 5 и стоимость его ни разу не покроет пятилетнюю подписку на какой нить жырный вариант клода
Angelberth Новость получасовой давности: Beget: виртуальный хостинг запущен у 35% серверов, выделенные серверы частью доступны, домены работают, бэкапы в работе... Работы по запуску остальных серверов продолжаются. Каждый сервер проверяется вручную.
Сбой произошёл около часа ночи с 1 на 2 ноября.
При чем здесь Beget? Его взломали потому что в нейросеть утекли пароли и прочие секреты, или что? У тебя есть какие-то данные или ты от нехер делать сову на глобус натягиваешь?
Запустить локальную модель без вирусни и лишнего может любой кто владеет хоть каким-то навыком использования гугла-яндекса, чего угодно, куда давно ИИ тоже встроен и подскажет аж целые 2-3 команды, которые нужны для этого. Но без видяхи 12 гигов даже не думайте.
Я прилично погонял модель qwen 3.5 9b и на неплохом проце с 32 гигами оперативы, и на внешней видяхи (подключение к компу по локальной сети). Так вот разница скорости ответа с видяхи 4070 против проца - не просто в разы, а в десять раз +-.
спорно, ноут который я использую для работы имеет топовую комплектацию которая вряд ли потеряет актуальность ближайшие лет 5 и стоимость его ни разу не покроет пятилетнюю подписку на какой нить жырный вариант клода
Тут скорее вопрос - способна ли LLM влезающая в такой конфиг по требованиям к видеопамяти и оперативной памяти, решать твои задачи? Способна ли она решать их на уровне топовых моделей Claude? Если да - ну, почему бы и нет. Я пробовал и так, и так. Объективно - Claude Opus, да даже на опенроутер бывают "секретные модели" (как правило тест того или иного флагмана) - справлялись при меньшем количестве потраченных токенов, в сравнении с локальной моделью. Да, юзал в том числе Strata и Qwen-Flash-Next. То есть они умнее в той степени чтобы достичь результата за сильно меньшее количество шагов и итераций. Казалось бы - да и хер с ним, на своём железе токены бесплатны, вернее по цене электричества, но ведь чем больше шагов - тем больше шансов что оно не туда уйдет (да, ловил и зацикливания и на qwen3.6, 3.8-27b, и на Flash-Next, опять же четырехбитный квант тоже теряет точность. Ну и опять же - даже запустить ту же Strata надо железо которое есть не у всех. И если его нет - проще платить за подписку. Ну, у нас все осложняется тем что мы в подсанкционной России.
Хотел поставить нейросеть у себя на ПК, как у умных людей? Обычно это квест: найти Ollama, разобраться в терминале, понять, какую из сотни моделей брать под твою видеокарту, не промахнуться с названием, скачать несколько гигабайт... Мне надоело объяснять это знакомым, поэтому сделал программу, где всё это делается само.
«Local AI» — бесплатная программа для Windows. Очень просто:
Запускаешь.
Она сама смотрит, что у тебя за видеокарта, сколько памяти и места на диске, и подсказывает подходящую модель.
Жмёшь одну кнопку. Ollama и модель скачиваются и ставятся автоматически, права администратора не нужны.
Открывается обычный чат. Пиши как в ChatGPT.
Для ленивых
В терминал лезть не надо. Python и всё остальное тоже ставить не надо: в архиве один exe.
Модель выбирать не надо: в каталоге 34 штуки (Qwen3, Gemma, Llama, Mistral, Phi-4, DeepSeek-R1, модели для кода, модели, которые понимают картинки), но показывает программа только те, что реально потянет твой комп. Неподходящую случайно не выберешь.
Всё автоматом: установка, скачивание с докачкой, запуск, обновления, перенос моделей на другой диск. Захотел убрать — кнопка «Удалить всё», и следов не остаётся.
Зачем это вообще Твои диалоги никуда не уходят: чат общается с моделью на твоём же компьютере. Интернет нужен только чтобы скачать модель и проверить обновления. Подписок нет, лимитов нет, работает хоть в поезде.
А ещё это тот случай, когда программы теперь может писать каждый. Раньше надо было учиться годами. Сейчас можно сказать модели по-русски «сделай мне программу, которая переименует все файлы в папке» и получить рабочий код. Для этого в каталоге есть модели, заточенные под программирование (Qwen2.5-Coder). Хочешь свой маленький инструмент для работы или игры, просто попробуй.
Нюансы
Нужна Windows 10 или 11. Чем мощнее видеокарта, тем быстрее и умнее модель, а без видеокарты работает на процессоре, но медленнее и на модели поменьше.
Ollama весит около 1,6 ГБ, модели от одного до нескольких гигабайт. Места на диске надо с запасом.
Модели иногда ошибаются и выдумывают, а код от них надо проверять и запускать на тестовых данных, а не на единственной копии важных файлов.
Программа не подписана цифровой подписью: Windows может спросить подтверждение («Подробнее» → «Выполнить в любом случае»), а некоторые антивирусы ругаются на exe такого типа. Исходники открыты (лицензия MIT), можно собрать самому.
Не устанавливает Ollama проблемы с сертификатом. Карячился часа три пытаясь решить вопрос, не помогло (китайская нейронка чуть не свихнулась помогая мне, пока не плюнула и не предложила просто поставить олламу с сайта). Поставил Олламу без интерфейса, напрямую с сайта. После запустил LocalAI пошла загрузка Qwen, поставилось всё нормально, запустилось работает. При попытке изменить папку для Ollama опять вылетает ошибка (на скрине)
Проблема 2
Из чата ничего нельзя скопировать, только если это все не в виде кода. Там появляется кнопка "копировать". Хотелось бы копировать любой текст из размышлений. А то выглядит как издевательство, нейронка пишет - скопируй текст, а он хрен просто изображение
Проблема 3
Сессии не сохраняются, закрыл приложуху, открыл - "новый чат"
Ну либо может я тупой, что-то не так делаю. Что вполне возможно))
Их пока нет даже внутри beget, насколько я понимаю ситуацию. По крайней мере, вчера ещё не было.
Я почти уверен, что это общая проблема. И возникла она из-за совершенствования ИИ. Если Вы уверены, что Вас это не коснётся, просто пропускайте мимо ушей. Бездна людей не видит новости и тенденции даже когда их читает!
Сейчас практически весь софт и устанавливается и обновляется с помощью автоматических скриптов. Что они и как они делают - не интересует никого! Пользуясь даже чатам с ИИ, Вы сильно ослабляете защиту своей системы (даже если это всего лишь ноутбук). Я говорю только об этом и ни на чём не настаиваю!
Да сотрудники не очень умные, но исполнительные - не болеют, не ноют, не ошибаются. Делают всё в тысячи раз быстрее.
Увы, пока ошибаются и врут по чёрному. :)
Я как-то еле-еле убедил гугловский чат-бот в том, что охота с мелкокалиберной винтовкой на медведя в России разрешена на федеральном уровне. Гугл и юлил, и нормативные акты придумывал или цитировал неверно, и смысл подменял... Только в конце вынужден был признать правоту, просто потому что я в теме и могу оперировать этой информацией.
p.s. Причём чат-бот не занимается самообучением, в целом он так же считает, что охота запрещена, он согласился со мной только в рамках контекста диалога.
Как уже выше пояснили - значит ставите задачу неверно. Машина работает по алгоритму, если вы допускаете в своей формулировке вопроса логическую ошибку - значит машина её будет наследовать.
Если ответ не устраивает, просите объяснить логику ответа и учитесь тому как задавать вопросы и ставить задачи. Вы и сами потом добавили про охоту с мелкашкой. Плюс опять же не все нейронки одинаково хороши, какие-то лучше какие-то хуже, но они быстро прогрессируют.
Кстати я бы и сам сказал, что хочешь жить с мелкашкой на медведя не ходи, как бы даже без нейронки
Давайте вы будете рассказывать кому-то другому, как ставить вопросы, да?
Вопрос был крайне простой и сразу ограничивал контекст, но ИИшечка не смогла найти там ответа на "разрешено" и начала галлюцинировать.
Это не технический промт, это около общий вопрос.
upd. По поводу мелкашки и медведя, вы не учитываете специфики охот.законодательства, там свои нюансы.
Это сообщение отредактировал Domatsu - 4 ноя 2026 в 20:17
Ответ, зачем нужен локальный ИИ: Теперь можно попросить переписать веса другой нейросети просто сказав, что ты хочешь видеть. На днях исследователи из MIT CSAIL опубликовали технический отчет «Sparks of Weight-Space Programming». Языковая модель GPT-6 Astra от OpenAI читает веса другой нейросети, то есть числа, из которых складывается ее поведение, находит в них проблему и исправляет нужные значения напрямую, без обучения на данных.
Так, у открытой модели Qwen3.5-0.8B от Alibaba исправили зацикливание в рассуждениях: изменив примерно 0,016% весов, модель подняла результат на MATH-500 с 7,9% до 48,1%.
Это сообщение отредактировал murla - 4 ноя 2026 в 20:41
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
2 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
просто изображение
yaplakal.com