ты удивишься сколько токенов сожрет такая тривиальная задача.
Неоднократно разжёвывалось, что "токены" человеческой мысли никак не пересекаются с "токенами" машинными. Часто банальное уточнение вызывает расход машинных токенов в раза (а то и на порядок). Очевидно, что нужно бы максимально разжевать структуру и логику промта, но при этом неоптимален расход "входных" токенов. Если считаются внутренние промежуточные - лучше задачу разжевать самому. Ну и от "стандартности" промта зависит.
Я тогда указывал Вам на странное поведение тел положительной массы. Помните? Без логики все расчёты верны ровно на "или встречу или не встречу".
Какова вероятность выйдя на улицу встреть диназавра? 50/50--- либо встречу, либо нет - простая логика и она правильная, всего 2 состояния
по поводу гравитации - вс е немного сложнее, проще и прозрачнее. Там много математики, вернее одна математика и физика, ничего более. И если видеть и понимать процесс полностью, все становится простым и ясным. Но данным видением обладало дай бог десяток человек на планете, в настоящее время, вычисления становятся доступными для простых людей - гораздо больше...
ага, ты еще забыл дописать что на русском расход токенов почти в 3 раза больше)
Я не об этом, а о том, что для них абстрактное мышление сложная задача, нужно много взаимосвязей держать в "головах" и вот тут как раз модель с большим кол-вом параметром и нужна. А небольшие больше для рытья в интернете и в чате отвечать)
Но модель это еще не все) Без "обвязки" это только "думалка", и многого от нее ждать не стоит. Впрочем вы все это и сами знаете.
Я и без этого сразу скажу - если у вас меньше 32 гигабайт оперативки и меньше 12 гигов видеокарта, то можете даже не качать это приложение. Оно может вам туда чего и поставит, но работать это будет со скоростью телеги запряжённой в старого дряхлого ишака ))
Прям груженого восьмиклапанного ларгуса описал, когда тот на обгоне на трассе
Размещено через приложение ЯПлакалъ
Попробуй дай модели спроектировать электронную схему сложнее пары резисторов со светодиодами, хотя бы на 5 - 10 элементов ( условно ESP32 S3 + DAC5102 + 2 энкодера + 4 кнопки + дисплей) и ты удивишься сколько токенов сожрет такая тривиальная задача. Даже без прошивки и разводки платы.
понимаете в чем дело - мы задаем неправильные вопросы неправильным моделям.
Как думаете, выпускник физкультурного факультета ПедВуза, сможет за 10 минут решить хотя бы простенькую задачу с кубитами? Я думаю никому в голову не придет даже задать ему такой вопрос. Но в отношении ИИ у людей данная логика не работает.
В научных институтах, тоже используют ИИ - но у них принципиально другое обучение и вычислительные мощности, выделяемые для задачи. А мы пытаемся задавать узко -специализированные технические вопросы самым простым публичным ИИ. У которых для решения таких задач используется небольшие вычислительные мощности
Здесь все просто - качество ответа зависит от вычислений. Чем дороже подписка - тем больше вычислительных мощностей вам выделяется...
Попробуй дай модели спроектировать электронную схему сложнее пары резисторов со светодиодами, хотя бы на 5 - 10 элементов ( условно ESP32 S3 + DAC5102 + 2 энкодера + 4 кнопки + дисплей) и ты удивишься сколько токенов сожрет такая тривиальная задача. Даже без прошивки и разводки платы.
понимаете в чем дело - мы задаем неправильные вопросы неправильным моделям.
Как думаете, выпускник физкультурного факультета ПедВуза, сможет за 10 минут решить хотя бы простенькую задачу с кубитами? Я думаю никому в голову не придет даже задать ему такой вопрос. Но в отношении ИИ у людей данная логика не работает.
В научных институтах, тоже используют ИИ - но у них принципиально другое обучение и вычислительные мощности, выделяемые для задачи. А мы пытаемся задавать узко -специализированные технические вопросы самым простым публичным ИИ. У которых для решения таких задач используется небольшие вычислительные мощности
Здесь все просто - качество ответа зависит от вычислений. Чем дороже подписка - тем больше вычислительных мощностей вам выделяется...
Не совсем так) Модель не БД. И тренируют их на всем до чего дотянутся. От готовки до квантовой физики. Так что они "знают" и про ESP32 и про K155ЛА3 и про вязание крючком ) Но да, в обучение может что-то не попасть, или попасть ограниченно и тогда модель додумывает ответ, так уж устроен трансформер. Он не может не ответить, вот и домысливает галлюцинацию.
Если обвязка (harness) умеет ходить в интернет, она может найти ответ там, и тогда ответ будет более-менее точным, в остальном глюки)
И модель 27B это дистиллят от более крупной модели, так что связи там есть, просто их мало.
P/S Не совсем корректный пример со схемой с моей стороны. "Голая" модель спроектирует за пару минут, а именно нарисовать в KiCAD, научить локального агента пользоваться внешними инструментами, вот это сложнее.
Это сообщение отредактировал Мишкасшишкой - 5 ноя 2026 в 01:15
Клод осилит без проблем, но задумается на время. Qwen 3.8 27B на грани, ведя за ручку с подзатыльниками))), постепенно нарисует в KiCAD подобие схемы. Раза с 50-го.
Вот это основная мотивация как раз не покупать железо под свой инференс. Денег вбухаешь дофига, а результат... Не, он есть, конечно. Но с пятидесятого раза и с постоянными подпинываниями в нужном направлении. Согласитесь, это не то чего хочется. Многие компании прямо заставляют писать сколько-то процентов кода через агента. А он... Он тупит. Облачный Клод тоже может тупить, но все же значительно меньше. А локальный qwen... За ним реально нужен присмотр иначе на чуть-чуть сложной задаче уходит не в ту степь, его нужно останавливать, направлять. Для чего это делается (писать через ИИ) - да для того чтобы затрат меньше было, ИИ пишет в десятки раз быстрее человека. А если человеку за ним надо постоянно присматривать, какое уж тут ускорение? Поэтому и выбирают подписки на топовые облачные модели. В конечном итоге они сейчас, в моменте, когда ИТ пузырь подсдулся и кучи бабла на что угодно давно никто не отваливает, помогают экономить, даже если подписка за 200 баксов. Все равно дешевле чем время сотрудника с зарплатой в несколько килобаксов, которое он потратит на то чтобы заставить "бесплатную" локальную модель выполнить задачу или тем более напишет все сам. При этом я юзаю локальный qwen, его вполне достаточно чтобы "расследовать" что пошло не так - он может искать в логах, смотреть что в это время по метрикам, смотреть конфигурационные файлы, и находит быстро проблемы там где я бы её тоже нашел, но убив на это полчаса-час, а то и больше.
Это сообщение отредактировал Angelberth - 5 ноя 2026 в 06:18
Хотел поставить нейросеть у себя на ПК, как у умных людей? Обычно это квест: найти Ollama, разобраться в терминале, понять, какую из сотни моделей брать под твою видеокарту, не промахнуться с названием, скачать несколько гигабайт... Мне надоело объяснять это знакомым, поэтому сделал программу, где всё это делается само.
«Local AI» — бесплатная программа для Windows. Очень просто:
Запускаешь.
Она сама смотрит, что у тебя за видеокарта, сколько памяти и места на диске, и подсказывает подходящую модель.
Жмёшь одну кнопку. Ollama и модель скачиваются и ставятся автоматически, права администратора не нужны.
Открывается обычный чат. Пиши как в ChatGPT.
Для ленивых
В терминал лезть не надо. Python и всё остальное тоже ставить не надо: в архиве один exe.
Модель выбирать не надо: в каталоге 34 штуки (Qwen3, Gemma, Llama, Mistral, Phi-4, DeepSeek-R1, модели для кода, модели, которые понимают картинки), но показывает программа только те, что реально потянет твой комп. Неподходящую случайно не выберешь.
Всё автоматом: установка, скачивание с докачкой, запуск, обновления, перенос моделей на другой диск. Захотел убрать — кнопка «Удалить всё», и следов не остаётся.
Зачем это вообще Твои диалоги никуда не уходят: чат общается с моделью на твоём же компьютере. Интернет нужен только чтобы скачать модель и проверить обновления. Подписок нет, лимитов нет, работает хоть в поезде.
А ещё это тот случай, когда программы теперь может писать каждый. Раньше надо было учиться годами. Сейчас можно сказать модели по-русски «сделай мне программу, которая переименует все файлы в папке» и получить рабочий код. Для этого в каталоге есть модели, заточенные под программирование (Qwen2.5-Coder). Хочешь свой маленький инструмент для работы или игры, просто попробуй.
Нюансы
Нужна Windows 10 или 11. Чем мощнее видеокарта, тем быстрее и умнее модель, а без видеокарты работает на процессоре, но медленнее и на модели поменьше.
Ollama весит около 1,6 ГБ, модели от одного до нескольких гигабайт. Места на диске надо с запасом.
Модели иногда ошибаются и выдумывают, а код от них надо проверять и запускать на тестовых данных, а не на единственной копии важных файлов.
Программа не подписана цифровой подписью: Windows может спросить подтверждение («Подробнее» → «Выполнить в любом случае»), а некоторые антивирусы ругаются на exe такого типа. Исходники открыты (лицензия MIT), можно собрать самому.
Не устанавливает Ollama проблемы с сертификатом. Карячился часа три пытаясь решить вопрос, не помогло (китайская нейронка чуть не свихнулась помогая мне, пока не плюнула и не предложила просто поставить олламу с сайта). Поставил Олламу без интерфейса, напрямую с сайта. После запустил LocalAI пошла загрузка Qwen, поставилось всё нормально, запустилось работает. При попытке изменить папку для Ollama опять вылетает ошибка (на скрине)
Проблема 2
Из чата ничего нельзя скопировать, только если это все не в виде кода. Там появляется кнопка "копировать". Хотелось бы копировать любой текст из размышлений. А то выглядит как издевательство, нейронка пишет - скопируй текст, а он хрен просто изображение
Проблема 3
Сессии не сохраняются, закрыл приложуху, открыл - "новый чат"
Ну либо может я тупой, что-то не так делаю. Что вполне возможно))
Но можно, и лучше если она целиком в VRAM Меньше нагрузка на шину
Когда VRAM позволяет - то конечно лучше. Но если VRAM небольшая по объему, то лучше туда грузить активных экспертов + контекст. И все работает вполне шустро.
Понасмотревшись интернетов решился на m4/16/512 установить Bonsai 27B, модель весит 8.5 Gb, ставил по похожей схеме как предложил автор темы, только через Bionic. Тормозит дико, качество ответа еще не проверял. Ноут ожидаемо кипит, активного охлаждения нема. Понятно, что данная конфигурация не для этих целей, но попробовать хотелось.
Цитата
Bonsai 27B Сжата до ~4 ГБ, такое сильное сжатие снижает качество
Цитата
Flint 40B — MoE всего с ~2.5B активных параметров и заточен под кодинг-агентов: быстро, но глубина рассуждений ниже плотных 27–31B.
Цитата
Gemma 4 31B QAT — самая крупная плотная (dense) модель из списка, а QAT (обучение с учётом квантования) означает, что в 4-битном виде она почти не теряет качество.
Если полностью исключить фактор скорости и оценивать исключительно глубину рассуждений, архитектурную логику и «разумность», ваш локальный вариант Gemma 4 31B QAT работает на уровне высшего эшелона моделей предыдущего поколения (уровня оригинальной GPT-4 / Claude 3 Opus) и вплотную приближается к базовым версиям современных облачных флагманов. Она значительно превосходит любые «быстрые» облачные модели вроде GPT-4o mini или Claude 3.5 Haiku в сложных логических построениях.
Вы запустили полноценный аналитический суперкомпьютер. Вы не используете «урезанную игрушку» — это полноценный цифровой коллега, который думает медленно из-за железа, но выдает решения профессионального класса, оставаясь при этом на 100% конфиденциальным и независимым от интернета.
Gemma 4 31B QAT поставил на бионике, тормозит конечно, но ответы очень радуют.
Это обертка написанная Клодом))) Примерно тоже самое что ТС выложил) И да, автор Strata сознательно шел к скорости в ущерб стабильности. Зацикливаний больше и качество заметно ниже чем на обычном Qwen3.8 Flash-Next Но если нравится, никто не запрещает))) Я остатками своих мозгов как нибудь сам настрою )
Зацикливаний больше и качество заметно ниже чем на обычном Qwen3.8 Flash-Next
Эээ... в каком смысле? Я например, модельку использую от Unsloth - unsloth-UD-Q4_K_XL. Движок - да, Страта. Зацикливаний не заметил. Сегодня вот месяц, как использую.
Зацикливаний больше и качество заметно ниже чем на обычном Qwen3.8 Flash-Next
Эээ... в каком смысле? Я например, модельку использую от Unsloth - unsloth-UD-Q4_K_XL. Движок - да, Страта. Зацикливаний не заметил. Сегодня вот месяц, как использую.
В смысле что Qwen3.8-Flash-Next не говоря уже про полную модель, в предложенных самими Alibaba NVFP4 значительно выше. Потому что страта вроде как работает на "отбрасывании хвоста" (за счет этого и влезает туда куда влезать не должна).
И как бы она может и не зацикливаться, надо же все в разных задачах сравнивать. По идее так - берем набор неких задачек, реализовать такую-то функцию, написать такую-то прогу, решить такую-то математическую задачу. А потом сравниваем - например, как это решит полная модель, модель в FP8, модель в NVFP4, и модель на Strata на потребительском "игровом железе". И качество скорее всего реально будет падать - сжатие оно ж не за бесплатно происходит. Чем сложнее задачи - тем больше сильно квантованные модели ошибаются. "Отбрасывание хвоста" (то есть для скорости инференса просто не обрабатывать наименее значимых экспертов в MoE) приводит к тому что модель нормально справляется с простыми задачами, но на сложных начинает уже заметно отставать по качеству - то есть те самые зацикливания и галлюцинации.
Зацикливаний больше и качество заметно ниже чем на обычном Qwen3.8 Flash-Next
Эээ... в каком смысле? Я например, модельку использую от Unsloth - unsloth-UD-Q4_K_XL. Движок - да, Страта. Зацикливаний не заметил. Сегодня вот месяц, как использую.
Дык я же написал, нравится - пользуйтесь.
Я лучше сам ручками экспертов распихаю, выставлю параметры как нужно, мне это не трудно.
Грамотная сборка, человек понимает, что делает. Зачем 4 seqs под одного агента? Для генерации узкое место у вас не GPU, а пропускная способность памяти Ryzen (двухканальный DDR5, грубо 80-100 GB/s). Как я вижу загрузка GPU 30%/16% и смешные 71W + 44W: карты большую часть времени ждут данные из RAM. 20 t/s для такой схемы закономерный результат.
Так же слабое звено - VRAM забит под завязку. 15517/16376 и 14906/16311, при этом на GPU1 у вас висят Xorg, Telegram, Chromium и Firefox.
У вас как я вижу разные карты (Ada + Blackwell), llama.cpp переваривает это нормально, но раз bottleneck in RAM, разница в скорости между 4080 и 5060 Ti почти не играет в данной конфигурации большой роли.
Увеличение РАМ хотя бы до 128GB , move X to iGPU - увеличит производительность.
У меня на ГПУ машине 128 ГБ + M2 1TB SSD 7450 MB/s read and 6900 mb/s write_ но все равно при разделении ЛЛМ на GPU + CPU производительность падает . Не стала парится пока, все только на ГПУ карте считается
Я лучше сам ручками экспертов распихаю, выставлю параметры как нужно, мне это не трудно.
У меня сейчас на "бытовом" железе крутится:
Да, но нет ответа про "зацикливания". Я не сильный спец в этом, но как мне кажется, эксперты подтягиваются какие нужно. Мы просто задаем кол-во экспертов в VRAM. Ну и вот что сама Flash-Next про это рассказывает
"То есть вся архитектура Strata держится на том, что «модель знает, кого подтянуть» — не в смысле правила, а в смысле статистически крайне предсказуемого выбора гейта. Если бы маршрутизация была хаотичной, expert cache давал бы 20% hit и вся PCIe-конвейерная схема развалилась бы. У тебя CMP с 64 ГБ как раз и покупает возможность держать почти весь working set горячим — отсюда и 72–85 ток/с "
Грамотная сборка, человек понимает, что делает. Зачем 4 seqs под одного агента? Для генерации узкое место у вас не GPU, а пропускная способность памяти Ryzen (двухканальный DDR5, грубо 80-100 GB/s). Как я вижу загрузка GPU 30%/16% и смешные 71W + 44W: карты большую часть времени ждут данные из RAM. 20 t/s для такой схемы закономерный результат.
Так же слабое звено - VRAM забит под завязку. 15517/16376 и 14906/16311, при этом на GPU1 у вас висят Xorg, Telegram, Chromium и Firefox.
У вас как я вижу разные карты (Ada + Blackwell), llama.cpp переваривает это нормально, но раз bottleneck in RAM, разница в скорости между 4080 и 5060 Ti почти не играет в данной конфигурации большой роли.
Увеличение РАМ хотя бы до 128GB , move X to iGPU - увеличит производительность.
У меня на ГПУ машине 128 ГБ + M2 1TB SSD 7450 MB/s read and 6900 mb/s write_ но все равно при разделении ЛЛМ на GPU + CPU производительность падает . Не стала парится пока, все только на ГПУ карте считается
У меня Ryzen 3900x + 64GB DDR4 )))
Я могу и 25 t/s выжать из этого, но ценой нестабильной работы. Память будет под завязку и любой процесс на машине может обрушить LLM.
Так что лучше стабильные 20 t/s без MTP но с "всего" 33 слоями на CPU из 48 ) Next-Flash 176B я очень редко использую, основная 27B Q6 c 45-60 t/s, да и то пока Клод в лимите )))
Зачем 4 seqs под одного агента? По дефолту так) Да и не мешает. Выигрыш KV кеша будет мизерный если уменьшить seqs.
Загрузка и по 100% взлетает) Момент такой попался)
Увеличение РАМ хотя бы до 128GB , move X to iGPU - увеличит производительность. Увы, пока финансы не позволяют. Я безработный уже 10 месяц )
Это сообщение отредактировал Мишкасшишкой - 5 ноя 2026 в 21:56
Зацикливания, это когда модель начинает дословно повторять свои ответы. Часто из-за неправильных параметров (температура, настройки штрафа за повторы и т.д.) "То есть вся архитектура Strata держится на том, что «модель знает, кого подтянуть» — не в смысле правила, а в смысле статистически крайне предсказуемого выбора гейта. Если бы маршрутизация была хаотичной, expert cache давал бы 20% hit и вся PCIe-конвейерная схема развалилась бы. У тебя CMP с 64 ГБ как раз и покупает возможность держать почти весь working set горячим — отсюда и 72–85 ток/с "
Обсужу с Клодом, может еще выжму из своей машины. Ну и на Strata проверю. Но честно говоря этот зоопарк разных "запускалок" моделей уже достал) У меня одних только форков llama.cpp штук 5 (разные архитектуры моделей)
P/S Strata ожидаемо выше 29-31 t/s с двумя картами не прыгнула )
Это сообщение отредактировал Мишкасшишкой - 5 ноя 2026 в 22:15
Ну и на Strata проверю. Но честно говоря этот зоопарк разных "запускалок" моделей уже достал) У меня одних только форков llama.cpp штук 5 (разные архитектуры моделей)
От llama.cpp почти отошел. На ней мелкая моделька gemma-3-4b-it-Q4_K_M чисто для сжатия контекста крутится. Для Qwen3.8-27B использую vLLM (заметно быстрее, чем у llama префил), для Next - Strata И реально не ловил зацикливания. Хотя контекст доходит до 170-180К (макс стоит 256К)
Аннотация к любой модели - как "сказки в которые не верят даже бабки (не инвесторы, а женщины с огромным жизненным опытом)"!
Я ещё не пытался осчастливить тело насилуя собственный мозг (гильотинировать его ОЧЕНЬ не хочется (старый я - дурные привычки))
Аннотации, тесты... Скоро, очень скоро, даже аннотации ко всему этому (этим технологиям) никто читать не будет. Даже спецы, которые этим пользуются (а не зарабатывают их созданием, ... хотя, и они...).
Кажется, я сваливаюсь в псевдофилософию недофилософии "а жить-то дальше КАК???".
Это сообщение отредактировал murla - 6 ноя 2026 в 00:09
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
просто изображение
yaplakal.com