Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет?
У меня видеокарта 3070 8 гб,ОЗУ -48гб процессор 16 ядерный, Qwen 3.8 27b - скорость примерно 3-8 токенов в секунду. Может думать над кодом размером 64 килобайта 10-15 минут. Но думает не плохо, с заданиями справляется
Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет?
У меня видеокарта 3070 8 гб,ОЗУ -48гб процессор 16 ядерный, Qwen 3.8 27b - скорость примерно 3-8 токенов в секунду. Может думать над кодом размером 64 килобайта 10-15 минут. Но думает не плохо, с заданиями справляется
потому что на CPU сидит) Ей чтобы работать нормально нужно полностью в VRAM быть загруженной. Поищите MoE модели (например Qwen 3.6 35B A3B), пару экспертов в VRAM остальные на CPU. Но качество ее конечно ниже чем у 3.8
Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.
Сможет Ваша ИИшка дать верный ответ с первого раза?
Прошу прощения, я в этом вопросе пока лузер. Ест ноут MSI, карта Nvidia 3060,кажется, gt. Вопрос: "пиздец медленные" Это сколько в секундах? И данный ноутбук хоть что-то потянет?
У меня видеокарта 3070 8 гб,ОЗУ -48гб процессор 16 ядерный, Qwen 3.8 27b - скорость примерно 3-8 токенов в секунду. Может думать над кодом размером 64 килобайта 10-15 минут. Но думает не плохо, с заданиями справляется
потому что на CPU сидит) Ей чтобы работать нормально нужно полностью в VRAM быть загруженной. Поищите MoE модели (например Qwen 3.6 35B A3B), пару экспертов в VRAM остальные на CPU. Но качество ее конечно ниже чем у 3.8
Да, я знаю, спасибо за совет, но видеокарту за 16 -24гб я не осилю финансово
мой канал по новостям Hacker News. Все крутится на локальной GPU карте, при работе используются 2 ЛЛМ: Qwen 2.5 (7B) и Llama 3.1 (8B). в 08:00 n8n срабатывает таймер - нода Schedule Trigger, n8n идёт на сайт Hacker News и забирает ленту свежих статей — 20 штук, нода RSS Read. n8n склеивает 20 заголовков в один список и отправляет его на сервер с GPU cards, по очереди — отдельно под каждый язык:
«вот новости, сделай связный пересказ по-английски» → ждёт ответ то же самое по-немецки → ждёт ответ то же по-русски → ждёт ответ
AI читает заголовки, понимает о чём день, и пишет короткий пересказ в 2-3 абзаца. Осмысленный обзор — что сегодня главное. Это нода Code in JavaScript - работает GPU карта. На выходе получаются три готовых текста — английский, немецкий, русский. n8n кладёт каждый в отдельное сообщение и прикрепляет сверху флажок и дату. Затем n8n отправляет эти сообщения в Telegram-канал. Весь процесс занимает пару минут, в основном потому что AI пишет три версии по очереди, а не разом.
Qwen 2.5 (7B) — делает английский и немецкий. Llama 3.1 (8B) — вторая модель, от Meta. Пишет на русском
Модели не берут готовый английский текст и не переводят его на немецкий или русский — они заново пишут обзор по-немецки, с нуля, глядя на исходные заголовки. Поэтому немецкая и русская версии не идентичны слово в слово, каждая написана самостоятельно.
Дайджест получается на уровне тем, а не фактов. Он отвечает на вопрос «о чём сегодня говорят», а не «что конкретно написано».
Ollama - точка входа на GPU. В коде N8N прописано, какая модель отвечает за перевод. Qwen глючил на русском, срывался в китайский, пришлось русский перевод перевести на Llama. После 5 минут простоя Ollama выгружает модель, к которой не обращались. Модели скачаны и лежат на диске.
kubectl exec -n sparklab-ollama ollama-57bcfd898d-phbwd -c ollama -- ollama list NAME ID SIZE MODIFIED qwen2.5:32b-instruct-q3_K_M 44bd723cfd42 15 GB 7 weeks ago llama3.1:8b 46e0c10c039e 4.9 GB 7 weeks ago command-r:35b 7d96360d357f 18 GB 7 weeks ago qwen2.5:32b 9f13ba1299af 19 GB 7 weeks ago gemma3:27b a418f5838eaf 17 GB 2 months ago qwen3:32b 030ee887880f 20 GB 2 months ago qwen3:14b bdbd181c33f2 9.3 GB 2 months ago nomic-embed-text:latest 0a109f422b47 274 MB 3 months ago qwen2.5:7b 845dbda0ea48 4.7 GB 4 months ago llama3.2:3b a80c4f17acd5 2.0 GB 7 months ago
Я не гуру конечно, но учусь Это сообщение отредактировал DaoDao - 4 ноя 2026 в 22:08
Qwen глючил на русском, срывался в китайский, пришлось русский перевод перевести на Llama.
Мне больше всего нравится Gemma 4 как она по русски пишет. Очень редко встречается отсебятина. Но, я пересобираю модели сам, из весов Google. Например Unsloth сильно коверкает русский, из готовых лучше всего Bartowski
Мне больше всего нравится Gemma 4 как она по русски пишет
Gemini 4 - 26B A4B (MoE) : довольно интересная модель. у меня 2 карты по 16 GB, но одна карта занята RAG постоянно. Все же надеюсь купить V100 32GB и установлю данную модель, качество и скорость должны увеличиться
Мне больше всего нравится Gemma 4 как она по русски пишет
Gemini 4 - 26B A4B (MoE) : довольно интересная модель. у меня 2 карты по 16 GB, но одна карта занята RAG постоянно. Все же надеюсь купить V100 32GB и установлю данную модель, качество и скорость должны увеличиться
А ты так и не читала мой дневник) 26B была моей фавориткой до недавнего времени. И у меня на двух видеокартах полностью в VRAM жили G4 26B IQ4_XXS 32к ctx + bge-m3 Q8 + G4 4B Q8 + ComfyUI с моделями на 8GB
Я на 26B 110-120 t/s получал ( 3 персоны отвечали по очереди без задержек, и еще на внутреннюю кухню приложения хватало)
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 22:26
Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.
Сможет Ваша ИИшка дать верный ответ с первого раза?
А каждый человек сможет?
Сможет Ваша ИИшка дать верный ответ с первого раза? - на это вопрос даже мем имеется
у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята
Она МоЕ-модель! Ее не нужно всю пихать в VRAM )) Я на своем основном ПК (i9 4080 64Gb) именно ее и Qwen3.6-35B-A3B гонял, пока не собрал себе отдельный ПК под LLMки
Эта модель вполне комфортно себя чувствует на одной карте 16Гб Поболтать - хорошая моделька. В программировании - слабовата
у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята
gemma-4-26B-A4B-it-UD-IQ4_XS.gguf 13.6 GB С чего вдруг? С 32к ctx на карте место останется например под эмбеддинги. (32к для твоих задач думаю хватит)
Я и Gemma 4 31B через 4 дня после ее выхода на одной карте с 16GB полностью в VRAM гонял) С turboquant который тоже только появился на тот момент. Но 40 t/s меня не устроили.
Это сообщение отредактировал Мишкасшишкой - 4 ноя 2026 в 23:01
у нее размер чуть больше 20 GB только сплит на 2 карты. Но одна карта постоянно занята
Она МоЕ-модель! Ее не нужно всю пихать в VRAM )) Я на своем основном ПК (i9 4080 64Gb) именно ее и Qwen3.6-35B-A3B гонял, пока не собрал себе отдельный ПК под LLMки
Но можно, и лучше если она целиком в VRAM Меньше нагрузка на шину
Я занималась экспериментами, пока так все и стоит, руки не доходят. Но постараюсь все переделать в выходные. Делала логический поиск по Вики, все работает, но KV кэш сейчас 11 GB, не конфигурировала, сама ЛЛМ Мистрал-7В всего 4 GB
Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.
Сможет Ваша ИИшка дать верный ответ с первого раза?
А каждый человек сможет?
Тут тонкость в том, что задача выглядит вычислительной, хотя она на логику. Сумма первых 6 членов НЕУБЫВАЮЩЕЙ последовательности больше на 600, чем сумма последних 6 членов последовательности. Дипсик трижды начинал с 600 делить на 2 (последовательность из 11 чисел). И лишь после ТРЕТЬЕГО указания на "неубывающая", согласился.
Мишкасшишкой FloatP DaoDao ... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.
Сможет Ваша ИИшка дать верный ответ с первого раза?
А каждый человек сможет?
Тут тонкость в том, что задача выглядит вычислительной, хотя она на логику. Сумма первых 6 членов НЕУБЫВАЮЩЕЙ последовательности больше на 600, чем сумма последних 6 членов последовательности. Дипсик трижды начинал с 600 делить на 2 (последовательность из 11 чисел). И лишь после ТРЕТЬЕГО указания на "неубывающая", согласился.
Это как с медведем и мелкашкой.
Ты бы еще спросил как можно использовать кружку с запаянным верхом и без дна ) Или про высоту самого высокого моста в Нью Йорке Или изменятся ли правила игры в крестики-нолики если повернуть игральную доску на 90 градусов.
Умные модели это на раз вычисляют (не обязательно с большим кол-вом параметров), а слабые начинаю такую ахинею нести что хоть стой, хоть падай. =)
Это сообщение отредактировал Мишкасшишкой - 5 ноя 2026 в 00:07
... Задача: Дана неубывающая последовательность из 11 чисел. Известно, что сумма первых шести чисел отличается от суммы последних шести на 600. Нужно определить, возможно ли это, и если да — найти такую последовательность.
Сможет Ваша ИИшка дать верный ответ с первого раза?
6 секунд Claude Fable 5 High
Ключевое наблюдение: шестой элемент входит в обе суммы. Поэтому
То есть разница сумм равна разнице "последней пятёрки" и "первой пятёрки".
Ограничение по направлению. Последовательность неубывающая, значит каждый из a7...a11 не меньше любого из a1...a5. Отсюда сумма последних пяти всегда ≥ суммы первых пяти. Вывод: последние шесть могут превышать первые шесть на 600, а наоборот никак.
Пример. Нужно (a7 + ... + a11) - (a1 + ... + a5) = 600. Берём самый тупой вариант:
0, 0, 0, 0, 0, 0, 120, 120, 120, 120, 120
Проверка:
первые шесть: 0 + 0 + 0 + 0 + 0 + 0 = 0 последние шесть: 0 + 120·5 = 600 разница: 600, монотонность не нарушена
Вариантов бесконечно много. Любая неубывающая последовательность, где первая пятёрка в сумме на 600 меньше последней, подойдёт, a6 вообще не влияет на разницу (лишь бы вписывался между a5 и a7). Например: 10, 20, 30, 40, 50 (сумма 150), a6 = 100, дальше 140, 145, 150, 155, 160 (сумма 750). Разница ровно 600.
Это сообщение отредактировал DaoDao - 5 ноя 2026 в 00:00
Понасмотревшись интернетов решился на m4/16/512 установить Bonsai 27B, модель весит 8.5 Gb, ставил по похожей схеме как предложил автор темы, только через Bionic. Тормозит дико, качество ответа еще не проверял. Ноут ожидаемо кипит, активного охлаждения нема. Понятно, что данная конфигурация не для этих целей, но попробовать хотелось.
Это сообщение отредактировал Puzanpuzan - 5 ноя 2026 в 00:03
Понасмотревшись интернетов решился на m4/16/512 установить Bonsai 27B, модель весит 8.5 Gb, ставил по похожей схеме как предложил автор темы, только через Bionic. Тормозит дико, качество ответа еще не проверял. Ноут ожидаемо кипит, активного охлаждения нема. Понятно, что данная конфигурация не для этих целей, но попробовать хотелось.
самые неоднозначные модели. Я пробовал и тернарную и бинарную.
Нужно очень аккуратно подбирать температуру и "размышление"
Задай ей вопрос "Сколько букв Р в слове Клубника" если 1 и больше играй температурой) Если начнет односложно отвечать, настраивай размышление.
Выглядит со стороны заманчиво, но KV кеш сожрет всю память, и выигрыша не будет) Проще обычную модель юзать.
Это сообщение отредактировал Мишкасшишкой - 5 ноя 2026 в 00:06
DaoDao Приведённое Вами решение есть много где. Тонкость в формулировке задачи. В её формулировке даже "минус" есть (и тогда задача очевидна). Но там не минус, там короткое "тире"! Изначально там подразумевается, что первая половина больше второй. Равенство сумм ещё можно придумать, иначе невозможно.
Цитата (DaoDao @ 4 ноя 2026 в 23:59)
Последовательность неубывающая, значит каждый из a7...a11 не меньше любого из a1...a5. Отсюда сумма последних пяти всегда ≥ суммы первых пяти. Вывод: последние шесть могут превышать первые шесть на 600, а наоборот никак.
Вот "наоборот никак" это в условии задачи - главное. То есть, когда есть что вычислять - нужно вычислять во чтобы ни стало. На этом ДипСик и ложанулся. Другие модели не проверял.
Это Вы же симуляцию гравитации запускали. Я тогда указывал Вам на странное поведение тел положительной массы. Помните? Без логики все расчёты верны ровно на "или встречу или не встречу".
Это сообщение отредактировал murla - 5 ноя 2026 в 00:19
DaoDao Приведённое Вами решение есть много где. Тонкость в формулировке задачи. Изначально там подразумевается, что первая половина больше второй. Равенство ещё можно придумать, иначе невозможно.
Цитата (DaoDao @ 4 ноя 2026 в 23:59)
Последовательность неубывающая, значит каждый из a7...a11 не меньше любого из a1...a5. Отсюда сумма последних пяти всегда ≥ суммы первых пяти. Вывод: последние шесть могут превышать первые шесть на 600, а наоборот никак.
Вот "наоборот никак" это в условии задачи - главное.
Математика для них херня.
Попробуй дай модели спроектировать электронную схему сложнее пары резисторов со светодиодами, хотя бы на 5 - 10 элементов ( условно ESP32 S3 + DAC5102 + 2 энкодера + 4 кнопки + дисплей) и ты удивишься сколько токенов сожрет такая тривиальная задача. Даже без прошивки и разводки платы.
Клод осилит без проблем, но задумается на время. Qwen 3.8 27B на грани, ведя за ручку с подзатыльниками))), постепенно нарисует в KiCAD подобие схемы. Раза с 50-го.
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
3 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
yaplakal.com