Свой ИИ на своём компьютере в один клик: Local AI (бесплатно, без регистрации, без интернета в чате)

Они все платные. Минималка 5$ стоит.

что меня смущает. если человеку понимает зачем ему нужна локальная LLM то нахрена ему эта программа помогалка? Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк. я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70))))

А, оно обучаемое, можно как ребятенка воспитывать, скармливать ему инфу, выращивать так скажем своё такое вот?

Цитата (orda72 @ 3 ноя 2026 в 11:30)

что меня смущает. если человеку понимает зачем ему нужна локальная LLM то нахрена ему эта программа помогалка? Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк. я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70))))

А если не разбираеться именно как все это поставить? Вот для этого и нужна

Цитата (DaoDao @ 3 ноя 2026 в 10:05)

Цитата (murla @ 03.11.2026 - 09:04) Напомните, во сколько он обойдётся? Для старта домашнего ИИ-погромирования у Эппл есть моделька всего за 00. Места почти не занимает, не шумит. мать - 0 cpu - ram - достаточно 32-64gb video - любая карта за 20 долларов корпус, блок питания - 0 GPU карта, в зависимости от модели от 100 до 700 долларов ставите линух, подключайтесь клиентом и в общем то все...

О каком камне/камнях речь? Извольте ответить пожалуйста.
Это сообщение отредактировал instinkt12 - 3 ноя 2026 в 12:18

Цитата (instinkt12 @ 3 ноя 2026 в 12:18)

Цитата (DaoDao @ 3 ноя 2026 в 10:05) Цитата (murla @ 03.11.2026 - 09:04) Напомните, во сколько он обойдётся? Для старта домашнего ИИ-погромирования у Эппл есть моделька всего за 00. Места почти не занимает, не шумит. мать - 0 cpu - ram - достаточно 32-64gb video - любая карта за 20 долларов корпус, блок питания - 0 GPU карта, в зависимости от модели от 100 до 700 долларов ставите линух, подключайтесь клиентом и в общем то все... О каком камне/камнях речь? Извольте ответить пожалуйста.

Эм. Камни бесконечности!!!

Цитата (Andygoo @ 3 ноя 2026 в 11:31)

А, оно обучаемое, можно как ребятенка воспитывать, скармливать ему инфу, выращивать так скажем своё такое вот?

Если использовать LLM с агентом - то вполне. Я использую с Гермесом, он на меня целую базу создал ))) И любой диалог начинаю, ну например на тему серваков мои. Он смотрит по своей базе - и уже в курсе что и где находится

Цитата (instinkt12 @ 03.11.2026 - 12:18)

О каком камне/камнях речь? Извольте ответить пожалуйста.

Xeon e5-2699v4, 2698v4,2695v4

хотя процессор тут не принципиально важен
Размещено через приложение ЯПлакалъ

Цитата (OlegChe77 @ 3 ноя 2026 в 13:16)

Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) А если не разбираеться именно как все это поставить? Вот для этого и нужна

Если человек не имеет отношения к автомобилям, ему не нужна шпаргалка по разбору карбюратора. С другой стороны, поставит несведущий человек твою хуйню, определит она ему в работу под его железо Qwen2.5-Coder. Человек напишет какую-то свою задачу по впихиванию невпихуемого, и модель ожидаемо для сведущего выдаст ему хуйню. Человек подумает о принадлежности определенному сорту субстанций этого вашего ИИ, об ориентации автора и его родственников, которые украли его время, и либо начнет ковырять проблему самостоятельно, либо пойдет жаловаться по форумам на жизнь. И так и эдак - программа выглядит бессмысленной на этом этапе развития локальных моделей на потребительском железе.

Цитата (OlegChe77 @ 3 ноя 2026 в 12:16)

Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) А если не разбираеться именно как все это поставить? Вот для этого и нужна

Не нужна. Не майтесь херней. Воспользуйтесь бесплатным чатом DeepSeek. Он вам распишет именно вашу конфигурацию и выдаст последовательность шагов)))) Ну или натравите Hermes агента. Он вам идеально настроит ваш сервер LLM. Скажет сколько получите на префиле и генерации. Разрежет по картам и памяти.

Цитата (orda72 @ 3 ноя 2026 в 13:17)

Ну или натравите Hermes агента.

К хермесу нужно модельку будет подключать. А это денюжку хоть и небольшую, но потратить..
Проще OpenCode использовать, там уже встроенные модели есть

Цитата (Japansgod @ 3 ноя 2026 в 13:15)

Цитата (OlegChe77 @ 3 ноя 2026 в 13:16) Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) А если не разбираеться именно как все это поставить? Вот для этого и нужна Если человек не имеет отношения к автомобилям, ему не нужна шпаргалка по разбору карбюратора. С другой стороны, поставит несведущий человек твою хуйню, определит она ему в работу под его железо Qwen2.5-Coder. Человек напишет какую-то свою задачу по впихиванию невпихуемого, и модель ожидаемо для сведущего выдаст ему хуйню. Человек подумает о принадлежности определенному сорту субстанций этого вашего ИИ, об ориентации автора и его родственников, которые украли его время, и либо начнет ковырять проблему самостоятельно, либо пойдет жаловаться по форумам на жизнь. И так и эдак - программа выглядит бессмысленной на этом этапе развития локальных моделей на потребительском железе.

Согласен, друг мой))) Вопрос в том что такое потребительское железо))) У меня рабочая конфа с 4 мя картами ARC PRO B70/ Каждая из них потребительская. а вот в сумме не очень))) qwen 3.8 flash в FP8 тянет))) А если человек картинками мается то ему 16 ГБ в ComfyUI за уши, чтобы похулиганить)))

Цитата (orda72 @ 3 ноя 2026 в 11:30)

что меня смущает. если человеку понимает зачем ему нужна локальная LLM то нахрена ему эта программа помогалка? Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк. я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70))))

Четыре карты arc pro b70 - это миллион рублёв.
Плюс БП под них, мать и оперативную память.

С таким бюджетом самостоятельно разбираться - это не хобби, а необходимость.

Цитата (nikmil @ 3 ноя 2026 в 13:20)

Цитата (orda72 @ 3 ноя 2026 в 13:17) Ну или натравите Hermes агента. К хермесу нужно модельку будет подключать. А это денюжку хоть и небольшую, но потратить.. Проще OpenCode использовать, там уже встроенные модели есть

При цене карт = ОХУЛИАРД потратить 10 баксов на DeepSeek API правда дорого? )))

Шоб трусы с баб снимать на картинках какая лучше подойдет?

Цитата (Мифодий @ 3 ноя 2026 в 13:22)

Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) Четыре карты arc pro b70 - это миллион рублёв. Плюс БП под них, мать и оперативную память. С таким бюджетом самостоятельно разбираться - это не хобби, а необходимость.

Какой там миллион. брал по 990 в штатах. в начале августа. Родственники привезли в Россию. Сейчас цена 1900 в штатах. Карты дороги. но в моей сборке они всего половину денег съели. Память 256 ГБ мать супермикро и блоки питания и прочее.

Цитата (mezzo @ 3 ноя 2026 в 10:24)

Я и без этого сразу скажу - если у вас меньше 32 гигабайт оперативки и меньше 12 гигов видеокарта, то можете даже не качать это приложение. Оно может вам туда чего и поставит, но работать это будет со скоростью телеги запряжённой в старого дряхлого ишака ))

На 16 гигах нормально бегает(Jan+всякое, Comfy UI+ всякое фото-видео), со всеми минусами малого объёма памяти.
Но есть огромный плюс, ради которого всё и затевалось, в такую модель можно пихать любые нужные данные, почти не опасаясь цензурирования и утечки.

Для задач требующих большой контекст и кэш конечно не очень подходит, но для них есть другие инструменты.
Это сообщение отредактировал Domatsu - 3 ноя 2026 в 13:28

Цитата (Seid @ 3 ноя 2026 в 12:22)

Локальные пиздец медленные.

Хз, у меня очень шустро работает.
Две видеокарты, одна 2080ti 11gb, вторая 5070ti 16gb

Цитата (orda72 @ 3 ноя 2026 в 13:25)

Цитата (Мифодий @ 3 ноя 2026 в 13:22) Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) Четыре карты arc pro b70 - это миллион рублёв. Плюс БП под них, мать и оперативную память. С таким бюджетом самостоятельно разбираться - это не хобби, а необходимость. Какой там миллион. брал по 990 в штатах. в начале августа. Родственники привезли в Россию. Сейчас цена 1900 в штатах. Карты дороги. но в моей сборке они всего половину денег съели. Память 256 ГБ мать супермикро и блоки питания и прочее.

Вот актуальная, не самая высокая цена на эту карточку. Это если нет родственников в соединительных штатах.

Цитата (orda72 @ 3 ноя 2026 в 13:22)

При цене карт = ОХУЛИАРД потратить 10 баксов на DeepSeek API правда дорого? )))

Смотря какая задача стоит. Нафиг для настройки локальной LLM нужен Гермес? OpenCode справится не хуже

Цитата (Мифодий @ 3 ноя 2026 в 13:35)

Цитата (orda72 @ 3 ноя 2026 в 13:25) Цитата (Мифодий @ 3 ноя 2026 в 13:22) Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) Четыре карты arc pro b70 - это миллион рублёв. Плюс БП под них, мать и оперативную память. С таким бюджетом самостоятельно разбираться - это не хобби, а необходимость. Какой там миллион. брал по 990 в штатах. в начале августа. Родственники привезли в Россию. Сейчас цена 1900 в штатах. Карты дороги. но в моей сборке они всего половину денег съели. Память 256 ГБ мать супермикро и блоки питания и прочее. Вот актуальная, не самая высокая цена на эту карточку. Это если нет родственников в соединительных штатах.

На компутеруневерсе есть по 1700 ойро. Но в прицепе нужны родственники в европе. )))) И учитывайте чо это не нвидиа. гемору с ними много. Скорость так себе. Но если нужен объем не за охулиард то другой альтернативы я для себя не нашел

Цитата (nikmil @ 3 ноя 2026 в 13:37)

Цитата (orda72 @ 3 ноя 2026 в 13:22) При цене карт = ОХУЛИАРД потратить 10 баксов на DeepSeek API правда дорого? ))) Смотря какая задача стоит. Нафиг для настройки локальной LLM нужен Гермес? OpenCode справится не хуже

не знаю друг мой))) просто пишу что сам использую. вроде как за единственно верное решение не выдаю. гермес у меня на каждый день))) ему и поручил. Мне нравиться. особенно их десктопная версия для виндов. удобно. бек на серваке фронт на трех моих машинах)))

Цитата (orda72 @ 3 ноя 2026 в 14:21)

Цитата (Japansgod @ 3 ноя 2026 в 13:15) Цитата (OlegChe77 @ 3 ноя 2026 в 13:16) Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) А если не разбираеться именно как все это поставить? Вот для этого и нужна Если человек не имеет отношения к автомобилям, ему не нужна шпаргалка по разбору карбюратора. С другой стороны, поставит несведущий человек твою хуйню, определит она ему в работу под его железо Qwen2.5-Coder. Человек напишет какую-то свою задачу по впихиванию невпихуемого, и модель ожидаемо для сведущего выдаст ему хуйню. Человек подумает о принадлежности определенному сорту субстанций этого вашего ИИ, об ориентации автора и его родственников, которые украли его время, и либо начнет ковырять проблему самостоятельно, либо пойдет жаловаться по форумам на жизнь. И так и эдак - программа выглядит бессмысленной на этом этапе развития локальных моделей на потребительском железе. Согласен, друг мой))) Вопрос в том что такое потребительское железо))) У меня рабочая конфа с 4 мя картами ARC PRO B70/ Каждая из них потребительская. а вот в сумме не очень))) qwen 3.8 flash в FP8 тянет))) А если человек картинками мается то ему 16 ГБ в ComfyUI за уши, чтобы похулиганить)))

Я может быть неточно выразился. Большинство, которое охуевает от цен по низу рынка, не берет себе железо, в которое можно воткнуть 4 неигровые видеокарты. Они берут обычный комп с обычной материнкой и обычной видеокартой, поскольку бытовое использование и большинство рабочих задач большего не требуют. В итоге у них 4-24 гб vram и 4-64 гб ОЗУ в зависимости от кошелька и хотелок. Меньше - это уже почти музейный экспонат, больше - мажоры и люди, которым надо и они почти наверняка шарят.

Цитата (Japansgod @ 3 ноя 2026 в 13:43)

Цитата (orda72 @ 3 ноя 2026 в 14:21) Цитата (Japansgod @ 3 ноя 2026 в 13:15) Цитата (OlegChe77 @ 3 ноя 2026 в 13:16) Цитата (orda72 @ 3 ноя 2026 в 11:30) что меня смущает. если человеку понимает зачем ему нужна локальная LLM  то нахрена ему эта программа помогалка?  Разбирись в архитектуре конкретной LLM, спрогнозируй сценарий использования и выбери фреймворк.  я старый пердун и то разобрался с vllm под убунту да еще и с четырмя картами arc pro b70)))) А если не разбираеться именно как все это поставить? Вот для этого и нужна Если человек не имеет отношения к автомобилям, ему не нужна шпаргалка по разбору карбюратора. С другой стороны, поставит несведущий человек твою хуйню, определит она ему в работу под его железо Qwen2.5-Coder. Человек напишет какую-то свою задачу по впихиванию невпихуемого, и модель ожидаемо для сведущего выдаст ему хуйню. Человек подумает о принадлежности определенному сорту субстанций этого вашего ИИ, об ориентации автора и его родственников, которые украли его время, и либо начнет ковырять проблему самостоятельно, либо пойдет жаловаться по форумам на жизнь. И так и эдак - программа выглядит бессмысленной на этом этапе развития локальных моделей на потребительском железе. Согласен, друг мой))) Вопрос в том что такое потребительское железо))) У меня рабочая конфа с 4 мя картами ARC PRO B70/ Каждая из них потребительская. а вот в сумме не очень))) qwen 3.8 flash в FP8 тянет))) А если человек картинками мается то ему 16 ГБ в ComfyUI за уши, чтобы похулиганить))) Я может быть неточно выразился. Большинство, которое охуевает от цен по низу рынка, не берет себе железо, в которое можно воткнуть 4 неигровые видеокарты. Они берут обычный комп с обычной материнкой и обычной видеокартой, поскольку бытовое использование и большинство рабочих задач большего не требуют. В итоге у них 4-24 гб vram и 4-64 гб ОЗУ в зависимости от кошелька и хотелок. Меньше - это уже почти музейный экспонат, больше - мажоры и люди, которым надо и они почти наверняка шарят.

Дружище, согласитесь что уквантованная в Q2 модель на 27 миллирдов с кешем 16K ничего кроме отвращения не вызовет))) Поэтому не стоит себе придумывать гемора. хочешь все прелести ИИ пощупать покупай API у китайцев. Хочешь телок без трусов с тремя ногами велкам в комфи с флюксом на 16 ГБ))) ну нет чудес на свете. На потребительском железе не стоит ничего ожидать выше потребительского уровня. На БМВ 320d рекордов не ставят.

Цитата (orda72 @ 3 ноя 2026 в 13:39)

Но если нужен объем не за охулиард то другой альтернативы я для себя не нашел

cmp170hx 64 Gb - были по 200 тыс на Авито. Счас конечно не знаю, наверное уже подорожали

P.S. Глянул - уже по 300 тыс )))
Это сообщение отредактировал nikmil - 3 ноя 2026 в 13:53