HW for AI

[moose]

... AMD EPYC. Они очень мощные в том числе и по потребляемой мощности, величины потрясают.

Не, не потрясают, какие-то 200-300 W, ерунда. Мы тоже такое делали. А вот H100/H200 - уже до 700 W доходит. Центр, используемый OpenAI по потреблению энергии примерно равен потреблению энергии от 30 тысяч американских домохозяйств. Пора спасать планету и переходить на более лёгкие и более холодные решения.

[kyk]

Когда я прокинул сколько может в пике потреблять пара таких CPU, я понял что в домашнюю электросеть такой сервак уже не лезет

на работе розетка есть? Да и дома, люди Тёслы и прочие электро-SUV заряжают. Закажешь специальную прозетку большой мощности у Toronto Hydro или как-там у вас называется

[kyk]

2) Получать ответы на вопросы, которыми нежелательно делиться с провайдеров в виду их privary policy. Например "как лечить геморрой".

порнуха опять же

Хотя есть один более нужный 'use case'.
Я хочу заставить модель отвечать на мои входящие email-ы (не все, но часть из них). Причём не как мой "Email Assistant" , а именно impersonating me as a live person c моим реальным именем.
То есть чтобы те люди, что что пишут мне email-ы, думали что отвечаю я сам (Вася Кук), своими руками, а не AI

Если попытаться дать такую инструкцию OpenAI GPT-5 или Google Gemini или Claude Opus, то они откажутся это делать по legal/ethics соображениям.

Надо будет попробовать китайский DeepSeek R1, но руки не доходят

На прямой вопрос "Who are you?", модель должна отвечать: "Вася Kук".
На прямой вопрос: Аre you AI or real person?", модель должна отвечать: "real person"
Причём модель не должна пытаться озвучивать any disclosure от своего (модели) имени.
Ничего иного противозаконного от модели я не требую и ответы на email-ы будут простые и не будут причинять людЯм harm.
На сложные вопросы модель отвечать не будет и будет передавать эти email-ы мне, чтобы отвечал я сам.

[WebFunk]

Я б не доверялся этим ботам. Пустит по миру или вообще подведет под статью.

[kyk]

Я б не доверялся этим ботам. Пустит по миру или вообще подведет под статью.

Полностью согласен, что ботам нельзя доверять ответственные задачи, которые могут подвести под монастырЪ.
Но кое-что простое можно, например, ответить: "Я (Вася Кук) сейчас занят и напишу ответ позже".
Или, "I have forwarded your email to Mr. Pupkin"

Важно показать отправителю email-а, что отвечаю я сам (Вася Кук), а не AI.
Ну а если даже он и предположит такую вероятность, то ничего страшного, не пойман - не вор (с)
Главное в этом деле чтобы

...модель не должна пытаться озвучивать any disclosure от своего (модели) имени.

[Mad Hatter]

Когда я прокинул сколько может в пике потреблять пара таких CPU, я понял что в домашнюю электросеть такой сервак уже не лезет

на работе розетка есть? Да и дома, люди Тёслы и прочие электро-SUV заряжают. Закажешь специальную прозетку большой мощности у Toronto Hydro или как-там у вас называется

Там три уровня. Третий больше 200A
У меня в доме линия 200A

[Mad Hatter]

... AMD EPYC. Они очень мощные в том числе и по потребляемой мощности, величины потрясают.

Не, не потрясают, какие-то 200-300 W, ерунда. Мы тоже такое делали. А вот H100/H200 - уже до 700 W доходит. Центр, используемый OpenAI по потреблению энергии примерно равен потреблению энергии от 30 тысяч американских домохозяйств. Пора спасать планету и переходить на более лёгкие и более холодные решения.

9005 серия - TDP до 500W. Два камня - киловатт. Плюс все остальное. Втыкаем парочку GPU и войла, в пике легко перекрываем 1500W, что превышает лимит стандарта проводки 15 A. А там сразу и проблема охлаждения. В общем точно не домашний вариант

[Uzito]

ответить: "Я (Вася Кук) сейчас занят и напишу ответ позже".

When you have a microscope everything looks like a nail.

Что, Майкрасофт убрал из аутлука Out of Office ответ и базовые макро?

[Mad Hatter]

Я б не доверялся этим ботам. Пустит по миру или вообще подведет под статью.

Полностью согласен, что ботам нельзя доверять ответственные задачи, которые могут подвести под монастырЪ.
Но кое-что простое можно, например, ответить: "Я (Вася Кук) сейчас занят и напишу ответ позже".
Или, "I have forwarded your email to Mr. Pupkin"

Важно показать отправителю email-а, что отвечаю я сам (Вася Кук), а не AI.
Ну а если даже он и предположит такую вероятность, то ничего страшного, не пойман - не вор (с)
Главное в этом деле чтобы

...модель не должна пытаться озвучивать any disclosure от своего (модели) имени.

Можно использовать тот же chatgpt через посредника: скрипт или простая модель которая заменяет ответы от chgpt на нужное имя.

[moose]

это очень интересно - я весь в внимании

Я чего-то наворотил, пришёл в дикий восторг, но сейчас уже не помню "явок, имён, паролей". Вечером пройдусь, повторю на десктопе и завтра отпишусь. Обещаю, самому надо

Ок, пробежался. Начинал здесь: https://www.kdnuggets.com/top-7-small-language-models

Поставил https://huggingface.co/janhq/Jan-v1-4B , ну и пришлось Jan поставить, в основном из-за настройки под "agentic reasoning". Ну, особых нареканий к Jan нет, хотя планирую использовать из питона, по API. Теперь, наконец, перехожу к изучению Agentic AI. На лаптопе скорость SLM приемлема, на десктопе (без nVidia GPU) всё летает.

Концепция изложена здесь: https://research.nvidia.com/labs/lpr/slm-agents/ . Сейчас "по мотивам" появилось много производных статей. Изучаю и буду у себя "толкать", монополия nVidia, необходимость идти на поклон к клауду, заколебали

[moose]

9005 серия - TDP до 500W. Два камня - киловатт. Плюс все остальное. Втыкаем парочку GPU и войла, в пике легко перекрываем 1500W, что превышает лимит стандарта проводки 15 A. А там сразу и проблема охлаждения. В общем точно не домашний вариант

Это те CPU, у которых под 200 ядер и цена на старте была под $15000 ($15k) за один CPU ? Не, точно не домашний вариант

[Mad Hatter]

9005 серия - TDP до 500W. Два камня - киловатт. Плюс все остальное. Втыкаем парочку GPU и войла, в пике легко перекрываем 1500W, что превышает лимит стандарта проводки 15 A. А там сразу и проблема охлаждения. В общем точно не домашний вариант

Это те CPU, у которых под 200 ядер и цена на старте была под $15000 ($15k) за один CPU ? Не, точно не домашний вариант

11 килокаксов. Копейки!

Screenshot_20250914_121437_Newegg.jpg (232.43 КБ) 493 просмотра

[kyk]

Можно использовать тот же chatgpt через посредника: скрипт ... заменяет ответы от chgpt на нужное имя.

Чтобы GPT-5 модель качественно и точно отвечал на e-mail-ы, её надо проинформировать что её задача отвечать на email-ы, ну типа system_prompt= "You are helpful email assistant". После этого скрипт-посредник вставит нужное имя (Вася Кук). Но модель может (без спроса, по собственной инициативе) включить в свой ответ комментарий или disclosure, что она не живой человек, что может ошибаться, ну или другой аналогичный комментарий, из которого станет видно, что это таки не настоящий Вася Пупкин, а AI.

Единственный железобетонный способ избежать такого комментария - это чтобы модель добровольно согласилась выполнять задачу to impersonate Vasya Kyk and not to include any disclosure or comment that can reveal it is AI

Можно конечно использовать вторую модель (или отдельный API call) чтобы детектировать такого рода комментарий в первой модели, с тем чтобы его удалить или не пропустить. Но это тоже не 100% надёжно и усложняет

[Mad Hatter]

Можно использовать тот же chatgpt через посредника: скрипт ... заменяет ответы от chgpt на нужное имя.

Чтобы GPT-5 модель качественно и точно отвечал на e-mail-ы, её надо проинформировать что её задача отвечать на email-ы, ну типа system_prompt= "You are helpful email assistant". После этого скрипт-посредник вставит нужное имя (Вася Кук). Но модель может (без спроса, по собственной инициативе) включить в свой ответ комментарий или disclosure, что она не живой человек, что может ошибаться, ну или другой аналогичный комментарий, из которого станет видно, что это таки не настоящий Вася Пупкин, а AI.

Единственный железобетонный способ избежать такого комментария - это чтобы модель добровольно согласилась выполнять задачу to impersonate Vasya Kyk and not to include any disclosure or comment that can reveal it is AI

Можно конечно использовать вторую модель (или отдельный API call) чтобы детектировать такого рода комментарий в первой модели, с тем чтобы его удалить или не пропустить. Но это тоже не 100% надёжно и усложняет

Ну вот, тогда использовать свою local/cloud модель

[assassello]

Как обычно, новые технологии позволяют решать задачи, которых до них просто не стояло.

E-mail не подразумевает немедленного ответа. Необязательно писать "отвечу позже".

[kyk]

Ну вот, тогда использовать свою local/cloud модель

все такие (готовые) модели наверняка тоже запрограммированы с запретом to impersonate.

[kyk]

Как обычно, новые технологии позволяют решать задачи, которых до них просто не стояло.

E-mail не подразумевает немедленного ответа. Необязательно писать "отвечу позже".

это я привёл тривиальный пример для тех кто в танке, имея ввиду относительно простой ответ.

[assassello]

Как обычно, новые технологии позволяют решать задачи, которых до них просто не стояло.

E-mail не подразумевает немедленного ответа. Необязательно писать "отвечу позже".

это я привёл тривиальный пример для тех кто в танке, имея ввиду относительно простой ответ.

Нетривиальный пример приведи тогда. Все, что я себе могу представить нетривиальное - требует достаточно высокого уровня "доверия" к AI. В смысле, мне было бы реально ссыкотно, что железяка меня подпишет на какое-нибудь "супер выгодное предложение!" или ляпнет чего-то такого, что корреспондет обидится и/или решит что я ку-ку.

[Mad Hatter]

Ну вот, тогда использовать свою local/cloud модель

все такие (готовые) модели наверняка тоже запрограммированы с запретом to impersonate.

Надо проверить

[Mad Hatter]

Ну вот, тогда использовать свою local/cloud модель

все такие (готовые) модели наверняка тоже запрограммированы с запретом to impersonate.

Что ответил chatgpt:

Local LLMs and impersonation

Yes, technically a locally hosted LLM (for example, running with frameworks like ExLLaMA v2, llama.cpp, or Ollama) can be configured to generate text impersonating a given individual’s name or even prepend a tag like “[Name]: …”.

How it works: You simply instruct the model in the prompt, e.g., “Respond as if you are John Doe, using first-person statements.” Since local models run fully under your control, there are no built-in safeguards stopping them.