Пожелания и планы на будущее

[kyk]

@elpresidente*
Я потестировал интеллект у GPT4o и хочу сказать, что по многим моим критериям GPT4o таки бьёт Claude Opus 3. Причём я имею ввиду обработку обычного текста , а не новые функциональные возможности GPT4o.

А Gemini 1.5 гораздо тупее даже чем Claude Opus 3

OpenAi таки крут неимоверно

[elpresidente*]

@kyk Согласен, gpt4o по прежнему лучший и что немаловажно самый недорогой вариант из этих трех. Но остальные не сильно отстают. Gemini 1.5 pro это омни модель, как и gpt4o, ее основной плюс это контекст в 1M.

Начинаю всерьез подумывать чтобы проиндексировать всю базу (без Девочек, Для Взрослых и Мужского Клуба):
- Хранение данных Azure CosmosDB Mongo vCore vector index, free tier (32GB) https://devblogs.microsoft.com/cosmosdb ... free-tier/
- Web API на Azure https://github.com/microsoft/sample-app-aoai-chatGPT, Azure App Service Free tier F1 https://azure.microsoft.com/en-us/prici ... s/#pricing (60 CPU minutes/day) 1GB RAM 1.00 GB ROM
- OpenAPI https://openai.com/api/pricing/
gpt-4o: Input $5.00/1M tokens, Output $15.00/1M tokens
text-embedding-3-small $0.02/1M tokens - это скорее всего будет основная статья расхода при закачке данных, все остальное бесплатно

Сейцас имеем:
Размер базы данных 2.49 ГБ - где-то 60% если убрать Девочек, Для Взрослых и Мужской Клуб, те ~1.5ГБ текста
Размер всех вложений 15.9 ГБ - это скорее всего не надо индексировать

Те надо оценить расходы (и время) на векторизацию примерно 1.5ГБ русского текста исходя из $0.02/1M tokens (text-embedding-3-small).

Вот что говорит сам gpt4o:

1.5GB of Russian text is estimated to contain approximately 222 million tokens when tokenized using a model like "text-embedding-3-small."
Note that this is a rough estimate. The exact number can vary based on the actual text content, including word frequency, punctuation, and specific language constructs.

Получается ~$5?
Если так то надо будет сделать плагин под это дело.

[kyk]

@elpresidente*

gpt-4o: .... Output $15.00/1M tokens

да, цена неплохая.

Но у всех моделей, включая gpt-4o, по-прежнему остаётся limit=4096 на максимальный размер of output per one GPT call/turn. Я понимаю, что для получения длинного выхода создаётся tread with multiple GPT calls/turns.
Для чата это вполне годится.

Но это не позволяет, например, с помошью одного лишь prompt-а сгенирировать 20-страничный качественный документ с детальной инструкцией в одном prompt-е.

Это возможно сделать, но фактически для генерации каждой следущей порции 4096 будет нужен новый prompt и новый GPT call.
Т.е. получается что детальную инструкцию генерации большого документа надо разбивать на маленькие кусочки-маленькие инструкции. При этом GPT model по-прежнему остаётся stateless , в том смысле, что сама модель не знает что она задействована in tread with multiple calls. Мы-то знаем, а сама модель не знает.

[alex_127]

@elpresidente*

gpt-4o: .... Output $15.00/1M tokens

да, цена неплохая.

Но у всех моделей, включая gpt-4o, по-прежнему остаётся limit=4096 на максимальный размер of output per one GPT call/turn. Я понимаю, что для получения длинного выхода создаётся tread with multiple GPT calls/turns.
Для чата это вполне годится.

Но это не позволяет, например, с помошью одного лишь prompt-а сгенирировать 20-страничный качественный документ с детальной инструкцией в одном prompt-е.

Это возможно сделать, но фактически для генерации каждой следущей порции 4096 будет нужен новый prompt и новый GPT call.
Т.е. получается что детальную инструкцию генерации большого документа надо разбивать на маленькие кусочки-маленькие инструкции

Есть стартапы что такое клея уже… ссылок нет ибо это проскакивало в приватной фб группе

[kyk]

клея

какого клея?

[elpresidente*]

@elpresidente*

gpt-4o: .... Output $15.00/1M tokens

да, цена неплохая.

Но у всех моделей, включая gpt-4o, по-прежнему остаётся limit=4096 на максимальный размер of output per one GPT call/turn. Я понимаю, что для получения длинного выхода создаётся tread with multiple GPT calls/turns.
Для чата это вполне годится.

Но это не позволяет, например, с помошью одного лишь prompt-а сгенирировать 20-страничный качественный документ с детальной инструкцией в одном prompt-е.

Сейцас работаю над новым ботом для форума который будет использовать треды и сможет обрабатывать вложения, все это на основе омни модели gpt4o (позжне можно будет добавить Gemini).
Это будет во первых дешевле(оказалось что это не так, стоимость та-же) а во вторых позволит обрабатывать медиа файлы в дополнение к тексту.

Это возможно сделать, но фактически для генерации каждой следущей порции 4096 будет нужен новый prompt и новый GPT call.
Т.е. получается что детальную инструкцию генерации большого документа надо разбивать на маленькие кусочки-маленькие инструкции

Все верно, как вы написали 4К это сейчас максимальный размер одного ответа, для этого сайта этого более чем достаточно.
Можно использовать итерации чтобы получить более "длинный" ответ.

[kyk]

@elpresidente*

Можно использовать итерации чтобы получить более "длинный" ответ.

При этом одну длинную детальную инструкцию генерации большого 30-страничного документа надо именно что транслировать, преобразовывать во много маленьких инструкций на генерацию кусочков по 4096, причём эти маленькие инструкции будут все разные (если документ сложный). В этом отличие от обычного чата