@elpresidente*
Я потестировал интеллект у GPT4o и хочу сказать, что по многим моим критериям GPT4o таки бьёт Claude Opus 3. Причём я имею ввиду обработку обычного текста , а не новые функциональные возможности GPT4o.
А Gemini 1.5 гораздо тупее даже чем Claude Opus 3
OpenAi таки крут неимоверно
Пожелания и планы на будущее
-
- Site Admin
- Reactions: 993
- Сообщения: 3181
- Зарегистрирован: Сб май 14, 2022 5:03 pm
Re: Пожелания и планы на будущее
@kyk Согласен, gpt4o по прежнему лучший и что немаловажно самый недорогой вариант из этих трех. Но остальные не сильно отстают. Gemini 1.5 pro это омни модель, как и gpt4o, ее основной плюс это контекст в 1M.
Начинаю всерьез подумывать чтобы проиндексировать всю базу (без Девочек, Для Взрослых и Мужского Клуба):
- Хранение данных Azure CosmosDB Mongo vCore vector index, free tier (32GB) https://devblogs.microsoft.com/cosmosdb ... free-tier/
- Web API на Azure https://github.com/microsoft/sample-app-aoai-chatGPT, Azure App Service Free tier F1 https://azure.microsoft.com/en-us/prici ... s/#pricing (60 CPU minutes/day) 1GB RAM 1.00 GB ROM
- OpenAPI https://openai.com/api/pricing/
gpt-4o: Input $5.00/1M tokens, Output $15.00/1M tokens
text-embedding-3-small $0.02/1M tokens - это скорее всего будет основная статья расхода при закачке данных, все остальное бесплатно
Сейцас имеем:
Размер базы данных 2.49 ГБ - где-то 60% если убрать Девочек, Для Взрослых и Мужской Клуб, те ~1.5ГБ текста
Размер всех вложений 15.9 ГБ - это скорее всего не надо индексировать
Те надо оценить расходы (и время) на векторизацию примерно 1.5ГБ русского текста исходя из $0.02/1M tokens (text-embedding-3-small).
Вот что говорит сам gpt4o:
Если так то надо будет сделать плагин под это дело.
Начинаю всерьез подумывать чтобы проиндексировать всю базу (без Девочек, Для Взрослых и Мужского Клуба):
- Хранение данных Azure CosmosDB Mongo vCore vector index, free tier (32GB) https://devblogs.microsoft.com/cosmosdb ... free-tier/
- Web API на Azure https://github.com/microsoft/sample-app-aoai-chatGPT, Azure App Service Free tier F1 https://azure.microsoft.com/en-us/prici ... s/#pricing (60 CPU minutes/day) 1GB RAM 1.00 GB ROM
- OpenAPI https://openai.com/api/pricing/
gpt-4o: Input $5.00/1M tokens, Output $15.00/1M tokens
text-embedding-3-small $0.02/1M tokens - это скорее всего будет основная статья расхода при закачке данных, все остальное бесплатно
Сейцас имеем:
Размер базы данных 2.49 ГБ - где-то 60% если убрать Девочек, Для Взрослых и Мужской Клуб, те ~1.5ГБ текста
Размер всех вложений 15.9 ГБ - это скорее всего не надо индексировать
Те надо оценить расходы (и время) на векторизацию примерно 1.5ГБ русского текста исходя из $0.02/1M tokens (text-embedding-3-small).
Вот что говорит сам gpt4o:
Получается ~$5?1.5GB of Russian text is estimated to contain approximately 222 million tokens when tokenized using a model like "text-embedding-3-small."
Note that this is a rough estimate. The exact number can vary based on the actual text content, including word frequency, punctuation, and specific language constructs.
Если так то надо будет сделать плагин под это дело.
Re: Пожелания и планы на будущее
@elpresidente*
Но у всех моделей, включая gpt-4o, по-прежнему остаётся limit=4096 на максимальный размер of output per one GPT call/turn. Я понимаю, что для получения длинного выхода создаётся tread with multiple GPT calls/turns.
Для чата это вполне годится.
Но это не позволяет, например, с помошью одного лишь prompt-а сгенирировать 20-страничный качественный документ с детальной инструкцией в одном prompt-е.
Это возможно сделать, но фактически для генерации каждой следущей порции 4096 будет нужен новый prompt и новый GPT call.
Т.е. получается что детальную инструкцию генерации большого документа надо разбивать на маленькие кусочки-маленькие инструкции. При этом GPT model по-прежнему остаётся stateless , в том смысле, что сама модель не знает что она задействована in tread with multiple calls. Мы-то знаем, а сама модель не знает.
да, цена неплохая.
Но у всех моделей, включая gpt-4o, по-прежнему остаётся limit=4096 на максимальный размер of output per one GPT call/turn. Я понимаю, что для получения длинного выхода создаётся tread with multiple GPT calls/turns.
Для чата это вполне годится.
Но это не позволяет, например, с помошью одного лишь prompt-а сгенирировать 20-страничный качественный документ с детальной инструкцией в одном prompt-е.
Это возможно сделать, но фактически для генерации каждой следущей порции 4096 будет нужен новый prompt и новый GPT call.
Т.е. получается что детальную инструкцию генерации большого документа надо разбивать на маленькие кусочки-маленькие инструкции. При этом GPT model по-прежнему остаётся stateless , в том смысле, что сама модель не знает что она задействована in tread with multiple calls. Мы-то знаем, а сама модель не знает.
Последний раз редактировалось kyk Сб май 25, 2024 10:38 am, всего редактировалось 3 раза.
Re: Пожелания и планы на будущее
Есть стартапы что такое клея уже… ссылок нет ибо это проскакивало в приватной фб группеkyk писал(а): ↑Сб май 25, 2024 10:29 am @elpresidente*да, цена неплохая.
Но у всех моделей, включая gpt-4o, по-прежнему остаётся limit=4096 на максимальный размер of output per one GPT call/turn. Я понимаю, что для получения длинного выхода создаётся tread with multiple GPT calls/turns.
Для чата это вполне годится.
Но это не позволяет, например, с помошью одного лишь prompt-а сгенирировать 20-страничный качественный документ с детальной инструкцией в одном prompt-е.
Это возможно сделать, но фактически для генерации каждой следущей порции 4096 будет нужен новый prompt и новый GPT call.
Т.е. получается что детальную инструкцию генерации большого документа надо разбивать на маленькие кусочки-маленькие инструкции
прекрасное далеко, не будь ко мне ж
-
- Site Admin
- Reactions: 993
- Сообщения: 3181
- Зарегистрирован: Сб май 14, 2022 5:03 pm
Re: Пожелания и планы на будущее
Сейцас работаю над новым ботом для форума который будет использовать треды и сможет обрабатывать вложения, все это на основе омни модели gpt4o (позжне можно будет добавить Gemini).kyk писал(а): ↑Сб май 25, 2024 10:29 am @elpresidente*да, цена неплохая.
Но у всех моделей, включая gpt-4o, по-прежнему остаётся limit=4096 на максимальный размер of output per one GPT call/turn. Я понимаю, что для получения длинного выхода создаётся tread with multiple GPT calls/turns.
Для чата это вполне годится.
Но это не позволяет, например, с помошью одного лишь prompt-а сгенирировать 20-страничный качественный документ с детальной инструкцией в одном prompt-е.
Это будет во первых дешевле(оказалось что это не так, стоимость та-же) а во вторых позволит обрабатывать медиа файлы в дополнение к тексту.
Все верно, как вы написали 4К это сейчас максимальный размер одного ответа, для этого сайта этого более чем достаточно.
Можно использовать итерации чтобы получить более "длинный" ответ.
Re: Пожелания и планы на будущее
@elpresidente*
При этом одну длинную детальную инструкцию генерации большого 30-страничного документа надо именно что транслировать, преобразовывать во много маленьких инструкций на генерацию кусочков по 4096, причём эти маленькие инструкции будут все разные (если документ сложный). В этом отличие от обычного чатаelpresidente* писал(а): ↑Сб май 25, 2024 10:41 amМожно использовать итерации чтобы получить более "длинный" ответ.