@kyk Согласен, gpt4o по прежнему лучший и что немаловажно самый недорогой вариант из этих трех. Но остальные не сильно отстают. Gemini 1.5 pro это омни модель, как и gpt4o, ее основной плюс это контекст в 1M.
Начинаю всерьез подумывать чтобы проиндексировать всю базу (без Девочек, Для Взрослых и Мужского Клуба):
- Хранение данных Azure CosmosDB Mongo vCore vector index, free tier (32GB)
https://devblogs.microsoft.com/cosmosdb ... free-tier/
- Web API на Azure
https://github.com/microsoft/sample-app-aoai-chatGPT, Azure App Service Free tier F1
https://azure.microsoft.com/en-us/prici ... s/#pricing (60 CPU minutes/day) 1GB RAM 1.00 GB ROM
- OpenAPI
https://openai.com/api/pricing/
gpt-4o: Input $5.00/1M tokens, Output $15.00/1M tokens
text-embedding-3-small
$0.02/1M tokens - это скорее всего будет основная статья расхода при закачке данных, все остальное бесплатно
Сейцас имеем:
Размер базы данных 2.49 ГБ - где-то 60% если убрать Девочек, Для Взрослых и Мужской Клуб, те ~1.5ГБ текста
Размер всех вложений 15.9 ГБ - это скорее всего не надо индексировать
Те надо оценить расходы (и время) на векторизацию примерно 1.5ГБ русского текста исходя из $0.02/1M tokens (text-embedding-3-small).
Вот что говорит сам gpt4o:
1.5GB of Russian text is estimated to contain approximately 222 million tokens when tokenized using a model like "text-embedding-3-small."
Note that this is a rough estimate. The exact number can vary based on the actual text content, including word frequency, punctuation, and specific language constructs.
Получается ~$5?
Если так то надо будет сделать плагин под это дело.