Страница 2 из 3

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 10:15 am
Stantmn
Alexander Troyansky писал(а): Чт мар 07, 2024 9:36 am @Stantmn, благодаря @elpresidente*, вот здесь можно получить более качественные ответы на ваши вопросы: viewtopic.php?t=4069. Можно корректировать ваш запрос, добавляя больше деталей.

Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?
через 3 недели весь проект должен быть готов, а не только инфра :)

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 11:03 am
Alexander Troyansky
Stantmn писал(а): Чт мар 07, 2024 10:15 am
Alexander Troyansky писал(а): Чт мар 07, 2024 9:36 am @Stantmn, благодаря @elpresidente*, вот здесь можно получить более качественные ответы на ваши вопросы: viewtopic.php?t=4069. Можно корректировать ваш запрос, добавляя больше деталей.

Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?
через 3 недели весь проект должен быть готов, а не только инфра :)
Попилить этот проект на параллельные части можно, чтобы за 3 недели это всё сделать, срезая углы к неудовольствию будущих сопровождающих проект, но особенно, если все самим, то я что-то сумневаюсь... Сочувствую

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 11:13 am
elpresidente*
Если ваши tf скрипты достаточно простые и/или их мало вы можете упростить себе задачу переписав их под native cloudformation. У вас сразу отпадет необходимость хранить и заботится о state.

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 11:25 am
Alexander Troyansky
elpresidente* писал(а): Чт мар 07, 2024 11:13 am Если ваши tf скрипты достаточно простые и/или их мало вы можете упростить себе задачу переписав их под native cloudformation. У вас сразу отпадет необходимость хранить и заботится о state.
1) за три недели нереально, хотя преимущество есть несомненное потому codepipilne хоть интегрированно cloudformation; однако
2) наш ИТ ворочает нос от cloudformation. Политика, йоптиль

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 4:00 pm
elpresidente*
До сих пор с содроганием вспоминаю как у нас пол комады перед важным релизом пыталось разобраться почему tf который работал без проблем пол года резко сломался, при том что скрипты никто не трогал. Оказалось что один не в меру умный человек поправил infra в "буквально паре мест совсем чуть чуть" и в результате ts state != то что реально было в AWS.

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 4:04 pm
Mad Hatter
elpresidente* писал(а): Чт мар 07, 2024 4:00 pm До сих пор с содроганием вспоминаю как у нас пол комады перед важным релизом пыталось разобраться почему tf который работал без проблем пол года резко сломался, при том что скрипты никто не трогал. Оказалось что один не в меру умный человек поправил в "буквально паре мест совсем чуть чуть" и в резульстате ts state != то что реально было в AWS.
На Medium пробегала статья, где автор писал что TF не надо использовать вообще :)

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 4:07 pm
elpresidente*
Тогда не было альтернатив tf, сейцас конечно совсем другая история.

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 5:03 pm
Jefe
elpresidente* писал(а): Чт мар 07, 2024 4:07 pm Тогда не было альтернатив tf, сейцас конечно совсем другая история.
А что сейчас вместо?

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 5:45 pm
Bobeg
Этот ваш клауд та еще гавнища. Вот шо я вам скожу.

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Чт мар 07, 2024 6:24 pm
Jefe
Bobeg писал(а): Чт мар 07, 2024 5:45 pm Этот ваш клауд та еще гавнища. Вот шо я вам скожу.
Ну а какая альтернатива? Ну я больше с GCP работал, но проблемы с терраформом, и т.п. невилируются отсутствием колоссального множества других проблем.

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Пт мар 08, 2024 7:50 am
Uzito
Jefe писал(а): Чт мар 07, 2024 6:24 pm
Bobeg писал(а): Чт мар 07, 2024 5:45 pm Этот ваш клауд та еще гавнища. Вот шо я вам скожу.
Ну а какая альтернатива? Ну я больше с GCP работал, но проблемы с терраформом, и т.п. невилируются отсутствием колоссального множества других проблем.
Google Cloud Deployment Manager?

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Пт мар 08, 2024 8:54 am
elpresidente*
elpresidente* писал(а): Чт мар 07, 2024 4:07 pm Тогда не было альтернатив tf, сейцас конечно совсем другая история.
Сейцас практически все cloud provider имеют свои хорошо развитые средства для infra management. Но если надо cloud agnostic solution то tf скорее всего по прежднему самое популярное решение.

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Пт мар 08, 2024 9:02 am
Mad Hatter
Я его ради интереса на своём Proxmox сервере запускал. Работает :)

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Ср мар 13, 2024 10:12 am
Stantmn
в общем пока временное решение это 2 терраформ скрипта. первый создает ec2 инстанс, готовый запускать второй основной инфра скрипт и запускать его из гитлаба по ssh или через ssm агента.
далее план использовать ecs с defenition task и подготовленным контейнером и запускать это из гитлаба

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Вт мар 19, 2024 11:20 pm
Stantmn
Alexander Troyansky писал(а): Чт мар 07, 2024 9:36 am Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?
спасибо всем экспертам и кто дал советы. решение простое - запустить private Gitlab runner внутри vpc - и магия! Все работает! 3 недели? 2 дня с траблшутингом.

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Ср мар 20, 2024 3:27 am
Bobeg
А можно ли деплойить докер контейнеры на не кубернетес а на простой лехкий рхел8, и на скока это хардер?

Калитес, инфры падкалодныя!

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Ср мар 20, 2024 7:12 am
Alexander Troyansky
Stantmn писал(а): Вт мар 19, 2024 11:20 pm
Alexander Troyansky писал(а): Чт мар 07, 2024 9:36 am Однако хочу отметить, что реализация стратегии займёт значительные усилия даже у специально подготовленного персонала, который в вашей конторе несомненно был/есть. Например, в вашем случае, когда нужно сделать "CodeBuild running a terraform script" это означает, что нужен ыщё один терраформ, который создаст этот самый CodeBuild, а также сопутствующие детальки типа CodePipeline, ECR для хранения вашего кастомизированного имиджа, Cloudwatch, IAM Roles и т.п. Запилить всё этого за три недели или сколько там у вас времени есть - мне каэцо нереально. Или дедлайн только для тех, кто любить спорить с начальницей?
спасибо всем экспертам и кто дал советы. решение простое - запустить private Gitlab runner внутри vpc - и магия! Все работает! 3 недели? 2 дня с траблшутингом.
По условию задачи:
ночальница хоче мыв сделали простую лямбду, которая запускает terraform скрипт и хранит стейт в dynamo и чтобы никаких ec2
Или я чего то не понял?

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Ср мар 20, 2024 11:16 am
caltrain
Stantmn писал(а): Ср мар 06, 2024 11:01 am не знаю, принято ли тут задавать технические вопросы, или тут толко стеб. Но вроде тут много умных людей, или они просто себя так выдают :)
Дано: есть gitlab с со своей CI/CD, AWS и сторонний cloud(Confluent Kafka если это имеет значение), связанный с амазоном через privatelink. Есть еще Terraform, который должен управлять всеми ресурсами.
В gitlab можно запускать tf скрипт, он создает ресурсы на AWS, Kafka кластер в Confluent, но проблема в том, что управлять топиками и другими вещами можно только через privatelink. т.е. должно быть запущено внутри нашего vpc а не из gitlab.
вроде как есть 2 решения:
1. создать proxy c публичным ip и слать все что связанное с confluent через него и privatelink вроде как не очень секурно и надо все согласовывать с другими командами и их менеджерами
2. сделать vpc peering  между гитлаб и нашим aws vpc. но что-то я такого нагуглить не смог.
Есть кого-то идеи, предлоджения, размышления, рекомендации, как это все лучше сделать?
Ну или просто может поделитесь, как у вас это реализовано.

не пинайте, я в этих сетях и девопсе не особо пока разбираюсь, но приходится это делать.
тут еще ситуация: что ночальница хочет чтобы мыв сделали простую лямбду, которая запускает terraform скрипт и хранит стейт в dynamo и чтобы никаких ec2. Надо ей как-то доказать, что у лямбды таймаут 15 мин и стоит это дорого и все равно надо ec2 чтобы запускать скрипт там или в докере. поправьте, если я не прав. спорить с ней сильно нельзя. один поспорил, 31 марта идет на выход.
Почему я не удивлюсь, если начальница из тех самых? Никто никогда не видел ее кода, но в линкедин она была в топ 0.00 , а потом сразу архитектор и CTO.

Возможно, что есть https://developer.hashicorp.com/terrafo ... ocs/run/ui TF Cloud, где tf будет запускаться кем-то . Но кто платит за подписку?

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Ср мар 20, 2024 2:11 pm
Alexander Troyansky
caltrain писал(а): Ср мар 20, 2024 11:16 am
Stantmn писал(а): Ср мар 06, 2024 11:01 am не знаю, принято ли тут задавать технические вопросы, или тут толко стеб. Но вроде тут много умных людей, или они просто себя так выдают :)
Дано: есть gitlab с со своей CI/CD, AWS и сторонний cloud(Confluent Kafka если это имеет значение), связанный с амазоном через privatelink. Есть еще Terraform, который должен управлять всеми ресурсами.
В gitlab можно запускать tf скрипт, он создает ресурсы на AWS, Kafka кластер в Confluent, но проблема в том, что управлять топиками и другими вещами можно только через privatelink. т.е. должно быть запущено внутри нашего vpc а не из gitlab.
вроде как есть 2 решения:
1. создать proxy c публичным ip и слать все что связанное с confluent через него и privatelink вроде как не очень секурно и надо все согласовывать с другими командами и их менеджерами
2. сделать vpc peering  между гитлаб и нашим aws vpc. но что-то я такого нагуглить не смог.
Есть кого-то идеи, предлоджения, размышления, рекомендации, как это все лучше сделать?
Ну или просто может поделитесь, как у вас это реализовано.

не пинайте, я в этих сетях и девопсе не особо пока разбираюсь, но приходится это делать.
тут еще ситуация: что ночальница хочет чтобы мыв сделали простую лямбду, которая запускает terraform скрипт и хранит стейт в dynamo и чтобы никаких ec2. Надо ей как-то доказать, что у лямбды таймаут 15 мин и стоит это дорого и все равно надо ec2 чтобы запускать скрипт там или в докере. поправьте, если я не прав. спорить с ней сильно нельзя. один поспорил, 31 марта идет на выход.
Почему я не удивлюсь, если начальница из тех самых? Никто никогда не видел ее кода, но в линкедин она была в топ 0.00 , а потом сразу архитектор и CTO.

Возможно, что есть https://developer.hashicorp.com/terrafo ... ocs/run/ui TF Cloud, где tf будет запускаться кем-то . Но кто платит за подписку?
Посоны! Помогите написать функцию преобразования строки в целое, не используя библиотечных функций, ибо начальница не разрешает. Кто не согласен, тот на выход!
...

Посоны! Всё ж просто оказалось: используйте функцию atoi()

Re: технический вопрос: Gitlab, Terraform, AWS

Добавлено: Ср мар 20, 2024 2:15 pm
alex_127
Alexander Troyansky писал(а): Ср мар 20, 2024 2:11 pm
Посоны! Всё ж просто оказалось: используйте функцию atoi()
я помню тот замечательный момент когда во всем продукте мы грохнули такие фунции чтобы избегать thread-local storage hit to get locale and started passing it explicitly...