Страница 2 из 2

Re: Data Modeling to extract data from REST API for Kubernetes Reporting measures

Добавлено: Пт мар 22, 2024 5:51 pm
voyager3
Питон как полный по Тьюрингу язык теоретически может всё, что можно сделать на компьютере. :)

Re: Data Modeling to extract data from REST API for Kubernetes Reporting measures

Добавлено: Пт мар 22, 2024 6:48 pm
Inostranka_02
voyager3 писал(а): Пт мар 22, 2024 5:51 pm Питон как полный по Тьюрингу язык теоретически может всё, что можно сделать на компьютере. :)
Пара проблем -
1 Я его пока не знаю
2 Вопрос каои ценои он может сделать... ((
V SQL легко то что мне надо.

Но ладно, буду учить раз надо. В нашем случае он деиствительно удобнее - для наших нужд.
Короче, с горя подпишусь на проект где реляционные базы данных - хочу освоить Azure Data Factory, а не вот ето вот все!!!


PS-
Чуть-чуть похвастаюсь - сегодня, пока тут болтала, узнала что подкинули мне немного $ - повысили на $5К в год + бонус.
Не много, но, учитывая что я тут только 5 мес -)
Сказали что любят и рады и все такое - мне пока тоже ФАН.

Привету (you all -)) спасибо - как приложившим знания к моим $5К+еше $NK :crazy: :D

Re: Data Modeling to extract data from REST API for Kubernetes Reporting measures

Добавлено: Пт мар 22, 2024 6:55 pm
Uzito
Inostranka_02 писал(а): Пт мар 22, 2024 6:48 pm
voyager3 писал(а): Пт мар 22, 2024 5:51 pm Питон как полный по Тьюрингу язык теоретически может всё, что можно сделать на компьютере. :)
Пара проблем -
1 Я его пока не знаю
2 Вопрос каои ценои он может сделать... ((
Для трансформации используя pandas самого питона и знать не нужно вобщем-то.

Вот пример https://towardsdev.com/create-an-etl-pi ... e436483ec9

что тут такого, что нельзя понять за полчаса?

Re: Data Modeling to extract data from REST API for Kubernetes Reporting measures

Добавлено: Пт мар 22, 2024 8:17 pm
voyager3
Когда я последний раз смотрел, драйверы для СУБД питоновские были леденящим душу трындецом с т.з. быстродействия. Но небольшую цсвшку туда-сюда гонять с помощью библиотек, которые в Питон не ходят, норм.

Re: Data Modeling to extract data from REST API for Kubernetes Reporting measures

Добавлено: Пт мар 22, 2024 9:58 pm
Inostranka_02
Uzito писал(а): Пт мар 22, 2024 6:55 pm
Inostranka_02 писал(а): Пт мар 22, 2024 6:48 pm
Пара проблем -
1 Я его пока не знаю
2 Вопрос каои ценои он может сделать... ((
Для трансформации используя pandas самого питона и знать не нужно вобщем-то.

Вот пример https://towardsdev.com/create-an-etl-pi ... e436483ec9

что тут такого, что нельзя понять за полчаса?
У нас уже ребята используют PySpark Python Notebook для data extraction from API JSON -> tabular format
Я пока не видела как именно - будет митинг и ознакомление
Интернет пишет что Панда ета в Lakehouse нельзя установить Но могу ошибаться


До етого я занималась частью ПОСЛЕ того kak данные стали таблицами - модель данных и метрики и load в warehouse -> semantec model Поетому отношусь с опаскои - вдруг там подвох какои-то или что-то очень сложное

У нас надо скомбинировать данные из REST API по Agents i Pools, чтобы они были связанны между собои - каждии Agent имеет PoolID, i надо system capabilities

Re: Data Modeling to extract data from REST API for Kubernetes Reporting measures

Добавлено: Пт мар 22, 2024 10:11 pm
Inostranka_02
Еще посмотрела... Оказывается есть все в етом Fabric. И то что наши ребята используют - имеется Synapse Analytics если не ошиблась с названием - оно ETL как раз может делать. Из API И вспоминаю мне слали ссылки на ето - короче все ето будет у меня next week.

Огромное спасибо за инфу и ссылки - voyager3, Uzito

Пишите если что-то еше сюда!