линуксоидам: Python 3.7 на Dell gpu+cuda

Ответить
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

I have an old program which only works with Python 3.7 (does not work with Python 3.8, 3.9, 10, 311) and uses tensorflow , torch, spacy with GPU support and many other modules. I was able to run the program ok without GPU hardware. It gives warnings that CUDA is not available, but otherwise runs without errors and does produce correct results.

I spent a week trying to make CUDA and Nvidia GPU work properly. With basic testing tensorflow and torch detect and see GPU ok:

Код: Выделить всё

$ python -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"
 I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:975] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

Код: Выделить всё

$ python -c 'import torch; print(torch.cuda.is_available())'
True
But when it comes to the actual program, torch fails with various errors.

Python 3.7 is no longer officially supported by TensorFlow and Pytorch, but TensoFlow versions from 2.5 to 2.11 seem to work with Python 3.7. with the highest supported Cuda 11.2 and Cudnn 8.1.

Without GPU hardware, TensorFlow 2.9.0 and torch 1.13.1 work fine in the program.

Затрахался с Nvidia Cuda and GPU installation and configuration. Internet says that one can setup all the Cuda and GPU software entirely within Nvidia docker. They say I will only have to install Nvidia videocard driver (which I already have installed) and everything else related to Cuda, Cudnn and GPU will be set and run within docker.

Is it too good to be true? Какие подводные камни?
In the docker, I will need at least two different versions of Cuda: 11.2 for TensorFlow and Spacy and Cuda 11.6 (or 11.8 ) for torch.

Will I be able to run it all in one docker?
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

kyk писал(а): Пн ноя 06, 2023 1:44 pm Will I be able to run it all in one docker?
Вобщем так.

Для домашнего использования можно
- взять сорцы питона 3.7 и собрать их и будет то же самое как если ставить уже собранное из дистрибутива. Не нужно выискивать старую версию по помойкам.

- настройть virtual environment где будет специально выбранные версии той или иной библиотеки для каждого проекта.

- если виртуальные среды настраивать ломает, то можно просто обойтись экспортом PYTHONPATH и установкой одного пакета библиотек , а потом экспортом другого значения и установкой другого пакета. Переключаться будешь путём изменения этого значения.
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Вт ноя 07, 2023 5:23 pmсорцы питона 3.7
Питон 3.7 по-прежнему доступен из Анаконды и Миниконды

Код: Выделить всё

conda create --name py37 python=3.7
Теперь задача -- как запустить tensorFlow with Cuda=11.2&Cudnn=8.1 and torch+cuda=11.3 with GPU support + Питон 3.7.
Нужно одновременно две куды разных версий, причём именно одновременно
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

kyk писал(а): Ср ноя 08, 2023 12:47 am Теперь задача -- как запустить tensorFlow with Cuda=11.2&Cudnn=8.1 and torch+cuda=11.3 with GPU support + Питон 3.7.
Нужно одновременно две куды разных версий, причём именно одновременно
Для одной питоновской программы?
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Ср ноя 08, 2023 4:46 amДля одной питоновской программы?
да.

Is it in principle a good idea to run side by side different (multiple) versions of Cuda?
Or would I be better off if running a single Cuda version 11.0 with Cudnn 8.0 for both TF and torch (and spacy)?
conda install -c conda-forge -c nvidia cudatoolkit=11.0 cudnn=8.0 # for TF and Spacy
pip install spacy[cuda110]
pip install torch==1.*+cu110 torchvision==*+cu110 torchaudio==* --extra-index-url https://download.pytorch.org/whl/cu110
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

kyk писал(а): Ср ноя 08, 2023 12:54 pm
Uzito писал(а): Ср ноя 08, 2023 4:46 amДля одной питоновской программы?
да.
Поставить хоть две или хоть пять версий куды и переключаться между ними по необходимости легче-лёгкого.
Поставить так чтобы одна библиотека пользовалась одной версией а другая библиотека другой будет на грани невозможного.
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

Я вот смотрю... tensorflow 2.11.1 совместима с питоном 3.7 и cuda11.2 и с ней же совместимо nvidia-cudnn-cu11 8.9.1.23

torch 1.12.1 наверное
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Ср ноя 08, 2023 2:43 pmtorch 1.12.1 наверное
torch не подерживает Cuda 11.2, но поддерживет 11.0 , 11.1 и 11.3

cudatoolkit=11.0& cudnn=8.0 вроде бы годитса и для TF и для torch и для spacy
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

kyk писал(а): Ср ноя 08, 2023 3:02 pm
Uzito писал(а): Ср ноя 08, 2023 2:43 pmtorch 1.12.1 наверное
torch не подерживает Cuda 11.2, но поддерживет 11.0 , 11.1 и 11.3

cudatoolkit=11.0& cudnn=8.0 вроде бы годитса и для TF и для torch и для spacy
Мне вот непонятно. Если написаная программа когда-то работала на специфической версии питона, то должен же быть набор библиотек который работал одновременно?

Вобщем очередной вариант не ебите мозги.

PyTorch does not provide precompiled libraries for CUDA 11.2. You would have to compile it yourself. For that, read this section of PyTorch Github's README.

https://github.com/pytorch/pytorch#from-source

вот и весь ответ.
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Ср ноя 08, 2023 3:23 pm For that, read this section of PyTorch Github's README.

https://github.com/pytorch/pytorch#from-source
If you are installing from source, you will need:
Python 3.8 or later (for Linux, Python 3.8.1+ is needed)
Последний раз редактировалось kyk Ср ноя 08, 2023 4:59 pm, всего редактировалось 1 раз.
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

kyk писал(а): Ср ноя 08, 2023 4:48 pm
Uzito писал(а): Ср ноя 08, 2023 3:23 pm For that, read this section of PyTorch Github's README.

https://github.com/pytorch/pytorch#from-source
If you are installing from source, you will need:

Python 3.8 or later (for Linux, Python 3.8.1+ is needed)
Всё-таки можно попробовать. Взять версию кода нужной версии которая поддерживали питон 3.7 (выше) и скомпилить.

Вот этот коммит судя по всему 7c98e70d44abc7a1aead68b6ea6c8adc8c554db5.
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Ср ноя 08, 2023 4:48 pm Взять версию кода нужной версии которая поддерживали питон 3.7 (выше) и скомпилить.
Вот этот коммит судя по всему 7c98e70d44abc7a1aead68b6ea6c8adc8c554db5.
вот нашел тьюториал
Последний раз редактировалось kyk Ср ноя 08, 2023 10:23 pm, всего редактировалось 1 раз.
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Ср ноя 08, 2023 4:48 pm Взять версию кода нужной версии которая поддерживали питон 3.7 (выше) и скомпилить.
Вот этот коммит судя по всему 7c98e70d44abc7a1aead68b6ea6c8adc8c554db5.
тем временем, на форуме Nvidia пишут:
You might be in an unfortunate situation then, as the 4060 (Ada), requires a minimum of Cuda 11.8.
https://forums.developer.nvidia.com/t/m ... 4/272236/2

А у меня GeForce RTX 4060 Ti 16Gb
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

kyk писал(а): Ср ноя 08, 2023 8:12 pm тем временем, на форуме Nvidia пишут:
You might be in an unfortunate situation then, as the 4060 (Ada), requires a minimum of Cuda 11.8.
А у меня GeForce RTX 4060 Ti 16Gb
1) Вернуть 4060, взять 3060.

2) переписать эту чортову программу чтобы работала с подследними версиями чего надо.
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Чт ноя 09, 2023 12:27 am 1) Вернуть 4060, взять 3060.
не мой, казённый. Вернуть и поменять на 3060 наверно можно, но хлопотно, да и через годик 4060 будет уже не новый, как сейчас 3060.
Uzito писал(а): Чт ноя 09, 2023 12:27 am2) переписать эту чортову программу чтобы работала с подследними версиями чего надо.
чужая программа с гитхаба. Сам не могу, да и не хочу в чужом разбираться. Тем более что без GPU она таки у меня работает as is и за пару-тройку часов считает и даёт нужный выхлоп.

Может, сам автор сподобится найти время её подправить через пол-годика. Я ему писал, он через 3 недели ответил, что мол сейчас занят, а потом может быть найдёт время.
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Uzito писал(а): Чт ноя 09, 2023 12:27 amвзять 3060.
Такая пойдёт?
ASUS Dual GeForce RTX 3060 V2 OC Edition LHR 12GB GDDR6 Gaming Graphics Card
Model DUAL-RTX3060-O12G-V2

Вроде эта, только без слова "Gaming" в названии
https://www.asus.com/motherboards-compo ... /techspec/
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

kyk писал(а): Чт ноя 09, 2023 3:16 pm Такая пойдёт?
ASUS Dual GeForce RTX 3060 V2 OC Edition LHR 12GB GDDR6 Gaming Graphics Card[/url]
Model DUAL-RTX3060-O12G-V2
Я не смог найти табличку совместимости с кудой, 3060 12gb это нормально. Не самая скоростная, конечно.
kyk
Reactions: 442
Сообщения: 6096
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Удалось прогу запустить с поддержкой GPU RTX-4060 на Python 3.7.12(из Миникоды).
Долго трахался с Cuda.
Работает с грехом пополам, хотя torch даёт Warnings о делении на ноль . При этом не уверен что на 100% воспроизвёл original environment как было у автора с гитхаба. У меня torch v.1.11 , в автора возможно был v.1.10 или 1.9
Автор Индус, похоже не хочет даже чуть-чуть мне помочь

Вот привожу с ним переписЬку
On Sun, 3 Dec, 2023, 11:47 am Rajiv, <[email protected]> wrote:
Hi Kyk,
Apologies I don't exactly remember the python version but I fear it's also the hugging face models that have changed also some underlying libraries like pdf to text etc are also a bit different now. so it might take a lot of experimentation to figure out correct versions of all requirements and possibly also mend the code where needed if the earlier failed for some requirements.
Thanks and Regards
Rajiv
On Sat, 2 Dec, 2023, 11:47 am kyk, <[email protected]> wrote:
Hi Rajiv,
Did you test your app with Python 3.8 or 3.9 or 3.10?
What is the latest commit, which you tested with the command line 'survey.py' ?
With which Python version did it work?
Thanks a lot!
Kyk
1 Изображение
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 1481
Сообщения: 7842
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

Все равно молодец, хоть оно и через пень колоду. Очень сложно такие инваементы без инструкции налаживать, особенно если там ещё hardware важно
Аватара пользователя
Uzito
⭐ Top 5 most interesting users
Reactions: 1223
Сообщения: 5273
Зарегистрирован: Пт июн 24, 2022 1:35 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Uzito »

Опен сорц на то и опен сорц что при желании можно допилить чтобы работало с последними версиями всего. Но аффтор хочет необычного.
Ответить