Գնահատել նախագիծը
← Բոլոր հրապարակումները

Dev container-ների օգտագործումը մեքենայական ուսուցման մեջ

Ինչպես կարգավորել և աշխատել VSCode dev container extension-ի հետ մշակման ընթացքում։

3 րոպե
Մեքենայական ուսուցումMl dockerGPU dev container

Այսօր Docker-ը վայելում է հսկայական popularity։ Այն թեթև է, շարժական և ինքնաբավ, ինչը այն դարձնում է հիանալի ընտրություն միկրոսերվիսային ճարտարապետության համար։ Docker container-ները հեշտացնում են ծրագրակազմի կառուցումը և միջավայրի մեկուսացումը, և կարող են աշխատել տարբեր օպերացիոն համակարգերով և ապարատային հարթակներով բազմաթիվ միջավայրերում։ Կարող ենք երկար խոսել այն մասին, թե որքան լավ են container-ները ծառայում deployment-ին, բայց եկեք մի քայլ հետ գնանք և նայենք, թե ինչպես կարող են օգնել մշակման ժամանակ։

Պատկերացրեք մի սցենար, երբ պետք է ծրագիր կառուցել օպերացիոն համակարգի կոնկրետ տարբերակի վրա, կամ ուզում եք ձեր հավելվածը թեստավորել մի քանի միջավայրում։ Կարող եք կառուցել docker container՝ որպես base image օգտագործելով ձեզ անհրաժեշտ OS-ը, և գործարկել այն առանց detach ռեժիմի (-d)՝

docker run -it <IMAGE>

, կամ միանալ արդեն աշխատող container-ին հետևյալով՝

docker exec -it [container-id] bash

Դրանից հետո կոդը գրում և թեստավորում եք տերմինալի պատուհանում։ Ըհհհ…, դա գրավիչ չի հնչում։ Տերմինալում ծրագրակազմ մշակելը այլևս այն մշակման միջավայրը չէ, որ ակնկալում ենք 2024-ին։ Կարո՞ղ ենք ավելի լավ անել։

Բարեբախտաբար…. Այո, կարող ենք 🙂

VSCode Dev container

Microsoft-ի VSCode extension-ը՝ Dev Containers-ը, այստեղ չափազանց օգտակար է։ Dev Containers extension-ով Docker container-ը կարող է ծառայել որպես լիարժեք մշակման միջավայր։

Այլ առավելությունների թվում այն թույլ է տալիս՝

  • Աշխատել գործիքների հետևողական, վերարտադրելի հավաքածուով՝ նույն OS-ի վրա, ինչ ձեր deployment միջավայրը։
  • Հեշտությամբ անցնել առանձին մշակման միջավայրերի միջև և դրանք անվտանգ թարմացնել՝ առանց ձեր տեղային համակարգին դիպչելու։
  • Թիմի նոր անդամներին կամ contributor-ներին տալ պարզ, հետևողական մշակման միջավայր, որպեսզի նրանց համար սկսելն ավելի հեշտ լինի։
  • Փորձել նոր տեխնոլոգիաներ կամ կոդային բազայի պատճեն ստեղծել՝ առանց ձեր տեղային կարգավորումը խանգարելու։

Այս ամենը ստանում եք արդեն ծանոթ VSCode խմբագրիչում՝ նույն հնարավորություններով և օգտատիրական փորձով, ինչ տեղային աշխատելիս, միայն թե աշխատանքային տարածքն այժմ մեկուսացված է container-ի ներսում։

Dev container-ի սահմանում

Ստեղծեք Dockerfile.dev, որը պարունակում է ձեր միջավայրի կարգավորումը։ Ստորև կարող եք տեսնել docker ֆայլի օրինակ։

FROM nvidia/cuda:11.1.1-cudnn8-runtime-ubuntu20.04

# Install python3.10
RUN : \
   && apt-get update \
   && apt-get install -y git \
   && apt-get install -y --no-install-recommends software-properties-common \
   && add-apt-repository -y ppa:deadsnakes \
   && apt-get install -y --no-install-recommends python3.10-venv \
   && apt-get install libpython3.10-dev -y \
   && apt-get clean \
   && :

# Add env to PATH
RUN python3.10 -m venv /venv
ENV PATH=/venv/bin:$PATH

# Ensures that Python output to stdout/stderr is not buffered: prevents missing information when terminating
ENV PYTHONUNBUFFERED 1

# Update pip
RUN /venv/bin/python3.10 -m pip install pip --upgrade

WORKDIR /usr/src/app

ENTRYPOINT ["tail", "-f", "/dev/null"]

Ձեր նախագծի արմատային դիրեկտորիայում ստեղծեք .devcontainer թղթապանակ և դրա մեջ դրեք dev container-ի կոնֆիգուրացիայի ֆայլ՝ devcontainer.json անունով։ Կարող եք այն կարգավորել նաև ինտերակտիվ կերպով ctrl + shift + p -> Dev Containers: Configure Container Features կամ ctrl + shift + p -> Dev Containers: New Dev Container միջոցով։

Ապա լրացրեք devcontainer.json ֆայլը հիմնական կարգավորումով։

// For format details, see https://aka.ms/devcontainer.json. For config options, see the
// README at: https://github.com/devcontainers/templates/tree/main/src/docker-existing-dockerfile
{
   "name": "Existing Dockerfile",
   "build": {
       // Sets the run context to one level up instead of the .devcontainer folder.
       "context": "..",
       // Update the 'dockerfile' property if you aren't using the standard 'Dockerfile' filename.
       "dockerfile": "../Dockerfile.dev"
   },
}

Dev container մեքենայական ուսուցման համար

Մեքենայական ուսուցման նախագծերը հաճախ պահանջում են GPU-ի հասանելիություն։ Սա նույնպես կարելի է կարգավորել devcontainer.json-ում։ Ահա Nvidia GPU-ով, Jupiter notebook-ներով և Python extension-ներով dev container-ի օրինակ կոնֆիգուրացիա։

{
   "name": "Existing Dockerfile",
   "build": {
       "context": "..",
       "dockerfile": "../Dockerfile.dev"
   },
   "runArgs": ["--gpus","all"],
   "remoteEnv": {
       "PATH": "${containerEnv:PATH}:/usr/local/cuda/bin",
       "LD_LIBRARY_PATH": "$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64",
       "XLA_FLAGS": "--xla_gpu_cuda_data_dir=/usr/local/cuda"
   },
   // Configure tool-specific properties.
   "customizations": {
       "vscode": {
           "extensions": [
               "ms-python.python",
               "ms-toolsai.jupyter",
               "ms-toolsai.vscode-jupyter-cell-tags",
               "ms-toolsai.jupyter-keymap",
               "ms-toolsai.jupyter-renderers",
               "ms-toolsai.vscode-jupyter-slideshow",
               "ms-python.vscode-pylance"
           ]
       }
   }
}

“customizations”-ի տակ թվարկված extension-ները տեղադրվում են ավտոմատ կերպով, ուստի դրանք նախապես տեղադրված ունենալու կամ ձեռքով տեղադրելու կարիք չկա։ Յուրաքանչյուր տեղադրված extension վարվում է ճիշտ այնպես, ինչպես կվարվեր ձեր համակարգչի վրա տեղային աշխատելիս՝ առաջարկելով նույն ֆունկցիոնալությունը և նույն օգտատիրական փորձը։

Dev container-ի գործարկումը

Dev container-ը գործարկելու համար ընտրեք ctrl + shift + p -> Dev Containers: Reopen in Container և վայելեք աշխատանքը ձեզ լավ ծանոթ VSCode-ում։

Ամփոփում

Այս հոդվածը ցույց տվեց, թե ինչպես կարգավորել և օգտագործել VSCode dev container extension-ը մշակման համար։ Extension-ը ձեզ տալիս է նույն մշակման փորձը, ինչ ձեր մեքենայի վրա տեղային աշխատելիս, միաժամանակ առաջարկելով container-ներում միջավայրի մեկուսացման բոլոր առավելությունները։ Այն նաև լավ է աշխատում հեռավոր միջավայրերում։