Հեռահար զոնդավորման պատկերները հանդիպում են գեներատիվ AI-ին
Հնարավո՞ր է հույս դնել արհեստական, բայց իրատեսական նմուշների վրա՝ բնական աշխարհագրական երևույթները ուսումնասիրելիս։
Հեռահար զոնդավորումը և դիֆուզիոն մոդելները
Հնարավո՞ր է հույս դնել արհեստական, բայց իրատեսական նմուշների վրա՝ բնական աշխարհագրական երևույթները ուսումնասիրելիս։
Հեռահար զոնդավորման մասնագետների համար գեներատիվ արհեստական բանականությունը նորություն չէ։ Արդեն մի քանի տարի է՝ մենք այն հաջողությամբ օգտագործում ենք մեր հետազոտություններում՝ մոդելները բարելավելու համար. լրացնում ենք ամպերի տակ թաքնված տարածքները, հեռացնում աղմուկը, մեծացնում և փոքրացնում պատկերները, և նույնիսկ ստեղծում արհեստական նմուշներ։ Այս բոլոր խնդիրները լուծվում էին զգուշորեն կարգավորված ալգորիթմներով, որոնք հաճախ հիմնված էին AutoEncoder-ների (AE) կամ Generative Adversarial Network-ների (GAN) վրա։
Ես մասնակցել եմ օդային պատկերների տվյալների գեներացման նոր տեխնիկաների ներդրմանը։ Սկզբում թերահավատ էի, թե արդյոք գեներատիվ մեթոդները կօգնեն լուծել բնական երևույթների և շրջակա միջավայրի հետ կապված խնդիրներ։ Վերջում, կշռադատելով բոլոր կողմ և դեմ փաստարկները, եկա այն եզրակացության, որ գեներատիվ մոդելները՝ պայմանով, որ դրանց արդյունքը իրատեսական է, կարող են օգնել մեզ հեռահար զոնդավորման աշխատանքում։ Բազմաթիվ թեստեր և մոդելների համեմատական գնահատումներ նույնպես հաստատում են սա։
Ցավոք, այդ մոդելների ստեղծած արհեստական նմուշների իրատեսականությունը սահմանափակ էր։ Տարածական հատկանիշների մեծ մասը վերարտադրվում էր ճիշտ և նույնիսկ մարդ փորձագետը չէր կարողանում տարբերել։ Սակայն մի քանի փոքր թերություններ փչացնում էին ընդհանուր արդյունքը՝ ստվերների շեղումներ, մարդու ստեղծած օբյեկտների երկրաչափության չափից ավելի հարթ եզրեր, անտեսանելի ջրի հոսք և գունային խնդիրներ տարբեր բույսերի պատկերման մեջ։ Դրանք կտրուկ չէին նվազեցնում մոդելի օգտակարությունը, բայց չափազանց արհեստական էին թվում, որպեսզի աշխարհագրագետը ընդուներ դրանք բոլոր սցենարներում։ Սա շուտով պետք է փոխվեր։
Վերջերս, բաց հիացմունքով, ծանոթացա դիֆուզիային նվիրված գիտական գրականությանը և կոդի պահոցներին։ Դուք անշուշտ լսել եք DALL-E-ի կամ Midjourney-ի մասին, որոնք երկուսն էլ վերը նշված մոդելների գործնական կիրառություններ են։ Ինձ զարմացրեց, թե որքան առաջընթաց է գրանցվել այդքան կարճ ժամանակում։ Եթե մեկ տարի առաջ ինձ հարցնեին գեներատիվ AI-ի դերի մասին հեռահար զոնդավորման մեջ, ես կասեի, որ դա դասական մեթոդների հետաքրքիր լրացում է։ Այժմ համոզված եմ, որ մեր GIS գործիքակազմերին սպասվում է լուրջ թարմացում։
Առանց կասկածի, գեներատիվ AI-ի հեղափոխությունը եկել է, և այն մեծ ազդեցություն կունենա հեռահար զոնդավորման վրա։ Մեր ոլորտը մեծ փոփոխությունների շեմին է, այնպես որ արժե պատրաստ լինել։
Գեներատիվ AI-ի տեխնիկաները հզոր են, բայց միևնույն ժամանակ բարդ։ Դրանցից առավելագույնը ստանալու և հասկանալու համար, թե որտեղ են դրանք թերանում, լավագույնն է ուսումնասիրել գիտական գրականությունը՝ զուգահեռաբար կատարելով գործնական վարժություններ։ Եթե գեներատիվ AI-ը ձեզ համար նոր է, հետևյալ հոդվածները և դրանց կոդը լավ մեկնարկային կետ են՝
- Pix2Pix – GAN-ի վրա հիմնված ճարտարապետություն՝ պայմանական պատկերից պատկեր փոխակերպման համար։
- BigGAN – գեներատիվ մրցակցային ցանց, որը ստեղծված է գեներացումը մեծացնելու համար՝ մինչև բարձր լուծաչափով և բարձր հավատարմությամբ պատկերներ։
- Diffusion – մոդելներ, որոնք նմուշներ են ստեղծում՝ ազդանշանից աստիճանաբար հեռացնելով աղմուկը։
Անցնենք պարզ օրինակի։ Ենթադրենք, գործ ունենք դասակարգման խնդրի հետ։ Մեր խնդիրն է մշակել արբանյակային պատկերների հատվածները և յուրաքանչյուրին վերագրել պիտակ։ Պիտակը մոտավորապես նկարագրում է, թե ինչ է երևում հատվածում՝ կամուրջ, անտառ, մարզադաշտ, արդյունաբերական համալիր և այլն։
AID տվյալների հավաքածուի պատկերների նմուշներ՝ գետ, լեռ և անտառ դասերը։
Թեև սա մեքենայական ուսուցման դասական խնդիր է, հեռահար զոնդավորման մեջ այն հեռու է աննշան լինելուց։ Կան բազմաթիվ տարբեր դասեր, իսկ նմուշները խիստ անհավասարակշիռ են։ Հեշտ է պատկերացնել, որ անտառները շատ ավելի մեծ տարածք են զբաղեցնում, քան էլեկտրակայանները (բարեբախտաբար)։ Տարածված դասերի նմուշներ հավաքելը խնդիր չէ։ Դժվարություններ սկսվում են, երբ մեր «քաղցած» նեյրոնային ցանցի դասակարգչին հազվադեպ օբյեկտներ պատկերող հատվածներ են պետք։ Կոնկրետ նմուշներ փնտրելը կարող է հոգնեցուցիչ լինել, և ավելի դժվար է դառնում, երբ նման օբյեկտներ ընդհանրապես քիչ են։
Մենք միշտ կարող ենք փորձել գեներատիվ AI-ով լրացուցիչ նմուշներ ստեղծել և դրանք օգտագործել մեր անհավասարակշիռ ուսուցման տվյալների հավաքածուն համալրելու համար։ Լուծումը ցուցադրելու համար կօգտագործենք դիֆուզիոն մոդել՝ AID տվյալների հավաքածուի հետ։
Նախքան կոդը գործարկելը, համոզվեք, որ ունեք բավարար GPU (8GB+ VRAM) և CUDA-ն ճիշտ տեղադրված է ձեր միջավայրում։ Եթե կարգավորումը խնդիրներ է առաջացնում, Colab-ը կհեշտացնի գործը՝ պարզապես հիշեք ընտրել ճիշտ runtime տեսակը։ Երբ պատրաստ լինեք, տեղադրեք PyTorch-ը և PyTorch-ի համար բաց կոդով Denoising Diffusion գրադարանը։
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install denoising_diffusion_pytorch
Հաջորդը՝ պետք է պատրաստել ուսուցման նմուշները։ Իրականացումը աջակցում է RGB պատկերներ տարբեր ձևաչափերով (ներառյալ TIF)։ Թեև այն հարմարեցված չէ բազմասպեկտրալ պատկերների համար, դիֆուզիոն մոդելները սահմանափակված չեն միայն երեք ալիքով. գեներատիվ AI-ն արդեն հաջողությամբ օգտագործվել է մոտ ինֆրակարմիր տվյալներ սինթեզելու համար։ Բազմաթիվ սպեկտրալ ալիքներ աջակցող բաց կոդով ծրագրային ապահովումը ժամանակի հարց է։
Վերադառնանք տվյալների հավաքածուին. գուցե ցանկանաք ամբողջ AID հավաքածուն տալ նեյրոնային ցանցին։ ML-ում ավելին ավելի լավ է, չէ՞։ Որոշ պայմաններում դա կարող է աշխատել, բայց այստեղ ես կխնայեմ ձեր ժամանակը։ Իրականությունն այն է, որ որքան բարդ են երևույթները և որքան բազմազան են տվյալները, այնքան ավելի շատ ժամանակ և օրինակներ են պետք գեներատորին՝ իմաստալից նմուշներ ստեղծելու համար։ Նայեք օրինակին. արդյունքը հաճելի է աչքին, բայց չի նմանվում իրատեսական արբանյակային պատկերների հատվածների։
Դիֆուզիոն մոդելի ուսուցում AID-ի բոլոր հասանելի դասերի վրա։
Կենտրոնանանք առանձին դասերի վրա և սկսենք արհեստական լեռներ ստեղծելուց։ Արխիվից հանեք AID-ի լեռների կատալոգը և դրեք ձեր ընտրած թղթապանակում։ Կոդում կարգավորում ենք հիմնական մոդելը (Unet) և դիֆուզիայի գործընթացի պարամետրերը։ Նկատենք, որ աշխատում ենք 256 px ուղղանկյուն հատվածների հետ. եթե ռեսուրսները սահմանափակ են, կարող եք image_size արժեքը իջեցնել մինչև 128 px կամ նույնիսկ 64 px։ Վերջին մասը վերաբերում է ուսուցմանը։ Պարամետրերի մեծ մասը պահպանում են denoising_diffusion_pytorch պահոցում սահմանված լռելյայն արժեքները։ Հատուկ ուշադրություն դարձրեք batch_size, num_samples և amp պարամետրերին։ Առաջինը որոշում է, թե քանի նմուշ է մշակվում միաժամանակ, և ուղղակիորեն կախված է ձեր հաշվողական ռեսուրսներից. իմ դեպքում Titan RTX քարտի վրա տեղավորվում էին 10 հատվածներ։ Երկրորդը նշում է, թե քանի նմուշ է ստեղծվում յուրաքանչյուր 1000 իտերացիայից հետո. այն նվազեցնելը արագացնում է գործընթացը։ Երրորդը սահմանում է արագացման տեսակը և բավական խնդրահարույց է. նախագծի issue tracker-ում դրա վերաբերյալ մի քանի զեկույց կա։ Ուսուցումը երկար է տևում, ուստի արագացումն անջատելը ավելի անվտանգ տարբերակ է՝ nan կորուստից խուսափելու համար։
from denoising_diffusion_pytorch import Unet, GaussianDiffusion, Trainer
if __name__ == '__main__':
model = Unet(
dim=64,
dim_mults=(1, 2, 4, 8)
)
diffusion = GaussianDiffusion(
model,
image_size=256,
timesteps=1000,
loss_type='l1'
)
trainer = Trainer(
diffusion,
'data/AID_mountains',
train_batch_size=10,
train_lr=8e-5,
train_num_steps=10000,
gradient_accumulate_every=2,
ema_decay=0.995,
amp=False,
calculate_fid=False,
convert_image_to='RGB',
save_and_sample_every=1000,
num_samples=36
)
trainer.train()
Մոտ 8 ժամ անց առաջին արդյունքները պատրաստ են։ Տպավորիչ է, չէ՞։ Փորձառու աչքը դեռ կճանաչի, որ այս նմուշները սինթետիկ են, բայց մենք հեռու չենք բարձրորակ արդյունքից։ Պարզապես պատկերացրեք, թե ինչ արդյունքներ հնարավոր կլինեն հեռահար զոնդավորման պատկերների ավելի մեծ տվյալների հավաքածուով և ավելի շատ ռեսուրսներով։
Դիֆուզիոն մոդելով արհեստականորեն ստեղծված լեռների նմուշներ։
Հիմա լավագույն պահն է բացատրելու, թե ինչպես են աշխատում դիֆուզիայի վրա հիմնված մոդելները։ Դրանց հիմնական նպատակն է կանխատեսել (նույնականացնել) աղմուկը այն պատկերներում, որոնք աստիճանաբար խամրեցվել են՝ համակարգված կերպով աղավաղում ավելացնելով։ Աղմուկը ներմուծվում է բազմաթիվ ժամանակային քայլերով, իսկ ուսուցանված մոդելը սովորում է հեռացնել պատկերի աղավաղումները։ Ինչպե՞ս է դա օգնում նոր նմուշներ ստեղծելուն։ Մոդելը կարող է մաքրել աղմուկից պատկեր, որը ամբողջությամբ կազմված է աղմուկից։ Յուրաքանչյուր ժամանակային քայլում այն հանում է փոքր աղավաղում՝ մինչև հասնում է վերջին՝ մաքուր պատկերին։ Խելացի մասն այն է, որ սկզբնական աղմուկը պարտադիր չէ ստացվի իրական պատկերը խամրեցնելուց. այն կարող է լրիվ պատահական լինել։ Պատահական աղմուկը մաքրելը տալիս է պատահական, արհեստական պատկեր։ Փայլուն գաղափար։
Ինչպես է ուսուցանվում դիֆուզիոն մոդելը
Կարծում եմ՝ այս օրինակը լավ ցույց է տալիս գեներատիվ AI-ի տեխնիկաները հեռահար զոնդավորման մեջ։ Բնականաբար, պարտադիր չէ կանգ առնել նոր նմուշներ ստեղծելու և տվյալները համալրելու վրա։ Ես մեծ ներուժ եմ տեսնում իրական նմուշների ուղղման մեջ, և ոչ միայն ամպերի դեպքում։ Այս տեխնիկաները կարող են շատ արժեքավոր լինել տարբեր նյութեր միավորելիս։ Բոլորս գիտենք, թե որքան դժվար է հեռահար զոնդավորման պատկերների երկար ժամանակային շարքերը մշակել և հավաքել, հատկապես երբ որևէ ժամանակային նմուշ բացակայում է, կամ որքան բարդ է LIDAR-ով ստացված կետային ամպերը միավորելը։ Ուշադիր հետևեք գիտության և ճարտարագիտության աշխարհին. մոտ ապագայում դուք կհանդիպեք բազմաթիվ հետաքրքիր գեներատիվ AI նախագծերի։ Վստահ եմ՝ կգտնեք մի բան, որը կարող է խթանել ձեր հետազոտությունը։ Իսկ եթե ունեք հետաքրքիր գաղափարներ, մի տատանվեք կապվել մեզ հետ :)