„CloudFerro“ ir „ESA Φ-lab“ paleidžia pirmąjį pasaulinį įterpimo duomenų rinkinį Žemės stebėjimams

„CloudFerro“ ir Europos kosmoso agentūros (ESA) Φ-lab pristatė pirmąjį pasaulinį įterpimo duomenų rinkinį, skirtą Žemės stebėjimams – reikšmingą geoerdvinių duomenų analizės pažangą. Šiuo duomenų rinkiniu, kuris yra pagrindinio TOM projekto dalis, siekiama pateikti standartizuotus, atvirus ir prieinamus AI paruoštus Žemės stebėjimo duomenų rinkinius. Šiuo bendradarbiavimu sprendžiamas iššūkis valdyti ir analizuoti didžiulius Copernicus palydovinių duomenų archyvus, kartu skatinant keičiamo dydžio dirbtinio intelekto programas.

Duomenų rinkinių įterpimo vaidmuo Žemės stebėjime

Nuolat didėjantis Žemės stebėjimo duomenų kiekis kelia iššūkių efektyviai apdoroti ir analizuoti didelio masto geoerdvinius vaizdus. Įterpiant duomenų rinkinius ši problema išspręsta transformuojant didelio matmens vaizdo duomenis į kompaktiškas vektorines reprezentacijas. Šie įterpimai apima pagrindines semantines ypatybes, kurios palengvina greitesnę paiešką, palyginimą ir analizę.

Pagrindiniame TOM projekte dėmesys sutelkiamas į geoerdvinę sritį, užtikrinant, kad jo įterptieji duomenų rinkiniai būtų suderinami ir atkuriami įvairioms Žemės stebėjimo užduotims atlikti. Naudodami pažangius giluminio mokymosi modelius, šie įterpimai supaprastina palydovinių vaizdų apdorojimą ir analizę pasauliniu mastu.

Global Embeddings duomenų rinkinio ypatybės

Įterpimo duomenų rinkiniai, gauti iš pagrindinių TOM pagrindinių duomenų rinkinių, apima daugiau nei 60 TB DI paruoštų Copernicus duomenų. Pagrindinės funkcijos:

• Išsami aprėptis: Duomenų rinkinys, kuriame yra daugiau nei 169 milijonai duomenų taškų ir daugiau nei 3,5 milijono unikalių vaizdų, suteikia išsamų Žemės paviršiaus vaizdą.
• Įvairūs modeliai: Sukurti naudojant keturis skirtingus modelius – SSL4EO-S2, SSL4EO-S1, SigLIP ir DINOv2 – įterpimai siūlo įvairias funkcijas, pritaikytas skirtingiems naudojimo atvejams.
• Efektyvus duomenų formatas: Saugomi GeoParquet formatu, įterpimai sklandžiai integruojami su geoerdvinių duomenų darbo eigomis, todėl galima efektyviai teikti užklausas ir suderinti su apdorojimo vamzdynais.

Įdėjimo metodika

Įterpimo kūrimas susideda iš kelių žingsnių:

1. Vaizdo suskaidymas: Palydoviniai vaizdai yra suskirstyti į mažesnius lopinėlius, tinkančius modelio įvesties dydžiams, išsaugant geoerdvines detales.
2. Išankstinis apdorojimas: Fragmentai normalizuojami ir keičiami pagal įterpimo modelių reikalavimus.
3. Įterpimo karta: Iš anksto apdoroti fragmentai apdorojami naudojant iš anksto paruoštus giluminio mokymosi modelius, kad būtų sukurti įterpimai.
4. Duomenų integravimas: Įterpimai ir metaduomenys kaupiami į GeoParquet archyvus, užtikrinant supaprastintą prieigą ir naudojimą.

Šis struktūrinis metodas užtikrina aukštos kokybės įterpimą ir sumažina skaičiavimo poreikį atliekant tolesnius darbus.

Programos ir naudojimo atvejai

Įterpimo duomenų rinkiniai turi įvairių programų, įskaitant:

• Žemės naudojimo stebėjimas: Tyrėjai gali efektyviai sekti žemės naudojimo pokyčius, susiedami įterpimo erdves su pažymėtais duomenų rinkiniais.
• Aplinkos analizė: Duomenų rinkinys palaiko tokių reiškinių kaip miškų naikinimas ir miestų plėtra analizę su mažesnėmis skaičiavimo sąnaudomis.
• Duomenų paieška ir gavimas: įterpimai leidžia greitai ieškoti panašumų ir supaprastinti prieigą prie atitinkamų geografinių duomenų.
• Laiko eilučių analizė: nuoseklūs įterpimo pėdsakai palengvina ilgalaikį pokyčių skirtinguose regionuose stebėjimą.

Skaičiavimo efektyvumas

Įterpimo duomenų rinkiniai sukurti siekiant mastelio ir efektyvumo. Skaičiavimai buvo atlikti naudojant CloudFerro CREODIAS debesų platformą, naudojant didelio našumo aparatinę įrangą, tokią kaip NVIDIA L40S GPU. Ši sąranka leido apdoroti trilijonus pikselių iš Copernicus duomenų, išlaikant atkuriamumą.

Standartizavimas ir atviroji prieiga

Pagrindinių TOM įterpimo duomenų rinkinių bruožas yra jų standartizuotas formatas, kuris užtikrina modelių ir duomenų rinkinių suderinamumą. Atvira prieiga prie šių duomenų rinkinių skatina skaidrumą ir bendradarbiavimą, skatina naujoves pasaulinėje geoerdvinėje bendruomenėje.

AI tobulinimas atliekant Žemės stebėjimą

Pasaulinis įterpimo duomenų rinkinys yra reikšmingas žingsnis į priekį integruojant AI su Žemės stebėjimu. Įgalinus efektyvų apdorojimą ir analizę, mokslininkai, politikos formuotojai ir organizacijos gali geriau suprasti ir valdyti dinamines Žemės sistemas. Ši iniciatyva sudaro pagrindą naujoms geoerdvinės analizės programoms ir įžvalgoms.

Išvada

„CloudFerro“ ir „ESA Φ-lab“ partnerystė parodo pažangą geoerdvinių duomenų pramonėje. Spręsdamas Žemės stebėjimo iššūkius ir atverdamas naujas AI programų galimybes, visuotinis įterpimo duomenų rinkinys padidina mūsų gebėjimą analizuoti ir valdyti palydovinius duomenis. Kadangi pagrindinis TOM projektas vystosi, jis yra pasirengęs paskatinti tolesnę mokslo ir technologijų pažangą.

Patikrinkite į Popierius ir Duomenų rinkinys. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Nepamirškite prisijungti prie mūsų 60k+ ML SubReddit.

🚨 Populiarumas: LG AI tyrimų išleidimas EXAONE 3.5: trys atvirojo kodo dvikalbiai AI lygio modeliai, teikiantys neprilygstamas instrukcijas ir ilgą konteksto supratimą, kad būtų pasaulinė lyderystė kuriant AI tobulumą….

Aswin AK yra MarkTechPost konsultavimo praktikantas. Jis siekia dvigubo laipsnio Indijos technologijos institute, Kharagpur. Jis yra aistringas duomenų mokslui ir mašininiam mokymuisi, turintis tvirtą akademinį išsilavinimą ir praktinę patirtį sprendžiant realaus gyvenimo kelių sričių iššūkius.