Http:n, ftp:n ja rsyncin yli lataaminen

Tämä on Paitulin uusi toiminto, voit antaa palautetta osoitteeseen giscoord@csc.fi.

Paitulista ladattavan zip paketin enimmäiskoko on 2Gb, joten isompien aineistojen osalta on ollut mahdollista ladata vain muutamia karttalehtiä kerrallaan. Tämän rajoituksen poistamiseksi Paituliin on nyt lisätty mahdollisuus ladata avoimmella lisenssillä (useimmiten CC-BY-4.0 lisenssi) jaettavia aineistoja myös HTTP:n, FTP:n tai rsyncin avulla nic.funet.fi palvelusta. Aineistojen käyttöehdot löytyvät Metadata sivulta.

Protokollien juurihakemistot ovat:

 

Suositeltavat ohjelmistot

FTP ja rsync ovat molemmat hyviä vaihtoehtoja alihakemistoja sisältävien hakemistojen lataamiseen. Molempia käytettäessä voi helposti valita vain ylimmän kansion ja ladata kaikki alikansiot sisältöineen automaattisesti.

  • Helpoin tapa käyttää FTP:tä Windowsissa on ladata tähän tarkoitukseen tehty ohjelmisto, esimerkiksi Filezilla tai WinSCP
  • Komentorivityökaluista suosittelemme rsync ohjelmaa. Se tarjoaa mahdollisuuden jatkaa keskeytynyttä latausta, joten se on parempi vaihtoehto todella isojen (n. 100 Gb +) aineistojen lataamiseen. rsyncin pitäisi tulla useimpien Linux jakeluiden mukana valmiiksi asennettuna. Windows ympäristössä se tulee asentaa itse esimerkiksi täältä.

 

Aineiston löytäminen

Paituli sisältää noin 7Tb (=7000Gb) dataa, joten useimmiten on tarpeen ladata vain pieni osa Paitulin sisällöstä.

 

Kokonaisen aineiston lataaminen:

Paitulin hakemistoja on helppo selata HTTP tai FTP osoitteiden kautta. Aineistot on tallennettu loogisiin alihakemistoihin, joten halutun aineiston löytäminen pitäisi olla kohtuullisen helppoa. Hakemistopuussa tulee ensin valita aineiston tuottaja, sitten itse aineisto, ja lopuksi vuosiversio (sekä mahdollisesti muita vaihtoehtoja).

Toinen vaihtoehto on katsoa aineistojen polut Latauspalvelusta:

  1. Avaa Latauspalvelu,
  2. Valitse haluamasi aineisto
  3. Valitse "Linkit" välilehti vasemmasta alakulmassa.
  4. Käytä jotain FTP työkalua TAI rsynciä aineiston lataamiseksi:
rsync -a rsync://rsync.nic.funet.fi/ftp/pub/sci/geo/geodata/mml/hallintorajat_milj_tk/2017/ folder_to_save/
  • Vaihda komennossa siniset osat vastaamaan valitsemaasi aineistoa ja tallennushakemistoasi.
  • -a käytä arkisto tilaa, mm. säilyttää alkuperäiset aikaleimat ja lataa kaikki alihakemistot

 

Vain tiettyjen karttalehtien lataaminen:

  1. Avaa Latauspalvelu,
  2. Valitse haluamasi aineisto
  3. Valitse karttalehdet kartalta tai haulla
  4. Klikkaa "Lataa tiedostolista" painiketta.
  5. Saat tiedostolistauksen sähköpostiisi, lataa listaus omalle koneelle.
  6. Käytä rsynciä aineiston lataamiseksi:
rsync -a --files-from=file_list.txt rsync://rsync.nic.funet.fi/ftp/pub/sci/geo folder_to_save/
  • Jos haluat käyttää jotain muuta ohjelmistoa aineistojen lataamiseksi, työkalusta riippuen voit joutua lisäämään tiedostolistaukseen juurihakemiston jokaiselle riville. Juurihakemistot on annettu tämän sivun alussa.
  • Jos lataat wgetillä HTTP protokollan avulla, saat ylimääräisiä index.* tiedostoja, minkä vuoksi on parempi käyttää FTP:tä.
  • Latausskripteissä voi hyödyntää myös indeksikarttaa, joka on saatavilla Linkit välilehdeltä Latasupalvelu sivulla.

 

FTP mountin tekeminen

Voit myös mountata paitulin FTP hakemiston omalle koneellesi. Tämä mahdollistaa tiedostojen selaamisen ja avaamisen suoraan GIS ohjelmilla (esim. qgis) ilman erillistä latausvaihetta. Tiedostot täytyy kuitenkin tietysti ladata, vaikka tämä tapahtuukin automaattisesti niitä avatessa, joten avaaminen FTP:n ylitse on hitaampaa kuin paikallisen tiedoston avaaminen.

  • Linuxin käyttäjät voivat käyttää esim. curlFtpFS.
  • Windows käyttäjille ilmeisesti ei ole saatavilla vastaavaa ilmaista ohjelmistoa, joka toimisi järkevällä nopeudella.