Http:n, ftp:n ja rsyncin yli lataaminen

Paitulista ladattavan zip paketin enimmäiskoko on 2Gb, joten isompien aineistojen osalta on ollut mahdollista ladata vain muutamia karttalehtiä kerrallaan. Tämän rajoituksen poistamiseksi Paituliin on nyt lisätty mahdollisuus ladata avoimmella lisenssillä (useimmiten CC-BY-4.0 lisenssi) jaettavia aineistoja myös HTTP:n, FTP:n tai rsyncin avulla nic.funet.fi palvelusta. Aineistojen käyttöehdot löytyvät Metadata sivulta.

Protokollien juurihakemistot ovat:

 

Suositeltavat ohjelmistot

FTP ja rsync ovat molemmat hyviä vaihtoehtoja alihakemistoja sisältävien hakemistojen lataamiseen. Molempia käytettäessä voi helposti valita vain ylimmän kansion ja ladata kaikki alikansiot sisältöineen automaattisesti.

  • Helpoin tapa käyttää FTP:tä Windowsissa on ladata tähän tarkoitukseen tehty ohjelmisto, esimerkiksi Filezilla tai WinSCP
  • Komentorivityökaluista suosittelemme rsync ohjelmaa. Se tarjoaa mahdollisuuden jatkaa keskeytynyttä latausta, joten se on parempi vaihtoehto todella isojen (n. 100 Gb +) aineistojen lataamiseen. rsyncin pitäisi tulla useimpien Linux jakeluiden mukana valmiiksi asennettuna. Windows ympäristössä se tulee asentaa itse esimerkiksi täältä.
  • Jos rsync ei ole käytettävissä, seuraava vaihtoehto on wget.

 

Aineiston löytäminen

Paituli sisältää noin 7Tb (=7000Gb) dataa, joten useimmiten on tarpeen ladata vain pieni osa Paitulin sisällöstä.

 

Kokonaisen aineiston lataaminen:

Paitulin hakemistoja on helppo selata HTTP tai FTP osoitteiden kautta. Aineistot on tallennettu loogisiin alihakemistoihin, joten halutun aineiston löytäminen pitäisi olla kohtuullisen helppoa. Hakemistopuussa tulee ensin valita aineiston tuottaja, sitten itse aineisto, ja lopuksi vuosiversio (sekä mahdollisesti muita vaihtoehtoja).

Toinen vaihtoehto on katsoa aineistojen polut Latauspalvelusta:

  1. Avaa Latauspalvelu,
  2. Valitse haluamasi aineisto
  3. Valitse "Linkit" välilehti vasemmasta alakulmassa.
  4. Käytä jotain FTP työkalua TAI rsynciä aineiston lataamiseksi:
rsync -a rsync://rsync.nic.funet.fi/ftp/pub/sci/geo/geodata/mml/hallintorajat_milj_tk/2017/ folder_to_save/
  • Vaihda komennossa siniset osat vastaamaan valitsemaasi aineistoa ja tallennushakemistoasi.
  • -a käytä arkisto tilaa, mm. säilyttää alkuperäiset aikaleimat ja lataa kaikki alihakemistot

 

Vain tiettyjen karttalehtien lataaminen:

  1. Avaa Latauspalvelu,
  2. Valitse haluamasi aineisto
  3. Valitse karttalehdet kartalta tai haulla
  4. Klikkaa "Lataa tiedostolista" painiketta.
  5. Saat tiedostolistauksen sähköpostiisi, lataa listaus omalle koneelle.
    (Vaihtoehtoisesti voi tiedostolistauksen muodostaa hyödyntämällä indeksikartan path sarakkeen tietoja. Indeksikartta on saatavilla Linkit välilehdeltä Latasupalvelu sivulla.)
  6. Käytä rsynciä aineiston lataamiseksi:
rsync -a --files-from=file_list.txt rsync://rsync.nic.funet.fi/ftp/pub/sci/geo folder_to_save/

 

wget käyttö aineiston lataamiseksi

Joskus organisaation palomuuri voi estää ftp ja rsync:n käytön. Silloin on parasta käyttää wget työkalua http:n kanssa. wget:lla on paljon asetuksia, yksi toimiva tapa on seuraava:

wget -r -l inf -N -np -nH -x -E -R html --cut-dirs=2 http://www.nic.funet.fi/index/geodata/mml/hallintorajat_milj_tk/2017/
-r, lataa rekursiivisesti alihakemistot.
-l inf, miten syvälle rekursiivinen lataus lähtee, oletuksena 5, tässä laitettu loputtomaksi
-N, vain päivitys, jo olemassa olevia tiedostoja ei ladata uudestaan, tämä on tärkeä, jos lataus keskeytyy tai jos päivitetään jo aikaisemmin ladattua aineistoa.
-np, estää ylähakemistojen latautumisen
-nH, poistaa palvelimen nimen
-x, kopioi hakemistorakenne
-cuts-dirs, leikkaa hakemistoja polun alusta, että hakemistopuu ei olisi liian pitkä, säätä tätä arvoa tarpeen mukaan
-E, lisää html tiedostoille .html tiedonimen loppuun, muuten luodaan tiedostoja, jolla ei ole tiedostopäätettä (ei tarvetta, jos käytetään ftp:tä)
-R html, älä tallenna html tiedostoja (ei tarvetta, jos käytetään ftp:tä)

 

  • Jos mahdollista, käytä ftp palvelua, käyttämällä HTTP protokolla, saat ylimääräisiä index.* tiedostoja.
  • Jos haluat ladata tiedostolistauksen avulla, lisää -i optio komentoon. Lisää myös juurihakemisto tiedostolistaukseen jokaiselle riville. Juurihakemistot on annettu tämän sivun alussa.

 

FTP mountin tekeminen

Voit myös mountata paitulin FTP hakemiston omalle koneellesi. Tämä mahdollistaa tiedostojen selaamisen ja avaamisen suoraan GIS ohjelmilla (esim. qgis) ilman erillistä latausvaihetta. Tiedostot täytyy kuitenkin tietysti ladata, vaikka tämä tapahtuukin automaattisesti niitä avatessa, joten avaaminen FTP:n ylitse on hitaampaa kuin paikallisen tiedoston avaaminen.

  • Linuxin käyttäjät voivat käyttää esim. curlFtpFS.
  • Windows käyttäjille ilmeisesti ei ole saatavilla vastaavaa ilmaista ohjelmistoa, joka toimisi järkevällä nopeudella.