overpass osm dátumok szerepeltetése a frissítve dátumnál

[vasony]

Nem tudjuk mikori adatokat ad vissza az overpass, mert nem json-ban/xml-ben kérjük le, így kéne egy plusz kört futni a dátumokkal minden frissítésnél, és kiírni valahova. Főleg a timestamp_areas_base ami fontos, mert sokszor régi és nem értjük miért vannak még további utcák.

Az alábbival megkapjuk a 2 dátumot (objektumok, területek), amit az overpassban van. (windows enclosing, javítani kell majd linuxra)

curl -s "https://overpass-api.de/api/interpreter?data=\[out:json\];area(3600221998);out;" | jq -r "[.osm3s.timestamp_osm_base,.osm3s.timestamp_areas_base] | @TSV"

nyilván nem kell ezeket a cuccuokat használni ez csak egy elv

[vmiklos]

Hm, a CSV ötlet eredetileg onnan jött, hogy az egész országra az összes házszám már nem triviális méret. CSV-ben tudok szűrni csak a kért tulajdonságokra, így is 40MB körül van egy napi lekérdezés. De utána már mindegy a formátum, mert kódban a CSV-ből meg a JSON-ból is struct lesz. Ha jól értem most itt a területenkénti lekérdezésekről van szó, azt simán át lehetne rakni JSON-ba, ott nem aggódok a méret miatt, és akkor csak 1 lekérdezés kéne.

Szóval én azt javasolnám, hogy 1) átállás JSON lekérdezésekre overpassból 2) utána már megvan helyben a két dátum és lehet mutatni. Vélemény?

[vasony]

Ha az overpass query-ket átírod a data-ban, hogy ne csv legyen, akkor összeomlik a 7.2 azonnal. Szóval ha ez az irány, akkor átmenetileg azokat be kell fagyasztani. (Az új gép debiannaé már helyén csak várja a csodát).

Vagy beolvasás után átírod a fejlécet átmenetileg memóriában.

[vmiklos]

Persze, egy keresés & csere mehet rá memóriában mielőtt elküldöm. Mire ide jutok, lehet már te se 7.2-n leszel. :)

[vmiklos]

Azt még ki kéne gondolni, hogy hol jelenítsük ezt meg. A lábléc legyen hosszabb, ilyesmi, hogy:

Last update: 2023-11-10 00:15 (OSM base: ..., areas base: ...)

?

[vasony]

A mostani dátumot kidobnám, nincs jelentősége.
Last update: 2023-11-10 00:15 (osm), 2023-11-10 00:10 (areas)

[vmiklos]

OK, át fogok állni json lekérésre, hogy megkapjam a dátumokat is, a bonyolult last update számítást meg egyszerűsíteni lehet, hogy ezt a kettőt mutassa az osm utca vagy osm házszám alapján.

[vmiklos]

Rész-feladatok amiket most látok (egyelőre utcákra, de nyilván jönnek majd a házszámok is):

• legyen olyan overpass query ami jsont kér
• kérjük is le ezt a jsont, eredményt eltárolni sqlben (mint régen a csv)
• az osm+areas dátumok olvasása jsonból, azt is tárolni sqlben
• a felületre kivezetni ezt az infót
• régi CSV kivezetése, hogy újra 1 overpass query legyen csak

Kicsit sok lépés, de akkor a végén továbbra is csak 1 overpass lekérés lesz és megkapjuk a dátumokat amit szerettél volna.

[vmiklos]

https://osm-gimmisn.vmiklos.hu/osm/streets/budapest_01/view-result az utcák már jók. Még némi rendrakás hátravan, hogy ne legyen dupla CSV+JSON lekérdezés aztán jöhet u.ez a házszámokra.

[vmiklos]

Az utcák rendbetétele halad, még kb 9 kisebb lépést látok és akkor jöhet u.ez a házszámokra.

[vmiklos]

Az utcák rész kész, még u.ez kell házszámokra is.

[vmiklos]

https://osm-gimmisn.vmiklos.hu/osm/missing-housenumbers/vizivaros/view-result lehet tesztelni

[vasony]

itt teszteltem:
https://osm-gimmisn.vmiklos.hu/osm/additional-streets/pomaz/

3x frissítettem le az overpass-ból, és szépen látszott, hogy másik dátumokat kap a területre a különböző instanciákból, amikor már kellően friss dátumot írt, akkor a Lehet utca eltűnt.