Utolsó frissítésben adat dátuma az ellenőrző oldalakon is

[vasony]

Utolsó frissítés: 2024-03-16 03:08 (osm), 2024-03-15 22:49 (területek)

Ezt a stílust kérném ide is:
https://osm.vasony.hu/lints/whole-country/invalid-addr-cities#

[vmiklos]

Lehet róla szó. Itt megint az a gond, hogy jelenleg ehhez az adatot CSV-ben kérjük le, ami nem adja ezt az infót. Jó lenne nem növelni az overpass lekérdezések számát, úgyhogy akkor marad az, hogy JSON-ban lekérni, ami viszont az összes taget adja, ebből kimazsolázni azt ami minket érdekel (2 timestamp, pár címke). Szóval az a minta ahogy a területek OSM utcáit meg házszámait már most is lekérdezzük.

Ezzel egyben meg fog szűnni a workdir/stats/whole-country.csv; legyen valami 'osm-gimmisn dump-csv stats-whole-country' parancs ami kiadja az adatokat a régi CSV formátumában, vagy ha ott van az infó egy sqlite táblában az elég?

[vasony]

sqlite elég. csak mielőtt átállunk szólj, mert nem biztos hogy azonnal lesz időm

[vmiklos]

Persze, a szokásos menet:

1. JSON lekérdezést is csináljon a cron.
2. Abból dolgozni mindenhol.
3. Megvárni mikor már neked se kell a CSV.
4. CSV lekérdezés kuka.

[vmiklos]

Az 1) kész, csinálhatsz hozzá CSV exportot magadnak amikor jólesik, whole_country a tábla neve, azok az oszlopok vannak benne amit régen a CSV lekérdezés kapott. Darabonként nemsokára nekiállok ezzel párhuzamosan a 2)-nek, ugye a lényeg a 2 új dátum, ezek már most megvannak sqlben csak mutatni kell őket.

[vmiklos]

A lényeg kész, de maradjon nyitva míg a csv törlése nincs kész.

[vmiklos]

Én már nem olvasom a csvt, ha szólsz, hogy mehet akkor kukazom.

[vasony]

ok, kell még egy kis idő, mert az új ref-et reszelem már egy ideje

[vasony]

@vmiklos TLDR; kiszedheted a csv generálást.

Eredeti ezt volt:

   awk  'BEGIN {FS="\t"}{if($6)  printf "%s/%s\t%s\t%s\t%s\t%s\t%s\t%s\t%s\n",$7,$6,$1,$2,$3,$4,$9,$10,$11 }' $workdir/stats/whole-country.csv  >$outfile.tmp
   head -n 1 $outfile.tmp >$outfile
   tail -n+2 $outfile.tmp | sort  -t$'\t' -k2,4 -k5n,5 -k5,5 -k1n,1 >>$outfile
   rm $outfile.tmp

Ez lett:

.headers on
.load ./libicu.so
.output /dev/null
SELECT icu_load_collation('hu_HU', 'HUNGARIAN');
.mode tab
.output stdout
select osm_type||"/"||osm_id, postcode, city, street, housenumber, place, unit, name from whole_country
order by postcode nulls last, city COLLATE HUNGARIAN, street COLLATE HUNGARIAN, place COLLATE HUNGARIAN,  cast(housenumber as number), housenumber, unit, osm_type, osm_id;

Az magyar rendezést belőni elég kinlódós volt, de ez lett a végleges:

gcc -fPIC -shared icu.c `pkg-config --libs --cflags icu-uc icu-io` -o libicu.so

Kicsit eltér a linuxos rendezéstől, de megteszi.

Kapcsolódó:
https://stackoverflow.com/questions/6578600/how-to-compile-sqlite-with-icu
https://www.sqlite.org/src/doc/trunk/ext/icu/README.txt

prob1: icu-config leírások már nem jók, pck-config van már helyette
prob2: a lib neve libicu.so kell egyen, különben error van

[vasony]

Utána zárható

[vmiklos]

909bcd4