<div dir="ltr"><div dir="ltr">Hi Gerd,<div><br></div><div>thanks I assume there are no ways - and phyghtmap does not work correctly either on such a huge area - has maybe a 64GB limit which would be broken? or does not work on the poly file with two areas. I will run it again now against both single areas (one has finished already and looks okay - but that was the tiny area). The other area will need 15 days or so as phyghtmap on ubuntu is using 1 thread only (can use 2 threads - but that is only maybe 1% faster. if more threads just wasting memory but not being any faster). So I will wait and see in 2 weeks...</div><div><br></div><div><br></div><div>osmconvert also needed like 60 minutes or so to put out:</div><div><div>timestamp min: 2021-05-13T08:41:54Z</div><div>timestamp max: 2021-05-13T08:41:54Z</div><div>lon min: 44.9999999</div><div>lon max: 179.9991666</div><div>lat min: -11.0025000</div><div>lat max: 81.8573611</div><div>nodes: 26761028462</div><div>ways: 0</div><div>relations: 0</div><div>node id min: 10000000</div><div>node id max: 26771065386</div></div><div><br></div><div><br></div><div>so clearly no ways.</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, 29 May 2021 at 08:47, Gerd Petermann <<a href="mailto:gpetermann_muenchen@hotmail.com">gpetermann_muenchen@hotmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Felix,<br>
the log shows<br>
"way Map is empty"<br>
so splitter doesn't find any ways in asia10m_.osm.pbf.<br>
<br>
So, either the file doesn't contain ways or splitter fails to find them. Maybe use<br>
osmconvert --out-statistics asia10m_.osm.pbf<br>
to find out more.<br>
<br>
Reg. performance when splitting huge files with --keep-complete<br>
use o5m format and --max-areas=4096 (or higher)<br>
<br>
I'll have to check why splitter needs so much time in the "Problem-list-generator" passes. Without ways or relations there is no need to even execute that.<br>
<br>
The asia.poly contains two rings. I think splitter can copy with that but maybe phyghtmap cannot? Try with two separate *.poly files<br>
<br>
Gerd<br>
<br>
________________________________________<br>
Von: mkgmap-dev <<a href="mailto:mkgmap-dev-bounces@lists.mkgmap.org.uk" target="_blank">mkgmap-dev-bounces@lists.mkgmap.org.uk</a>> im Auftrag von Felix Hartmann <<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a>><br>
Gesendet: Freitag, 28. Mai 2021 19:29<br>
An: Development list for mkgmap<br>
Betreff: Re: [mkgmap-dev] Splitter only writes points, not ways on huge file?<br>
<br>
Attached the full splitter.log - looks fine. Is it most likely that the error is on phyghtmap?<br>
<br>
On Fri, 28 May 2021 at 13:12, Felix Hartmann <<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a><mailto:<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a>>> wrote:<br>
running now again with resolution 13, I had tried if changing resolution to 12 would solve the problem - but is does not.<br>
<br>
On Fri, 28 May 2021 at 13:11, Felix Hartmann <<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a><mailto:<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a>>> wrote:<br>
Asia.poly is attached - I did not save the splitter.log - doing this right now (but will take some hours - splitting this huge file takes a lot of time)<br>
<br>
The log starts with:<br>
Splitter version 597 compiled 2020-01-30T14:10:47+0000<br>
boundary-tags=use-exclude-list<br>
cache=<br>
description=<br>
geonames-file=<br>
handle-element-version=remove<br>
ignore-osm-bounds=false<br>
keep-complete=true<br>
mapid=75400000<br>
max-areas=2048<br>
max-nodes=12000000<br>
max-threads=7<br>
mixed=false<br>
no-trim=true<br>
num-tiles=<br>
output=pbf<br>
output-dir=<br>
overlap=auto<br>
polygon-desc-file=<br>
polygon-file=<br>
precomp-sea=<br>
problem-file=<br>
problem-report=<br>
resolution=13<br>
route-rel-values=<br>
search-limit=200000<br>
split-file=<br>
status-freq=120<br>
stop-after=dist<br>
wanted-admin-level=5<br>
write-kml=<br>
Elapsed time: 0s   Memory: Current 1012MB (7MB used, 1005MB free) Max 25000MB<br>
Time started: Fri May 28 12:06:59 CEST 2021<br>
Map is being split for resolution 13:<br>
 - area boundaries are aligned to 0x800 map units (0.0439453125 degrees)<br>
 - areas are multiples of 0x800 map units wide and high<br>
Processing asia10m_.osm.pbf<br>
Bounding box -179.99990000000003 -13.011650000000001 179.99990000000003 84.52666<br>
10,000,000 nodes parsed... id=19999999<br>
20,000,000 nodes parsed... id=29999999<br>
30,000,000 nodes parsed... id=39999999<br>
40,000,000 nodes parsed... id=49999999<br>
50,000,000 nodes parsed... id=59999999<br>
60,000,000 nodes parsed... id=69999999<br>
70,000,000 nodes parsed... id=79999999<br>
80,000,000 nodes parsed... id=89999999<br>
90,000,000 nodes parsed... id=99999999<br>
100,000,000 nodes parsed... id=109999999<br>
<br>
On Fri, 28 May 2021 at 12:25, Gerd Petermann <<a href="mailto:gpetermann_muenchen@hotmail.com" target="_blank">gpetermann_muenchen@hotmail.com</a><mailto:<a href="mailto:gpetermann_muenchen@hotmail.com" target="_blank">gpetermann_muenchen@hotmail.com</a>>> wrote:<br>
Hi Felix,<br>
<br>
the pbf file really contains only nodes.<br>
Can you attach the splitter log file and the asia.poly, please?<br>
<br>
Gerd<br>
<br>
________________________________________<br>
Von: mkgmap-dev <<a href="mailto:mkgmap-dev-bounces@lists.mkgmap.org.uk" target="_blank">mkgmap-dev-bounces@lists.mkgmap.org.uk</a><mailto:<a href="mailto:mkgmap-dev-bounces@lists.mkgmap.org.uk" target="_blank">mkgmap-dev-bounces@lists.mkgmap.org.uk</a>>> im Auftrag von Felix Hartmann <<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a><mailto:<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a>>><br>
Gesendet: Freitag, 28. Mai 2021 11:18<br>
An: Development list for mkgmap<br>
Betreff: Re: [mkgmap-dev] Splitter only writes points, not ways on huge file?<br>
<br>
Hi Gerd,<br>
sorry - fixed. I attached the file. I could also put the whole 60GB file for analysis. But do not know if you could download such a huge file or analyse it better.<br>
<a href="https://openmtbmap.org/75400407.osm.pbf" rel="noreferrer" target="_blank">https://openmtbmap.org/75400407.osm.pbf</a><br>
<br>
Felix<br>
<br>
On Fri, 28 May 2021 at 09:03, Gerd Petermann <<a href="mailto:gpetermann_muenchen@hotmail.com" target="_blank">gpetermann_muenchen@hotmail.com</a><mailto:<a href="mailto:gpetermann_muenchen@hotmail.com" target="_blank">gpetermann_muenchen@hotmail.com</a>><mailto:<a href="mailto:gpetermann_muenchen@hotmail.com" target="_blank">gpetermann_muenchen@hotmail.com</a><mailto:<a href="mailto:gpetermann_muenchen@hotmail.com" target="_blank">gpetermann_muenchen@hotmail.com</a>>>> wrote:<br>
Hi Felix,<br>
<br>
the link to the pbf file seems to be wrong?  I get an 404<br>
<br>
Gerd<br>
<br>
________________________________________<br>
Von: mkgmap-dev <<a href="mailto:mkgmap-dev-bounces@lists.mkgmap.org.uk" target="_blank">mkgmap-dev-bounces@lists.mkgmap.org.uk</a><mailto:<a href="mailto:mkgmap-dev-bounces@lists.mkgmap.org.uk" target="_blank">mkgmap-dev-bounces@lists.mkgmap.org.uk</a>><mailto:<a href="mailto:mkgmap-dev-bounces@lists.mkgmap.org.uk" target="_blank">mkgmap-dev-bounces@lists.mkgmap.org.uk</a><mailto:<a href="mailto:mkgmap-dev-bounces@lists.mkgmap.org.uk" target="_blank">mkgmap-dev-bounces@lists.mkgmap.org.uk</a>>>> im Auftrag von Felix Hartmann <<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a><mailto:<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a>><mailto:<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a><mailto:<a href="mailto:extremecarver@gmail.com" target="_blank">extremecarver@gmail.com</a>>>><br>
Gesendet: Freitag, 28. Mai 2021 07:56<br>
An: Development list for mkgmap<br>
Betreff: [mkgmap-dev] Splitter only writes points, not ways on huge file?<br>
<br>
I used phyghtmap to create a huge file (60GB) of 10m equidistance osm.pbf contourlines data.<br>
<br>
phyghtmap --jobs=2 --polygon=/home/contourlines/bounds/asia.poly --step=10  --no-zero-contour --void-range-max=-420 --output-prefix="Asia10m" --line-cat=500,100--start-node-id=10000000 --start-way-id=10000000 --source=view1,srtm1,view3,srtm3 --max-nodes-per-way=230 --max-nodes-per-tile=0 --pbf<br>
<br>
I am not fully sure that this pbf file is correct, but I created it exactly the same way as smaller countries. Maybe its also phyghtmap going wrong. But I doubt it with phyghtmaps incremental approach of just constantly writing out data.<br>
<br>
When splitting it with splitter - and opening up one of the osm.pbf files in JOSM - I noticed it contains only the contourline nodes, no lines.<br>
I think the Asia continent file spans 360 degrees - so maybe that causes problems with splitter?<br>
<br>
<br>
<br>
I have uploaded a splitted file here: <a href="https://openmtbmap.org/75400407.osm.pbf" rel="noreferrer" target="_blank">https://openmtbmap.org/75400407.osm.pbf</a><br>
If you load it in Josm, you will notice it is alll the points but no lines...<br>
<br>
--<br>
Felix Hartman - Openmtbmap.org & VeloMap.org<br>
<br>
_______________________________________________<br>
mkgmap-dev mailing list<br>
<a href="mailto:mkgmap-dev@lists.mkgmap.org.uk" target="_blank">mkgmap-dev@lists.mkgmap.org.uk</a><mailto:<a href="mailto:mkgmap-dev@lists.mkgmap.org.uk" target="_blank">mkgmap-dev@lists.mkgmap.org.uk</a>><mailto:<a href="mailto:mkgmap-dev@lists.mkgmap.org.uk" target="_blank">mkgmap-dev@lists.mkgmap.org.uk</a><mailto:<a href="mailto:mkgmap-dev@lists.mkgmap.org.uk" target="_blank">mkgmap-dev@lists.mkgmap.org.uk</a>>><br>
<a href="https://www.mkgmap.org.uk/mailman/listinfo/mkgmap-dev" rel="noreferrer" target="_blank">https://www.mkgmap.org.uk/mailman/listinfo/mkgmap-dev</a><br>
<br>
<br>
--<br>
Felix Hartman - Openmtbmap.org & VeloMap.org<br>
<br>
_______________________________________________<br>
mkgmap-dev mailing list<br>
<a href="mailto:mkgmap-dev@lists.mkgmap.org.uk" target="_blank">mkgmap-dev@lists.mkgmap.org.uk</a><mailto:<a href="mailto:mkgmap-dev@lists.mkgmap.org.uk" target="_blank">mkgmap-dev@lists.mkgmap.org.uk</a>><br>
<a href="https://www.mkgmap.org.uk/mailman/listinfo/mkgmap-dev" rel="noreferrer" target="_blank">https://www.mkgmap.org.uk/mailman/listinfo/mkgmap-dev</a><br>
<br>
<br>
--<br>
Felix Hartman - Openmtbmap.org & VeloMap.org<br>
<br>
<br>
<br>
--<br>
Felix Hartman - Openmtbmap.org & VeloMap.org<br>
<br>
<br>
<br>
--<br>
Felix Hartman - Openmtbmap.org & VeloMap.org<br>
<br>
_______________________________________________<br>
mkgmap-dev mailing list<br>
<a href="mailto:mkgmap-dev@lists.mkgmap.org.uk" target="_blank">mkgmap-dev@lists.mkgmap.org.uk</a><br>
<a href="https://www.mkgmap.org.uk/mailman/listinfo/mkgmap-dev" rel="noreferrer" target="_blank">https://www.mkgmap.org.uk/mailman/listinfo/mkgmap-dev</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Felix Hartman - Openmtbmap.org & VeloMap.org<br></div><br></div></div></div></div></div></div>