[Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

domsimu · [↑]

Bonjour,

Les données du cadastre sur: http://cadastre.openstreetmap.fr/ sont disponibles au format OSM.

Donc, on télécharge ces fichiers au format OSM dans QGIS et on les transforme en fichiers SHP, puis on les regroupes en un gros fichier SHP, par exemple par département , puis, on les transforme en fichiers AGNs avec le logiciel Scenproc. Cela prends beaucoup de temps.

Je cherche donc une méthode pour fusionner plusieurs fichiers OSM ( par exemple, 300 fichiers) en un seul fichier OSM avec QGIS ou avec un autre logiciel rapidement.

Domsimu

Dernière modification par domsimu (20-05-2013 14:17:49)

JpP · [↑]

domsimu a écrit :

Bonjour,
Les données du cadastre sur: http://cadastre.openstreetmap.fr/ sont disponibles au format OSM.
Donc, on télécharge ces fichiers au format OSM dans QGIS et on les transforme en fichiers SHP, puis on les regroupes en un gros fichier SHP, par exemple par département , puis, on les transforme en fichiers AGNs avec le logiciel Scenproc. Cela prends beaucoup de temps.
Je cherche donc une méthode pour fusionner plusieurs fichiers OSM ( par exemple, 300 fichiers) en un seul fichier OSM avec QGIS ou avec un autre logiciel rapidement.

Domsimu

Bonjour Dominique

Faut bien que l'on s'adapte! Nouvelles conditions, autres outils...
JOSM fait çà, il permet bien de selectionner un lot de calques osm pour les fusionner et sauvegarder en un seul; ça s'ouvre ensuite sous QGis pour export en shp, ou à manger tel quel.
Tu le trouveras sur le site de Openstreetmap: il fonctionne sous Java et en 64 bit aussi je crois.
Voili!
Cordialement

JpP

domsimu · [↑]

Bonjour,

Merci JpP

J'ai regroupé plusieurs communes, mais le programme bloque aux dessus de 30 a 40 communes pour cause de blocage de mémoire.

C'est déjà plus rapide qu'avant.

JpP · [↑]

domsimu a écrit :

Bonjour,
Merci JpP
J'ai regroupé plusieurs communes, mais le programme bloque aux dessus de 30 a 40 communes pour cause de blocage de mémoire.
C'est déjà plus rapide qu'avant.

Salut Domi

Précision, la version 64bit est un hoax.

J'ai refait un essai chez moi, la v5939 tourne à plein en utilisant +/- 2 GoRam, 4Go installés devraient suffire.
Je procède ainsi:
Ouvrir fichier; je sélectionne tous les osm concernés depuis mon répertoire; JOSM crée autant de calques
Créer nouveau calque: simplement pour avoir un calque de destination lors de la fusion
Dans la colonne de droite: je sélectionne tous les calques; je clique sur l'icône au dessous (flêche vers le bas à côté de pile de calques), un cartouche me demande le calque de destination, je choisis le nouveau
qui est vide, et OK.
Plus ou moins de temps selon ton processeur, mais ça devrait marcher, bizarre...

JpP

domsimu · [↑]

Rebonjour JpP,

J'ai la version 5966.

J'ai cherché un peu et j'ai trouvé la même méthode que toi.
Je fais tourner plusieurs JOSM en même temps.
Je m'arrange a ne pas dépasser les 40mo de fichiers au départ.
Donc, de 20 à 80 communes en une fois.

Tu peux fusionner quelle quantité de communes en une fois?
Tout un département?

Domsimu

JpP · [↑]

domsimu a écrit :

Rebonjour JpP,
J'ai la version 5966.
J'ai cherché un peu et j'ai trouvé la même méthode que toi.
Je fais tourner plusieurs JOSM en même temps.
Je m'arrange a ne pas dépasser les 40mo de fichiers au départ.
Donc, de 20 à 80 communes en une fois.
Tu peux fusionner quelle quantité de communes en une fois?
Tout un département?
Domsimu

Est-une version stable? (la dernière est souvent une béta)...
J'ai fusionné en une fois les communes de 2A + 2B, soit 256 communes trouvées.

JpP

Dernière modification par JpP (20-05-2013 19:23:39)

jacquesGSN · [↑]

Bonjour à tous

Je suis aussi intéressé par une méthode pour fusionner les fichiers OSM avant d'avancer plus dans la démarche de complilation en AGN

J'ai essayé JOSM, mais c'est très long (ou je fais quelque chose de travers), à tel point que je ne pense pas que cela fasse gagner du temps par rapport à la méthode habituelle avec Quatum

Cordialement

Jacques

JpP · [↑]

Bonjour

Si vous vous en sentez le courage, il y a Osmosis (ligne de commande) et son interface graphique Osmembrane simplifiant (??) son utilisation.

http://wiki.openstreetmap.org/wiki/FR:Osmosis
http://code.google.com/p/osmembrane-gui/

Pour ma part JOSM fonctionne très bien jusqu'ici.

JpP

Dernière modification par JpP (21-05-2013 09:35:20)

domsimu · [↑]

Bonjour,

J'utilise de nouveau la version 5939 de JOSM.
La 5966 avait bloqué a cause d'un trop grand nombre de communes.

Je divise un département en 5 ou 6 partie ( ou plus) pour que JOSM fusionne plus rapidement les fichiers OSM.
Et, je démarre 5 ou 6 JOSM en même temps.

Pour fusionner 40 communes, il faut environ 1 à 3 heures.

J'essaierai OSMOSIS.

Domsimu

Dernière modification par domsimu (21-05-2013 11:56:02)

JpP · [↑]

Un peu de neuf avec JOSM, qui accepte un paramètre d'allocation de mémoire en ligne de commande (il passe néanmoins en graphique ensuite); je n'ai pas pu lui faire dépasser 1024 Mo, avec quoi il a ingéré un peu plus de 500 osm.
A partir de Windows\SysWOW64, lancer java -Xmx1024m -jar chemin du fichier->\josm-tested.jar

@Domsimu
Ce qui n'empêche pas les instances multiples.

JpP

Lagaffe · [↑]

Avec JAVA, il est possible de lui donner au moins 3 paramètres de base dont le "Heap Size", la mémoire allouée à un processus et un dernier dont je ne me souviens plus du nom.
Il faut dire que nous développons en JAVA avec des machines à 16 Go de RAM et qu'il nous arrive de lancer des machines virtuelles avec un Xmx de plus de 2 Go donc c'est tout à fait possible. Après tout dépend de la version de JAVA utilisée et si la machine virtuelle tourne en 32 ou 64bits.

Je me renseigne demain auprès de mes administrés et j'essaye de vous donner quelques tuyaux plus précis quant à ces 3 paramètres et à leur signification ...

Un bon commencement: http://javahowto.blogspot.fr/2006/06/6-common-errors-in-setting-java-heap.html

Dernière modification par Lagaffe (21-05-2013 20:01:39)

JpP · [↑]

Merci Didier

De bon tuyaux sur Java, que nous pourrons exploiter bientôt j'espère; pas pu dépasser les 1024 Mo malgré la version 7, JRE 1.7, W7-64 et 16 GoRam, faute de maîtrise de la chose.

JpP

domsimu · [↑]

J'ai installé Java 64 bits, je pensais qu'il était déjà installé.

Dans le même temps pour tester , j'ai 4 versions de JOSM en 32bits qui fusionne des fichiers OSM.

Pour voir, j'ai démarré une 5e version de JOSM après avoir installé JAVA en 64bits.

Et , bonne surprise, JOSM à démarré avec la version JAVA en 64bits et utilise maintenant 1,6go de mémoire.
Et cela va beaucoup plus vite.
C'est vrai que j'ai 16go de Ram, j'ai encore un peu de marge d'utilisation.

Je n'ai pas eu besoin d'utiliser la méthode de JpP (A partir de Windows\SysWOW64, lancer java -Xmx1024m -jar chemin du fichier->\josm-tested.jar)

Les 4 autres versions de JOSM qui tournent encore sur JAVA 32bits consomme chacune 302mo de mémoire.

Si cela peut servir à d'autres utilisateurs du forum.

Domsimu

JpP · [↑]

Bonjour à tous,

@Domsimu
Sans paramètre Xmx quelle quantité de osm as-tu pu traiter?
Quand mon traitement sur 500+ fichiers (on parle de nombre de fichiers ce qui est très approximatif en termes de volume réel, mais bon...) s'est arrêté faute de mémoire réservée, Java m'a donné le tuyau sur le paramètre Wmx et m'a indiqué qu'il utilisait alors 484 Mo.

J'attends beaucoup des renseignements que Lagaffe va pouvoir nous fournir.

JpP

domsimu · [↑]

Bonjour,

@JpP,

Je peux traiter environ 65mo de fichiers houses.OSM.
Josm traite en ce moment un fichier de 70 mo avec 35 communes, il utilise 1,8go de mémoire.

J'ai démarré un JOSM supplémentaire avec tout le Dpt 70, soit 304 communes et 101mo.
En 10 minutes, il a déjà fusionné 30 communes. Avec 1,7go de mémoire utilisée.

A cette vitesse, il va être possible de refaire plusieurs départements par jour pour les buildings en automatique.
Je suis passé de 15 jours de travail personnel a 2 heures pour faire un département avec cette méthode.
On a plus besoin de passer par QGIS.
On a plus besoin de trier les communes déjà réalisées.

Domsimu

Dernière modification par domsimu (22-05-2013 08:49:12)

JpP · [↑]

Merci Lagaffe pour le lien que tu as indiqué un peu plus haut.
Une bonne lecture, et hop! (enfin hoo...ooop), ça dépote ! Une fois le heap réglé, 12,5 Go de Ram disponibles!!

Identification: JOSM/1.5 (5939 fr) Windows 7 64-Bit
Memory Usage: 13416 MB / 13416 MB (12436 MB allocated, but free)
Java version: 1.7.0_21, Oracle Corporation, Java HotSpot(TM) 64-Bit Server VM
VM arguments: [-Xms14000m, -Xmx14000m]

Ma ligne de commande:
java.exe -jar -Xms14000m -Xmx14000m josm-tested.jar

Mes 1004 osm (1,5 Go) sont montés comme un seul homme et la fusion a démarré; bon, ça va prendre un moment, c'est quand même une région entière.

Et comme l'opération ne mobilise que 12% du CPU, en lançant plusieurs instances simultanées, en partageant la Ram, ça devrait pouvoir être très rapide.

JpP

Lagaffe · [↑]

Attention quand même aux fuites mémoires, JAVA est coutumier du fait même s'il existe un garbage collector (ramasse-miettes) censé rendre la mémoire inoccupée au programmes qui en ont besoin.

L'astuce de Domsimu est judicieuse: utiliser plusieurs processus pourquoi pas lancé via des fichiers bat pour démarrer plusieurs compilations en parallèle ... vu que nos CPU disposent de plusieurs coeurs et que la mémoire vive est importante cela permet de paralléliser un max et de découper notre travail en tranches ... après ce qu'est que de l'organisation.

Pour les fichiers BAT: PowerBatch d'Astase est un très bon programme qui façilite la vie et qui est disponible en gratuit (http://www.commentcamarche.net/download/telecharger-34077366-powerbatch).

Quelques liens supplémentaires pour mieux connaître JAVA et son paramétrage:
- http://fr.wikibooks.org/wiki/Programmat … rer_la_JVM
- http://www.jmdoudoux.fr/java/dej/chap-jvm.htm le plus intéressant mais le plus costaud à lire

Note: je ne suis pas un spécialiste de ce langage mais j'administre un très grand nombre de développeurs qui développent avec ce langage et donc à force, je me suis obligé à assimiler quelques bases pour mieux comprendre certains problèmes qu'ils me soumettent

Dernière modification par Lagaffe (22-05-2013 20:24:47)

JpP · [↑]

Merci Lagaffe pour les renseignements

JpP

JpP · [↑]

Bonjour

Au risque d'enfoncer des portes ouvertes...

Je copie un .bat dans le répertoire de JOSM où j'ai josm.tested

contenu du batch:
java.exe -jar -XmsNg -XmxNg josm-tested.jar

où N est le nombre de Go que je réserve à java; et je lance plusieurs instances.

JpP

domsimu · [↑]

Bonjour,

C'est bizarre,

Sur mon ordinateur, je peux utiliser jusqu'à 14go sur les 16go, avec Java et Josm sans faire de modifications.
Josm utilise au maximum 2go par groupes de fichiers.
Je fais donc tourner jusqu'à 8 JOSM de 30mo simultanément.
Bon , c'est tant mieux, cela m'évite des manipulations supplémentaires.

Domsimu

#1 [↑][↓] 19-05-2013 18:56:48

[Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#2 [↑][↓] 19-05-2013 19:18:34

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#3 [↑][↓] 20-05-2013 12:26:09

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#4 [↑][↓] 20-05-2013 15:36:31

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#5 [↑][↓] 20-05-2013 15:45:20

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#6 [↑][↓] 20-05-2013 19:23:15

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#7 [↑][↓] 21-05-2013 08:47:03

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#8 [↑][↓] 21-05-2013 09:34:26

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#9 [↑][↓] 21-05-2013 11:53:58

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#10 [↑][↓] 21-05-2013 18:30:50

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#11 [↑][↓] 21-05-2013 20:00:34

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#12 [↑][↓] 21-05-2013 21:15:55

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#13 [↑][↓] 21-05-2013 22:53:25

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#14 [↑][↓] 22-05-2013 06:43:15

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#15 [↑][↓] 22-05-2013 08:25:44

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#16 [↑][↓] 22-05-2013 13:38:15

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#17 [↑][↓] 22-05-2013 19:53:06

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#18 [↑][↓] 22-05-2013 20:55:14

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#19 [↑][↓] 23-05-2013 10:26:04

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

#20 [↑][↓] 23-05-2013 14:06:37

Re : [Résolu][FSX] Je cherche une methode pour fusionner X fichiers OSM

Pied de page des forums