[FSX][FS9]AGN Merge Tool

etien · [↑]

Salut,

Vogel69, le code utilise t il tous les coeurs / threads ? Je realise que cela n est pas facile a faire, mais c est clairement hautement parallelisable cet algorythme (on lance une mergure sur un thread independant). Sur ma becanne a priori cela pourrait tourner 12x plus vite....

Je remarque aussi le ralentissement, j essaie de faire tout le "centre" d un coup, cela tourne depuis 24h et la ou chaque zone prenait 1 sec, cela prends maintenant 6-8 sec.. (1) J ai remarqué que windows 7 a basculé le process sur priorité "basse" mobile: "this process is using too much CPU". Mais remettre le process sur priorité "normale" ou "superieur à la normale" ne reaccelere pas le process, donc c est pas cela. Sans doute une memoire qui se fragmente.

Etienne

Dernière modification par etien (02-07-2013 09:48:27)

filipo · [↑]

etien a écrit :

Salut,
Vogel69, le code utilise t il tous les coeurs / threads ? Je realise que cela n est pas facile a faire, mais c est clairement hautement parallelisable cet algorythme (on lance une mergure sur un thread independant). Sur ma becanne a priori cela pourrait tourner 12x plus vite....
Je remarque aussi le ralentissement, j essaie de faire tout le "centre" d un coup, cela tourne depuis 24h et la ou chaque zone prenait 1 sec, cela prends maintenant 6-8 sec.. (1) J ai remarqué que windows 7 a basculé le process sur priorité "basse" mobile: "this process is using too much CPU". Mais remettre le process sur priorité "normale" ou "superieur à la normale" ne reaccelere pas le process, donc c est pas cela. Sans doute une memoire qui se fragmente.
Etienne

Ouai t'as raison, je ne suis pas assez calé pour te répondre sur ces histoires de process ...

après la Xème région faite en merge, je commence à être habitué à ce problème de ralentissement ...

A titre d'exemple, pour le Centre, je l'ai fait en 4 passes ... j'ai scindé le 27500 fichiers et quelques en 4 morceaux de 7000 fichiers grosso modo, c'est plus rapide au final.

je pense que le problème de ralentissement est exponentiel et des 1 s par dalle au départ, tu peux finir à des durées énormes sur les dernières dalles

tu as tout intérêt à effectuer l'opération en plusieurs fois et au final tout rassembler.

laudey1 · [↑]

pour ma part, je relance le programme tous les 2000 fichiers traités, comme il garde ce qu'il a déjà traité, j'ai l'impression que cela accélère le processus.

Marcstrasb · [↑]

Bonsoir

J'ai un gros soucis avec AgnMergeTool V2.25b ! Dès que je suis sur Merge & Jointure, et que je veux cocher un dossier et le faire descendre en groupe 2, le logiciel ne répond pas à la commande et se bloque...

Combien de fichiers agn AgnMergeTool peut il traiter ? J'en ai 60 264 fichiers à traiter ! Est-ce que cela viendrait-il de cela ?

Merci beaucoup pour vos retours.

Amitiés,
Marc

Handie · [↑]

Bonsoir,

J'ai lancé AgnMergeTool v2.25b en mode administrateur, mais j'ai encore eu un message d'erreur, comme signalé page précédente dans mon post #287
La version v.2.24b, elle, fonctionne toujours très bien ...

Dernière modification par Handie (02-07-2013 19:13:07)

Marcstrasb · [↑]

Mercie Handie,

Je me retrouve devant un problème pour l'instant insoluble : Ni la V2.25b et ni la V2.24b veulent marcher avec mon Windows 7 32bits ! Les logiciels ne répondent pas !

Bonne soirée,
Marc

Handie · [↑]

Marc, je crois que pour chaque action dans le logiciel, surtout quand tu as énormément de fichiers à traiter, comme c'est ton cas, il te faut attendre très longtemps pour avoir une réponse du logiciel, même s'il y a noté " qu'il ne répond plus " ... c'est juste qu'il faut du temps pour qu'il puisse prendre en compte tous ces fichiers ...
Laisse agir et tu verras qu'au bout d'un long moment, la réponse à la commande viendra ; il faut être très patient

domsimu · [↑]

Bonsoir,

Pour info, quand je démarre AgnMergeTool V2.25b, il faut environ 30 secondes.
J'ai 191 dossiers et environ 2 millions d'agns dans Groupe de dalles.
Quand je coche un fichier qui contient 80700 dalles, il faut quelques minutes avant d'avoir les cases cochées puis un autre pour le mixage qui contient 20000 dalles, il faut aussi plusieurs minutes.
L'idéal étant de mixer par 2000 à 10000 dalles , c'est pour cette raison que j'ai abandonné le mixage de toute la France dans un seul fichier.

Et , j'ai découpé la France en 8 parties.

Gropied · [↑]

Bonjour Vogel69

Une petite régression de la 2.225b : Je n'arrive pas à obtenir la liste des GUIDs (plantage dés appui sur le bouton) alors qu'avec la 2.24 sur le même fichier (pays de Loire v3) cela marche.

Et j'en profite, c'est le moment des devoirs de vacances : pourrait on avoir en même temps que la liste des GUIDs trouvés, le nombre d'occurence de ces GUIDs ?

Pourquoi ? exemple: dans la V3 de Pays de Loire j'ai trouvé un GUID "inconnu" dans les buildings. J'aimerai savoir si c'est une occurence par hasard ou des milliers ?

Cordialement,

Gropied

Vogel69 · [↑]

Bonjour a tous,

Je vois que pas mal de questions sont arrivés ces derniers jours. Je lis tout ça et j'essayes de vous répondre très bientôt...

Dernière modification par Vogel69 (05-07-2013 16:06:17)

laudey1 · [↑]

J'ai aussi une question sur les paramètres :
Si on met default dans les cases Generic building Texture et Rowhouse Texture, va-t-il chercher les définitions dans le dossier Autogenxml ? Et si on ne coche rien ??

Vogel69 · [↑]

@etien
Non, mon programme n'est pas du tout optimisé pour tourner sur plusieurs cœur en même temps (pas de multi-threading) et c'est sûr qu'une bonne révision/refonte du coeur du bidule ne lui ferait pas de mal. Mais étant donné que pour l'instant le programme fait à peu près ce qu'on lui demande même si c'est très lentement, j’avoue ne pas avoir encore avoir approfondi le sujet. En plus, je ne connais pas trop le multi-threading et suis pour l'instant bien incapable d'adapter le code à une architecture 64bits ou 32 bits...
[MODE Psy ON]
En fait, comme je n'ai pas toujours beaucoup de temps à consacrer à ce hobby, je fait un peu les choses en fonction de mes besoins/envies. Ces derniers mois j'avais envie de me pencher sur la génération de végétation isolé, alors en bidouillant dans mon coin j'en suis venu à ajouter l'option "GUID Vegetation Auto" à AGN Merge Tool et à chercher du coté de AgenT, en passant par le développement de petites macros, pour aboutir au fil de mes recherches à la création de VogelTree. En fait, je manque cruellement d'organisation ce qui peu être péjoratif pour l'aboutissement d'un projet... et en plus de ca, en commencer un autre (VogelTree) n'est surement pas la meilleure manière de faire avancer les choses J'en ai conscience mais je suis comme ça. D'autant plus qu'ici comme il s'agit d'un hobby, j'avance encore plus au feeling :-D. Même si je dois avouer que j'apprécie de temps en temps qu'un "chef de projet" plus cartésien et organisé que moi me remette dans les rails de la productivité grâce a des remarques judicieuses et pertinentes
[MODE Psy OFF]

En bref, merci pour tes remarques... promis je vais essayer de m'y pencher plus sérieusement

@Marcstrab
Je pense que dans ton cas, effectivement c'est le nombre élevé de fichiers à afficher dans la "liste" de AGN Merge Tool qui entraine une surcharge qui ralentit fortement voir bloque le programme. Je ne vois pas trop de solution pour le moment si ce n'est fractionner en plusieurs dossiers comme conseillé par les collègues

@Handie
c'est étrange ton bug, je vais faire quelques tests pour essayer de comprendre le problème.

@Gropied
Merci pour l'info, j’essaye de corriger ça et d’implémenter un compteur d’occurrences.

@laudey1
Pour les cases Generic building Texture et Rowhouse Texture:
- si rien n'est coché ou que "default" est noté (c'est le cas de la plupart des fichiers AGN), FSX va chercher la texture des facades de batiments configuré par defaut. Je ne sais plus comment elles se nomme c'est un fichier qui porte l’extension .dds je crois.
- si la case est coché et qu'un nom de texture valide portant l'extension .dds est noté, pendant la simulation FSX ira remplacer les façades de bâtiments de la dalle AGN en cours par ceux dessinés dans le fichier .dds déclaré.

A noter pour les remplacements de GUID:
- si tu ne coches rien, le logiciel intègre les GUID du fichier AGN source sans rien toucher, sauf si le fichier AGN est au format FS9 et qu'il s'agit de végétation. Dans ce cas là, dans un fichier au format FS9, les rectangles de végétation ne possède aucun GUID, c'est donc le GUID par défaut de la section "Rectangular Vegetation" qui est assigné automatiquement par AGN Merge Tool que la case soit coché ou pas. D'ou l'importance de configurer un GUID correct pour cette section.

Dernière modification par Vogel69 (06-07-2013 00:19:01)

Marcstrasb · [↑]

Bonjour Vogel69,

On ne te remerciera pas assez d'avoir concocté un petit bijou tel ton beau bébé, Agn Merge Tool.

J'ai réussi à faire marcher Agn Merge Tool avec la totalité des fichiers agn, mais en ce moment j'applique la manip que Dominique m'a conseillé.

Question :

Mon Dossier en Group 1 fait 31 217 fichiers agn.

Et mon Dossier en Groupe 2 fait 1 191 fichiers agn.

Ce qui fait un total de 32 408 fichiers agn à traiter.

Or, lorsque l'on est dans Mixage et Jointure on coche tous les fichiers, Agn Merge Tool ne trouve que 31 217 fichiers ?

Pourquoi ?

Amitiés,
Marc

etien · [↑]

salut, j ai le probleme des "pignons" sur certain toits plats de l autogen, y a t il une astuce pour y remédier? Je me souviens que certain avait altérés la bitmap pour que cela passe.

ce genre la:
http://www.simforums.com/Forums/topic32331.html

Etienne

Gropied · [↑]

Merci Vogel69 de trouver encore le temps de te pencher sur nos problèmes.

Pour moi ma demande est une demande conjoncturelle "de confort" donc pas vraiment prioritaire.
Deux nouvelles remarques à propos des performances qui ont d'ailleurs peut être déjà été formulées mais qui doivent être en rapport avec le problème :

1) Lors de la compil du fichier Pays de Loire V3 j'ai chronométré 100 opérations au début et à la fin du processus changement de GUID (sur la 2.24 24000 agn). (je fais ça pour estimer l'heure de fin). Le programme va 5 fois moins vite à la fin q'au début.

2) Si je lance AGNMergeTool, travaille avec puis le ferme et que je lance tout de suite après FSX pour vérifier le résultat, celui ci plante avec un message Popup simple : "Impossible de lire le fichier".
Pour relancer FSX proprement, je suis obligé de rebooter le micro.
Curieux mais peut être pas sans rapport avec les perfs.

Cordialement,

Gropied

Vogel69 · [↑]

Marcstrasb a écrit :

Question :
Mon Dossier en Group 1 fait 31 217 fichiers agn.
Et mon Dossier en Groupe 2 fait 1 191 fichiers agn.
Ce qui fait un total de 32 408 fichiers agn à traiter.
Or, lorsque l'on est dans Mixage et Jointure on coche tous les fichiers, Agn Merge Tool ne trouve que 31 217 fichiers ?
Pourquoi ?
Amitiés,
Marc

Si les 1191 fichiers du 2ème dossier sont "communs"(porte le même nom) aux 31217 fichiers du premier dossier c'est normal qu'au final tu obtiennes que 31217 fichiers.

Vogel69 · [↑]

Gropied,
Cela confirme qu'il y a un gros problème de gestion de mémoire dans mon outil... Une révision complète du moteur s'impose de plus en plus

Marcstrasb · [↑]

Bonjour,

Je voulais remercier Handie, Domsimu, Vogel69 pour vos encouragements et explications concernant le maniement de Agn Merge Tool.

Domsimu m'avait dit de configurer toutes les applications.exe se trouvant dans le Dossier Agn Merge Tool en tant qu'administrateur. Ce que j'ai fait. Et au bout de je ne sais combien arrêts et mises en marche de l'ordinateur, j'ai eu ceci

Et depuis Agn Merge Tool marche impeccablement et gère dans le Groupe 1 31 467 fichiers agn et dans le Groupe 2 29 045 fichiers agn avec vélocité !

Bon dimanche à tous !

Amitiés,
Marc

Dernière modification par Marcstrasb (07-07-2013 18:34:34)

Gropied · [↑]

Bonjour Etien,

salut, j ai le problème des "pignons" sur certain toits plats de l autogen, y a t il une astuce pour y remédier? Je me souviens que certain avait altérés la bitmap pour que cela passe.

Le problème a été traité dans mon post "scenproc" dont tu trouveras l'adresse dans ma signature. Regarder les pages 5, 6, 7 et autour.

J'ai proposé sur mon site des textures correctives (europe, méditerranée et Amérique du Nord) où j'ai tout simplement uniformisé la zone des pignons, commune à certains toits et aux pignons dans les textures relatives aux toits. Dans ces mêmes textures, j'ai aussi éliminé le problème des toits plats bicolores.

Cordialement,

Gropied

Dernière modification par Gropied (07-07-2013 09:19:26)

Vogel69 · [↑]

v2.26 beta Modifications de cette nouvelle version:
- Modification du fonctionnement du cœur d'AGN Merge Tool (pas encore de multi-threading), conséquences:
-> plus besoin des programmes txt2agn et agn2txt dans le dossier de base. Dorénavant utilisation direct d'Autogen.dll d'Arno.
-> Plus de fichiers .txt temporaire (suppression des dossiers du dossier "work").
-> bouton "purge" désactivé car devenu inutile.
- Ajout du nombre d'occurrences ( et pourcentage ) pour chaque GUID dans la fonction de listage des GUID.
- Ajout d'une estimation du temps restant dans la barre de statut lors du lancement d'un mixage ou d'une conversion.

AGN Merge Tool v2.26b Package FR

Dernière modification par Vogel69 (08-07-2013 14:10:55)

filipo · [↑]

Waow, quelles améliorations !

merci @ toi

Gropied · [↑]

Merci Vogel69,

C'est toujours un plaisir de voir et tester les évolutions d'AGNMergeTool parce qu'on sait que chaque progrès de l'outil va profiter à un maximum de réalisateurs et de simmers et permettre de travailler, classer, améliorer ses scènes et ne plus travailler en aveugle et en tâtonnant mais à coup sûr. Nos produits finis n'en seront que plus attractifs.

Cordialement,

Gropied

edit
J'ai testé rapidement la modif demandée sur les stats de GUID. Impeccable, c'est exactement ce qu'il me fallait. Encore merci.

Dernière modification par Gropied (08-07-2013 16:05:42)

Vogel69 · [↑]

Merci

C'est toujours un plaisir de participer un peu d'une certaine manière aux excellentes créations des réalisateurs de scènes du forum et en plus je peux en profiter par la suite en les téléchargeant sur le site de Filipo ... je suis doublement comblé

à noter sur la v2.26b: Je n'ai pas eu le temps de trop tester, à priori cela semble un peu plus rapide qu'avant, en revanche je n'ai aucune idée si l’essoufflement du traitement quand on traite un grand nombre de fichier persiste toujours...

etien · [↑]

Gropied a écrit :

Bonjour Etien,
salut, j ai le problème des "pignons" sur certain toits plats de l autogen, y a t il une astuce pour y remédier? Je me souviens que certain avait altérés la bitmap pour que cela passe.
Le problème a été traité dans mon post "scenproc" dont tu trouveras l'adresse dans ma signature. Regarder les pages 5, 6, 7 et autour.
J'ai proposé sur mon site des textures correctives (europe, méditerranée et Amérique du Nord) où j'ai tout simplement uniformisé la zone des pignons, commune à certains toits et aux pignons dans les textures relatives aux toits. Dans ces mêmes textures, j'ai aussi éliminé le problème des toits plats bicolores.
Cordialement,
Gropied

merci je vais aller voir cela. Etienne

laudey1 · [↑]

merci pour ta nouvelle version Vogel69, je pense que cela va accélérer le traitement des dalles.

#301 [↑][↓] 02-07-2013 09:48:13

Re : [FSX][FS9]AGN Merge Tool

#302 [↑][↓] 02-07-2013 10:56:17

Re : [FSX][FS9]AGN Merge Tool

#303 [↑][↓] 02-07-2013 18:22:48

Re : [FSX][FS9]AGN Merge Tool

#304 [↑][↓] 02-07-2013 18:23:16

Re : [FSX][FS9]AGN Merge Tool

#305 [↑][↓] 02-07-2013 19:12:30

Re : [FSX][FS9]AGN Merge Tool

#306 [↑][↓] 02-07-2013 20:12:35

Re : [FSX][FS9]AGN Merge Tool

#307 [↑][↓] 02-07-2013 20:26:26

Re : [FSX][FS9]AGN Merge Tool

#308 [↑][↓] 02-07-2013 20:46:11

Re : [FSX][FS9]AGN Merge Tool

#309 [↑][↓] 05-07-2013 10:56:43

Re : [FSX][FS9]AGN Merge Tool

#310 [↑][↓] 05-07-2013 16:05:59

Re : [FSX][FS9]AGN Merge Tool

#311 [↑][↓] 05-07-2013 19:06:37

Re : [FSX][FS9]AGN Merge Tool

#312 [↑][↓] 06-07-2013 00:16:56

Re : [FSX][FS9]AGN Merge Tool

#313 [↑][↓] 06-07-2013 07:38:33

Re : [FSX][FS9]AGN Merge Tool

#314 [↑][↓] 06-07-2013 07:51:17

Re : [FSX][FS9]AGN Merge Tool

#315 [↑][↓] 06-07-2013 07:56:36

Re : [FSX][FS9]AGN Merge Tool

#316 [↑][↓] 06-07-2013 09:37:29

Re : [FSX][FS9]AGN Merge Tool

#317 [↑][↓] 06-07-2013 09:59:28

Re : [FSX][FS9]AGN Merge Tool

#318 [↑][↓] 07-07-2013 08:38:30

Re : [FSX][FS9]AGN Merge Tool

#319 [↑][↓] 07-07-2013 09:18:15

Re : [FSX][FS9]AGN Merge Tool

#320 [↑][↓] 08-07-2013 14:10:06

Re : [FSX][FS9]AGN Merge Tool

#321 [↑][↓] 08-07-2013 14:39:27

Re : [FSX][FS9]AGN Merge Tool

#322 [↑][↓] 08-07-2013 15:37:52

Re : [FSX][FS9]AGN Merge Tool

#323 [↑][↓] 08-07-2013 16:21:53

Re : [FSX][FS9]AGN Merge Tool

#324 [↑][↓] 08-07-2013 16:25:30

Re : [FSX][FS9]AGN Merge Tool

#325 [↑][↓] 09-07-2013 11:40:34

Re : [FSX][FS9]AGN Merge Tool

Pied de page des forums