La deuxième étape est consacrée à l’adaptation du script en mode avancé pour obtenir le bon format des données à envoyer au web service.

Le script à modifier pour pouvoir envoyer les 2 informations est visible en sélectionnant l’url du service, en sélectionnant la colonne consacrée aux affiliations, en sauvegardant. puis en activant l’interrupteur Mode avancé :

Il ressemble à ça :

# load some plugins to activate some statements (URL Connect, exploding, aggregate)
[use]
plugin = basics
plugin = analytics

# Toggle ezs traces (see server stderr log)
[debug]
ezs = false

# We sometime have a stringified value (like "{id:1, name: 'Bob'}"), and we want to parse it, if possible
# This assign command aim is to do that, it update the Affiliations to JSON.parse it if possible.
# Can be simplified with the following statement : value = get('value.Affiliations')
[assign]
path = value
value = update("value.Affiliations", (item) => { try { return JSON.parse(item)} catch {return item } }).get("value.Affiliations")

# Process multivalues of 2 documents
[expand]
path = value
size = 2

# Ensure to process an array
[expand/assign]
path = value
value = get('value',[]).concat(null).filter(Boolean)

# Split the array to process each item
[expand/exploding]

# Group items to build a request for the web service
[expand/expand]
path = value
size = 10

# Uncomment to see each data sent to the webservice
#[expand/expand/debug]
# Send the request to the webservice
[expand/expand/URLConnect]
url = https://affiliations-tools.services.istex.fr/v1/rnsr/json
timeout = 3600000
noerror = false
retries = 5

# rebuild the original array
[expand/aggregate]

Les lignes commençant par # sont des commentaires.

On constate que le champ Colonne de la source est utilisé au début du script, sous l’instruction [assign] (ici, il utilise la colonne nommée Affiliations), et que le champ URL du web service se retrouve à la fin du script, sous l’instruction[expand/expand/URLConnect].

Ce sont les deux lignes qui nous intéressent, car du premier [expand] au dernier [expand/aggregate] se trouve le mécanisme qui s’occupe de créer et d’envoyer les données par lot.

Ce qu’il faut comprendre de la première ligne, c’est que tout document LODEX se trouve dans un objet dont le champ value contient toutes les colonnes, et que c’est aussi ce champ value qui devra, à la fin du traitement, contenir les enrichissements.

[assign]
path = value
value = update("value.Affiliations", (item) => { try { return JSON.parse(item)} catch {return item } }).get("value.Affiliations")

[assign]
path = value.addresses
value = get("value.Affiliations").flatten()

La méthode flatten, chaînée à la méthode get, qui renvoie la valeur de la colonne Affiliations, permet d’aplatir le tableau si vous ne l’avez pas fait auparavant lors de la création de la colonne  Affiliations:

Un autre changement a été effectué (bravo si vous l’avez repéré) : sur la ligne path, nous avons remplacé value par value.addresses, ce qui ajoute une colonne addresses au document LODEX.

Nous ajoutons une autre instruction [assign], qui va remplacer tout le champ value (donc toute la notice) par la structure que nous devons envoyer au web service :

[assign]
path = value
value = get("value.addresses").map((address) => ({ year: self.value.publicationDate, address }))

Pour mieux comprendre la ligne value = qui détermine la valeur du champ value (parce qu’on dit de changer le champ value via le paramètre path = ), on peut essayer de l’indenter :

get("value.addresses")
    .map(
        (address) => ({
            year: self.value.publicationDate,
            address
        })
    )

La méthode map va appliquer à tous les éléments du tableau obtenu par get une fonction (anonyme) qui s’écrit :

(address) => ({
    year: self.value.publicationDate,
    address
})

Qui est une syntaxe abrégée pour :

function (address) {
    return {
        year: self.value.publicationDate,
        address: address
    }
}

C’est map qui fournit son paramètre à cette fonction : address est l’élément du tableau qu’on va remplacer.

Ainsi, le tableau d’adresses à un seul niveau que nous avons vu plus haut donnera ce tableau :

[
  {
    "year": "2015-07-16",
    "address": "Department of Neonatal Medicine, Rouen University Hospital and Région-INSERM (ERI 28), Normandy University, Rouen, France."
  },
  {
    "year": "2015-07-16",
    "address": "Department of Biostatistics and INSERM UMR 657, Normandy University, Rouen, France."
  }
]

et c’est exactement la structure dont a besoin le service que nous interrogeons.

L’interface de LODEX affiche le script et l’aperçu de ce qui va être envoyé au service (en passant la souris au dessus de l’aperçu, les données complètes sont affichées sous forme d’infobulle).

Le script dans son entier est celui-ci (il suffit de le copier-coller pour s’en servir ; évidemment il faut adapter les lignes 15 et 19 de la copie d’écran aux noms de colonnes dont vous disposez) :

# load some plugins to activate some statements (URL Connect, exploding, aggregate)
[use]
plugin = basics
plugin = analytics

# Toggle ezs traces (see server stderr log)
[debug]
ezs = false

# We sometime have a stringified value (like "{id:1, name: 'Bob'}"), and we want to parse it, if possible
# This assign command aim is to do that, it update the Affiliations to JSON.parse it if possible.
# Can be simplified with the following statement : value = get('value.Affiliations')
[assign]
path = value.addresses
value = get("value.Affiliations")

[assign]
path = value
value = get('value.addresses').map((address, i) => ({ year: self.value.ApilPublicationDate, address }))

# Process multivalues of 2 documents
[expand]
path = value
size = 2

# Ensure to process an array
[expand/assign]
path = value
value = get('value',[]).concat(null).filter(Boolean)

# Split the array to process each item
[expand/exploding]

# Group items to build a request for the web service
[expand/expand]
path = value
size = 10

# Uncomment to see each data sent to the webservice
#[expand/expand/debug]
# Send the request to the webservice
[expand/expand/URLConnect]
url = https://affiliations-tools.services.istex.fr/v1/rnsr/json
timeout = 3600000
noerror = false
retries = 5

# rebuild the original array
[expand/aggregate]

Finitions

On s’aperçoit quand même que la colonne produite est un tableau de tableaux, sans relation avec le tableau des tableaux d’adresses.

On peut, pour aplanir tout cela, et supprimer les doublons au niveau de la notice, ajouter à la fin du script :

[assign]
path = value
value = get("value",[]).flatten().uniq()

qui va réaffecter la valeur de la colonne avec le tableau résultant, mais en le mettant sur un seul niveau (flatten), et en dédoublonnant ses valeurs (uniq).

Pour aller encore plus loin

Pour les plus hardis, voici quelques points purement techniques que vous pouvez approfondir :

• ajouter .uniq() derrière .flatten(), permet de dédoublonner les valeurs du tableau, ainsi les éléments du tableau ne seront jamais répétés.
• ce qui est à droite de value = dans l’instruction [assign] est du javascript, et plus précisément un chaînage d’instructions lodash.
• le javascript à droite de value = doit tenir sur une ligne.
• dans le javascript à droite de value = , on peut faire appel à des fonctions lodash non chaînées, à condition d’ajouter _. devant le nom de la fonction, et d’ajouter en premier paramètre self, qui est le document courant.
  Ainsi, on aurait pu remplacer self.value.publicationDate par _.get(self, "value.publicationDate"), mais c’était plus long.
• l’aperçu de la source n’est pas forcément ce qui est envoyé au service, car le script pouvant avoir n’importe quelle structure, il peut faire complètement autre chose que ce pour quoi il a été initialement prévu (prétraiter des colonnes existantes par exemple). La solution retenue, est de remplacer l’instruction URLConnect qui fait l’appel au web service par l’instruction transit qui ne fait rien (elle transmet les données à l’instruction suivante). Donc si une instruction qui modifie les données se trouve en-dessous de URLConnect, elle sera aussi interprétée pour afficher l’aperçu.
• le script affiché au passage en mode avancé n’est pas forcément conforme à celui de l’article (en particulier la partie à partir de [expand]), c’est parce que LODEX déduit ce script de la structure du champ concerné (est-ce une chaîne de caractères, un tableau, …) mais seulement pour le premier document. Il suffit que ce document n’ait pas de valeur pour que LODEX utilise un script moins adapté.