Temi ambientali
Arpae in regione
Arpae Emilia-Romagna
Ti trovi in : Arpae /

Macroinvertebrati bentonici in ecosistemi fluviali: evoluzione modello di confronto interlaboratorio

Il percorso dal 2012 al 2016

(23/02/17) 

Il percorso intrapreso da Arpae Emilia-Romagna Sezione di Bologna, Ispra e Cisba (Centro Italiano Studi di Biologia Ambientale) nella predisposizione di Circuiti Interlaboratorio sul Benthos ha come finalità quella di assicurare la maggiore omogeneità nella fase di determinazione e conta da parte di operatori esperti che operano nell’ambito del monitoraggio biologico.

Lo scopo è quello di raggiungere il traguardo con il riconoscimento della certificazione degli operatori come figura professionale alla quale assegnare la responsabilità della validazione dei dati.

In ambito di Circuiti di Interlaboratorio il postulato cui non è possibile derogare è: assicurare campioni “uguali” a tutti i partecipanti. Per i campioni biologici ed in particolare nel caso del macrobenthos, che vede nelle attività in campo sul fresco uno dei momenti significativi del risultato finale, le difficoltà sono molteplici in quanto oltre ad assicurare un campione uguale occorre anche che le condizioni di processo al contorno rispondano al medesimo criterio di omogeneità.

L’esperienza quinquennale (2012-2016) è stata caratterizzata da un progressivo impegno nel migliorare il modello di esercizio individuando, in ogni edizione, passaggi critici da correggere per affinarlo allo scopo di avvicinarsi meglio ai criteri di omogeneità che devono essere assicurati. 

La prova si prefigge, ad eccezione dell’edizione 2012, di realizzare un
interconfronto tra operatori esperti nell’attività di identificazione e conteggio di organismi di un campione vivo in un tempo massimo stabilito allo scopo di valutare l’idoneità allo svolgimento di questo compito.

I circuiti sono basati sul confronto di liste tassonomiche redatte dai partecipanti,
che eseguono l’analisi (identificazione e conta degli organismi - I/C) di campioni a
livello di identificazione tassonomica di Famiglia e/o Genere, con liste di riferimento stilate da un gruppo indipendente (Expert Panel - EP) e strutturati con un modello che prevede due fasi: Fase di campo e Fase di Laboratorio.

Fase di campo: Il materiale da esaminare è costituito da un campione di macroinvertebrati bentonici campionati al momento, omogenizzato e distribuito all’interno di ogni vaschetta predisposta per l’esercizio di identificazione e conta. Le vaschette sono posizionate su tavoli detti di lettura. I partecipanti hanno il compito di eseguire la I/C di 8 vaschette in totale, in due sessioni da 4 vaschette.

L’organizzazione logistica della prova è gestita da una figura che prende il nome di coordinatore spostamenti.

Fase di laboratorio: il materiale esaminato in campo viene trasferito interamente al laboratorio per permettere gli approfondimenti di conferma e/o identificazione che i partecipanti richiedono. In laboratorio sono a disposizione degli stereomicroscopi per gli approfondimenti di analisi.

Nelle diverse edizioni sono state introdotte delle modifiche di gestione sia per la fase di campo che per quella di laboratorio. Le modifiche sono state necessarie per ottimizzare e ridurre alcune fonti di errore.

Prova 2012 - La prova si prefigge di realizzare un interconfronto nell’applicazione del metodo di campionamento multihabitat proporzionale e della successiva fase di analisi da parte di personale esperto considerando due fasi:

-Fase di campo: quantificazione percentuale dei microhabitat presenti nel mesohabitat da campionare, smistamento, identificazione tassonomica e conta delle abbondanze dei taxa a livello di Famiglia e/o Genere dove previsto.

-Fase di laboratorio: identificazione tassonomica degli individui raccolti e redazione della lista faunistica finale.

Ogni gruppo è coordinato da un tutor con il compito di supportare i partecipanti nelle attività organizzative, ma non in quelle specialistiche/sistematiche. L’I/C consiste in una lettura in sequenza di un certo numero di vaschette posizionate su un unico tavolo senza limiti di tempo stabiliti

Prova 2013 - Questa seconda prova di interconfronto è mirata soprattutto alla valutazione degli operatori nelle attività di smistamento, identificazione e conteggio, tralasciando le considerazioni legate all’individuazione dei mesohabitat e dei microhabitat e alle modalità di campionamento. Limitando l’interesse alla procedura analitica si è inteso escludere l’errore casuale del campionamento, legato alla variabilità spaziale, variabilità temporale e combinazione delle variabilità di spazio e tempo. In tal modo la variabilità dei risultati è attribuibile quasi esclusivamente al diverso comportamento degli operatori.

Anche in questo caso la prova prevede due fasi, con la fase di campo in cui è richiesta solo l’identificazione tassonomica e conteggio delle abbondanze dei taxa del campione consegnato, mentre la fase di laboratorio rimane invariata.

Alla prova hanno partecipato 12 operatori che sono stati suddivisi in 3 gruppi di lavoro. Ad ogni gruppo è assegnato un EP composto da due membri in qualità di operatori esperti, i quali, al termine dell’analisi di ogni vaschetta da parte di tutti i componenti del gruppo, procedono all’analisi congiunta del medesimo sottocampione. Dettagli delle prove 2012-2013.

Prova 2014 - In base alla sperimentazione degli anni precedenti il circuito è strutturato con la solo presenza di EP, 1 per tavolo di lettura,come redattori di liste di riferimento da utilizzare per la valutazione della prestazione nel confronto con i risultati dei singoli partecipanti.

La prova del 2013 ha evidenziato che il risultato di un singolo operatore è in parte condizionato dalla presenza degli altri partecipanti seduti al tavolo di lettura comune. La lettura in sequenza di un certo numero di vaschette posizionate su un unico tavolo con compagni di lettura fissi influisce sulla prestazione finale. In base a queste considerazioni si è quindi deciso di eliminare questo condizionamento facendo in modo che gli operatori durante l´esercizio di lettura si spostino tra i diversi tavoli allestiti per la prova. Inoltre è stato introdotto un tempo massimo di lettura vaschette di 20 minuti. Gli spostamenti degli operatori tra i tavoli sono gestiti dal Coordinatore spostamenti e le iscrizioni ai tavoli di lettura e il monitoraggio dei tempi di I/C dagli EP assegnati al tavolo.

Prova 2015 - La prova condotta nel 2015 ha sostanzialmente seguito le stesse modalità di organizzazione dell´edizione del 2014. Sono tuttavia state introdotte delle modifiche di gestione sia per la fase di campo che per quella di laboratorio.

- Modifiche Fase di Campo- Gli EP sono sollevati dalla gestione delle iscrizioni dei partecipanti che prevede la compilazione del registro di iscrizione, il monitoraggio dei tempi di lettura e l´annotazione dei taxa da raccogliere separatamente per le identificazioni/conferme di laboratorio. Queste attività sono assegnate ad una nuova figura, il Tavolo STAFF, che ha come compiti esclusivi la gestione organizzativa dei partecipanti e che fa da supporto al Coordinatore Spostamenti. La scelta di sollevare i compiti di gestione dei partecipanti da parte degli EP è motivata dal fatto che queste attività sono fonte di distrazione ed errore. In questo modo, il ruolo dell´EP, torna ad essere quello di redattore della lista di riferimento senza compiti accessori. Inoltre, il tempo di lettura della prima vaschetta assegnata, è esteso a 30 minuti, per permettere agli operatori, che per primi si approcciano al campione, di effettuare l´eventuale pulizia da frustoli, sassi e foglie e prendere atto della composizione del campione che andranno ad esaminare. I tempi di lettura delle successive vaschette non hanno subito variazioni (20 minuti).

- Modifiche Fase di Laboratorio - Le modifiche hanno interessato il numero di Stereomicroscopi a disposizione - uno per ogni campione - e la distribuzione dei campioni preparati in campo e destinati alle identificazioni/conferme da effettuare in laboratorio. I campioni sono collocati accanto alla postazione di lettura, in modo tale da riprodurre in laboratorio una distribuzione simile a quella di campo, con lo spostamento dei partecipanti e postazioni fisse dei campioni. L´aumento del numero di stereomicroscopi permette di accorciare i tempi di lettura della fase di laboratorio, riducendo i tempi di attesa e la collocazione fissa del campione riduce al minimo la possibilità di “incidenti di trasporto”.

- Livello di identificazione tassonomico - Pur richiedendo in campo l´identificazione a livello di Famiglia e/o Genere, nella fase di laboratorio, si è data indicazione di procedere prioritariamente alla conferma sistematica a livello di famiglia e successivamente a quella del genere. L´indicazione è motivata dal fatto che il tempo a disposizione per l´esame di 8 campioni di laboratorio in 20 minuti ciascuno, non ha permesso in alcuni casi agli operatori, nelle passate edizioni, di concludere l´identificazione di tutto il campione a livello di genere.

Evoluzione dell’approccio statistico dei risultati

L’impegno nel migliorare il modello di esercizio del circuito di interconfronto riguarda anche l’approccio statistico utilizzato per la valutazione della prestazione degli operatori.

Il risultato dell’analisi di un campione di macroinvertebrati rappresentato da un elenco di taxa (ad esempio Famiglie) e dal loro valore di abbondanza è elaborato mediante l’utilizzo di metodi differenti da quelli impiegati nei confronti interlaboratorio dei metodi chimici.

Si è partititi dai possibili indici o parametri presenti nella letteratura scientifica che permettono di confrontare dati costituiti da elenchi tassonomici e relative abbondanze e sono stati selezionati i seguenti:

  • Percentuale di disaccordo tassonomico PTD (percent taxonomic disagreement) Range: 0-100%. Il PTD permette di confrontare il disaccordo tassonomico tra due operatori che analizzano indipendentemente il medesimo campione di macroinvertebrati. Tale disaccordo può derivare sia da errate identificazioni tassonomiche, sia dal mancato conteggio di individui da parte di uno dei due operatori.

  • Percentuale di differenza nel conteggio PDE (percent difference in enumeration) Range: 0-100%. Il PDE permette di misurare la differenza tra due operatori nel conteggio/stima degli individui complessivamente presenti in uno stesso campione. Questo indice può essere utile per evidenziare in maniera immediata le differenze grossolane e indirizzare l’individuazione delle cause di tali differenze.

  • Indice di Bray-Curtis. Range: 0-1. L’indice di Bray-Curtis permette, sulla base dei dati di composizione e abbondanza dei taxa, di misurare il livello di similarità di due liste di macroinvertebrati ottenute indipendentemente da due operatori a partire dallo stesso campione. Esso può assumere valori da 0 (comunità completamente differenti) a 1 (comunità identiche).

  • Indice di Jaccard. Range: 0-1. L’indice di Jaccard misura anch’esso il livello di similarità di due liste di macroinvertebrati ottenute indipendentemente da due operatori a partire dallo stesso campione, ma si basa sui dati di sola presenza-assenza dei taxa, non considerando la loro abbondanza. Come l’indice di Bray-Curtis, l’indice di Jaccard può assumere valori da 0 a 1.

Questi parametri permettono solo confronti per coppie di dati, ossia coppie di elenchi di taxa e relative abbondanze. Gli approcci per la valutazione dei risultati sono stati scelti tra i seguenti:

  • (1) Confronto a coppie:confronto del risultato di ciascun operatore con il risultato di ciascuno degli altri operatori del gruppo (confronto per ogni possibile coppia) e successiva valutazione dei valori ottenuti;

  • (2) Consenso: confronto del risultato di ciascun operatore rispetto ad un risultato di riferimento ottenuto per consenso dai risultati del gruppo; affinché il consenso sia robusto, il gruppo deve essere costituito da un numero minimo di operatori (4 o 5);

  • (3) Confronto con EP: confronto del risultato di ciascun operatore rispetto ad un risultato di riferimento ottenuto da operatori esperti (EP); il risultato di riferimento degli operatori esperti può essere affinato a partire dai risultati del gruppo mediante consenso.

Nel 2012 i risultati ottenuti dai singoli partecipanti alle prove di interconfronto sono elaborati secondo gli approcci (1) e (2), mentre nel 2013 è possibile ricavare i valori dei 4 parametri anche mediante il confronto con un elenco tassonomico di riferimento (3) ottenuto da un gruppo indipendente (EP).

Il metodo del confronto a coppie (1) prevede il calcolo dei valori dei 4 parametri per ciascuna possibile coppia di operatori; come indicatore di prestazione di ogni singolo operatore viene utilizzato il valore medio dei risultati ottenuti dalle coppie in cui era presente l’operatore stesso.

Il metodo del confronto con un valore di riferimento (2) definito per consenso prevede il calcolo dei valori dei 4 parametri rispetto ad un elenco tassonomico di riferimento in cui le abbondanze sono ottenute come valore mediano delle abbondanze riscontrate da ciascun operatore.

I risultati sono esaminati per singolo operatore con dei limiti di accettabilità stabiliti in base alla distribuzione dei risultati ottenuti nei moduli di prove effettuate.

I criteri di accettabilità per la valutazione dei risultati sono fissati esaminando i parametri statistici di distribuzione dei valori ottenuti nelle prove di interconfronto come riferimenti indicativi per individuare i valori soglia per la valutazione dei risultati.

In particolare, sono considerati orientativamente i valori mediani meno restrittivi (confronti a coppie) come limiti per la valutazione “soddisfacente”. I valori meno restrittivi del 25° percentile sono orientativamente utilizzati per la valutazione “insoddisfacente” degli indici di Bray-Curtis e Jaccard, mentre per PTD e PDE si è fatto riferimento al 75° percentile.

Ad ogni indice è stato assegnato un punteggio di valutazione sulla base dei valori elencati in Tab. I. Punteggi per valutazione singolo indice.

Tab. I. Punteggi per valutazione singolo indice

 

Giudizio

Soddisfacente       3

Discutibile            2

Insoddisfacente   1

e il risultato della somma dei 4 punteggi risultanti è diviso per 4 (Punteggio Finale).

Laddove il Punteggio Finale ottenuto dall´operatore sia minore di 2 il candidato è considerarsi ´Non idoneo´.

Tab. II. Valutazione del Punteggio Finale

 

Idoneo               ≥2

Non idoneo        <2

I valori ottenuti mediante il metodo del confronto a coppie e quelli ottenuti con il metodo per consenso mostrano elevate correlazioni per tutti i 4 parametri.

Il metodo per consenso fornisce risultati più favorevoli, ossia valori più elevati degli indici di Bray-Curtis e di Jaccard e valori più bassi di PTD e PDE, rispetto al metodo del confronto a coppie.

Gli esiti della prima prova di interconfronto mostrano che in generale:

- il metodo del confronto a coppie e il metodo per consenso forniscono risultati correlati linearmente, più favorevoli nel secondo caso;

- il metodo per consenso può essere adottato quando ciascun gruppo è formato da almeno 4 partecipanti.

Quando si utilizzano i due i metodi sopra descritti, il risultato di un singolo operatore è in parte condizionato dalla prestazione dell’intero gruppo. Pertanto si è ritenuto che, in linea di principio, il metodo migliore sia quello basato sul confronto con un gruppo di riferimento (EP), che permette di evitare il rischio di autoreferenzialità entro il gruppo valutato.

Al fine di ottenere valutazioni più robuste, l’elenco tassonomico e le abbondanze ottenute dal gruppo di riferimento indipendente sono in taluni casi affinate tenendo conto dei risultati complessivamente ottenuti dal gruppo valutato. L’affinamento avviene attraverso, ad esempio, l’inclusione di taxa rinvenuti da tutti i partecipanti, ma non dal gruppo di riferimento o la rimodulazione dell’abbondanza di un taxon che si discostava in maniera significativa dalla mediana del gruppo valutato.

Dalla prova di interconfronto del 2014 le liste faunistiche stilate dagli operatori durante la prova vengono elaborate secondo l´approccio (3) confrontando il risultato di ciascun operatore rispetto al risultato di riferimento ottenuto dagli EP; il risultato di riferimento degli EP è affinato a partire dai risultati del gruppo mediante consenso. Per la valutazione dei dati si procede come nelle edizioni 2012 e 2013.

 

Prova 2016 - Il percorso di affinamento della procedura ha condotto all’introduzione nella Prova 2016dello sdoppiamento delle fasi, di campo e in laboratorio, in due verifiche con diverso livello di identificazione tassonomica, Famiglia e Genere. Accanto alla consueta I/C a livello di Famiglia, è stata inserita una prova di I/C a livello di Genere (sensu metodo IBE) di un campione composto da 12/15 taxa in un tempo stabilito. Nella fase di laboratorio oltre agli stereomicroscopi utilizzabili per gli approfondimenti di identificazione e conferma, sono forniti anche alcuni microscopi.

Nell’ottica di semplificare la procedura di valutazione ed eliminare la fase di assegnazione del punteggio ai singoli indici per poi procedere alla valutazione della prestazione, si è deciso di standardizzare gli indici uniformando i range per renderli omogenei e confrontabili.

Gli indici PTD e PDE hanno un range da 0 a 100 %, mentre gli indici di similarità utilizzati (Bray-Curtis e Jaccard o Søresen) possono assumere valori da 0 a 1.

Sono ricavati dal PTD e dal PDE, mediante una procedura di trasformazione, due indici con intervallo di valori da 0 ad 1, l’Accordo Tassonomico dal PTD (1-PTD/100) e l’Accordo nel conteggio dal PDE (1- PDE/100), l’Indice di Jaccard è sostituto con un altro indice di similarità binario, Indice di Søresen, che assegna un valore doppio alle concordanze presenti in un confronto tra liste tassonomiche, mentre è mantenuto l’indice di Bray-Curtis.

Con la standardizzazione degli indici è possibile procedere alla valutazione della prestazione utilizzando la media dei risultati degli indici per ogni operatore attraverso dei limiti di accettabilità stabiliti in base alla distribuzione dei risultati ottenuti dai singoli operatori nel modulo della prova interconfronto.

La soglia “soddisfacente” è ottenuta calcolando il valore mediano della media di tutti i risultati degli operatori per tutti gli indici e la soglia “insoddisfacente” calcolando il 25° percentile della media di tutti i risultati degli operatori per tutti gli indici.

Stabilite le soglie soddisfacente e insoddisfacente si deduce la soglia che viene denominata discutibile e si procede alla valutazione della prestazione.

 

Si prevede per l’edizione 2017 di valutare la prestazione attraverso dei limiti di accettabilità stabiliti in base alla distribuzione dei risultati ottenuti dai singoli operatori nei moduli delle prove interconfronto a partire dall’anno 2014.

Per ogni edizione le soglie verranno ricalcolate inserendo nello storico dati i risultati relativi all’edizione per la quale si stanno calcolando le soglie.

Le linee guida del Confronto interlaboratorio analisi dei macroinvertebrati bentonici negli ecosistemi fluviali sono in fase di completamento e prossima pubblicazione.

 

Autori: Alessandra Agostini e Daniela Lucchini, Arpae Sezione di Bologna



Versione stampabileVersione stampabile