Les Critères d'alerte SMART (technique)

Je tends à utiliser les critères d'alerte de "plausibilité biologique" de l'OMS avec les données anthropométriques. Ceux-ci sont très similaires aux anciens critères d'alerte qui étaient du CDC/NCHS.

On m'a demandé (pour deux projets distincts)  d'appliquer à la fois les critères d'alerte de l'OMS et les critères d'alerte SMART pour quelques très grands ensembles de données et d'examiner les conséquences de l'utilisation de chacun d'eux. Je suis inquiet de pouvoir le faire.

J'ai quelques questions sur les critères d'alerte utilisés dans les enquêtes SMART.

Le manuel SMART a:

"Dans le rapport de vraisemblance, le programme donnera la liste et interrogera toute valeur qui est de ± trois écarts-types de la moyenne de l'enquête. Après qu'un ou deux groupes aient été saisis, ou s'il y a eu une enquête précédente, il est utile d'entrer, dans la feuille de vue d'ensemble des variables, des limites comme ± trois écarts-types (ou 3 z-scores) de la moyenne lors de la saisie de données. Cela permet  d'éliminer les erreurs potentielles le plus tôt possible lors de la saisie des données ". (p 83)

Ceci suggère qu'un signal pour le P/T (par exemple) serait déclenché si:

   P/T = moyenne (P/T) - 3 * sd (P/T)

ou:

   P/T = moyenne (P/T) + 3 * sd (P/T)

Ceci indique  que l'échantillon ET est le critère d'alerte principal. Cette approche a beaucoup de sens si l'on présume qu'il y a une normalité de la distribution de l'indicateur (qui est une question distincte).

Plus tard, le manuel SMART a:

"La plupart des enfants avec des données mal mesurées donnent des valeurs qui sont au sein de la gamme plausible. L'inclusion de ces erreurs peut présumer de l'examen de l'écart-type, et d'autres vérifications statistiques sur les données. L'écart-type devrait être compris entre 0,8 et 1,2 z-score unités pour la P/T dans toutes les enquêtes bien menées (dans 80% des enquêtes l'écart type est entre 0,9 et 1,1 unités z-scores).

Les écarts-types augmentent quand la proportion des résultats erronés augmente dans la base de données;. cela a un effet très important sur la prévalence calculée de l'émaciation. Pour cette raison, si une valeur est plus susceptible d'être une erreur qu'une véritable mesure, elle devrait être retirée de l'analyse. Nous le faisons en prenant la moyenne des données du P/T comme point fixe pour décrire l'état de la population que nous sondons. Statistiquement environ 2,5 enfants sur 900 seront situés en dehors des limites de ± 3 unités z-score de la moyenne. Moins de 0,5 sur 1000 se situeront en dehors ± 3,5 unités z-scores de la moyenne. Cela constitue la base pour décider si une valeur est plus susceptible d'être une erreur qu'une véritable mesure. Le logiciel affichera la liste des enfants avec ces valeurs extrêmes dans la liste de contrôle de plausibilité ". (P 86)

Je trouve que cela crée la confusion. Les estimations du nombre-de-cas aux différentes valeurs citées dans ce paragraphe ne sont vraies que si l'échantillon ET (ou 'z') = 1. Pour ET (ou 'z') = 1 et Z-score moyen = -1 nous nous attendons à ce qu'environ 2,43 cas aient un z-score en dessous de -4 (qui est la moyenne - 3). Si l'échantillon est de 1,2 ET alors nous nous attendons à 11.18 pour un z-score en dessous de -4 (qui est la moyenne - 3). Je ne dirais pas que 11.18 est "environ 2,5" (il est d'environ 4,5 fois plus grand). Si nous utilisons l'ET de l'échantillon  alors nous nous attendons à 2,43 cas.

Il me semble que le manuel SMART est confus (il me déroute!) à propos de l'utilisation de «l'écart-type" et "z". En suivant les nombres et en remontant dans le travail fait... le raisonnement avoir "environ 2,5 enfants sur 900 »nécessite que la méthode utilise l'ET de l'échantillon.

Plus tard dans le manuel SMART, nous avons:

"Comme il est expliqué dans la section sur les valeurs extrêmes, cela vous indique si il y a une erreur aléatoire importante dans les mesures. Si l'écart-type est élevé (plus de 1,2), il est probable qu'il y aura beaucoup de valeurs extrêmes et les valeurs de plus de ± 3 z-scores de la moyenne ». (p 87)

Cela ne peut être le cas que si l'ET de l'échantillon n'est pas utilisé et les critères d'alerte utilisent ET = 1 de sorte qu'une alerte pour (par exemple) P/T serait déclenchée si:

   P/T = moyenne (P/T) - 3

ou:

   P/T = moyenne (P/T) + 3

Je ne suis pas sûr que cette approche de repérage ait beaucoup de sens.

Le manuel SMART est contradictoire à ce sujet et je me retrouve confus.

Mes questions sont les suivantes:

(1) Pouvons nous utiliser:

   P/T = moyenne (P/T) +/- 3 * et (P/T)

ou:

   P/T = moyenne (P/T) + 3

(2) Si nous sommes amenés à utiliser:

   P/T = moyenne (P/T) + 3

Quelle est la justification pour cela quand nous pouvons facilement obtenir l'écart type de l'échantillon (SD)? Pourquoi présumer une variance connue?

La première question devrait être assez facile à répondre. La deuxième pourrait être plus difficile.

Toute assistance sera reçue avec gratitude.

Merci.

Vous avez peut être raison ... Je trouve cela difficile à obtenir à partir du manuel SMART.

Je vois peu de logique en utilisant la variance "assumée" (c.-à-ET = 1) lorsque nous avons un grand (ie n >> 60) échantillon à partir duquel on peut faire une bonne estimation de la variance. S'attendre à ce que l'ET soit dans la gamme de 0,8 à 1,2 est une chose très différente que d'assumer que l'ET = 1. Qu'est-ce qui m'échappe?

Est-ce ceci juste une règle? Je suppose qu'il n'a pas à avoir un sens aussi longtemps que tous nous faisons cette même chose particulière.

Je souhaite que quelqu'un puisse envoyer en lien ce document. Ensuite, tout ce dont nous avons besoin de savoir est si la recommandation a été adoptée.

Je trouve que c'est une chose très étrange à faire ... si nous avons les données pour calculer une moyenne nous avons aussi les données pour calculer l'ET. Nous savons que, dans l'étude SMART, nous devons calculer l'ET puisque cela est utilisé comme un contrôle de qualité.

Je pense que ce sera mieux car nous aurons alors la symétrie. Si nous avons une population mixte par rapport au risque de malnutrition alors nous pourrions nous attendre à une longue queue gauche et un grand ET. Je suppose que les règles SMART censurent certains vrais cas  (et sous-estime la prévalence) à cause de cela ... une question distincte.

André,

J'ai vu cette note (je pense qu'elle reste non publiée). Elle fait quelques grandes revendications basées sur l'utilisation d'un test statistique faible qui n'est plus recommandée.

Golden & Grellety (2002) ont testé la normalité dans 228 enquêtes anthropométriques nutritionnelles à l'aide du test à un échantillon de Kolmogorov-Smirnov (KS) et ont constaté que la distribution de P/T en z score ne différait pas significativement de la normalité dans 225 (98,6%) des enquêtes.

Le problème avec cette approche est que le test de KS à un échantillon utilise des paramètres de l'échantillon pour modifier les hypothèses nulles. Cela réduit la puissance du test. D'autres tests tels que Shapiro-Wilk ou Ansderson-Darling sont maintenant préférés au test KS.

J'ai répété l'analyse des Golden & Grellety (2002) en utilisant un sur-ensemble des données qu'ils ont utilisées (n = 560 enquêtes) et j'ai trouvé:

    KS test 491/560 = 88% testé normal
    Test de Shapiro-Wilk 118/560 = 21% testé normal  

Il y a des problèmes avec le test de Shapiro-Wilk en ceci,  qu'il tend à être trop sensible lorsqu'il est utilisé avec des échantillons de grande taille. Il est commun d'investiguer sur les tests positifs en utilisant un tracé de QQ comme dans la Figure 4 de Golden & Grellety (2002). Les écarts à la normalité peuvent être vus (en particulier dans les queues de la distribution) dans cette figure.

Juste pour être clair ... voici un exemple:

Dans cet exemple, il y a une queue clairement à la gauche. Les résultats des tests sont:

    KS test p = 0,1638
    Shapiro-Wilk essai p <0,0001  

La distribution montrée devrait être classée comme normale par les méthodes employées par Golden & Grellety (2002). BTW ... SD dans l'illustration était de 1,17 dans la zone de «plausibilité» dans le SMART.

Je pense que cela met les commentaires de Carlos sur le double fardeau en perspective. Si nous avons un double fardeau alors nous devrions voir une certaine symétrie.

Je pense que cela met aussi en cause la fétichisation / réification de la normalité dans la méthode SMART. Si 88% des enquêtes renvoient un ensemble de données non-normales similaire à celui  illustré, alors l'utilisation d'une hypothèse normale pour décider la «plausibilité» va exclure les cas dans la queue gauche et risque de fausser la prévalence à la baisse.

Cela est d'autant d'ailleurs le point. André a raison. Il y a un monde de différence entre quelque chose  qui est souvent à l'intérieur de +/- 20% d'une valeur donnée et admettre qu'il doit alors prendre cette valeur donnée. Cela n'a aucun sens pour moi.

Le fait que je trouve un certain nombre de choses absurdes est aussi d'ailleurs le point. Quelle est la procédure «correcte» pour SMART?

Carlos,

Je suis d'accord qu'il doit  avoir un débat sur cette question. Je pense que nous pouvons standardiser pour les enquêtes sur la population générale (les populations cliniques seront différentes), mais que les critères doivent être l'une des plausibilité biologique comme il est recommandé par l'OMS et le CDC et ce que nous avons eu l'habitude d'utiliser avant SMART. Je ne pense pas qu'il continue à utiliser les règles qui supposent la normalité quand cette hypothèse est très souvent fausse.

Le fait que ce débat est nécessaire est aussi d'ailleurs le point. Quelle est la procédure «correcte» pour SMART?

Désolé pour la taille de la figure. Le logiciel du forum ne semble pas automatiquement ajuster l'échelle des images, j'ai alors essayé de les rendre assez petites pour être vues sur  (par exemple) un dispositif de type netbook et de ne pas être trop grandes et  rendre l'accès aux forums trop lents pour ceux qui ont des vitesses de réseau faible. Je vais écrire au gestionnaire de forum pour voir si nous pouvons résoudre ce problème. Entre temps, essayer "Vue -> Zoom  In» (ou ce que vous voulez) dans votre navigateur préféré.

Je pense que nous pourrions essayer de répéter l'analyse sur la nouvelle meilleure  et grande base de données de l'enquête que nous avons recueillie (autorisations nécessaires).

Personnes WRT SMART (je vais résister à la blague), j'èspère que quelqu'un de l'organisation SMART va me donner la réponse définitive.

Merci pour la clarification WRT ENA pour SMART. Juergen est un bon gars mais a peut-être mal compris (comme moi), parce que la documentation SMART est loin d'être clair. Si c'est la moyenne +/- 3 alors le manuel SMART est faux dans un certain nombre d'endroits.

Alina,

Merci pour la clarification.

Je ne comprends toujours pas les critères d'exclusion de  "moyenne (z) +/- 3". Quelqu'un peut-il expliquer les raisons de cela. La justification donnée dans le manuel SMART ne supporte qu'une "moyenne (z) +/- 3 * sd (z)" règle utilisant le SD observé.

BTW: La référence de l'OMS a une "moyenne (z) + / - 4" règle avec quelques règles supplémentaires concernant les valeurs extrêmes comme une «plage d'exclusion flexible".

Merci encore. J'ai ce dont j'ai besoin pour faire le travail.

Sameh,

Merci pour le lien. Je ne l'avais pas vu.

Cela me trouble (de nouveau).

Ce paragraphe de la page 2 et 3:

Normalement, lorsque nous examinons les données d'enquête, nous trouvons beaucoup plus d'enfants
qui ont des valeurs extrêmes que ce qui est donné dans ce tableau. Il serait
manifestement erroné de fixer les limites à ± 2 ET de la moyenne car un grand nombre de mesures correctes serait exclu.
Si nous fixons à ± 3.0, nous allons exclure de manière erronnée un peu plus d'un sur mille enfants, et les autres enfants que nous aurons exclus correctement parce qu'ils avaient de mauvaises mesures. Si les limites sont fixées à -3,3 voire -3,5, alors presqu'aucun enfant ne sera exclu à tort. Exclure un sur mille mesures quand nous devrions inclure cette mesure ne fait pratiquement aucune différence au résultat final, mais inclure beaucoup d'enfants en dehors de ces
limites peut avoir un effet majeur sur le résultat.

 La note explicative associée:

 Pour être tout à fait exact, si les indicateurs d'alerte sont définis à ± 3 ET alors nous devrions sélectionneR 1,3 enfant pour chaque millier de ceux qui ont été exclus de l'échantillon ... 
Le texte indique clairement que l'échantillon ET est utilisé. La note explicative confirme ceci. Par exemple, avec une moyenne = -1, ET = 1 nous aurions:

    > Pnorm (-4,3, -1, 1.1) * 1000
   [1] 1,349898

Ce sont les "1,3 enfants par milliers" de la note explicative.

Cela ne m'a pas rassuré (encore une fois) de ce qui est la procédure de repérage correcte.

Je ne suis pas sûr que vous répondez à ma question.

Je ne demande pas sur le logiciel ENA. Je demande à propos de la méthodologie SMART comme décrit dans les documents clés.

Il semble que le logiciel ENA ne met pas en œuvre les méthodes décrites dans les documents SMART qui décrivent la méthodologie SMART.

2006 manuel SMART est un peu confus quant à l'utilisation de l'échantillon SD ou d'utiliser Z = 1 mais tous les exemples indiquent que l'usage de l'échantillon SD.

Les «données Assurer quality_Michael Golden.pdf" 2 014 sur le site Web SMART est très clair que l'échantillon SD est utilisée pour signaler / exclusion.

S'il vous plaît pouvez-vous confirmer que le 2014 «Assurer données quality_Michael Golden.pdf" ne sont pas correctes.

Je tiens à "aller un peu un retour aux sources" ... Je peux comprendre l'utilisation de l'échantillon SD mais je ne peux pas comprendre l'utilisation de Z = 1. Pouvez-vous expliquer pourquoi Z = 1 est utilisé?

Je le pense aussi.

Je ne vois aucune raison pour le Z = 1 approche (il peut y avoir un).

Sameh,

Merci pour ça.

Je pense que c'est:

   moyenne de l'échantillon z-score +/- 3

l'ajout d'un "z" ici  désoriente juste.

Je pense que je préfère:

    moyenne de l'échantillon z-score +/- 3 * l'échantillon ET

mais cela apporte des problèmes WRT la source de la moyenne et l'écart type dans les enquêtes de  région plus larges telles que MICS et EDS. Au niveau national l'ET pourrait être très grand.

Même avec le SMART:

    moyenne de l'échantillon +/- 3

méthode avec laquelle nous avons du mal à décider à quel niveau calculer la moyenne. Si calculés au niveau national, nous pourrions réduire la prévalence en censurant des cas des zones les plus à risque.

Je suppose que la bonne approche serait d'appliquer la censure par l'approche district par district (strate par strate).

Y at-il une ligne directrice pour cela? Que font-ils dans la MICS et EDS?