Interobserver Variability in the ILAE Classification of Seizures in Childhood

Abstract

Summary: Observer variability in interpreting medical tests and in making diagnoses influences both clinical practice and research. Uniform classification of epileptic seizures is especially difficult. Although the ILAE classification scheme for seizures has been available for many years, the reliability of this system has not been previously assessed. Verbatim descriptions of seizure manifestations were transcribed from medical records as pari of a large, population‐based prevalence study of childhood epilepsy conducted in two counties in central Oklahoma. One senior neurologist and three neurology residents reviewed these descriptions independently and classified them by seizure type based on the ILAE system. Unweighted and weighted K statistics were used to assess the level of agreement between the study neurologist and each resident. The overall agreement between observer pairs in classifying seizure types based on all available descriptions was relatively poor (K = 0.24‐0.38). Some improvement was evident when unclassified seizures were excluded, and comparisons were restricted to those based on descriptions with some degree of detail (K = 0.34‐0.51). When specific types of seizures were classified, agreement was fair to excellent for most types (K = 0.45‐0.90), with the exceptions of atypical absence (K = 0.11‐0.28), partial seizures with secondary generalization (K = 0.26‐0.40), and generalized motor seizures (K = 0.29‐0.32). Sources of observer variability in addition to the classification scheme are considered. Use of specific criteria for the categorization of symptoms might improve the reliability of seizure classification.RÉSUMÉ: La variabilityé liée a ľobservateur dans ľ interprétation des examens médicaux et dans ľétablissement des diagnostics n'est pas sans conséquences, dans la pratique clinique comme dans la recherche, Une classification uniforme des crises épileptiques est tout particulierèment difficile. Bien que la classification des crises établie par la Ligue Internationale soit disponible depuis plusieurs années, la fiabilité de ce système n'a pas encore étéévaluée. La description de la symptomatologie des crises a été transcrite mot‐à‐mot à partir de dossiers médicaux dans le cadre ľune vaste étude de prévalence de ľépilepsie chez ľenfant, fondée sur la population de 2 contés du centre de ľOklahoma. Un neurologue confirmé et 3 internes en neurologie ont revu des descriptions de façon indépendante, et ont utilisé la classification de la Ligue Internationale pour classer les observations en fonction du type des crises. Le niveau de cohérence entre le neurologue confirmé et chacun des 3 étudiants a étéévalué de façon statistique au moyen du test kappa. La cohérence globale entre les paires ľobservateurs dans la classification des crises à partir de ľensemble des données disponibles a été modeste (K = 0.24‐0.38). Une amélioration a pu être obtenue après élimination des crises non classAees et limitation des comparaisons aux cas décrits avec un certain détail (K = 0.34‐0.51). Lorsqu'il s'agissait de classer des types spécifiques de crises, la concordance a été de bonne à excellente pour la plupart des catégories (K = 0.45‐0.90). àľexception des absences atypiques (K. = 0.11‐0.28), des crises partielles avec généralisation secondaire (K = 0.26‐0.40), et des crises généralisees motrices (K = 0.29‐0.32). Les sources de variabilité liées àľobservateur et s'ajoutant à celles liées à la classification sont discutées. Ľutilisation de critères spécifiques visant à catégoriser les symptomes pourrait amé1iorer la fiabilité de la classification des crises.RESUMEN: La variabilidad entre los observadores, en el momento de interpretar los tests médicos y realizar el diagnóstico, influencia tanto la práctica clínica como la investigación. La clasificación uniforme de los ataques epilépticos es especialmente dificil. A pesar de que la clasificación de la ILAE de los ataques ha existido durante muchos años, no se ha determinado la fiabilidad del sistema. Como parte de un amplio estudio de la prevalencia de la epilepsyía infantil, basado en la poblacioan y realizado en dos condados de la región central de Oklahoma, se han transcrito las descripciones verbales de las manifestaciones de los ataques de las historias clínicas. Estas descripciones fueron revisadas inde‐pendientemente por un neurólogo y por tres residentes de Neurología quienes las clasificaron según el tipo de ataques, de acuerdo con el sistema de la ILAE. Para determinar el nivel de acuerdo entre el neurólogo y cada uno de los residentes se hanutilizado métodos estadísticos kappa. El acuerdo general entre las parejas de observadores al clasificar los tipos de ataques, habiendose basado en las descripciones disponibles. fue relati‐vamente pobre (K = 0.24‐0.38). Se consiguió una evidente majoría cuando los ataques no clasificados fueron excluidos del estudio y las comparaciones se limitaron a las descripciones que tenían suficientes detalles (K = 0.34‐0.51). Cuando se clasificaron tipos específícos de ataques, el acuerdo varió entre acept‐able y excelente para la mayor parte de los tipos (K = 0.45‐0.90). con la excepción de ausencias atípicas (K = 0.11‐0.28), ataques parciales con generalizacion secundaria (K = 0.26‐0.40) y ataques generalizados motores (K = 0.29‐0.32). Otras fuentes para la variabilidad de los observadores han sido consideradas, además del esquema de clasificación. La utilización de criterios específícos para la categorización de los síntomas puede mejorar la fiabilidad de la clasificación de los ataques.ZUSAMMENFASSUNG: Die ‘Beobachter‐Variabilität’ beeinflußt sowohl klinische Praxis als auch Forschung bei der Interpretation und medizinis‐chen Testen und Diagnosestellungen. Eine einheitliche Klassifi‐kation von epileptischen Anfällen ist besonders schwierig. Ob‐wohl das ILEA‐Klassifikationsschema für Anfälle seit vielen Jahren zur Verfügung steht, wurde die Zuverlässigkeit des Systems bisher nicht geprüft. Die Anfallsbeschreibungen wurden aus Arztbriefen übertragen im Rahmen einer großen Population‐Praevalenz‐Studie von kindlichen Epilepsien, die in zwei Landkreisen in Zentral‐Oklahoma durchgeführt wurden. Ein erfahrener und jüngere Neurologen sichteten diese Beschrei‐bungen unabhängig voneinander und klassifizierten die Anfälle nach dem ILAE‐System. Als Statistik wurde die gewichtete und ungewichtete Kappa Statistik angewandt, um dem Grad der Ubereinstimmung zwischen den Neurologen festzustellen. Die Gesamt‐Übereinstimmung aller beschriebenen Anfallstypen war ziemlich bescheiden (K = 0.24 bis 0.30). Eine leichte Verbes‐serung war möglich, nachdem unklassifizierbare Anfälle ausgeschlossen und der Vergleich auf Beschreibungen mit mehr Details beschränkt wurde (K =0.45 bis 0.90). Bei der Klassifizierung von spezifischen Anfallstypen war die Übereinstimmung fast für die meisten Typen ausgezeichnet (K = 0.45 bis 0.90) mit Ausnahme von typjschen Absencen (K = 0.11 bis 0.28), Partial‐Anfällen mit sekundärerGeneralisierung (K = 0.26 bis 0.40) und generalisierten motorischen Anfallen (K = 0.29 bis 0.32). Die Ursache der ‘Beobachter Variabilität’ im Zusammengang mit dem Klassifikationsschema werden diskutiert. Der Gebrauch spezifischer Kriterien für die Kategorisierung von Symptomen könnte die Zuverlassigkeit der Anfalls‐Klassifikation verbes‐sern.