VCSCI

ICAP: Índice de Calidad Pictográfica para CAA

El Índice de Calidad Pictográfica (ICAP) es un marco métrico diseñado para la evaluación, validación y auditoría de sistemas de comunicación visual en el ámbito de la Comunicación Aumentativa y Alternativa (CAA).

Este índice permite cuantificar la eficacia de los pictogramas mediante un análisis multidimensional, siendo especialmente útil para el entrenamiento y evaluación de modelos generativos (como PictoNet) y la arquitectura MediaFranca.

Alcances del Índice

  1. Evaluación Individual (1 a 1): Auditoría técnica y semántica de un pictograma frente a su concepto.
  2. Benchmark de Modelos (Set Fijo): Evaluación de la calidad generativa de un modelo mediante un corpus de referencia (50-60 frases concretas) para medir consistencia y precisión.

Dimensiones del ICAP (Definiciones Operacionales)

El índice se compone de seis dimensiones clave, evaluadas en una escala de 1 a 5.

1. Claridad (Clarity)

Mide el grado en que el pictograma es visualmente nítido, legible y libre de ambigüedad visual.

2. Reconocibilidad (Recognisability)

La facilidad con la que un observador identifica lo que representa el pictograma sin contexto adicional o explicación.

3. Transparencia Semántica (Semantic Transparency)

El grado en que el pictograma transmite con precisión el significado específico de la frase objetivo y su estructura lingüística.

4. Adecuación Pragmática (Pragmatic Fit)

La utilidad y adecuación del pictograma en contextos reales de comunicación.

5. Adecuación Cultural (Cultural Adequacy)

Relevancia del pictograma para el contexto cultural y lingüístico del público objetivo (especialmente en entornos hispanohablantes).

6. Accesibilidad Cognitiva (Cognitive Accessibility)

La usabilidad del pictograma para usuarios con diferencias cognitivas o dificultades de aprendizaje.

Escala de Evaluación

Cada dimensión se califica mediante una rúbrica de 5 niveles:

Corpus de Evaluación

El corpus de referencia consta de 50 frases organizadas por función comunicativa siguiendo la taxonomía de actos de habla de Austin/Searle:

frases.json

Categorías

Cada frase incluye:

Herramientas de Evaluación Interactivas

Interfaz Hexagonal con Gradientes

examples/hexagonal-rating-gradient.html

Visualizador de Metadatos

examples/metadata-visualizer.html

Ejemplo Canónico

examples/toy-example/

Ejemplo completo del flujo de trabajo: “Voy a hacer mi cama”

  1. Frase de entrada con análisis semántico (Frame Semantics + NSM)
  2. Estructura visual jerárquica definida
  3. Pictograma SVG generado con metadatos ICAP embebidos
  4. Evaluación ICAP completa con puntajes perfectos (5.0/5.0)

Archivos incluidos:

Arquitectura Modular

ICAP es parte del ecosistema MediaFranca con separación de responsabilidades:

Rúbrica Centralizada

Todas las definiciones operacionales de la rúbrica ICAP están centralizadas en:

data/rubric-scale-descriptions.json

Este archivo JSON sirve como fuente única de verdad (SSOT) para:

Uso desde CLI

# Compilar evaluación a partir de puntajes
node scripts/compile-evaluation-text.js --scores 5,4,3,4,5,4

# Formato HTML
node scripts/compile-evaluation-text.js --scores 5,4,3,4,5,4 --format html

# Evaluar caso específico
node scripts/compile-evaluation-text.js --case req-001_v1.0.0_default-v1_01

Estructura del Repositorio

├── frases.json                  # Corpus de 50 frases de referencia
├── data/
│   └── rubric-scale-descriptions.json  # Rúbrica centralizada
├── examples/
│   ├── hexagonal-rating-gradient.html  # Interfaz hexagonal interactiva
│   ├── metadata-visualizer.html        # Visualizador de metadatos
│   └── toy-example/                    # Ejemplo canónico completo
├── schemas/
│   └── rubric-descriptions.schema.json  # Validación JSON Schema
├── scripts/
│   ├── compile-evaluation-text.js      # Compilar evaluaciones
│   └── generate-report.js              # Generar reportes
└── docs/
    ├── rubric.md                        # Rúbrica detallada
    └── canonical-example.md             # Documentación del ejemplo

Flujo de Trabajo: Evaluación Individual

  1. Generar pictograma usando PictoNet u otro modelo generativo
  2. Abrir interfaz hexagonal (hexagonal-rating-gradient.html)
  3. Evaluar cada dimensión (1-5) usando la rúbrica como guía
  4. Revisar evaluación compilada (texto narrativo automático)
  5. Exportar JSON con metadatos completos
  6. Embeber metadatos en SVG como SSOT para auditoría

Flujo de Trabajo: Benchmark de Modelos

  1. Generar pictogramas para todas las 50 frases del corpus
  2. Evaluar sistemáticamente usando la interfaz hexagonal
  3. Compilar resultados usando generate-report.js
  4. Calcular puntaje ICAP promedio por modelo
  5. Comparar versiones para medir mejoras iterativas
# Generar reporte agregado
node scripts/generate-report.js --corpus frases.json

Documentación

Referencias Bibliográficas

Licencia

Este proyecto está diseñado para investigación académica y aplicaciones en el ámbito de la Comunicación Aumentativa y Alternativa (CAA). Para uso en producción o comercial, por favor contactar a los autores.

Versión: 0.2.0-icap Última actualización: Enero 2026