DOI: http://dx.doi.org/10.19137/els-2020-181804

Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional

ARTÍCULOS

La evaluación de la comprensión de la lectura en una lengua extranjera: Un estudio de casos cualitativo

Evaluation of reading comprehension in a foreign language: A qualitative case study

José Villalobos
Dallas Baptist University College of Humanities and Social Sciences, Estados Unidos
josev@dbu.edu

Resumen: El propósito fundamental de este estudio de casos cualitativo fue describir y analizar las concepciones que tienen un docente y tres estudiantes con respecto a la evaluación de la comprensión de la lectura en un curso de inglés con fines académicos, en una universidad ubicada en el occidente venezolano. También se analizó el rol de la lengua materna (L1) en el desarrollo de la comprensión de la lectura de textos escritos en la lengua extranjera (LE). Se utilizaron varias herramientas etnográficas para la recolección de datos. El análisis e interpretación de los datos se realizó mediante la triangulación de toda la información recogida durante el estudio. Los hallazgos de este estudio sugieren que: 1) la traducción de la lengua extranjera (LE) a la lengua materna (L1) se debería emplear como herramienta pedagógica complementaria de otras actividades para desarrollar las estrategias cognitivas de lectura de los estudiantes y para subsanar las posibles concepciones erróneas que éstos pudieran tener acerca de la evaluación de la comprensión de la lectura; 2) el uso del español como lengua materna en este curso de inglés lectura es clave para el desarrollo de las actividades de enseñanza, de aprendizaje y de evaluación de la comprensión de la lectura en una lengua extranjera.

Palabras clave: Evaluación; Comprensión lectura; Lengua extranjera; Lengua materna; Traducción.

Abstract: The main purpose of this qualitative case study was to describe and analyze the conceptions that a teacher and three students had regarding the evaluation of the students’ reading comprehension in an English-for-Academic-Purposes course in a university located in western Venezuela. The role of the mother tongue in the reading comprehension of texts written in the foreign language was also analyzed. Several ethnographic tools were used for data collection. The analysis and interpretation of the data was done by triangulating all the information collected during the study. The findings suggest that: 1) translation from the L2 to the L1 should be used as a complementary pedagogical tool to other activities in order to develop in students some cognitive reading strategies and to rectify the students’ possible misconceptions about evaluation of reading comprehension; 2) the use of Spanish as a mother tongue in this English reading course is key to the development of teaching, learning, and evaluation activities to foster reading comprehension in a foreign language.

Keywords: Assessment; Reading comprehension; Foreign language; Mother tongue; Translation.

Fecha de recepción: 04/01/2019/ Fecha de aceptación: 18/08/2019

Introducción

Tradicionalmente, la evaluación de la comprensión de la lectura se ha hecho tomando en cuenta los aspectos cuantificables y observables de este proceso en los estudiantes, tales como la pronunciación, la velocidad en la lectura, el uso de pausas mientras se lee, entre otros. Generalmente, el aprendizaje obtenido a partir de la comprensión de la lectura se ha cuantificado empleando índices y pruebas cuantitativas (pruebas tipificadas o estandarizadas, por ejemplo) como instrumentos para valorar el producto en términos de puntaje.
 Gracias a los avances de la psicolingüística y la psicología cognitiva a fines de la década de mil novecientos setenta, la concepción de la lectura como un conjunto de habilidades pasa a ser entendida como un proceso global del lenguaje, cuyo objetivo primordial es la comprensión o construcción del significado del texto (Cornoldi y Oakhill, 2013; Goodman, 2014; Weaver, 2002). Las diferentes tendencias conceptuales derivadas de los estudios sobre la lectura,han hecho posible que la entendamos desde otra perspectiva, permitiendo así abordar su enseñanza de forma más efectiva y, en consecuencia, hacer reconsideraciones específicas sobre la forma de evaluarla (Grabe y Stoller, 2013).

Planteamiento del Problema

Los diversos puntos de vista sobre el concepto de evaluación en el contexto educativo, específicamente en la enseñanza de las lenguas extranjeras, siempre han generado problemas cuando se ha intentado una aproximación consensuada al respecto. Deborah Britzman (2012) y Constance Weaver (2002) atribuyen el origen de estos problemas a los conflictos de orden teórico-filosófico representados básicamente por las interpretaciones que hacen los docentes de los modelos y paradigmas que describen el proceso de enseñanza formal en determinada institución educativa.
En el caso venezolano, el modelo de transmisión a través del paradigma conductista y el modelo transaccional a través del paradigma constructivista de la enseñanza, han sido los modelos que, en cierta forma, han prevalecido en la educación formal en el país en todos los niveles de la educación y en las distintas áreas del conocimiento (Acedo de Bueno y Estévez, 2003). En referencia a los cursos de lenguas extranjeras con fines académicos en el contexto educativo universitario venezolano, los que se diseñan desde hace algún tiempo con base en el modelo constructivista del aprendizaje. Esto es reflejo de las contribuciones y resultados de investigaciones a nivel tanto internacional como nacional en lo que se refiere a la enseñanza y al aprendizaje de la lectura en una lengua extranjera específicamente (Alderson, Brunfaut y Harding, 2017; Beke, 2001; Cohen, 2014; Grabe y Stoller, 2013).
A pesar de estas contribuciones, la problemática sobre la evaluación tiende a complicarse debido a la inconsistencia o incompatibilidad que se presenta entre la concepción teórica sobre el aprendizaje de las lenguas extranjeras con fines académicos y la forma más idónea para la evaluación de la comprensión de la lectura en esa lengua. Esta inconsistencia se refleja en la tendencia de muchos docentes del área y diseñadores curriculares que, si bien manifiestan seguir fundamentos teóricos del modelo constructivista de la enseñanza y del aprendizaje, continúan empleando instrumentos, herramientas y técnicas de evaluación (como pruebas estandarizadas, respuestas múltiples, llenado de espacios con la palabra correcta, entre otros) propios del modelo de transmisión. La inconsistencia que se presenta entre los principios teóricos-filosóficos que esgrime el docente y lo que es su práctica real en el aula y la evaluación de los procesos de aprendizaje podrían estar evidenciando, en la mayoría de los casos, su desconocimiento de las relaciones intrínsecas y necesarias que deben existir entre el modelo educativo que se use y las prácticas inherentes a éste.
Con base en lo expuesto anteriormente, me planteé las siguientes preguntas de investigación para orientar este estudio:

1) ¿Cómo percibe el docente el proceso de evaluación en un curso de inglés con fines académicos a nivel universitario?
1.1 ¿Cuál es el rol del español, como lengua materna de los estudiantes, en las actividades que el docente diseña e implementa para evaluar la comprensión de la lectura de textos escritos en inglés?
2) ¿Cómo perciben los estudiantes las actividades de evaluación que implementa el docente en un curso de inglés con fines académicos a nivel universitario?
2.1 ¿Qué función atribuyen los estudiantes al español, como lengua materna, con respecto de las actividades que el docente diseña e implementa para evaluar la comprensión de la lectura de textos escritos en inglés?

Este estudio estuvo concebido bajo el paradigma cualitativo de la investigación, y se realizó a través de un estudio de casos en un curso de inglés como lengua extranjera con fines académicos, impartido en una institución de enseñanza superior venezolana durante un semestre. Es por esto que los hallazgos que resultaron de esta investigación no pueden ser generalizados a otras situaciones de enseñanza y aprendizaje, ya que el estudio está enmarcado dentro de un contexto socio-educativo específico. La cantidad reducida de datos que se obtienen en los estudios cualitativos se basan en descripciones y análisis muy detallados a partir de contextos o situaciones muy particulares y delimitados, lo que no permite replicar o comprobar los resultados obtenidos ni hacer generalizaciones de los mismos en otros contextos similares (Denzin y Lincoln, 2018; Wang y Winstead, 2016). Sin embargo, los resultados obtenidos pudieran presentarse en contextos educativos semejantes o en niveles educativos diferentes al de esta investigación.

Fundamentación Teórica

La lectura se relaciona directamente con la construcción de conocimientos y, en consecuencia, la calidad y cantidad de ese conocimiento están en directa proporción con el nivel de comprensión que demuestre el lector (Alderson, Brunfaut y Harding, 2017). Por esta razón, en la educación formal la evaluación de la comprensión de la lectura es relevante.
A partir de la concepción de la lectura como proceso global del lenguaje (Goodman, 2014), la evaluación se considera un aspecto integrante de los procesos de enseñanza y aprendizaje de la lectura, transformándose en un elemento que guía el trabajo en el aula de clases, permite la formulación y reformulación de la acción pedagógica del docente y favorece la apropiación del conocimiento por parte del estudiante de acuerdo con sus propias necesidades y estilos de aprendizaje (Lin y Christianson, 2013; Pritchard, 2014).
Cesare Cornoldi y Jane Oakhill (2013), Kenneth Goodman (2014) y Constance Weaver (2002) coinciden en indicar que las concepciones sobre la enseñanza y el aprendizaje de la lectura modifican, necesariamente, la concepción de la evaluación de la comprensión de la misma, implicando, a su vez, cambios significativos en el diseño de programas, currículos y prácticas pedagógicas. Estos autores han discutido ampliamente dos modelos acerca de los procesos de enseñanza y aprendizaje: El modelo de transmisión se origina en la teoría conductista que se centra en el estudio de conductas observables, su control y predicción. Por otra parte, el modelo transaccional, inscrito en el paradigma constructivista, considera que la enseñanza y el aprendizaje son procesos interdependientes y que no pueden separarse del contexto donde se llevan a cabo. Dentro de este modelo, la evaluación se convierte en un aspecto inseparable de los procesos de enseñanza y aprendizaje (Goodman, Goodman y Hood, 1989; Weaver, 2002). En el proceso de evaluación, visto desde la perspectiva del modelo transaccional, se consideran y toman en cuenta no sólo los resultados o productos de los aprendizajes de los estudiantes, sino que se hace especial énfasis sobre los procesos involucrados en la construcción de los mismos.
La concepción de la evaluación de la comprensión de la lectura como un aspecto inherente e inseparable de los procesos de enseñanza y aprendizaje de la misma, se concreta en un currículo donde se enfatiza especialmente el desarrollo de las estrategias cognoscitivas de lectura a través de actividades que a su vez permiten evaluar las habilidades de lectura de los estudiantes, sus problemas, sus debilidades, sus progresos y logros en relación con los objetivos establecidos en estos currículos (Alderson, Brunfaut y Harding, 2017; Cohen, 2014; Goodman, 2014; Klingner, Vaughn y Boardman, 2015). David Eskey (2006) apunta que, si bien la capacidad de la lectura es un aspecto inherente al lenguaje del ser humano, no todos los lectores leen de la misma forma. Señala, asimismo, que los lectores que aprenden una lengua extranjera tienden a leer en forma aparentemente semejante a los lectores nativos de esa lengua (Cook, 2016; Gass, 2013; Grabe y Stoller, 2013); sin embargo, existen problemas y factores específicos que los diferencian básicamente (Klingner, Vaughn y Boardman, 2015). Entre estos factores, David Eskey (2006) y Jung Lin y Kiel Christianson (2013) destacan los siguientes: la cantidad de conocimiento que los lectores en LE poseen sobre esa lengua en comparación con los lectores nativos de esa lengua; las diferencias en cuanto al conocimiento del contenido presente en los textos, especialmente escritos para los hablantes nativos de esa lengua; la falta de confianza en sí mismos cuando leen, ya que consideran que deben conocer primero el significado de cada palabra en el texto para comprenderlo, conllevando a una lectura muy lenta con frecuentes consultas al diccionario y a eventuales problemas de comprensión y motivación.Por lo tanto, los currículos y la evaluación de la comprensión de la lectura en LE, si bien parten de principios teóricos semejantes a los currículos y la evaluación de la lectura en L1 (Ferris, 2011; Hyland, 2018; van Dijk, 2011), deben también considerar aquellos aspectos que reflejen la problemática específica de los lectores en LE (Grabe y Stoller, 2013).

Metodología

Diseño de la Investigación

El diseño de esta investigación está concebido bajo el paradigma cualitativo que, por definición, ayuda a entender y explicar fenómenos de índole social dentro de su contexto natural o campo. Este campo no está controlado por el investigador y se encuentra libre de cualquier intervención y/o acondicionamientos previos (Creswell y Creswell, 2018; Merriam, 2016; Yin, 2018).
El diseño que utilicé en esta investigación correspondió al estudio de casos. Sharan Merriam (2016) y Robert Yin (2018) consideran como caso: una persona, una organización, un depósito de documentos, un programa de enseñanza, una colección, un acontecimiento particular, pero siempre dentro de un límite social o físico que le confiera entidad. He seleccionado el estudio de casos para realizar la presente investigación ya que, como diseño de investigación cualitativa, permite la comprensión de problemas o fenómenos que se presentan en un grupo social determinado partiendo de las interpretaciones de los propios actores.

Lugar y Participantes de la Investigación

Esta investigación se llevó a cabo en un curso de inglés como lengua extranjera con fines académicos en una universidad venezolana en la especialidad de Geografía. El curso en el que se realizaron las observaciones correspondió al segundo nivel de inglés, y realizaron durante un semestre que comprendió diez y seis semanas. Este curso en particular tuvo una duración de dos horas y noventa minutos de clases semanales, divididas en dos sesiones de una hora y cuarenta y cinco minutos cada sesión. Los objetivos de estos cursos (en sus niveles I y II) se centran en la preparación del estudiante para comprender textos escritos en inglés como lengua extranjera relacionados con su especialidad (Geografía).
Los participantes en esta investigación fueron tres estudiantes y el docente del curso de Inglés Lectura – Nivel II como lengua extranjera con fines académicos. Los criterios que se siguieron para la selección de estos estudiantes informantes se fundamentaron en 1) su deseo voluntario de participar en la investigación y 2) la frecuencia de su participación en clase. La selección definitiva se realizó al final de las tres primeras semanas de clases luego de iniciadas las observaciones. Una vez finalizada mi selección, me reuní con las estudiantes informantes para ahondar un poco más sobre el procedimiento a seguir durante la investigación, y sobre el propósito y alcances de las actividades a realizar. Luego de estas explicaciones, las estudiantes informantes firmaron la autorización respectiva y escogieron los seudónimos Consuelo, Nora y Veruska para identificarse en la investigación.
En cuanto al docente informante, es egresado en la especialidad de Lenguas Modernas (inglés) de una universidad venezolana y, para el momento del estudio, se encontraba finalizando sus estudios de maestría en el área de Educación en la misma universidad donde se llevó a cabo la investigación. El seudónimo que el docente informante eligió para este estudio fue Marcos y, al igual que las estudiantes, el docente aceptó participar como mi informante firmando la autorización respectiva.

Recolección de Datos

En el presente estudio de casos, utilicé las siguientes herramientas etnográficas para la recolección de los datos:

Observaciones

Mis observaciones en el aula se iniciaron desde el principio del semestre. Observé todas las sesiones de clase, dos veces por semana, desde la primera semana hasta la última semana del semestre. En la primera semana, Marcos me presentó ante todos sus estudiantes e informó las razones de mi presencia en el aula durante ese semestre. Luego, procedí a ampliar la información dada por Marcos, especialmente sobre los propósitos de mis observaciones, los alcances de mi investigación y la forma en la que se seleccionarían los estudiantes que colaborarían en mi estudio.

Notas de Campo

Durante mis observaciones, las notas de campo correspondieron a un registro escrito, tipo diario, de las actividades que se desarrollaron en el aula de clases implementadas por el docente y realizadas por todos los estudiantes y, muy especialmente, de las actividades que se refirieron a la evaluación de la comprensión de la lectura en inglés como lengua extranjera.

Entrevistas

A lo largo del estudio, llevé a cabo dos entrevistas semi-estructuradas a mis informantes, tanto a las estudiantes como al docente del curso. Estas entrevistas se aplicaron una al inicio del semestre y otra al final se grabaron en forma digital utilizando mi celular y se transcribieron posteriormente en forma computarizada. Estas transcripciones se entregaron a cada uno de los informantes para su consideración final. En las mismas se incluyeron el seudónimo de los informantes, las preguntas del investigador y las respuestas a las mismas por parte de las estudiantes, al igual que la fecha y el lugar donde se efectuaron dichas entrevistas. Todas las entrevistas, tanto las realizadas al principio como al final del curso, tuvieron una duración de veinte minutos aproximadamente por informante; se realizaron en el aula de clases o en otro recinto disponible cercano al aula y, generalmente, se efectuaron al final de las clases o en otro momento según la disponibilidad de tiempo de los informantes.
En el caso de las estudiantes informantes, el propósito de la primera entrevista semi-estructurada fue conocer los conceptos y percepciones sobre 1) el proceso de evaluación en sí, 2) los aspectos y actividades que consideran más relevantes para la evaluación de la comprensión de la lectura de textos escritos en inglés y 3) el rol de los cursos de inglés con fines académicos existentes en su pensum de estudios. Igualmente, en esta primera entrevista semi-estructurada, las estudiantes informantes pudieron expresar sus puntos de vista en cuanto al uso del español como su lengua materna en las actividades de evaluación de la comprensión de la lectura en inglés.
La primera entrevista semi-estructurada realizada al docente tuvo como finalidad conocer sus concepciones acerca del proceso de evaluación como tal, al igual que conocer el tipo de actividades que diseña e implementa en clase para evaluar la comprensión de la lectura de textos escritos en inglés como lengua extranjera. Asimismo, a través de esta entrevista, el docente informante manifestó su posición en cuanto al rol y finalidad del uso del español, como lengua materna de los estudiantes, en el proceso de evaluación de la comprensión de la lectura en inglés a través de las diferentes actividades que él diseña.
La segunda entrevista semi-estructurada que se aplicó a las estudiantes informantes tuvo como propósito conocer sus percepciones en cuanto al tipo de actividad de evaluación que permitió desarrollar su comprensión de la lectura de textos escritos en inglés, cuáles consideraron más provechosas y cómo percibieron el rol del español como lengua materna en las actividades de evaluación que ellas realizaron. La segunda entrevista semi-estructurada aplicada al docente informante tuvo como finalidad conocer sus percepciones en cuanto a las actividades de evaluación que diseñó y aplicó y que, según el docente, promovieron en sus estudiantes la comprensión de la lectura de los textos escritos en inglés y evaluaron adecuadamente este proceso. De la misma forma, durante esta entrevista, indagué acerca de la percepción del docente informante en cuanto al rol del español, como lengua materna de los estudiantes, con respecto a su injerencia en la calidad y cantidad de la comprensión de la lectura de textos en inglés de sus estudiantes en el momento de su evaluación. Las conversaciones informales que mantuve con los informantes también permitieron ahondar en las percepciones y el desempeño personal de cada uno de ellos con respecto a las actividades de evaluación realizadas durante el semestre, a los propósitos y a su pertinencia. Igualmente, permitieron ampliar información acerca de los temas y aspectos tratados en las entrevistas semi-estructuradas.

Documentos Escritos

Los documentos escritos usados en este estudio fueron los siguientes: 1) el programa de la asignatura Inglés con Fines Académicos diseñado por el docente; 2) el plan de las unidades temáticas y cronograma de actividades diseñados por el docente para todo el semestre; 3) los textos escritos en inglés a través de los cuales se desarrollaron las unidades temáticas; 4) el material diseñado por el docente como apoyo didáctico para la implementación del programa; 5) los documentos escritos de las estudiantes informantes que conforman las actividades de evaluación de la comprensión de la lectura en inglés, tales como: elaboración de predicciones en español sobre el posible contenido del texto escrito en inglés, organizadores gráficos escritos en español sobre contenidos desarrollados en los textos escritos en inglés leídos en clase, respuestas a preguntas sobre informaciones específicas contenidas en el texto escrito en inglés, pruebas cortas sobre vocabulario y/o estructuras gramaticales del inglés, elaboración de resúmenes en español de los contenidos desarrollados en los textos escritos en inglés, examen parcial, presentación de carteles, ensayos, entre otros.

Análisis e Interpretación de los Datos

En el presente estudio de casos, se procedió de la siguiente forma para el análisis e interpretación de los datos: 1) Lectura de la información contenida en mis notas de campo recabada durante las observaciones en el aula de clases; 2) Categorización de la información recabada durante las observaciones y los contenidos de los documentos escritos por las estudiantes informantes, como pruebas cortas, resúmenes, entre otros. Esta categorización se llevó a cabo con base en: a) el tipo de documento escrito por las estudiantes informantes (resúmenes, organizadores gráficos, otros), b) los aspectos de vocabulario y/o estructuras gramaticales característicos de la lengua extranjera y c) las estrategias de lectura y/o claves lingüísticas específicas empleadas por las estudiantes informantes durante el proceso de comprensión de la lectura del texto en inglés; 3) Categorización y análisis de las respuestas de las estudiantes informantes a las dos entrevistas semi-estructuradas aplicadas al inicio y al final del semestre; 4) Categorización y análisis de las respuestas del docente a las dos entrevistas semi-estructuradas aplicadas al inicio y final del semestre; 5) Triangulación de las respuestas de las estudiantes y del docente dadas en la primera entrevista semi-estructurada comparada con mis notas de campo (Denzin y Lincoln, 2018); 6) Triangulación de las respuestas de las estudiantes y del docente dadas en la segunda entrevista semi-estructurada comparada con mis notas de campo; 7) Correlación de los hallazgos basados en la triangulación de la información para establecer los patrones y categorías que emergieron del análisis de los datos obtenidos de las entrevistas semi-estructuradas y de los trabajos o actividades de evaluación de la comprensión de la lectura de textos en inglés realizadas por las estudiantes y diseñados por el docente (Denzin y Lincoln, 2018). Para organizar la información proveniente de la estudiante informante y del docente, se utilizaron las preguntas de investigación, las cuales se codificaron mediante el empleo de colores específicos con la finalidad de facilitar la posterior comparación y triangulación de éstas con mis notas de campo (Denzin y Lincoln, 2018).

Los hallazgos encontrados en este estudio permitieron organizar la información recabada sobre la evaluación de la comprensión de la lectura en inglés como lengua extranjera con base en determinadas categorías de información que emergieron de los datos analizados. Estas categorías emergentes permitieron, a su vez, comprender, analizar y presentar con más detalle, las diferentes concepciones, creencias y puntos de vista de cada uno de los informantes que participaron en esta investigación.
La traducción – ¿amiga o enemiga de la comprensión de la lectura?
A lo largo de toda la recolección de los datos, se pudieron observar referencias constantes de parte de las estudiantes informantes al aspecto de la traducción ––de la LE a la L1–– en la mayoría de los temas abordados durante las entrevistas y conversaciones informales. Sobre este particular, Marcos otorga a la traducción una función bivalente. Al respecto, él mencionó lo siguiente en una de las entrevistas al inicio del semestre:

En primer lugar, pienso que la traducción escomo parte del proceso de lectura para poder comprender y, en segundo lugar, creo que es como una técnica o estrategia pedagógica que permite evaluar la capacidad y calidad de interpretación en español de palabras, expresiones, párrafos o fragmentos contenidos en un texto determinado escrito en inglés por parte de los estudiantes. (Comunicación personal realizada en el mes de septiembre de 2018)

Según las explicaciones de Marcos, la traducción corresponde a una primera etapa en la comprensión de un texto escrito en LE, y la divide a su vez en dos niveles de comprensión que se complementan y relacionan estrechamente: un primer nivel de traducción textual ––o comprensión textual–– y un segundo de nivel de traducción ––o de interpretación propiamente dicho––. Al respecto de la traducción textual, que denomina ‘traducción literal’, Marcos explicó que:

…durante la traducción textual o literal, los estudiantes están interpretando en español lo que transmite el autor en un texto escrito en inglés mediante la identificación y traducción del vocabulario y de las estructuras gramaticales presentes. (Comunicación personal realizada en el mes de septiembre de 2018)

Marcos recalcó que este tipo de traducción textual o literal tiene como objetivo promover entre los estudiantes el establecimiento de las relaciones o conexiones de tipo lingüístico entre su L1 ––el español–– y la LE ––el inglés––. Este nivel de traducción textual o literal es empleado específicamente en actividades muy puntuales como, por ejemplo, en la primera parte del examen correspondiente al tercer parcial (los estudiantes tomaron tres exámenes parciales), realizado como última actividad de evaluación del semestre. En esta parte del examen los estudiantes debían traducir fragmentos tomados de un texto — diferente a los analizados en clase —que contenía palabras y/o estructuras gramaticales similares a las estudiadas en otros textos de contenido similar al del examen durante el semestre. Es importante recalcar que, como preámbulo a las actividades a desarrollar en este examen, Marcos señaló entre las instrucciones a seguir, que los estudiantes no debían hacer uso de la traducción literal. Pero, según lo que observé en los exámenes de las estudiantes informantes, las traducciones sí fueron literales ya que presentaban algunas incongruencias gramaticales, omisiones de palabras y de sentido o coherencia en español (ver Figura 1). Los problemas observados en la calidad de lo expresado en las traducciones de las estudiantes informantes pudieron darse por las siguientes causas: en primer lugar, por las diferentes concepciones en cuanto a los diferentes tipos de traducción que manejan las estudiantes informantes y que fueron mencionados por Marcos anteriormente. En segundo lugar, por la forma en la que se redactaron las instrucciones generales del examen en las cuales no se especificó con claridad la traducción “no deseada”. Por último, por la aparente contradicción entre lo que Marcos solicitó en la instrucción general Nº 2 del examen y la instrucción sobre la actividad a desarrollar en la PARTE I, referida específicamente a la “traducción de algunas oraciones” del texto base del examen.

Figura 1. Instrucciones generales para la realización del examen.

En relación con el segundo nivel de traducción o interpretación, Marcos lo describió de la siguiente manera:

Durante la interpretación los estudiantes expresan, en forma oral o escrita y en sus propias palabras, la idea, mensaje o información que emerge de la traducción literal. (Comunicación personal realizada en el mes de septiembre de 2018)

La concepción de Marcos sobre este segundo nivel de traducción o interpretación, se corresponde con los aspectos que él toma en cuenta para evaluar la traducción; éstos son: 1) la captación de la esencia del planteamiento en inglés, 2) la transmisión de esa esencia en las palabras del propio alumno y 3) la interpretación de estructuras y vocabulario estudiados en clase presentes en el fragmento a traducir. Según su punto de vista y experiencia, Marcos considera que la interpretación tiene una especial importancia debido a que es en este segundo nivel de traducción donde se reflejan las dificultades que enfrentan los estudiantes para comprender lo que el autor del texto en inglés desea comunicar:
La concepción particular de Marcos sobre la traducción como parte del proceso de lectura parece tener un asidero teórico que la respalda. Las investigaciones realizadas por Abul-Quasim Avand (2009), William Grabe y Fredricka Stoller (2013), Janet Klingner, Sharon Vaughn y Alison Boardman (2015) y Jung Lin y Kiel Christianson (2013) evidencian que la traducción que se hace empleando la L1 como herramienta para comprender y/o producir la LE, permite definirla como una estrategia cognitiva en el proceso de comprensión de la lectura, que es de uso frecuente entre estudiantes de secundaria y estudiantes adultos de lenguas extranjeras. Asimismo, se puede establecer una correspondencia entre el contexto socio-educativo en el cual se realizaron las investigaciones arriba mencionadas, y el contexto universitario en el cual se desenvuelve Marcos, aunado al uso de la lengua materna ––el español–– en todas las actividades diarias de clase y en actividades de evaluación del inglés como lengua extranjera. Estas semejanzas refuerzan aún más la definición inicial de Marcos sobre la traducción como parte del proceso de lectura para poder comprender.
A lo largo de la segunda entrevista, las estudiantes informantes abordaron el aspecto de la traducción con una aparente seguridad y claridad, y sus opiniones fueron bastante consistentes entre sí, específicamente en lo que se refiere a su definición, importancia y función dentro de los procesos de enseñanza y aprendizaje del inglés como lengua extranjera. Nora, por ejemplo, la describió de la siguiente manera:

La traducción puede ser como caletre del texto, o sea, que no se cambia ninguna palabra, que todo es igualito, sino que se copia lo que es una palabra del inglés y se pone en español esa misma palabra…y saber todo de los verbos, adjetivos, y eso… y vocabularios que ayudan a organizar el tema que se lee, o facilitar de hacer un esquema…y se evalúa lo que se refiere el tema… Por eso, el profesor nos pidió hacer traducciones, pero decir lo que entendíamos de lo que traducimos, ¿ve? (Comunicación personal realizada en el mes de noviembre de 2018)

De esta descripción de Nora, se puede inferir que para ella la traducción se fundamenta en el reemplazo mecánico de las palabras del inglés al español, haciendo especial énfasis en la importancia de la identificación de las funciones gramaticales de las palabras traducidas. Este procedimiento, según Nora, favorece la organización del contenido traducido y, en consecuencia, la comprensión del tema a partir de la traducción hecha. Por su lado, Veruska manifestó lo siguiente:

Creo que es si se sabe traducir los vocabularios, las partes de la oración, los verbos, el predicado y el sujeto…más que nada de las palabras en general…es saber la palabra en español de lo que dice en inglés, ¿ve? Entonces el profesor me evalúa bien porque traducí [sic] correctamente, y saco buena nota. (Comunicación personal realizada en el mes de noviembre de 2018)

Veruska considera que, en la traducción, además del reconocimiento correcto del significado de las palabras del inglés al español y de sus funciones gramaticales, también es importante reconocer las partes de la oración que se traduce. Esto, según Veruska, conlleva a realizar una buena traducción y, por ende, a obtener una buena calificación por parte del docente.
Con base en mis observaciones, el tipo de actividades diseñadas por el docente no implicaron el uso frecuente de estrategias cognitivas de lectura significativas a través de las cuales los estudiantes desarrollaran y consolidaran estas estrategias para la solución oportuna del vocabulario desconocido. Entre estas actividades cabrían mencionar: la activación del conocimiento previo de vocabulario, el reconocimiento e interpretación de cognados verdaderos del español y del inglés, la identificación de cognados falsos y sus acepciones correctas en contextos diferentes, la asociación de vocabulario con base en sinonimia y antonimia, las analogías, la elaboración de glosarios y/o de fichas conceptuales de palabras, el uso adecuado y frecuente de diccionarios generales y especializados, entre otras actividades para fijar adecuadamente el significado del nuevo vocabulario (Andersen y Simpson, 2003; Grabe y Stoller, 2013; Zhang y Anual, 2008).
Las posturas de Marcos como docente y de las estudiantes informantes revelaron, en el fondo, una misma concepción sobre la finalidad y uso de la traducción como estrategia bivalente: 1) como herramienta de aprendizaje y 2) como herramienta de la evaluación de la comprensión de la lectura en inglés como lengua extranjera.

El uso del español: ¿Un arma de doble filo?

Otro aspecto que emerge paralelamente a las constantes referencias a la traducción (del inglés al español) por parte de las estudiantes informantes y de Marcos, ha sido el rol que desempeña el español como lengua materna en los cursos de inglés como lengua extranjera con fines académicos en esta universidad. Recordemos que el español en estos cursos no sólo es la lengua en la que el docente enseña la lectura de textos escritos en inglés, sino que a través de ésta se evalúa la comprensión y el aprendizaje de esta lengua extranjera por parte de los estudiantes. 

En este sentido, y desde la concepción de Marcos

…el español es la herramienta que el docente emplea en esta universidad para enseñar el inglés. Además, es la lengua que los estudiantes deben utilizar para comunicar o expresar lo que comprendieron del texto escrito en inglés, ya sea en forma oral o escrita, como forma de evaluación. En todos los niveles es así. (Comunicación personal realizada en el mes de noviembre de 2018)

Las concepciones de las estudiantes informantes sobre el uso del español en clase, se enfocaron a través de un ángulo diferente. Consuelo, por ejemplo, opinó lo siguiente:

…bueno, yo no leí el programa de la materia que se leyó en clase, pero creo que probablemente las clases se dan en español porque aquí los estudiantes no tenemos un buen nivel como para comunicarnos en inglés en clase. Por eso, es que la clase es en español y todas las actividades también. Y también por los objetivos de la asignatura que se explicó cuando comenzaron las clases. Además, si vamos a traducir, debemos usar el español, ¿no? (Comunicación Personal realizada en el mes de noviembre de 2018)

Como se desprende de la opinión de Consuelo, ella no tiene la certeza sobre las razones por las cuales se emplea el español en este curso; sin embargo, se puede inferir de su opinión que se fundamenta en su experiencia personal en el curso del semestre anterior (Nivel I), al igual que en deducciones que parten de sus propias concepciones sobre el objetivo del uso de su lengua materna en el aprendizaje del inglés.

Asimismo, Nora justificó el uso del español en el curso de la siguiente forma:

Yo no estaba cuando lo del programa, pero como uno no sabe inglés y…el español es para dar la razón de lo que uno entiende de inglés. O sea, uno trata de comprender lo que dice el texto de inglés y si uno trata de expresarlo en la lengua de uno entonces va comprendiendo y… puede traducir.  Así es para mí en este curso. (Comunicación personal realizada en el mes de noviembre de 2018)

Nuevamente, al igual que Consuelo, Nora fundamenta su opinión en deducciones basadas en sus propias experiencias previas. Además, tal como lo manifestó, ella no estuvo presente durante la exposición de Marcos acerca del programa de la asignatura y de la manera en la que se trabajaría durante el curso.
A partir de las opiniones de las estudiantes informantes con respecto al uso del español en el curso de inglés, se puede deducir que, si bien Marcos concibe el uso del español como una forma generalizada a nivel universitario en la enseñanza y el aprendizaje del inglés como lengua extranjera para desarrollar y evaluar la comprensión de la lectura en los estudiantes, él tiene una percepción diferente a la de las estudiantes. Por un lado, todas las estudiantes informantes coinciden en considerar la L1, más que una estrategia de enseñanza, como una herramienta lógica y natural en el proceso de traducción y en la evaluación de la traducción para demostrar su comprensión de la lengua extranjera. Por otro lado, las informaciones provenientes de las entrevistas y de mis observaciones, me llevan a pensar que, más que basar sus opiniones en el conocimiento del programa y de la descripción de la asignatura, las estudiantes informantes construyeron sus opiniones sobre el empleo del español en las clases de inglés con base en sus aparentes deficiencias y desconocimiento de la lengua extranjera, y en sus experiencias previas en cursos similares en la universidad o a nivel de educación secundaria.
Nuevamente, se puede deducir que las creencias personales de las estudiantes informantes intervienen directamente sobre el qué y el cómo se aprende, y sobre el porqué del uso de determinadas herramientas y procedimientos de evaluación. Asimismo, la inasistencia a las sesiones de clases por parte de una de las estudiantes informantes en las cuales Marcos expuso las características y modalidades del curso, puede considerarse como otro aspecto que contribuyó notablemente a que estas creencias y experiencias previas de esta estudiante informante tuviera esa preponderancia en sus concepciones sobre el empleo de su lengua materna.
Paralelamente a las entrevistas y conversaciones informales centradas en el rol del español en los cursos de inglés, todos mis informantes también hicieron alusión inmediata a los problemas y dificultades que enfrentaban con el español, tanto durante las actividades diarias en clase, como durante las actividades de evaluación. Al referirse a este aspecto en particular, Marcos, en su calidad de docente, comentó lo siguiente:

A los estudiantes se les dificulta más contestar preguntas y redactar versiones o resúmenes, pues no les gusta escribir mucho. Por lo tanto, al verse en la necesidad de re-expresar en español lo construido durante sus procesos de lectura, un gran porcentaje de ellos tiene dificultad para plasmar por escrito sus ideas… Esto sí tiene repercusión en su calificación porque su escritura no tiene coherencia, no tiene cohesión. Los estudiantes están conscientes de los problemas de redacción que tienen. Y, por esto, a pesar de que se trata de su lengua materna, ésta es también un arma de doble filo. (Comunicación personal realizada en el mes de noviembre de 2018)

Del comentario de Marcos, se infiere que el rechazo e incomodidad que demuestran los estudiantes hacia las actividades que impliquen escribir en su lengua materna son, según él, debidos a la falta de coherencia y cohesión en la redacción de sus escritos en español para expresar sus ideas acerca de lo comprendido del texto escrito en inglés. Esto, según Marcos, es el resultado directo del manejo inadecuado del español o del probable desconocimiento del español por parte de los estudiantes, que se hace evidente a través de las limitaciones en el vocabulario, en el desconocimiento de estructuras gramaticales y sintácticas, en errores de ortografía, en el uso inadecuado de los signos de puntuación, entre otros problemas. En consecuencia, para Marcos las dificultades que él observó en la redacción en español de sus estudiantes inciden negativamente en la evaluación del aprendizaje y en la comprensión de la lengua extranjera (Grabe y Stoller, 2013). De acuerdo con Dana Ferris (2011), Ken Hyland (2018) y Teun van Dijk (2011), entre otros, los problemas relacionados con el conocimiento y manejo adecuados de la lengua materna, sobre todo los relacionados con la escritura, no son exclusivos del área del aprendizaje de lenguas extranjeras.
De tal manera, cuando Marcos se refirió al español como “un arma de doble filo”, me pareció entrever en esa metáfora los dos posibles roles del español en los cursos de inglés con fines académicos: 1) Un rol positivodel español como herramienta natural cuyo uso debería facilitar el aprendizaje de la lengua extranjera, ya que el docente utiliza la L1 para enseñar y evaluar el conocimiento del estudiante sobre la LE, y el estudiante utiliza la L1 para evidenciar su aprendizaje activando, supuestamente, las transferencias positivas entre su L1 y la LE para establecer las relaciones de semejanza y diferencia entre ambas lenguas (Grabe y Stoller, 2013); 2) un rol negativo tanto en la evaluación que hace el docente como en el aprendizaje del estudiante. Si el estudiante evidencia desconocimiento y uso inadecuado de su L1, las transferencias positivas entre ambas lenguas se verían afectadas necesariamente, interfiriendo en la comprensión y en el aprendizaje de la LE por parte del estudiante, y perjudicando su desenvolvimiento académico en vista que el docente toma como punto significativo de referencia el uso de la L1 en el proceso de evaluación de la LE (Gass, 2013; Grabe y Stoller, 2013).
Al respecto, Vivian Cook (2016) y Susan Gass (2013) sostienen que es una idea muy generalizada considerar que la lengua materna ejerce una influencia directa sobre el aprendizaje de la LE. En otras palabras, si el aprendiz tiene buen dominio de su lengua materna, se le hará más fácil aprender la lengua extranjera, ya que podrá transferir los conocimientos previos y experiencias construidos en su lengua materna como punto de apoyo durante el proceso de aprendizaje de la lengua extranjera.

La primera pregunta de investigación que orientó este estudio, se fundamentó en las percepciones y puntos de vista de Marcos, como docente informante, sobre el proceso de evaluación de la comprensión de la lectura en inglés como lengua extranjera de los estudiantes a nivel universitario. Al respecto, Marcos consideró la evaluación como un “macro proceso complejo”, al que se integran la evaluación de los elementos que conforman el contexto educativo y la práctica profesional en la enseñanza y el aprendizaje de la lectura en lengua extranjera. Bajo esta perspectiva personal, Marcos definió la evaluación como un proceso a través del cual el docente no sólo puede observar, medir o calibrar aquellos aspectos cuantificables del aprendizaje del estudiante como, por ejemplo, el reconocimiento del significado de palabras y de estructuras gramaticales, sino que también puede medir o calibrar el uso de determinadas estrategias cognitivas de lectura por parte del estudiante. Estas estrategias, a pesar de no ser tan obvias o no cuantificables, influyen en la comprensión de la lectura de los textos escritos en inglés. Entre las estrategias pedagógicas usadas por Marcos a lo largo del semestre se encuentran: las traducciones de palabras, de oraciones o de párrafos completos de un texto; la redacción de resúmenes; la elaboración de organizadores gráficos con información específica de los textos; las respuestas a preguntas sobre los contenidos de los textos; la ubicación de las ideas centrales desarrolladas en los textos, entre otras. Algunas de estas estrategias pedagógicas también sirvieron de base para el diseño de actividades de evaluación que Marcos aplicó a lo largo del semestre con más frecuencia; entre éstas se encuentran: las traducciones al español de palabras, de oraciones y de párrafos completos de los textos escritos en inglés; las respuestas a preguntas sobre el contenido de algunos textos y 3) la redacción de resúmenes en español de los textos escritos en inglés.
Marcos fijó su posición con respecto al uso del español en estos cursos de inglés lectura con base en dos puntos de vista que, si bien pueden interpretarse como opuestos, reflejan las dos caras de la misma moneda. Por un lado, consideró el rol positivo del uso del español en este tipo de cursos ya que, como lengua materna de los estudiantes, facilita el aprendizaje de la lengua extranjera y, por otro lado, permite expresar la comprensión de los textos escritos en esa lengua extranjera por parte de los estudiantes.

Percepciones sobre las actividades de evaluación según las estudiantes informantes

La segunda pregunta de investigación que orientó este estudio, se fundamentó en el análisis y la comprensión de las diferentes percepciones de las estudiantes informantes sobre las actividades de evaluación que implementó el docente en ese curso de inglés lectura a nivel universitario. Las estudiantes informantes coincidieron en definir la evaluación como equivalente a calificar o medir la calidad del conocimiento que se adquiere cuando se lee en una lengua extranjera. Asimismo, esta calidad del conocimiento se determina en función de la calidad de la traducción en lengua materna de vocablos, estructuras gramaticales y expresiones aprendidos en los textos escritos en la lengua extranjera. En consecuencia, para las estudiantes informantes existe una estrecha correspondencia entre la traducción (correcta) en lengua materna y la calificación que otorga el docente a dichas traducciones, que a su vez demuestran lo que comprendieron de un texto escrito en la lengua extranjera y los conocimientos adquiridos a partir de la traducción.
Tomando como base estos puntos de vista, las estudiantes informantes consideraron la traducción de la LE a la L1 como el aspecto del cual depende, en buena parte, la comprensión de la lectura y su valoración (o calificación) por parte del docente, razón por la cual debería enfatizarse como actividad frecuente en el aula de clases y como actividad de evaluación de la comprensión de la lectura en la lengua extranjera. Estas concepciones de las estudiantes informantes sobre la evaluación, los aspectos que deben tomarse en cuenta y el rol de la traducción en la comprensión de la lectura en lengua extranjera, sirvieron como marco de referencia para fundamentar sus opiniones sobre el tipo de actividades que el docente diseña y aplica para evaluar la comprensión de la lectura en inglés como lengua extranjera.
Los hallazgos derivados del análisis de los datos permitieron responder las preguntas de investigación que orientaron este estudio. También permitieron arribar a ciertas conclusiones. Una conclusión correspondió al empleo de la traducción de la LE a la L1, aspecto al que se refirieron con más frecuencia todos mis informantes a lo largo de este estudio. Las percepciones y creencias expresadas por Marcos y por las estudiantes informantes en cuanto al rol de la traducción en la evaluación de la comprensión de la lectura en lengua extranjera, a primera vista evidenciaron ciertas divergencias en cuanto a la definición, la función y el uso de la traducción en este tipo de cursos.
Otra conclusión que se desprende de este estudio está relacionada con la participación clave del español como lengua materna en este curso de inglés lectura. El docente y las estudiantes informantes describieron el español como la herramienta innata en la enseñanza, el aprendizaje y la evaluación de la lengua extranjera. Estas percepciones y puntos de vista reflejan el rol importante que tiene el español en este tipo de cursos en todos los contextos y niveles de la educación en el país. Para el docente y las estudiantes informantes en este estudio, el español, en calidad de herramienta de evaluación, representó un elemento que dificultó la manera cómo las estudiantes redactaron trabajos escritos en español que reflejaban la comprensión de la lectura de los textos escritos en inglés, contradiciendo la creencia generalizada sobre la labor “facilitadora y favorecedora” de la lengua materna de los estudiantes en el proceso de apropiación de conocimientos y comprensión de la lengua extranjera (Cook, 2016; Gass, 2013; Grabe y Stoller, 2013). Los hallazgos de esta investigación permitieron establecer las inconsistencias y discrepancias entre la teoría sobre la enseñanza y el aprendizaje del inglés como lengua extranjera y las concepciones sobre la evaluación de la comprensión de la lectura en esa lengua.
Algunas direcciones podrían facilitar la necesaria vinculación de la teoría educativa sobre la cual descansan las concepciones y puntos de vista del docente sobre la enseñanza, el aprendizaje y la evaluación de las lenguas extranjeras, así como su práctica profesional a través de la cual se interpretan esas concepciones. Una de estas direcciones podría contemplar, por ejemplo, la respuesta a las siguientes interrogantes: ¿Qué criterios sigue el docente para el diseño, selección e implementación de las actividades de evaluación de la lectura en lengua extranjera con fines académicos a nivel universitario? ¿Hasta qué punto los criterios que sigue el docente para diseñar e implementar las actividades de evaluación se corresponden directamente con los objetivos propuestos en el programa de la asignatura Inglés con Fines Académicos a nivel universitario? Otras interrogantes que podrían dar luces a futuras investigaciones serían las siguientes: ¿Cómo concientizar al docente de las eventuales inconsistencias que pudieran presentarse entre la filosofía educativa que pregona y su práctica pedagógica, especialmente, en lo que se refiere al proceso de evaluación de la comprensión de la lectura en lengua extranjera a nivel universitario? ¿De qué manera el docente puede resolver las inconsistencias y/o tensiones, si las hubiera, en cuanto a las creencias de sus estudiantes sobre el proceso de evaluación de la comprensión de la lectura en lengua extranjera a nivel universitario?
Los hallazgos que se deriven de estas futuras investigaciones podrían allanar, en cierta forma y en el terreno académico universitario, los problemas que representan las inconsistencias teórico-prácticas de los docentes de lenguas extranjeras y que, en consecuencia, se reflejan en el desarrollo de una práctica pedagógica adecuada en la enseñanza, el aprendizaje y la evaluación de la comprensión de la lectura en lengua extranjera.

Referencias

1. Acedo de Bueno, M, L. y Estévez, L. (2003). Estrategias cognitivas en la enseñanza del inglés técnico-científico: una experiencia. ANALES de la Universidad Metropolitana, 3(2), 75-94.

2. Alderson, C., Brunfaut, T. y Harding, L. (2017). Bridging assessment and learning: a view from second and foreign language assessment. Assessment in Education: Principles, Policy & Practice, 24, 379-387.

3. Andersen, F. M. y Simpson, M. L. (2003). Using theory, our intuitions, and a research study to enhance students’ vocabulary knowledge. Journal of Adolescent and Adult Literacy, 47(1), 66-78.

4. Avand, A-Q. (2009). Using translation and reading comprehension of ESP learners. The Asian ESP Journal, 5(1), 44-60.

5. Beke, R. (2001). La lectura de textos en inglés por parte de estudiantes universitarios. Akademos, 3(1), 35-58.

6. Britzman, D. O. (2012). Practice makes perfect. A critical study of learning to teach.  New York, NY: State University of New York Press.

7. Cohen, A. D. (2014). Strategies in learning and using a second language. London: Routledge.

8. Cornoldi, C. y Oakhill, J. V. (2013). Reading comprehension difficulties: Processes and intervention. London: Routledge.

9. Cook, V. (2016). Second language learning and language teaching (5th ed.). New York, NY: Routledge.

10. Creswell, J. W. y Creswell, J. D. (2018). Research design: Qualitative, quantitative, and mixed methods approaches (5th ed.). Thousand Oaks, CA: SAGE Publications. 

11. Denzin, N. K. y Lincoln, Y. S. (2018). The SAGE handbook of qualitative research (5th ed.). Thousand Oaks, CA: SAGE Publications. 

12. Eskey, D. (2006). A model program for teaching advanced reading to students of EFL. Language Learning, 23, 169-184.

13. Ferris, D. (2011). Treatment of error in second language student writing. Ann Arbor, MI: The University of Michigan Press.

14. Gass, S. M. (2013). Second language acquisition. An introductory course (4th ed.). New York, NY: Routledge.

15. Goodman, K. (2014). What’s whole in Whole Language in the 21st century. New York, NY: Gran Press, LLC.

16. Goodman, K., Goodman, Y. y Hood, W. (1989). The Whole Language evaluation book.  Portsmouth, NH: Heinemann.

17. Grabe, W. y Stoller, F. L. (2013). Teaching and researching reading (2nd ed.). London: Routledge.

18. Hyland, K. (2018). Metadiscourse: Exploring interaction in writing. London: Routledge.

19. Klingner, J. K., Vaughn, S. y Boardman, A. (2015). Teaching reading comprehension to students with learning difficulties. New York, NY: The Guilford Press.

20. Lin, J. H. y Christianson, K. (2013). Second language sentence processing in reading for comprehension and translation. Bilingualism: Language and Cognition, 16(3), 518-537.

21. Merriam, S. (2016). Qualitative research: A guide to design and implementation. San Francisco, CA: John Wiley & Sons, Inc.

22. Pritchard, A. (2014). Ways of learning. Learning theories and learning styles in the classroom (3rd ed). London: Routledge.

23. van Dijk, T. A. (2011). Discourse analysis and hermeneutics. Discourse Studies, 3(5), 609-621.

24. Wang, C. y Winstead, L. (2016). Handbook of research on foreign language education in the digital age. Hershey, PA: IGI Global.

25. Weaver, C. (2002). Reading process and practice. From socio-psycholinguistics to Whole Language (3rd ed.). Portsmouth, NH: Heinemann.

26. Yin, R. K. (2018). Case study research and applications: Design and methods. Thousand Oak, CA: SAGE Publications.

27. Zhang, L. J. y Anual, S. B. (2008). The role of vocabulary in reading comprehension: The case of secondary school students learning English in Singapore. RELC Journal, Extraído el 15 de noviembre, 2018 de https://journals.sagepub.com/doi/abs/10.1177/0033688208091140.