Development of an Instrument for Assessing Basic Astronomy Knowledge in the Brazilian Educational Context

Authors

DOI:

https://doi.org/10.22600/1518-8795.ienci2024v29n2p539

Keywords:

Astronomy Education, Assessment and Validation of Tests, Levels of Knowledge in Astronomy, Semi-Quantitative Methodologies of Statistical Analysis

Abstract

In this work, we present the results of a process of adapting a research instrument developed to measure the level of basic astronomy knowledge among the Brazilian population. This instrument, called “Test of Levels of Knowledge in Astronomy” (TNCA), was developed in the context of the Covid-19 pandemic and, therefore, was organized and disseminated in the form of an electronic form to the 57 students and teachers who participated in this research. The TNCA consists of the translation and adaptation of all 27 multiple-choice questions contained in the Test of Astronomy Standards (TOAST), the result of over 20 years of research, developed, validated, and consolidated by the Center for Astronomy & Physics Education Research, a renowned research center in Astronomy Education in the United States. The changes made to the original items are due not only to the linguistic peculiarities of the Portuguese language but also to the specificity of the sky observed from the southern hemisphere of our planet and, particularly, the Brazilian geographical and educational context. The TNCA was made available and distributed digitally to three different groups composed of high school students, Physics undergraduates, and Physics teachers, and the research corpus was analyzed according to the Classical Test Theory. This analysis allowed us to compare the conceptions observed in our test with both the results of the original instrument and the results of research in Astronomy Education. Our results showed a strong compatibility between the validation indexes and indicators of the items obtained on TOAST and TNCA, with the identification of specific problems in only 4 of the 27 questions analyzed. Thus, after the analysis, we adapted the four questions identified with lower validation potential to consolidate the final version of the TNCA. This new version is presented as a promising instrument for future application on a statistically significant scale aiming at its validation as an assessment tool for basic Astronomy knowledge in physics and astronomy education contexts in Brazil.

Author Biographies

  • Marcos Paulo de Araújo Silva, Universidade Federal de Minas Gerais
    Possui graduação em Física pela Universidade Federal de Minas Gerais (2021) e Mestrado em Educação em andamento na mesma instituição. Foi bolsista no Programa Instituicional de Bolsa de Iniciação à Docência pela UFMG (2018-2019), e no Programa Residência Pedagógica (2020-2022), em que desenvolveu projetos na área de ensino de astronomia e ensino experimental de Física. Tem experiência na área de Educação, com ênfase em Avaliação da Aprendizagem, atuando principalmente nos seguintes temas: astronomia, ensino de física e minicurso.
  • Carlos Eduardo Porto Andrade, Universidade Federal de Minas Gerais
    Possui graduação em Engenharia de Minas pela Universidade Federal de Minas Gerais (2023). , atuando principalmente nos seguintes temas: mineração sustentável, câmara de nuvem, mape, teste de níveis de conhecimento em astronomia e radiação ionizante.
  • Carlos Eduardo Porto Villani, Universidade Federal de Minas Gerais/Colégio Técnico
    Graduado em Física - Licenciatura - pela Universidade Federal de Minas Gerais (1997), Mestre em Educação pela Universidade Federal de Minas Gerais (2002) e Doutor em Educação pela Universidade Federal de Minas Gerais (2007). É Professor da Carreira de Magistério do Ensino Básico, Técnico e Tecnológico, Classe D III, Nível 4, lotado no Colégio Técnico da Escola de Educação Básica e Profissional da UFMG. Tem experiência na área de Educação, com ênfase em Ensino de Ciências e Física, atuando principalmente nos seguintes temas: ensino da física, laboratórios didáticos, teoria da atividade, práticas discursivas e argumentação científica.

References

Bretones, P. S. (1999). Disciplinas introdutórias e Astronomia nos cursos superiores do Brasil (Dissertação de Mestrado). Universidade Estadual de Campinas, Campinas, SP. Recuperado de https://www.btdea.ufscar.br/teses-e-dissertacoes/disciplinas-introdutorias-e-astronomia-nos-cursos-superiores-do-brasil

Bussi, B., & Bretones, P. S. (2013). Educação em Astronomia nos trabalhos dos ENPECs de 1997 a 201. Atas do IX Encontro Nacional de Pesquisa em Educação em Ciências. (pp. 1–8). Águas de Lindóia, SP. Recuperado de https://abrapec.com/atas_enpec/ixenpec/atas/resumos/R1477-1.pdf

Canalle, J. B. G., Trevisan, R. H., & Lattari, C. J. B. (1997). Análise do conteúdo de astronomia de livros de geografia de 1º grau. Caderno Brasileiro de Ensino de Física, 14(3), 254–263.

Costa, S., Euzébio, G. J., & Damasio, F. (2016). A Astronomia na Formação Inicial de Professores de Ciências. Revista Latino-Americana de Educação em Astronomia, 22, 59–80. https://doi.org/10.37156/RELEA/2016.22.059

Dias e Dias, T. C., Sitko, C. M., & Langhi, R. (2023). A presença e as características da Astronomia na Formação Inicial do Pedagogo: Uma análise dos projetos pedagógicos de cursos do Brasil. FORMAÇÃO INICIAL DO PEDAGOGO: UMA ANÁLISE DOS PROJETOS PEDAGÓGICOS DE CURSOS DO BRASIL. Ensaio Pesquisa em Educação em Ciências (Belo Horizonte), 25, e42063. https://doi.org/10.1590/1983-21172022240153

Gonçalves, P. C. da S., Viveiro, A. A., & Bretones, P. S. (2024). Temas e conteúdos em Astronomia: O que temos pesquisado na pós-graduação no Brasil? Ciência & Educação (Bauru), 30, e24006. https://doi.org/10.1590/1516-731320240006

Hansen, T. R., & Zambon, L. B. (2024). Caracterização da produção acadêmica sobre o ensino de astronomia em periódicos da área de educação em ciências. Góndola, Enseñanza y Aprendizaje de las Ciencias, 19(1), 37–53. . https://doi.org/10.14483/23464712.19474

Iachel, G., & Nardi, R. (2010). Algumas tendências das publicações relacionadas à Astronomia em periódicos brasileiro sde ensino de Física nas últimas décadas. . Ensaio Pesquisa em Educação em Ciências (Belo Horizonte), 12, 225–238. https://doi.org/10.1590/1983-21172010120214

Kitzberger, D. de O., Bartelmebs, R. C., Pandini, C. de A., & Figuieira, M. M. T. (2018). Mapeamento dos estudos produzidos sobre o ensino de Astronomia que tem como foco os anos iniciais dos Ensino Fundamental. V Simpósio Nacional de Educação em Astronomia, Londrina, PR. Recuperado de https://sab-astro.org.br/eventos/snea/v-snea/atas/comunicacoes-orais/co19/

Langhi, R., & Nardi, R. (2009). Ensino da astronomia no Brasil: Educação formal, informal, não formal e divulgação científica. Revista Brasileira de Ensino de Física, 31, 4402–4412. https://doi.org/10.1590/S1806-11172009000400014

Lira, S. A., & Chaves, A., Neto. (2006). Coeficientes de correlação para variáveis ordinais e dicotômicas derivados do coeficiente linear de Pearson. Ciência & Engenharia, 15(1/2), 45–53. Recuperado de https://seer.ufu.br/index.php/cieng/article/view/529

Sartes, L. M. A., & Souza-Formigoni, M. L. O. de. (2013). Avanços na psicometria: Da Teoria Clássica dos Testes à Teoria de Resposta ao Item. Psicologia: Reflexão e Crítica, 26, 241–250. https://doi.org/10.1590/S0102-79722013000200004

Shigunov, A., Neto. (2021). O que se pesquisa em educação em astronomia: Uma análise do periódico Revista Latino-Americana de Educação em Astronomia no período compreendido de 2004 a 2019. Revista Internacional de Pesquisa em Didática das Ciências e Matemática, e021002, 1–13. Recuperado de https://periodicoscientificos.itp.ifsp.edu.br/index.php/revin/article/view/336

Slater, S. J. (2014). The development and validation of the Test Of Astronomy STandards (TOAST). Journal of Astronomy & Earth Sciences Education (JAESE), 1(1), 1–22. https://doi.org/10.19030/jaese.v1i1.9102

Slater, S. J., Schleigh, S. P., & Stork, D. J. (2015). Analysis of Individual Test Of Astronomy STandards (TOAST) Item Responses. Journal of Astronomy & Earth Sciences Education (JAESE), 2(2), 89–108. https://doi.org/10.19030/jaese.v2i2.9513

Soares, D. J. M. (2018). Teoria clássica dos testes e teoria de resposta ao item aplicadas em uma avaliação de matemática básica (Dissertação de Mestrado). Universidade Federal de Viçosa, Viçosa, MG. Recuperado de https://locus.ufv.br//handle/123456789/18404

Published

2024-09-10

How to Cite

de Araújo Silva, M. P., Porto Andrade, C. E., & Porto Villani, C. E. (2024). Development of an Instrument for Assessing Basic Astronomy Knowledge in the Brazilian Educational Context. Investigations in Science Education, 29(2), 539-563. https://doi.org/10.22600/1518-8795.ienci2024v29n2p539