Tool for the extraction and analysis of information obtained from the social network Twitter, as support for the procedures: new qualified registry and renewal of records

Abstract

This article is derived from the research project that is being developed within the systems engineering program of the National Open and Distance University UNAD, which describes the preliminary advances in the development of the software tool called ARS-SIAVA, which allow the extraction of data from social networks, to identify in a timely manner the technological trends in academic training, behaviors of the labor market in the areas of IT information technologies both in regional, national and international contexts; by collecting and analyzing information obtained from the Twitter social network. Allowing this input to be a basis for the self-assessment processes in the renewal and obtaining of new qualified records by the Ministry of National Education, especially in support of the justification of the programs that correspond to condition 2 of the established quality criteria by the Ministry of Education in obtaining qualified records. In the development of the research two aspects were considered: A first part where text mining is carried out, which obtains data through an API, data that is collected in the form of tweets, imported into CSV format which is understandable for the R programming language, which previously goes through a debugging and adaptation process according to the requirements of this language. The second part corresponds to the analysis of feelings, for which there is an algorithm to which a manual training is carried out that through Machine Learning learns and finally is capable of predicting trends, which are projected in graphics, word clouds as well of frequency tables and visualization of statistical data that can contribute to decision-making.

  El presente artículo se deriva del proyecto de investigación que se viene desarrollando en la ciudad de Popayán, Colombia, al interior del programa de Ingeniería de Sistemas de la Universidad Nacional Abierta y a Distancia (UNAD), el cual describe los avances preliminares del desarrollo de la herramienta de software denominada ARS-SIAVA, que permite la extracción de datos de las redes sociales, para identificar de una manera oportuna las tendencias tecnológicas en la formación académica, comportamientos del mercado laboral en las áreas de las tecnologías de la información (TI), tanto en contextos regionales, nacionales e internacionales, mediante la recolección y el análisis de información obtenida de la red social Twitter. Este insumo se convierte en una base para los procesos de autoevaluación en la renovación y obtención de nuevos registros calificados por parte del Ministerio de Educación Nacional, especialmente como apoyo a la justificación de los programas que corresponden a la condición 2 de los criterios de calidad establecidos por el Ministerio de Educación en la obtención de registros calificados. En el desarrollo de la investigación se contemplaron dos aspectos: una primera parte donde se realiza minería de textos, de la cual se obtienen datos mediante una API, que se recopilan en forma de tweets, importados a formato CSV, que es entendible para el lenguaje de programación R, y que previamente pasa por un proceso de depuración y adecuación de acuerdo con los requerimientos de este lenguaje. La segunda parte corresponde al análisis de sentimientos, para lo cual se dispone de un algoritmo que mediante un entrenamiento manual que por medio de Machine Learning, aprende y es capaz de predecir tendencias, las cuales se proyectan en gráficos, nubes de palabras además de tablas de frecuencias y visualización de datos estadísticos que pueden aportar en la toma de decisiones.

Este artigo é derivado do projeto de pesquisa que vem se desenvolvendo na cidade de Popayán, Colômbia, no Programa de Engenharia de Sistemas da National Open University y a Distancia (UNAD), que descreve o progresso preliminar do desenvolvimento da ferramenta de software chamada ARS-SIAVA, que permite a extração de dados das redes sociais, para identificar em tempo hábil tendências tecnológicas em treinamento acadêmico, comportamento do mercado de trabalho nas áreas de tecnologia da informação (TI), ambos em contextos regionais, nacional e internacional, coletando e analisando informações obtidas na rede social Twitter. Esta entrada torna-se com base em processos de autoavaliação em renovação e obtenção de novos registros qualificados pelo Ministério de Educação Nacional, especialmente para apoiar a justificativa da programas que correspondem à condição 2 dos critérios de qualidade estabelecido pelo Ministério da Educação na obtenção de registros qualificado. No desenvolvimento da investigação, dois aspectos: uma primeira parte onde é realizada a mineração de texto, a partir do cujos dados são obtidos por meio de uma API, que é coletada na forma de tweets, importados para o formato CSV, o que é compreensível para o Programação R, e que anteriormente passa por um processo de depuração e adequação de acordo com os requisitos desta linguagem. o A segunda parte corresponde à análise de sentimentos, para a qual tem um algoritmo que por meio de treinamento manual que por meio de aprendizado de máquina, aprende e é capaz de prever tendências, que são projetados em gráficos, nuvens de palavras, além de tabelas frequências e visualização de dados estatísticos que podem contribuir na tomada de decisões.