Las preguntas de programación se crean de igual manera que otros tipos de pregunta, pero se cuenta con una herramienta específica para facilitar la creación de este tipo de preguntas y colocar los valores específicos para preguntas de programación.
Para acceder a esta herramienta, diríjase al menú «Herramientas» y seleccione «Constructor Preguntas Programación». Luego de cargar la pregunta, se mostrará la información correspondiente a ésta.
Al lado derecho se ubica un editor en el que podrá probar cómo la pregunta evaluaría una respuesta, y al lado izquierdo se encuentran las condiciones (escenarios de validación) para validar la pregunta, el cual está compuesto por dos secciones; la primera que es utilizada para validar la pregunta cuando el candidato está respondiendo y las que se usarán para validar y determinar el puntaje de la pregunta. Esta diferencia existe para evitar que el candidato ingrese una respuesta trivial como “Print 5” en lugar de un algoritmo para resolver el problema de la pregunta. Es por esto que lo usual es incluir código predefinido, uno para validar durante el examen y otro para asignar el puntaje (con otros valores) de manera que el candidato no pueda ingresar una respuesta trivial sin la lógica correspondiente.
Tanto para la validación durante el examen como para el puntaje, es necesario ingresar el valor esperado, el cual puede ingresar directamente o puede escribir un programa para probar la pregunta y luego copiar el output de este a las respuestas. Puede ejecutar su programa con cualquiera de las condiciones haciendo clic en el botón de Ejecutar correspondiente. Las condiciones para validar tienen un peso ya que es posible colocar varias condiciones diferentes, cada una con un peso diferente que indica qué tanto pesa esta condición para calcular el puntaje obtenido por el candidato en la pregunta.
Opcionalmente, puede configurar una evaluación de la eficiencia del código, basada en la cantidad de instrucciones (tokens) que utiliza el programa. Esto para dar menos puntaje a soluciones que son más largas de lo necesario. Para esto debe llenar los campos de Min Token, Max Token y Peso Eficiencia del Código. Peso Eficiencia del Código se refiere a qué porcentaje del puntaje de la pregunta dependerá de la eficiencia del código. Por ejemplo, si la pregunta tiene un puntaje de 20 y se coloca un peso de 50, entonces el 50% del puntaje (10) dependerá de la eficiencia. El código es evaluado y si la cantidad de tokens es menor o igual a Min token, obtendrá el máximo puntaje por eficiencia. En cambio, si el número es mayor a Max Token, recibirá 0. Para valores intermedios se prorrateará el puntaje. Es recomendable configurar esto solo cuando se tenga ya una muestra de diversas respuestas de candidatos, para identificar rangos razonables de Min y Max Token (al ejecutar la respuesta de candidato en el constructor se muestran los valores de Min y Max token para el código ejecutado).
Finalmente, para preguntas que soporten medir la performance del código, es posible indicar los rangos y el peso de la performance en el puntaje de la pregunta. Se debe marcar cuál de los escenarios de validación será utilizado para medir la performance. Actualmente, solo las preguntas que utilizan el módulo TLang permiten medir la performance.