Можно ли настроить уровень критичности для ошибок?

Да. В рамках Шаблона уровень критичности задается для каждого теста отдельно: Warning, Error или Fatal.
От этого напрямую зависит результат проверки: если обнаружены ошибки или несоответствия только в тестах с уровнем критичности Warning, задача получит результат Warning. Если обнаружена хотя бы одна ошибка в тестах с уровнем критичности Error или Fatal, результат будет Failed.