А остальная конфигурация ПК какая, какой процессор и оперативная память, хватает ли ресурсов твоего ПК для игры и одновременной записи. Судя по видеокарте, у тебя не совсем мощный ПК???
Вариантов решения темы вопроса много. Каждый пользователь всё и всегда выбирает сам. К вашему игровому системному блоку добавьте второй системный блок (с общим монитором). Второй системник будет писать ваш экран на игровом системнике. Тем самым игровой системник не будет нагружен захватом экрана. Это один из варианов решения темы вопроса. VideoPad делает захват экрана с 60 кадрами.