От голого скомпилированного под некий конкретный процессор бинаркика ЕХЕ отличается: 1. Наличием заголовка PXE. 2. ЕХЕ может содержать как код, так и ресурсы. 3. ЕХЕ может содержать код для машины .net, это необязательно исполняемый на уровне команд процессора код. 4. ЕХЕ может быть системным сервисом винды 5. Любой ЕХЕ использует хотя бы несколько виндозных системных библиотек (nt.dll, user.dll и т. д.).
.exe это в твоем случае файл формата PE, который распознаёт винда, считывает, всовывает всё необходимое, модифицирует и выполняет. В этом же файле лежит машинный код помимо прочего, который выгружается в оперативную память.
по факту ничем экзешники просто помимо машинного кода ещё какие-то данные содержат по типу секции данных, какой-то вспомогательной инфы для динамической линковки и т. д.