На чистом питоне - нет. Тебе как минимум загрузчик потребуется написать, который будет загружать интерпретатор питон вместе со всеми библиотеки. Причём возможно тебе придётся написать свой интерпретатор
А с numpy или без это уже будет неважно. Скорость - последнее, что тебя будет волновать.