O que eu preciso para rodar PHP

Eu preciso somente do PHP.exe ou preciso de mais alguma coisa?

Você tem que instalar um servidor Web na sua máquina, o Apache é o mais usado.
E fazer a instalação do php, baixando do site www.php.net e fazer as configurações, quando você instalar tudo, é só perguntar que agente lhe ajuda...