atualmente não é mais necessário se fechar a conexão com o mysql porque isso já é feito automaticamente no final da execução do script, porém eu sempre fecho a conexão. O interessante é sempre usar a função mysql_free_result() para liberar da memória o resultado da query que você executou.

Alguns trechos do manual:

Usar a função mysql_close() não é atualmente necessário, porque conexões não persistentes são automaticamente fechadas ao final da execução do script.

Através do sistema de contagem de referências introduzido com o engine da Zend no PHP 4, é automaticamente detectado quando um recurso não mais é referenciado (assim como o Java). Quando isto acontece, todos os recursos em uso por esse resource são liberados pelo coletor de lixo. Por essa razão, é raramente necessário liberar memória manualmente utilizando alguma função free_result.

Nota: mysql_close() não irá fechar conexões persistentes criadas por mysql_pconnect().

Nota: Conexões persistentes de bancos são especiais. Eles não são destruídos pelo coletor de lixo.

Uma contribuição simples

Como comentaram sobre conexões persistentes
podes achar algo interessante neste link:

http://br2.php.net/manual/pt_BR/features.persistent-connections.php

espero ter ajudado

Apesar de não ser necessário, acho interessante fechar as conexões.
Facilita o trabalho do coletor de lixo. E é um bom hábito se for usar outras linguagens, portanto é interessante acostumar com isso, facilita aprendizado em outras linguagens menos flexiveis que o php.

Como qualquer linguagem de programação:
Na dúvida feche

Já tive problemas com conexão com o mysql. Quando usava mysql_pconnect() eu dava vários REFRSH e dava uma mensagem de ERRo do tipo "Many connect" apartir dai eu uso mysql_connect() e depois sempre fecho mysql_close().