全体バックアップとそれ以後のバイナリログがあればリカバリは可能なため、それ以前のバイナリログは不要です。
rmコマンドで直接ファイルを削除するのではなくて、MySQLのコマンドで実行。
以下のコマンドで指定したバイナリログファイル以前のファイルが削除されます。
mysql> PURGE MASTER LOGS TO 'binary.xxxxxx';
参考
12.6.1.1. PURGE MASTER LOGS 構文
Webエンジニアのための データベース技術[実践]入門 (Software Design plus)