I commenti non rallentano il programma, perchè non eseguiti.
Per il resto sì, alcuni comandi possono essere più veloci di altri, ma più che quello puoi accorciare in molti modi: ad esempio creando una variabile per un valore che altrimenti sarebbe calcolato ripetutamente in un ciclo o nel corso del programma; in caso di ricerca o analisi di un certo tipo in liste o simili strutture, usare un while con delle condizioni di stop al posto di un for che scorre magari inutilmente tutta la lista, nonostante la ricerca sia già completa; utilizzare bene if... else per evitare controlli non necessari, ecc.; in generale cercare di far eseguire al programma meno operazioni possibile e senza ripetizioni.
Spero di esserti stato utile! ;)