Смысл "молоть" в измельчении - делать частицы мелкими. Поэтому "молчать" - это быть "малым", а потому не иметь права голоса. Посмотреть обсуждение, содержащее этот комментарий
