La rhétorique fait l’objet d’une critique acerbe de la part de nombreux philosophes grecs, notamment Platon. Dans le Sophiste, il présente la rhétorique comme un ensorcellement : le pouvoir des mots tient à la capacité qu’a le rhéteur d’influencer les opinions des auditeurs et par là de les conduire à faire ce qu’il désire. Mais le rhéteur parle de tout, même de ce dont il n’a pas de savoir. C’est pourquoi Platon condamne le sophiste comme un créateur d’illusions : il nous fait croire qu’il nous apporte du savoir alors qu’il ne désire qu’exercer son pouvoir.
Platon refuse à la rhétorique la capacité d’organiser la cité et de prendre en charge l’éducation des citoyens. À l’inverse, il définit dans le Phèdre la philosophie comme une bonne rhétorique, qui vise un savoir rationnel, et cherche à éveiller l’âme à la vérité plutôt qu’à la tromper. Cette critique de la rhétorique sera reprise par de nombreux philosophes (jusqu’à Saint Augustin) ; d’autres auteurs chercheront au contraire à concilier philosophie et rhétorique (Cicéron, Sénèque, Boèce).