Ксенократ возглавляет Академию после смерти Спевсиппа, племянника самого Платона, — уже третий схоларх школы после её основателя. Современники в один голос отзываются о нём как о человеке серьёзном до угрюмости — Диоген Лаэртский приводит рассказ, что Платон однажды сравнил его с необъезженным конём, которого нужно взнуздать, слишком уж он был суров и медлителен в разговоре, тогда как о другом ученике, Аристотеле, отзывался обратным образом — тому, напротив, требовались не шпоры, а узда, чтобы сдержать чрезмерную бойкость ума.
При этом именно репутация безупречной честности Ксенократа становится в Афинах почти легендарной. По преданию, когда он однажды даёт показания в суде, судьи специально освобождают его от обычной процедуры принесения клятвы — его слова, по общему признанию, и без формальной клятвы заведомо надёжнее, чем клятвенные показания большинства прочих свидетелей.
Известен и эпизод с гетерой Фриной, подосланной, по одной из версий, проверить его невозмутимость: она проводит ночь в его доме, пытаясь соблазнить философа всеми доступными средствами, — и наутро, если верить рассказу, на прямой вопрос о результате отвечает разочарованно: я провела ночь со статуей, а не с живым человеком.
Ксенократ отказывается и от куда более выгодных предложений — македонский полководец однажды присылает ему щедрые дары, тот принимает лишь скромную их часть, ровно необходимую для приёма посланника с подобающим гостеприимством, остальное же возвращает без объяснений.
Диоген Синопский, встретив Ксенократа однажды, будто бы насмешливо испачкал ему одежду грязными ногами — проверяя, выйдет ли философ из себя от подобной провокации. Ксенократ, по преданию, лишь молча продолжил путь, ничем не показав ни малейшего раздражения.