Не первый раз меня поправляют, что после "Но" запятая не ставится. А я помню, в школе

Постулат «после а, но, однако ставим запятые» неверен: постановка запятых обусловлена не самими этими словами, а синтаксическим строем предложения. Сами по себе союзы а, но и однако (в значении 'но'), стоящие в начале предложения, не требуют постановки после себя запятой. В приведенном Вами предложении запятая после но не нужна. Ср.: Но, подумав еще раз, он понял, что был неправ – запятая после но ставится, но не из-за этого слова, а из-за того, что далее следует деепричастный оборот.

После междометия однако, стоящего в начале предложения и выражающего возмущение, удивление и иные эмоции, запятая ставится: Однако, каков мерзавец!