Объясните, почему "в придачу" пишется раздельно? Разве это не наречие?

Это наречие. Но в русском языке есть большое количество наречий (наречных сочетаний), образованных из предложно-падежных форм существительных, написание которых (слитное либо раздельное) определяется лишь письменной традицией и проверяется по орфографическому словарю. К таким наречиям относится и в придачу. Его написание просто нужно запомнить.