Нужно ли обособлять выражение "Держу пари"?

Само по себе это выражение не обособляется. Однако если далее следует придаточная часть сложного предложения, то нужна запятая: Держу пари, что...