Какой вариант написания правильный? 1) Однажды я застал забавный диалог, один из участников

Правилен второй вариант. Опереться можно на примеры в правиле о подлинных выражениях, вставленных в текст. Подлинные выражения, представляющие собой законченные предложения, начинаются с прописной буквы. 

«Подлинные выражения, вставленные в текст в качестве элементов предложения, выделяются кавычками, но двоеточие перед ними не ставится: Это «не хочу» поразило Антона Прокофьевича (Г.); Предположение дневального, что «взводный нажрался и дрыхнет где-то в избе», всё больше собирало сторонников (Ф.); Он вспомнил пословицу «За двумя зайцами погонишься — ни одного не поймаешь» и отказался от первоначального плана; С криком «Спасайте детей!» юноша бросился в горящее здание» (Розенталь Д. Э. Справочник по пунктуации для работников печати. М., 1984).

.« ...Если прямая речь непосредственно включается в авторское предложение в качестве его члена, то она заключается в кавычки, знаки же препинания ставятся по условиям авторского предложения: Сказав Гричмару фразу «Легкой жизни не бывает, есть лишь легкая смерть», Крымов поймал на себе беспокойный, предупреждающий взгляд Стишова (Бонд.) (Правила русской орфографии и пунктуации. Полный академический справочник / Под ред. В. В. Лопатина. М., 2006)».

Обратите внимание: в конце предложения нужно поставить точку. 

Однажды я застал забавный диалог, один из участников которого задавался вопросом «Почему в нашем мире нет магии?». 

Возможен и другой вариант.

Однажды я застал забавный диалог, один из участников которого задавался вопросом: «Почему в нашем мире нет магии?»