يعود تاريخ بناء قصر يلدز على الأرجح إلى عام 1790م، أيام حكم السّلطان سليم الثّالث، حيث أهداه إلى والدته السّلطانة (مهري شه)، ثم اتخذ مقرًا لحكم السلطان العثماني عبد الحميد الثاني وحكومته منذ عام 1853م، بدلًا من قصر (دولما باغجه)، وظل السلطان عبد الحميد الثاني يستخدمه مقرًا للحكم على فترات إلى عام 1909م، حيث كان قصر السلطان العثماني على مدى أكثر من ثلاثين عامًا.
كما يذكر أن القصر قد تعرض للنهب والسرقة سنة 1909م، وتحديدا في شهر أبريل، بعد ذلك قام السلطان وحيد الدين باتخاذه مقرا له، وهو آخر السلاطين العثمانيين، كان ذلك في الفترة ما بين 1918م و1922م. بعد زوال الدولة العثمانية تم تخصيص بعض أقسام القصر لمجموعة من الشركات الأجنبية، والتي قامت بتحول هذه الأقسام إلى محافل للعب القمار. بعد ذلك تم تخصيص قطاع من القصر ليكون مقرا لإحدى الدوائر العسكرية، ناهيك عن استخدام بعض أجزائه من قبل عدة مؤسسات تنوعت بين محلية ودولية، إلى أن انصرف اهتمام رئاسة الجمهورية التركية مؤخرا إلى إعادة ترميمه وتجديده، ثم تم تخصيصه كمقرا رئاسيا، بحيث يصبح قصر يلدز المقر الرئاسي لرئيس الجمهورية التركية في إسطنبول.
وقد مرّ قصر يلدز بعدة توسيعات، ففي عهد عبد الحميد الثاني أمر السلطان بتوسعة القصر، كان ذلك في عام 1890م، واستحدث به بيتًا للضيوف، والذي اتخذ مقرًا للحكومة العثمانية والصدر الأعظم طوال فترة حكم السلطان عبد الحميد الثاني. ثم في عام 1898م جرت توسعة أخرى للقصر، بغرض استقبال السلطان لإمبراطور ألمانيا، القيصر (ويليام الثاني).