菲利普和喬安娜之間的婚約在 1495 年簽署，慶祝活動於 1496 年舉行。
菲利普當時已經是布林根地公爵（儘管布林根地公國本身已被法國王室奪走），並且是奧地利的法定繼承人。
相對而言，喬安娜在西班牙的繼承順序中僅排第三，前面是她的哥哥阿斯圖里亞斯王子約翰和姐姐阿拉貢的伊莎貝拉。
約翰和伊莎貝拉這兩位卡斯蒂利亞和阿拉貢王冠的繼承人於1498年去世，天主教君主希望將西班牙王國保持在伊比利亞人手中，因此他們指定其葡萄牙孫子米格爾·達·帕斯為西班牙的法定繼承人，稱他為阿斯圖里亞斯王子。
但他於1500年去世，當時還是個嬰兒。
---
1500 年 2 月，查理的母親在一次舞會上分娩。
他的名字是為了紀念勃艮第的查理一世（charles the bold，大膽查理），後者曾試圖將勃艮第公國變成一個連續的領土。
當查理出生時，宮廷的一位詩人報道說，根特市民“在全城高喊奧地利和勃艮第長達三個小時”，以慶祝他的誕生。
鑑於當時的王朝形勢，新生兒最初只是勃艮第低地國家的法定繼承人，作為尊敬的盧森堡公爵和奧地利公國的第二順位繼承人，因此在早年被簡單地稱為“根特的查理”。
他在聖約翰教堂接受了圖爾奈主教的洗禮。
勃艮第貴族查理一世·德·克羅伊和約翰三世·德·格利梅斯是他的教父，而約克的瑪格麗特和奧地利的瑪格麗特，分別是他的繼祖母和姑姑，是他的教母。
查理的洗禮禮物是一把劍和一頂頭盔，它們是勃艮第騎士傳統的物品，分別代表戰爭工具和和平的象徵。
1500年7月，外祖父母的伊比利亞王國的推定繼承人米格爾·達·帕斯（嬰兒）去世了，這意味著同樣是嬰兒查理未來的繼承領地將擴大到包括卡斯蒂利亞、阿拉貢和美洲的海外領地。
---
在1501年，他的父母菲利普和喬安娜將查理託付給菲利普的繼母約克的瑪格麗特照顧，並前往西班牙。
他們此次西班牙之行的主要目標是承認喬安娜為阿斯圖里亞斯公主（princess of Asturias），因為一年前米格爾王子去世。
儘管遭到卡斯蒂利亞國會的反對，他們還是成功達成了目標，國會不願為哈布斯堡的繼承權創造先例。
1504年，喬安娜的母親伊莎貝拉去世後，喬安娜成為卡斯蒂利亞女王。
查理在1503年才再次見到父親，而母親在1504年返回（在西班牙生下斐迪南後）。
西班牙大使古鐵雷·戈麥斯·德·富恩薩利達（Gutierre Gomez de Fuensalida）報告稱，菲利普常常探訪查理，並且他們玩得很開心。
然而，菲利普和喬安娜的婚姻並不幸福，再加上喬安娜不穩定的精神狀態，造成了困難，使孩子們與父母住在一起很不安全。
---
菲利普於 1506 年被承認為卡斯蒂利亞國王。
他不久後就去世了，據說這一事件使精神不穩定的喬安娜徹底失常。
她被隔離在托爾德西利亞斯皇宮。
查理的祖父斐迪南二世以保護查理的權利為藉口，控制了所有的西班牙王國，而實際上他想逃避。
斐迪南二世與烏蘇拉·熱爾曼（Germaine of Foix）的再婚未能生出特拉斯塔馬拉（trastámara）王位繼承人，因此查理仍然是伊比利亞王國的法定繼承人。
在父親去世，母親被囚禁的情況下，查理成為勃艮第