愛新覺羅綿億的母親是五阿哥永琪的側福晉索綽羅氏，雖然五阿哥永琪有六個孩子，但是最終活下來的只有綿億，五阿哥去世之后綿億繼承了他的爵位。
索綽羅氏的父親是左都御史觀保，雖然索綽羅氏是側福晉，但是在當時應該是非常得寵的，生育能力很強，五阿哥永琪一共有6個兒子，其中4個是索綽羅氏所生，不過只有綿億長大成人。
永琪去世的時候，年僅二十五歲，父親去世的時候，綿億才兩歲，所以在史料記載中：綿億幼時失孤，身體也較為孱弱，但是他繼承了他父親的聰慧，熟讀經史，并且因為他非常的像永琪，對于自己愛子遺留下的血脈，乾隆也很是重視。
雖然小小年紀就失去了父親，但是綿億和永琪一樣聰慧過人，才華高絕，而永琪和嘉慶帝關系不錯，嘉慶帝又只年長綿億四歲，所以小的時候兩人曾相伴讀書，情誼很深。
之后因為一場農民起義軍進攻京城，當時的嘉慶并沒有在京城，并且一直對于回不回非常的猶豫，于是綿億請求皇帝回去，嘉慶聽從了他的建議，及時回京，自此，綿億受到嘉慶的重視，寵眷日渥。
