胡人原指戈壁以北的蒙古高原地區的游牧民族，后來被用來作為戈壁以北和西方的外族或外國人的泛稱。
胡人原本是指蒙古高原地區的游牧民族，“胡”解釋為：“北亞民族語言中“人”的意思。”秦漢時期塞北地區統一，中原人就稱他們為匈奴。在《漢書·匈奴傳》里：“單于遣使遺漢書云：‘南有大漢，北有強胡。胡者，天之驕子也，不為小禮以自煩。’”這里這個“胡”就是那時候游牧民族匈奴的自稱。
由于外民族的文化與生活習慣與中原不一樣，所以中原人在區別的時候就在外民族的事物之前加入了他們的代稱----胡。比如胡琴、胡椒 、胡麻、胡蘿卜、胡服等等，“胡人”也是這個意思。
很多時候說到胡人，都有些對少數民族的蔑稱的感覺。因為胡人相對于漢人，文化程度較低，風俗也很多保留了原始性，還經常武力騷擾邊境，不像中原儒家文化那樣知禮、文雅。漢族人對于胡人沒什麼好感，也不說什麼好話。江統在《徙戎論》中說“非我族類，其心必異，戎狄志態，不與華同”被很多人認同，后世中提到胡人，不管語氣還是情感，總帶有些蔑視、輕侮的意思。
