시조(始祖) 김령이(金令貽)는 신라(新羅) 신무왕(神武王)의 네째 아들 익광(益光)의 후예로 고려조(高麗朝)에서 전객시령(典客寺令)을 지내고 추충동덕보사공신(推忠同德保社功臣)으로 검교(檢校)·도첨의 찬성사(都僉議贊成事)에 추증되어 영산(永山:영동의 고호) 군(君)에 추봉(追封) 되었으며, 그의 아들 길원(吉元)은 고려(高麗) 공민왕(恭愍王) 때 판도판서(版圖判書:판도사의 으뜸 벼슬)에 올라 홍건적(紅巾賦)을 토평한공(功)으로 영산부원군(永山府院君)에 봉해졌다.
그리하여 후손들은 령이(令貽)를 일세조(一世祖)로 하고 영산(永山:영동)을 본관(本貫)으로 삼아 세계(世系)를 이어왔다.



가문의 대표적인 인물로는 길원(吉元)의 아들 종경(宗敬)이 정종(定宗) 때 문과에 급제하여 좌찬성(左?成) 겸 의금부사(義禁府事)를거쳐 춘추관(春秋館) 및 성균관(成均館)의 지사(知事)를 역임하고 도총관(都摠管:오위 도총부에서 군무를 총괄하던 최고군직. 정2품 벼슬)을 지냈으며, 그의 아들 훈(訓)운 소윤(小尹)을, 량(諒)은 참판(參判)을 역임했다.



한편 훈(訓)의 세째 아들인 수온(守溫)은 1441년(세종23) 진사로 식년문과에 급제하여교서관(校書館)의 정자(正字)로 있을 때 세종(世宗)의 특명으로 집현전(集賢殿)에서「치평요람(治平要覽)」을 편찬하고 1455년(세종27) 승문원 교리(承文院校理)로 있을때 「의방유취(醫方類聚)」 편찬에 참여한 후 부사직(副司直)으로 「석가보(釋迦譜)」를 증수하였다.
뒤에 영중추부사(領中樞府事)에 이르고 성종조(成宗朝)에 좌리공신(佐理功臣)으로 영산부원군(永山府院君)에 봉해졌다.
학문과 문장에 능한 그는 특히 「사서오경(四書五經)」의 구결(口訣)을 정하고 「명화성감(明皇誠鑑)」을 번역하는 등 많은 업적을 남겼으며, 고승(高僧) 신미(信眉)의 동생으로서 불교에도 조예가 깊어 불경(佛經)의 국역과 간행에도 공이 컸다.
그외 감찰(監察)을 지낸 언건(彦建)과 학자(學者)로 이름난 광철(光徹)이 유명했으며,개(愷)는 직제학(直提學)을 역임하고 부호군(副護軍)에 오른 계훈(繼勳)과 함께 가문을 빛나게 하였다.