在遼國的支持下，完顏部作為生女真節(jié)度使的政治地位越來越穩(wěn)固，掌握了生女真部落最高權(quán)力。生女真節(jié)度使這個職位雖然未入遼國的官冊（今所說編制），但覬覦者眾多。咸雍十年（1074年），烏古乃的次子劾里缽繼位后，內(nèi)有叔父跋黑和屬下桓赧、散達(dá)的二心，外有烏春、窩謀罕、石顯父子等胡里改人部落的挑戰(zhàn)，最后內(nèi)外結(jié)成聯(lián)盟均欲與之一爭高下，一時間危機四伏。而因為遼國委托完顏部管理生女真，所以胡里改在《遼史》中只字未提。
按《金史》的記載，胡里改作為遼末新出現(xiàn)的與完顏部對抗的群體，并不是一個具有祖源關(guān)系的族屬。而是分布在松花江瑪蜒河口松花江、黑龍江下游右岸，張廣財嶺以東，綏芬河流域以北，烏蘇里江流域以西的廣闊區(qū)域，獨立于五國部之外，不接受完顏部管理的諸多部落，其中有孩懶水烏林達(dá)部、溫都部、加古部、星顯水紇石烈部、姑里甸、窩謀罕等。前文提過胡里改是自稱，字義猶如俄羅斯的哥薩克，可以解釋為自由的人、勇敢的人，也可以解釋為野人、強盜。
最先挑戰(zhàn)完顏部領(lǐng)導(dǎo)地位的是孩懶水（牡丹江支流海浪河）烏林達(dá)部。之后跋黑等勾結(jié)胡里改其他各部爭奪生女真節(jié)度使，劾里缽不得已派使者與溫都部頭人烏春和親，烏春不答應(yīng)，開玩笑說：“狗與豬的子女共處，怎么能生兒育女呢？胡里改與女直（避遼興宗耶律宗真諱，這里專指完顏部）怎么可以結(jié)親呢？豈可為親也。”
但是在三江的胡里改部落態(tài)度這不盡相同。完達(dá)山西側(cè)的窩謀罕、姑里甸積極出兵反對完顏部，并在瑪蜒河與劾里缽進行了一次決戰(zhàn)，以失敗告終。后溫都部的烏春去世，烏林達(dá)部的石顯父子被征服，胡里改人再無能組織對抗完顏部。而完達(dá)山以東的加古部則借著和解的機會答應(yīng)和親，成為完顏部的姻親部落，其后人在完顏部建國后成為皇親國戚、勛臣大吏，一直延續(xù)到金國滅亡。
在現(xiàn)在，由于清代以來混亂的三江流域歷史學(xué)術(shù)研究，說起胡里改就無法避免與牡丹江的聯(lián)系。有人按一般慣例推測，胡里改人因忽汗河、胡里改江（牡丹江）而得名。但在正史中并無忽汗河字樣的直接記載，胡里改江一名在《元史》中才出現(xiàn)。還有人認(rèn)為，遼金時期牡丹江名為曲江，這也是附會牡丹烏拉。《金史》記載，上京會寧府下設(shè)曲江縣，并不在胡里改路。據(jù)考證，曲江縣在賓縣境內(nèi)。
胡里改人之所以能夠出現(xiàn)在正史中，根本原因就是他們驍勇可用。在劾里缽、頗剌淑、盈歌、烏雅束四位領(lǐng)主在位期間，苦戰(zhàn)近五十年，依然乍服乍叛，打出了尊嚴(yán)。后又在征遼伐宋時，野性彰顯，屢立戰(zhàn)功，立國有名。