胡之纲,字仍仲,元朝婺州永康(今浙江永康市)人。
唐末,其祖先自天台迁到永康。宋室南渡后,考中进士科入仕有十人,持节分符,前后相继。曾祖胡襜,官至钦州司法参军。祖父胡岩,嘉定甲戌进士,官至知福州闽县事。叔父胡居仁,淳祐丁未进士,知台州军州事,胡居仁之子胡长孺。胡之纲与他的弟弟胡之纯,都以经术文学知名。曾经受到上书推荐。他对于声韵文字之学之说,自称独得精妙,他的著作未能流传。人称胡之纲、胡之纯、胡长孺为三胡。