Јамес МцАвои је упознао своју будућу жену у веома тешком периоду свог живота. Уочи глумца раскинуо са својом женом. Због личних искустава, почео је да злоупотребљава алкохол, његова каријера се срушила пред његовим очима. Односи су почели током снимања серијског "Срамота" 2004. године. На екрану, Јамес и Анн-Марие Дуфф су играли љубитеље. То им се десило у стварном животу. Била је девет година старија, Анне-Марие је могла учинити да Џејмс верује у себе и њену глуму талент . Након две године романтичних датума, пар је одлучио легализирати њихов однос. Каријера оба супружника успешно су се развила. У јуну 2010. имали су сина. МцАвои је био невероватно сретан у улози свог оца и био је сретан што је причао о томе пријатељима и штампи.
О чињеници да се Џејмс МцАвои и Анне-Марие Дуфф разводе, јавност није учила из жуте штампе, како то обично чини. Не постаје чекање на рођење оговарања и претпоставки, звездани пар је одлучио да буде први који ће званично изјавити, што је за већину фанова глумаца било изузетно неочекивано. Пар је најавио развод, тражио је поштовање њихове одлуке и не прати њиховог сина са питањима.
Као што се испоставило касније, пријатељи и колеге у филму "Кс-Мен" након учећа да је Џејмс МцАвои разводио своју супругу, нису били изненађени. Према блиским људима, њихов брак је недавно постојао само на папиру. Разлог за развод Џејмса МцАвои-а био је Александар Шип, извођач улоге "Олује", која је, иначе, тринаест година млађа од Џејмса. Сви су знали за њихову везу, али су покушали да не преносе информације изван подручја стрељаштва. Али у овом тренутку остаје и на нивоу гласина. Глумац још није коментарисао такве изјаве.
Процес развода се одвијао мирно, уз обострану сагласност, без једне шансе за новинаре да надахњују скандал. Јамес и Анне-Марие чак и пре него што је суђење дошло до договора о подели имовине. Што се тиче старања о његовом сину - Брендон ће их довести заједно. Због сина славног, били су у добром смислу.