A família de Ly era refugiada do Vietnã logo após a queda de Saigon em abril de 1975. Scott, o caçula de quatro filhos, é o primeiro nascido na América, em Houston, Texas. No entanto, ele foi criado e considera San Gabriel Valley, no sul da Califórnia, sua cidade natal. Como um atleta nato, ele era o capitão dos times de basquete e luta livre de sua escola. Scott passou a ser um lutador experiente com dedicação e treinamento influenciado pelo falecido Bruce Lee. A dedicação de Scott o levou à prática diária de treinamento em circuito, ioga, Jiu Jitsu brasileiro e atividades de MMA. Sua paixão por se apresentar no palco e na frente da câmera o levou ao ofício de atuar como seu foco principal.
