Nous considérons des processus de diffusion, définis par des équations différentielles stochastiques, et puis nous nous intéressons à des problèmes de premier passage pour les chaînes de Markov en temps discret correspon- dant à ces processus de diffusion. Comme il est connu dans la littérature, ces chaînes convergent en loi vers la solution des équations différentielles stochas- tiques considérées. Notre contribution consiste à trouver des formules expli- cites pour la probabilité de premier passage et la durée de la partie pour ces chaînes de Markov à temps discret. Nous montrons aussi que les résultats ob- tenus convergent selon la métrique euclidienne (i.e topologie euclidienne) vers les quantités correspondantes pour les processus de diffusion. En dernier lieu, nous étudions un problème de commande optimale pour des chaînes de Markov en temps discret. L’objectif est de trouver la valeur qui mi- nimise l’espérance mathématique d’une certaine fonction de coût. Contraire- ment au cas continu, il n’existe pas de formule explicite pour cette valeur op- timale dans le cas discret. Ainsi, nous avons étudié dans cette thèse quelques cas particuliers pour lesquels nous avons trouvé cette valeur optimale.We consider diffusion processes, defined by stochastic differential equa- tions, and then we focus on first passage problems for Markov chains in dis- crete time that correspond to these diffusion processes. As it is known in the literature, these Markov chains converge in distribution to the solution of the stochastic differential equations considered. Our contribution is to obtain ex- plicit formulas for the first passage probability and the duration of the game for the discrete-time Markov chains. We also show that the results obtained converge in the Euclidean metric to the corresponding quantities for the diffu- sion processes. Finally we study an optimal control problem for Markov chains in discrete time. The objective is to find the value which minimizes the expected value of a certain cost function. Unlike the continuous case, an explicit formula for this optimal value does not exist in the discrete case. Thus we study in this thesis some particular cases for which we found this optimal value.