Linear Regression

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻣﻘﺪﻣﻪ اﯼ ﺑﺮ رﮔﺮﺳﻴﻮن ﺧﻄﯽ ﮐﺎرﺑﺮدﯼ‬ ‫ﮔﺮوﻩ داﻧﺶ ﺁﻣﺎرﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬ ‫ﻧﻮﻳﺴﻨﺪﻩ ‪ :‬ﺳﻴﺪ ﺟﻤﺎل ﻣﻴﺮﮐﻤﺎﻟﯽ‬ ‫ﻣﺪﻳﺮ وﺑﻼگ ‪ :‬ﻣﺤﻤﺪ زﻣﺎن روﺷﻦ ﺑﺨﺶ‬ ‫ﺗﺎﺑﺴﺘﺎن ‪85‬‬

‫ﻣﻘﺪﻣﻪ‬ ‫اوﻟﻴﻦ ﺑﺎر ﻣﻮﺿﻮع رﮔﺮﺳﻴﻮن ) ﺑﺮﮔﺸﺖ ( ﺗﻮﺳﻂ ﮔﺎﻟﺘﻦ )‪ (Galton‬ﻣﻄﺮح ﺷﺪ‪ .‬وي ﻗﺼﺪ داﺷﺖ راﺑﻄﻪ اي ﺑﻴﻦ ﻗﺪ واﻟﺪﻳﻦ و ﻗﺪ ﭘﺴﺮان‬ ‫ﭘﻴﺪا آﻨﺪ‬ ‫آﺎرﺑﺮد رﮔﺮﺳﻴﻮن ﺑﻴﺸﺘﺮ در اﻗﺘﺼﺎد‪ ،‬ﻓﻴﺰﻳﻚ و ﺷﻴﻤﻲ ﻣﻲ ﺑﺎﺷﺪ‪.‬‬ ‫در رﮔﺮﺳﻴﻮن ﺑﻪ دﻧﺒﺎل راﺑﻄﻪ اي ﺑﻪ ﻓﺮم زﻳﺮ هﺴﺘﻴﻢ‪:‬‬ ‫)‪Y = f( X1,X2,...,Xk‬‬ ‫ﺑﻪ ‪ Y‬ﻣﺘﻐﻴﺮ ﭘﺎﺳﺦ )‪ (Response‬ﻣﻲ ﮔﻮﻳﻨﺪ آﻪ ﻣﻲ ﺗﻮاﻧﺪ ﻳﻚ ﻣﺘﻐﻴﺮ آﻤﻲ ﻳﺎ ﭘﻴﻮﺳﺘﻪ ﺑﺎﺷﺪ‪.‬‬ ‫ﺑﻪ ‪ X1,X2,...,Xk‬ﻣﺘﻐﻴﺮ هﺎي ﻣﺴﺘﻘﻞ ﻳﺎ ﻣﺘﻐﻴﺮ هﺎي ﭘﻴﺶ ﺑﻴﻦ )‪ (Predictor‬ﮔﻔﺘﻪ ﻣﻲ ﺷﻮد آﻪ ﻣﻲ ﺗﻮاﻧﻨﺪ آﻤﻲ ﻳﺎ آﻴﻔﻲ ﺑﺎﺷﻨﺪ‪.‬‬ ‫ﻣﺎ ﺑﻪ دﻧﺒﺎل راﺑﻄﻪ ﺧﻄﻲ ‪ Y‬ﺑﺎ ﻣﺘﻐﻴﺮهﺎي ﻣﺴﺘﻘﻞ ‪ X1,X2,...,Xk‬هﺴﺘﻴﻢ‪ ،‬ﻳﻌﻨﻲ‪:‬‬ ‫‪Y = β0+β1X1+...+βkXk‬‬ ‫‪ β0,β1,...,βk‬ﺿﺮاﺋﺐ ﻣﺪل رﮔﺮﺳﻴﻮﻧﻲ هﺴﺘﻨﺪ آﻪ ﭘﺎراﻣﺘﺮ هﺎي ﻧﺎ ﻣﻌﻠﻮﻣﻲ هﺴﺘﻨﺪ و ﺑﺎﻳﺪ ﺑﺮﺁورد ﺷﻮﻧﺪ‪.‬‬ ‫ﻣﺜﺎل‪ :‬اﮔﺮ ﺑﺨﻮاهﻴﻢ ﻣﻴﺰان ﻓﺸﺎر ﺧﻮن را از روي ﻣﻴﺰان ﻧﻤﻚ ﺧﻮن و ﭼﺮﺑﻲ ﺧﻮن ﭘﻴﺶ ﺑﻴﻨﻲ آﻨﻴﻢ ﺑﺎﻳﺪ ‪ β0,β1,β2‬را ﺑﺮﺁورد آﻨﻴﻢ‪:‬‬ ‫ﻣﻴﺰان ﻓﺸﺎر ﺧﻮن = ‪Y‬‬ ‫ﻣﻴﺰان ﻧﻤﻚ ﺧﻮن =‪X1‬‬ ‫ﻣﻴﺰان ﭼﺮﺑﻲ ﺧﻮن=‪X2‬‬ ‫‪Y = β0+β1X1+β2X2‬‬

‫ﺼﻔﺤﻪ ‪ 1‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻣﻌﺮﻓﻲ ﺳﺎدﻩ ﺗﺮﻳﻦ ﻣﺪل رﮔﺮﺳﻴﻮﻧﻲ‪:‬‬ ‫در ﻣﺪل‬ ‫)‪Y = f( X1,X2,...,Xk‬‬ ‫اﮔﺮ ‪ k=1‬در اﻳﻦ ﺻﻮرت ﺑﺎ ﻣﺪل ﺳﺎدﻩ زﻳﺮ ﺳﺮوآﺎر دارﻳﻢ‪:‬‬ ‫‪Y = β0+β1X+ε‬‬ ‫‪ ε‬ﻣﻮﻟﻔﻪ ﺗﺼﺎدﻓﻲ ﺧﻄﺎ اﺳﺖ آﻪ ﻓﺮض ﻣﻲ آﻨﻴﻢ‪:‬‬ ‫‪E( ε ) = 0 , var( ε ) = σ2‬‬ ‫ﺑﺎ اﻳﻦ ﻣﻔﺮوﺿﺎت دارﻳﻢ‪:‬‬ ‫>= )‪E( Y | X) = E( β0+β1X+ε | X=x ) = E( β0+β1x+ε | X=x ) = β0 + β1x + E(ε‬‬ ‫‪E( Y | X) = β0 + β1x‬‬ ‫در ﻣﺪل ‪:E( Y | X) = β0 + β1x‬‬ ‫‪ β0‬ﻋﺮض از ﻣﺒﺪا ﻳﺎ ﺛﺎﺑﺖ )‪ (Constant‬ﻣﺪل اﺳﺖ‪،‬‬ ‫‪ β1‬ﺷﻴﺐ)‪ (Slop‬ﺧﻂ اﺳﺖ‪.‬‬ ‫ﺗﻌﺒﻴﺮ دﻳﮕﺮي ﺑﺮاي ‪:β1‬‬ ‫) ‪β1=E( Y | x + 1 ) - E( Y | x‬‬ ‫ﭼﺮا ﻣﻲ ﮔﻮﻳﻴﻢ ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ؟‬ ‫‪Y = β0+β1X1+...+βkXk+ε‬‬ ‫ﻣﻨﻈﻮر از ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ اﻳﻦ اﺳﺖ آﻪ ﻣﺪل ﻧﺴﺒﺖ ﺑﻪ ﭘﺎراﻣﺘﺮ هﺎ ﺧﻄﻲ ﺑﺎﺷﺪ‪.‬ﺑﻌﺒﺎرﺗﻲ ﺿﺮاﺋﺐ ﻣﺪل ﻧﺒﺎﻳﺪ ﺑﺼﻮرت ﺗﻮاﻧﻲ ﻳﺎ‬ ‫ﺗﻮاﺑﻌﻲ از ﻳﻜﺪﻳﮕﺮ ﺑﺎﺷﻨﺪ‪.‬‬ ‫ﻣﺜﺎل‪ :‬ﻣﺪﻟﻬﺎي زﻳﺮ ﺧﻄﻲ اﻧﺪ‪:‬‬ ‫‪Y = β0+β1X2+ε‬‬ ‫‪Y = β0+β1log ( X ) +ε‬‬ ‫‪√Y = β0+β1X+ε‬‬ ‫‪Y = β0+β1X1+β2X2+β3X1X2+ε‬‬ ‫‪Y = β1eX +ε‬‬

‫ﺼﻔﺤﻪ ‪ 2‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻣﺜﺎل‪ :‬ﻣﺪﻟﻬﺎي زﻳﺮ ﺧﻄﻲ ﻧﻴﺴﺘﻨﺪ‪:‬‬ ‫‪Y = β0+β12 X +ε‬‬ ‫‪Y = β0+log ( β1) X +ε‬‬ ‫‪Y = β0.β1eX + ε‬‬ ‫‪Y = β0 + β1X1+ β2X2 + β1.β2X3 + ε‬‬ ‫ﻧﻜﺘﻪ‪ :‬ﻣﺪﻟﻬﺎﻳﻲ آﻪ ﻗﺎﺑﻞ ﺗﺒﺪﻳﻞ ﺑﻪ ﻳﻚ ﻣﺪل ﺧﻄﻲ ﺑﺎﺷﻨﺪ‪ ،‬ذاﺗﺎ ﺧﻄﻲ ﮔﻮﻳﻨﺪ‪.‬‬ ‫ﻣﺜﺎل‪ :‬ﻣﺪﻟﻬﺎي ذاﺗﺎ ﺧﻄﻲ‪:‬‬ ‫‪Y = β0+log ( β1) X + ε => ( β2 := log ( β1) ) => Y = β0+ β2 X + ε‬‬ ‫‪Y = β0eβ1 X + ε => log( Y ) = log(β0) + β1X1+ ε => ( β2 := log ( β0) ) =>log( Y ) = β2 + β1X1+ ε‬‬

‫ﺑﺮرﺳﻲ ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ ﺳﺎدﻩ‪:‬‬ ‫‪Y = β0 + β1X + ε‬‬ ‫ﻓﺮض آﻨﻴﻢ )‪ (x1,y1),...,(xn,yn‬ﻳﻚ زوج ﻧﻤﻮﻧﻪ ‪ n‬ﺗﺎﻳﻲ از ﺟﺎﻣﻌﻪ ﻣﻮرد ﻧﻈﺮ ﺑﺎﺷﻨﺪ‪:‬‬ ‫‪yi = β0 + β1xi + εi ,i = 1,2,...,n‬‬ ‫ﻓﺮﺿﻬﺎي اﺳﺎﺳﻲ رﮔﺮﺳﻴﻮن‪:‬‬ ‫‪ .1‬ﻣﻮﻟﻔﻪ ﺗﺼﺎدﻓﻲ ﺧﻄﺎ ﻣﻴﺎﻧﮕﻴﻦ ﺻﻔﺮ داﺷﺘﻪ ﺑﺎﺷﺪ ﻳﻌﻨﻲ ﺑﻪ ازاي هﺮ ‪ ،i‬اﻣﻴﺪ رﻳﺎﺿﻲ ‪ εi‬ﺑﺮاﺑﺮ ﺑﺎ ﺻﻔﺮ ﺑﺎﺷﺪ‪.‬‬ ‫‪ .2‬ﻣﻮﻟﻔﻪ ﺗﺼﺎدﻓﻲ ﺧﻄﺎ وارﻳﺎﻧﺲ ﺛﺎﺑﺖ داﺷﺘﻪ ﺑﺎﺷﺪ ﻳﻌﻨﻲ ﺑﻪ ازاي هﺮ ‪ ، i‬وارﻳﺎﻧﺲ ‪ εi‬ﺑﺮاﺑﺮ ﺑﺎ ‪ σ2‬ﺑﺎﺷﺪ‪.‬‬ ‫‪ .3‬ﺧﻄﺎ هﺎ ﻧﺎ هﻤﺒﺴﺘﻪ اﻧﺪ ﻳﻌﻨﻲ ‪ εi‬هﺎ دو ﺑﻪ دو ﻧﺎ هﻤﺒﺴﺘﻪ ﺑﺎﺷﻨﺪ‪.‬‬ ‫‪ .4‬ﻣﺘﻐﻴﺮ ﻣﺴﺘﻘﻞ ‪ X‬ﺗﺤﺖ آﻨﺘﺮل ﻣﺎ ﺑﺎﺷﺪ و ﺑﺎ ﺧﻄﺎي ﻧﺎ ﭼﻴﺰي اﻧﺪازﻩ ﮔﻴﺮي ﺷﻮد‬ ‫ﺑﺎ ﺗﻮﺟﻪ ﺑﻪ ﻓﺮﺿﻬﺎي رﮔﺮﺳﻴﻮن دارﻳﻢ‪:‬‬ ‫>= ‪yi = β0 + β1xi + εi‬‬ ‫‪var( Yi ) = σ2‬‬ ‫‪cov( Yi,Yj ) = 0‬‬ ‫* ﭼﻮن ‪ X‬ﺛﺎﺑﺖ اﺳﺖ ﭘﺲ آﻮارﻳﺎﻧﺲ ‪ Yi,Yj‬ﺑﺮاﺑﺮ ﺑﺎ آﻮارﻳﺎﻧﺲ‪ εi,εj‬اﺳﺖ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 3‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫روش آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ﺧﻄﺎ )‪(Least Square Methods‬‬

‫در اﻳﻦ روش ‪ β0‬و ‪ β1‬را ﻃﻮري ﭘﻴﺪا ﻣﻲ آﻨﻴﻢ آﻪ ﻣﺠﻤﻮع ﺗﻮان دوم ﺧﻄﺎ هﺎي ‪ εi‬آﻤﻴﻨﻪ ﺷﻮد‪:‬‬ ‫‪S( β0,β1) = ∑i=1.. n εi2 = ∑i=1.. n ( yi - β0 - β1xi )2‬‬ ‫ﭘﺲ ‪ β0‬و ‪ β1‬را ﻃﻮري ﭘﻴﺪا ﻣﻲ آﻨﻴﻢ آﻪ ‪ S‬آﻤﻴﻨﻪ ﮔﺮدد‪:‬‬

‫┘‬

‫┘‬ ‫‪ :‬ﻧﻜﺘﻪ‬

‫ﺼﻔﺤﻪ ‪ 4‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﭘﺲ دارﻳﻢ‪:‬‬

‫ﻣﺜﺎل‪ :‬ﻓﺮض آﻨﻴﺪ ‪ X‬ﻣﻴﺰان آﻮد و ‪ Y‬ﻣﻴﺰان ﻣﺤﺼﻮل ﺑﺎﺷﺪ در اﻳﻦ ﺻﻮرت‪:‬‬ ‫‪Y = β0 + β1X + ε‬‬

‫ﺗﻌﺒﻴﺮ‪ ŷ0‬اﻳﻨﺴﺖ آﻪ ﺑﻪ ازاي ‪ X = x0‬ﺑﻄﻮر ﻣﺘﻮﺳﻂ ‪ ŷ0‬ﻣﻴﺰان ﻣﺤﺼﻮل ﺧﻮاهﺪ ﺑﻮد‪.‬‬

‫ﺧﻮاص ﺑﺮﺁوردﮔﺮ هﺎي آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ‪ β0‬و ‪: β1‬‬ ‫‪ (1‬ﺑﺮﺁوردﮔﺮهﺎي آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ‪ β0‬و ‪ β1‬ﺗﺮآﻴﺐ ﺧﻄﻲ از ﻣﺸﺎهﺪات ‪ yi‬هﺴﺘﻨﺪ‪ ،‬ﻳﻌﻨﻲ‪:‬‬

‫‪ (2‬اﻳﻦ ﺑﺮﺁوردﮔﺮهﺎ ﻧﺎارﻳﺐ هﺴﺘﻨﺪ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 5‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫‪ (3‬وارﻳﺎﻧﺲ ﺑﺮﺁوردﮔﺮهﺎ ﺑﺮاﺑﺮ اﺳﺖ ﺑﺎ‪:‬‬

‫┘‬

‫┘‬ ‫ﭼﻮن‪:‬‬

‫ﺑﻨﺎﺑﺮ ﺁﻧﭽﻪ ﺑﺪﺳﺖ ﺁﻣﺪ دارﻳﻢ‪:‬‬

‫┘‬ ‫ﭼﻮن‪:‬‬

‫‪ (4‬ﺑﻨﺎ ﺑﻪ ﻗﻀﻴﻪ ﮔﺎوس ‪ -‬ﻣﺎرآﻮف در ﻣﺪل ‪ yi = β0 + β1xi + εi‬ﺗﺤﺖ ﺳﻪ ﻓﺮض‬ ‫) ‪,cov( εi,εj ) = 0 ( i ≠ j‬‬

‫‪E( εi ) = 0 ,var( εi ) = σ2‬‬

‫در ﺑﻴﻦ ﺗﻤﺎم ﺑﺮﺁوردﮔﺮ هﺎي ﻧﺎارﻳﺐ ‪ β0‬و ‪ β1‬آﻪ ﺑﻪ ﺻﻮرت ﺗﺮآﻴﺐ ﺧﻄﻲ از ‪ yi‬هﺎ هﺴﺘﻨﺪ ‪ ،‬ﺑﺮﺁوردﮔﺮ هﺎي آﻤﺘﺮﻳﻦ ﻣﺮﺑﻌﺎت ‪β0‬‬ ‫و ‪ β1‬آﻤﺘﺮﻳﻦ وارﻳﺎﻧﺲ را دارﻧﺪ ﻳﻌﻨﻲ آﺎرا ﺗﺮﻳﻦ هﺴﺘﻨﺪ و ﻣﻌﺮوﻓﻨﺪ ﺑﻪ ‪.Best Linear Unbiased Estimator‬‬

‫ﺼﻔﺤﻪ ‪ 6‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ) ‪:( Residuals‬‬ ‫‪yi = β0 + β1xi + εi ,i =1,2,...,n‬‬

‫) ﻣﻘﺪار ﺑﺮﺁورد ﺷﺪﻩ ( ‪ ) -‬ﻣﻘﺪار ﻣﺸﺎهﺪﻩ ﺷﺪﻩ ( = ‪ei = yi - ŷi‬‬ ‫در ﺟﺎﻣﻌﻪ دارﻳﻢ‪:‬‬

‫و ﺑﺮاي ﻧﻤﻮﻧﻪ دارﻳﻢ‪:‬‬

‫ﻧﻜﺘﻪ‪ :‬اﮔﺮ ﻓﺮﺿﻴﺎت ﻣﺪل رﮔﺮﺳﻴﻮن ﺑﺮﻗﺮار ﻧﺒﺎﺷﺪ ‪ ،‬ﺑﺎ اﺳﺘﻔﺎدﻩ از ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ ) ‪ ei‬هﺎ( ﻣﻲ ﺗﻮاﻧﻴﻢ ﻧﺴﺒﺖ ﺑﻪ ﺑﺮﻗﺮار ﻧﺒﻮدن ﺁﻧﻬﺎ‬ ‫اﻃﻤﻴﻨﺎن ﺣﺎﺻﻞ آﻨﻴﻢ‪.‬‬

‫ﺧﻮاص ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ ‪:‬‬ ‫‪∑i=1.. n ei = 0‬‬ ‫‪∑i=1.. n eixi = 0‬‬ ‫‪∑i=1.. n eiyi = 0‬‬

‫ﺼﻔﺤﻪ ‪ 7‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﺑﺮﺁورد ‪:σ2‬‬

‫‪...,( 150,50 ),( 150,58 ),( 150,65 ),( 150,68 ),...‬‬ ‫‪var( εi ) = var( yi ) = σ2‬‬ ‫‪ (1‬ﺑﺮاي ﺑﺮﺁور ‪ σ2‬آﺎﻓﻲ اﺳﺖ ﺑﺮاي ﺣﺪاﻗﻞ ﻳﻚ ﺳﻄﺢ ‪ x‬ﭼﻨﺪ ﻣﺸﺎهﺪﻩ ﺑﺮاي ‪ y‬داﺷﺘﻪ ﺑﺎﺷﻴﻢ‪ ،‬در اﻳﻦ ﺻﻮرت وارﻳﺎﻧﺲ ﺁﻧﻬﺎ ﺑﺮﺁوردي‬ ‫ﺑﺮاي ‪ σ2‬اﺳﺖ‪.‬‬ ‫در ﻣﺜﺎل ﺑﺎﻻ وارﻳﺎﻧﺲ اﻋﺪاد ‪ 50,58,65,68‬ﺑﺮﺁوردي ﺑﺮاي ‪ σ2‬اﺳﺖ‪.‬‬ ‫‪ (2‬وارﻳﺎﻧﺲ ﺑﺎﻗﻴﻤﺎﻧﺪﻩ هﺎ ﺑﺮﺁوردي ﺑﺮاي ‪ σ2‬اﺳﺖ‪.‬‬ ‫ﺗﻮﺟﻪ‪:‬‬ ‫ﻣﺠﻤﻮع ﻣﺮﺑﻌﺎت ﺧﻄﺎ‬

‫‪Error Sum of Square: SSE‬‬

‫ﻣﻴﺎﻧﮕﻴﻦ ﻣﺮﺑﻌﺎت‬

‫ﻣﻴﺎﻧﮕﻴﻦ ﻣﺮﺑﻌﺎت ﺧﻄﺎ‬

‫‪Mean Square: MS‬‬

‫‪Error Mean Square: MSE‬‬

‫ﻧﻜﺘﻪ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 8‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﺁزﻣﻮن ﻓﺮﺿﻴﻪ راﺟﻊ ﺑﻪ ‪ β0‬و ‪: β1‬‬ ‫‪yi = β0 + β1xi + εi ,i = 1,2,...,n‬‬ ‫ﻓﺮض ﻣﻲ آﻨﻴﻢ ‪ εi‬هﺎ ﺗﻮزﻳﻊ ﻧﺮﻣﺎل داﺷﺘﻪ ﺑﺎﺷﻨﺪ‪ ،‬ﺑﻨﺎﺑﺮاﻳﻦ‬ ‫) ‪,εi ~Normal ≡ εi ~N( 0,σ2 ) ( i.i.d.‬‬

‫) ‪,cov( εi,εj ) = 0 ( i ≠ j‬‬

‫‪E( εi ) = 0 ,var( εi ) = σ2‬‬

‫‪i.i.d. : Independent Identically Distribution‬‬

‫ﻓﺮض آﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم ﺑﺪهﻴﻢ‬ ‫*‪H0: β1= β1‬‬ ‫*‪H1: β1≠ β1‬‬

‫ﻓﺮض اوﻟﻴﻪ رد ﻣﻲ ﺷﻮد >= ‪| Z0 | > Zα/2‬‬

‫ﺣﺎل ﻓﺮض آﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم ﺑﺪهﻴﻢ‬ ‫*‪H0: β0= β0‬‬ ‫*‪H1: β0≠ β0‬‬

‫ﺼﻔﺤﻪ ‪ 9‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻓﺮض اوﻟﻴﻪ رد ﻣﻲ ﺷﻮد >= ‪| Z0 | > Zα/2‬‬

‫ﺁزﻣﻮن ﻓﺮﺿﻴﻪ و ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن ﺑﺮاﯼ ﺿﺮاﺋﺐ رﮔﺮﺳﻴﻮﻧﯽ در ﺣﺎﻟﺘﯽ ﮐﻪ ‪ σ2‬ﻧﺎ ﻣﻌﻠﻮم اﺳﺖ‬ ‫ﻓﺮض ﮐﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم دهﻴﻢ‪:‬‬ ‫*‪H1: β1≠ β1‬‬

‫‪vs‬‬

‫*‪H0: β1= β1‬‬

‫ﻓﺮض ‪ H0‬رد ﻣﯽ ﺷﻮد اﮔﺮ‬

‫ﺣﺎﻟﺖ ﺧﺎص ﺁزﻣﻮن‪ :‬هﻤﻴﺸﻪ اﻳﻦ ﺁزﻣﻮن را اﻧﺠﺎم ﻣﯽ دهﻴﻢ) ﺁزﻣﻮن ﻣﻌﻨﺎ دارﯼ رﮔﺮﺳﻴﻮن (‪:‬‬ ‫‪H1: β1≠ 0‬‬

‫‪vs‬‬

‫‪H0: β1= 0‬‬

‫ﺼﻔﺤﻪ ‪ 10‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﻧﺸﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬ ‫‪ x .1‬و‪ y‬هﻴﭻ هﻤﺒﺴﺘﮕﯽ ﺗﺪارﻧﺪ‪.‬‬ ‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ دارﻧﺪ‪.‬‬ ‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﺷﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬ ‫‪ x .1‬و‪ y‬راﺑﻄﻪ ﺧﻄﯽ دارﻧﺪ‪.‬‬ ‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ ) ﻧﺴﺒﺖ ﺑﻪ ‪ ( x‬دارﻧﺪ‪.‬‬ ‫ﻓﺮض ﮐﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺁزﻣﻮن زﻳﺮ را اﻧﺠﺎم دهﻴﻢ‪:‬‬ ‫*‪H0: β0= β0‬‬ ‫*‪H1: β0≠ β0‬‬

‫ﻓﺮض ‪ H0‬رد ﻣﯽ ﺷﻮد اﮔﺮ‬

‫ﺣﺎﻟﺖ ﺧﺎص ﺁزﻣﻮن ﺑﻪ ﺷﮑﻞ زﻳﺮ اﺳﺖ‪:‬‬ ‫‪H0: β0= 0‬‬ ‫‪H1: β0≠ 0‬‬

‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﻧﺸﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬ ‫‪β0= 0 .1‬‬ ‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ دارﻧﺪ‪.‬‬ ‫اﮔﺮ ﻓﺮض ‪ H0‬رد ﺷﻮد در اﻳﻦ ﺻﻮرت دو ﺣﺎﻟﺖ دارد‪:‬‬ ‫‪β0≠ 0 .1‬‬ ‫‪ x .2‬و‪ y‬راﺑﻄﻪ ﻏﻴﺮ ﺧﻄﯽ دارﻧﺪ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 11‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ و ﻓﺎﺻﻠﻪ اﯼ ﺑﺮاﯼ ﻣﻴﺎﻧﮕﻴﻦ ﭘﺎﺳﺦ‪:‬‬ ‫ﻓﺮض ﮐﻨﻴﺪ ﺑﺨﻮاهﻴﻢ ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ و ﻓﺎﺻﻠﻪ اﯼ ﺑﺮاﯼ ﻣﻴﺎﻧﮕﻴﻦ ﭘﺎﺳﺦ ﺑﻪ ازاﯼ ‪ X = x0‬دادﻩ ﺷﺪﻩ ﺑﺪﺳﺖ ﺁورﻳﻢ‪:‬‬

‫ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ‪ :‬ﮐﺎﻓﯽ اﺳﺖ ﮐﻪ ‪ x0‬را در ﻣﻌﺎدﻟﻪ ﺧﻂ رﮔﺮﺳﻴﻮن ﺟﺎﻳﮕﺬارﯼ ﮐﻨﻴﻢ‪:‬‬

‫ﺑﺮﺁورد ﻓﺎﺻﻠﻪ اﯼ‪:‬‬ ‫ﺑﺮاﯼ ﻣﺤﺎﺳﺒﻪ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن ﺑﺮاﯼ ) ‪ E( Y | X=x‬ﺑﺎ ﻓﺮض اﻳﻨﮑﻪ وارﻳﺎﻧﺲ ﻧﺎ ﻣﻌﻠﻮم ﺑﺎﺷﺪ از ﻓﺮﻣﻮل زﻳﺮ اﺳﺘﻔﺎدﻩ ﻣﯽ ﮐﻨﻴﻢ‪:‬‬

‫ﻃﻮل اﻳﻦ ﻓﺎﺻﻠﻪ وﻗﺘﯽ ﻣﻴﻨﻴﻤﻢ اﺳﺖ ﮐﻪ ‪ x0‬ﺑﻪ ‪ x‬ﻧﺰدﻳﮏ ﺑﺎﺷﺪ‪.‬‬

‫اﮔﺮ ﺗﻤﺎم ﻧﻘﺎط اﺑﺘﺪاﻳﯽ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎﻧﻬﺎ را ﺑﻪ هﻢ وﺻﻞ ﮐﻨﻴﻢ و ﺗﻤﺎم ﻧﻘﺎط اﻧﺘﻬﺎﻳﯽ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎﻧﻬﺎ را ﺑﻪ هﻢ وﺻﻞ ﮐﻨﻴﻢ ﺑﻪ ﺷﮑﻠﯽ ﺷﺒﻴﻪ‬ ‫ﺷﮑﻞ زﻳﺮ ﻣﯽ رﺳﻴﻢ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 12‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻣﺜﺎل‪ :‬اﮔﺮ ﺑﺨﻮاهﻴﻢ ﺑﺪاﻧﻴﻢ ﺑﻪ ازاﯼ ﻣﻴﺰان ﻓﺮوش ‪ y‬ﭼﻘﺪر ﺑﺎﻳﺪ ﺗﺒﻠﻴﻐﺎت داﺷﺘﻪ ﺑﺎﺷﻴﻢ ﺑﺎﻳﺪ ﻳﮏ ﻣﺪل ﺧﻄﯽ ﺑﻴﻦ ﻓﺮوش و ﺗﺒﻠﻴﻐﺎت ﺑﺪﺳﺖ‬ ‫ﺁورﻳﻢ ﺳﭙﺲ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن هﺎﯼ ﺁن را ﺑﺪﺳﺖ ﺁورﻳﻢ و از روﯼ ﻧﻤﻮدار ﻣﺮﺑﻮﻃﻪ ﻓﺎﺻﻠﻪ اﯼ ﺑﺮاﯼ ﻣﻴﺰان ﺗﺒﻠﻴﻐﺎت ﭘﻴﺪا ﮐﻨﻴﻢ‪:‬‬

‫ﺗﺨﻤﻴﻦ)ﭘﻴﺶ ﺑﻴﻨﯽ( ﻣﺸﺎهﺪات ﺟﺪﻳﺪ‪:Prediction of new observation-‬‬ ‫ﻣﯽ داﻧﻴﻢ‪:‬‬

‫ﺣﺎل ﻓﺮض ﮐﻨﻴﻢ ﺑﺨﻮاهﻴﻢ ﺑﺮ اﺳﺎس ﺧﻂ رﮔﺮﺳﻴﻮن ﻣﻘﺪار ﻣﺘﻐﻴﺮ ﭘﺎﺳﺦ ‪ Y‬را ﺑﻪ ازاﯼ *‪ X = x‬ﺗﺨﻤﻴﻦ ﺑﺰﻧﻴﻢ؛ ﻳﺎ ﺑﺮاﯼ ﺣﺎﻟﺘﯽ ﮐﻪ هﻴﭻ‬ ‫اﻃﻼﻋﯽ راﺟﻊ ﺑﻪ ﻣﺘﻐﻴﺮ ﭘﺎﺳﺦ ﻧﺪارﻳﻢ ﺁﻧﺮا ﺗﺨﻤﻴﻦ ﺑﺰﻧﻴﻢ‪.‬‬ ‫ﻣﺜﺎل‪:‬‬ ‫ﻣﻴﺰان ﻣﺤﺼﻮل=‪Y‬‬ ‫ﻣﻴﺰان ﮐﻮد=‪X‬‬

‫?=‪;Ŷx‬‬ ‫ﻓﺮض ﮐﻨﻴﻢ ﮐﻪ‬

‫از‬

‫*‪X = 15 = x‬‬

‫ﻣﺴﺘﻘﻞ ﺑﺎﺷﺪ‪.‬‬

‫ﺣﺎل ﻣﯽ ﺧﻮاهﻴﻢ ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ و ﻓﺎﺻﻠﻪ اﯼ ﺑﻪ ازاﯼ *‪ X=x‬ﺑﺮاﯼ ﻣﺸﺎهﺪﻩ ﺟﺪﻳﺪ ‪ Yx‬ﺑﺪﺳﺖ ﺁورﻳﻢ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 13‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﺑﺮﺁورد ﻧﻘﻄﻪ اﯼ ‪ Yx‬ﺑﻪ ﺻﻮرت زﻳﺮ اﺳﺖ‪:‬‬

‫ﭼﻮن‪:‬‬

‫‪ Yx‬از ‪ Y1,Y2,...,Yn‬ﻣﺴﺘﻘﻞ اﺳﺖ ﺑﻨﺎﺑﺮاﻳﻦ از هﺮ ﺗﺮﮐﻴﺐ ﺧﻄﯽ ﺷﺎن ﻧﻴﺰ ﻣﺴﺘﻘﻞ اﺳﺖ‪ .‬از ﻃﺮﻓﯽ ﺑﺮﺁوردﮔﺮ هﺎﯼ ‪ β0,β1‬هﺮ دو‬ ‫ﺗﺮﮐﻴﺐ ﺧﻄﯽ از ‪ Yi‬هﺎ هﺴﺘﻨﺪ‪ .‬ﺑﻨﺎﺑﺮاﻳﻦ ‪ Yx‬از ﺑﺮﺁورد ‪ Yx‬ﻧﻴﺰ ﻣﺴﺘﻘﻞ اﺳﺖ‪:‬‬

‫‪1‬‬

‫‪2‬‬ ‫→‪1,2‬‬

‫‪3‬‬

‫‪4‬‬

‫→‪3,4‬‬

‫ﺼﻔﺤﻪ ‪ 14‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻃﻮل اﻳﻦ ﻓﺎﺻﻠﻪ اﻃﻤﻴﻨﺎن ﺑﺰرﮔﺘﺮ از ﺣﺎﻟﺘﯽ اﺳﺖ ﮐﻪ ﺑﺮاﯼ ﺑﺮﺁورد ﻣﻴﺎﻧﮕﻴﻦ ﭘﺎﺳﺨﻬﺎ ﺑﺪﺳﺖ ﻣﯽ ﺁوردﻳﻢ‪ .‬ﭼﻮن وارﻳﺎﻧﺲ ﺁن ﺑﺰرﮔﺘﺮ‬ ‫اﺳﺖ‪.‬‬

‫ﮐﺎرﺑﺮد ﻧﻤﻮدار ﻓﻮق در رﮔﺮﺳﻴﻮن ﻣﻌﮑﻮس اﺳﺖ‪.‬‬

‫ﺟﺪول ﺁﻧﺎﻟﻴﺰ وارﻳﺎﻧﺲ)‪:(Analysis of variance table‬‬ ‫ﺟﺪول ﺁﻧﺎﻟﻴﺰ وارﻳﺎﻧﺲ ﻳﺎ ﺟﺪول ‪ ANOVA‬ﺑﺮاﯼ ﺑﺮرﺳﯽ و ﺗﺠﺰﻳﻪ و ﺗﺤﻠﻴﻞ وارﻳﺎﻧﺲ‪ Y‬ﻳﺎ وارﻳﺎﻧﺲ ﮐﻞ ﺑﻪ ﮐﺎر ﻣﯽ رود‪ .‬هﻤﭽﻨﻴﻦ‬ ‫ﺑﺮاﯼ ﺁزﻣﻮن ﻣﻌﻨﯽ دارﯼ رﮔﺮﺳﻴﻮن ﻧﻴﺰ ﻣﻮرد اﺳﺘﻔﺎدﻩ ﻗﺮار ﻣﯽ ﮔﻴﺮد‪.‬‬

‫‪Total sum of square:SST=Syy‬‬ ‫‪Error sum of square:SSE‬‬ ‫‪Regression sum of square:SSR‬‬ ‫وارﻳﺎﻧﺲ ﮐﻞ= ﺗﻐﻴﻴﺮاﺗﯽ ﮐﻪ ﺑﻪ وﺳﻴﻠﻪ ﻋﺎﻣﻞ ‪ x‬ﺑﻴﺎن ﻣﯽ ﺷﻮد‪ +‬ﺗﻐﻴﻴﺮاﺗﯽ ﮐﻪ ﺑﻮﺳﻴﻠﻪ ‪ x‬ﺑﻴﺎن ﻧﻤﯽ ﺷﻮد‬ ‫ﺛﺎﺑﺖ ﻣﯽ ﺷﻮد ﮐﻪ ‪ SSR‬و‪ SSE‬از هﻢ ﻣﺴﺘﻘﻞ اﻧﺪ ﭘﺲ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 15‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﺗﺤﺖ ﻓﺮض ‪ H0‬ﺁزﻣﻮن ﻣﻌﻨﯽ دارﯼ رﮔﺮﺳﻴﻮن دارﻳﻢ‪:‬‬ ‫‪H0:β1=0‬‬ ‫‪H1:β1≠0‬‬

‫‪1‬‬

‫‪2‬‬ ‫→ ‪1,2 independent‬‬ ‫ﺑﺎﺷﺪ‪.‬‬

‫ﻓﺮض ‪ H0‬رد ﻣﯽ ﺷﻮد اﮔﺮ‬ ‫ﻧﮑﺘﻪ‪:‬‬

‫‪ANOVA:‬‬ ‫‪F0‬‬

‫‪MS‬‬

‫‪d.f.‬‬

‫‪MSR‬‬

‫‪1‬‬

‫‪MSE‬‬

‫‪n-2‬‬ ‫‪n-1‬‬

‫‪SS‬‬

‫‪Source of variance‬‬ ‫‪Regression‬‬

‫‪Syy‬‬‫‪Syy‬‬

‫‪Error‬‬ ‫‪Total‬‬

‫ﺁﻣﺎرﻩ ‪ F0‬ﺟﺪول ﺑﺮاﯼ ﺁزﻣﻮن ﻣﻌﻨﯽ دارﯼ رﮔﺮﺳﻴﻮن ﺑﮑﺎر ﻣﯽ رود‪.‬‬

‫ﺼﻔﺤﻪ ‪ 16‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﺿﺮﻳﺐ ﺗﻌﻴﻴﻦ )‪:(Coefficient of determination‬‬ ‫‪SST=SSE+SSR‬‬ ‫ﺗﻐﻴﻴﺮات=ﻣﻴﺰان ﺗﻐﻴﻴﺮاﺗﻲ آﻪ ﺗﻮﺳﻂ ﻋﺎﻣﻞ‪ X‬ﺑﻴﺎن ﻣﻴﺸﻮد)‪+(SSR‬ﻣﻴﺰان ﺗﻐﻴﻴﺮاﺗﻲ آﻪ ﺗﻮﺳﻂ ‪ X‬ﺑﻴﺎن ﻧﻤﻲ ﺷﻮد)‪(SSE‬‬

‫‪ R2=0.98‬ﻳﻌﻨﻲ ‪ 98‬در ﺻﺪ ﺗﻐﻴﻴﺮات ‪ Y‬ﺗﻮﺳﻂ ﺧﻂ رﮔﺮﺳﻴﻮن ﺑﻴﺎن ﻣﻲ ﺷﻮد‪.‬‬

‫‪ R2=0.3‬ﻳﻌﻨﻲ ‪ 30‬در ﺻﺪ ﺗﻐﻴﻴﺮات ‪ Y‬ﺗﻮﺳﻂ ﺧﻂ رﮔﺮﺳﻴﻮن ﺑﻴﺎن ﻣﻲ ﺷﻮد‪.‬‬ ‫ﻳﻜﻲ از ﻣﻌﻴﺎر هﺎي ﺑﺮرﺳﻲ ﺧﻮﺑﻲ ﺑﺮازش ‪ R2‬ﻣﻲ ﺑﺎﺷﺪ و هﺮ ﭼﻪ ﺑﻪ ﻳﻚ ﻧﺰدﻳﻜﺘﺮ ﺑﺎﺷﺪ ﻣﻲ ﺗﻮاﻧﺪ دﻟﻴﻞ ﺑﺮ ﺧﻮب ﺑﻮدن ﺑﺮازش‬ ‫ﺑﺎﺷﺪ‪.‬اﻟﺒﺘﻪ ‪ R2‬وﻗﺘﻲ ﻣﻌﺘﺒﺮ اﺳﺖ آﻪ راﺑﻄﻪ ﺧﻄﻲ ﺑﺎﺷﺪ‪.‬‬

‫ﺼﻔﺤﻪ ‪ 17‬ﺍﺯ ‪18‬‬

‫ﻤﻘﺩﻤﻪ ﺍﯼ ﺒﺭ ﺭﮔﺭﺴﻴﻭﻥ ﺨﻁﯽ ﮐﺎﺭﺒﺭﺩﯼ‬

‫‪http://MiladZaman005.blogfa.com‬‬

‫ﻓﻠﻮﭼﺎرت ﻣﺮاﺣﻞ ﺑﺮازش ﻣﺪل رﮔﺮﺳﻴﻮن ﺧﻄﻲ ﺳﺎدﻩ‪:‬‬

‫ﺼﻔﺤﻪ ‪ 18‬ﺍﺯ ‪18‬‬