trace linux kernel source - ARM - 01

gogojesse

昨天下載了linux-2.6.26的kernel source
3 t3 ]; Z; U* a" s打算trace一下 (以ARM為例子)
看看能不能多了解一下kernel booting時候的一些動作
一些文章提到是從/arch/arm/boot/bootp/init.S開始
所以節錄了一些下來
3 Y( A  Q: n& m( L3 f* `0 k
2 \5 h- a# G& W% x5 C( c5 Z     19         .section .start,#alloc,#execinstr
     20         .type   _start, #function
     21         .globl  _start
0 ]. g+ p- \" F! [( m     22
* b' g$ A4 r: z0 T     23 _start:     add lr, pc, #-0x8       @ lr = current load addr
     24         adr r13, data
4 P+ @* k" v: U+ p3 d( s4 g* J     25         ldmia   r13!, {r4-r6}       @ r5 = dest, r6 = length
8 J4 W4 d4 A5 X- U1 J     26         add r4, r4, lr      @ r4 = initrd_start + load addr
: U/ d1 M+ ?' U) [6 G$ N7 @     27         bl  move            @ move the initrd
     .....
8 F  R2 [1 D7 X4 ]& K     76         .type   data,#object
+ F5 y, c1 b1 }% f     77 data:       .word   initrd_start        @ source initrd address
     78         .word   initrd_phys     @ destination initrd address
0 r) x$ s! @% J+ {) s     79         .word   initrd_size     @ initrd size
     80

1 C8 W- {7 N2 Iline 19,宣告了叫做.start的section
line 20,21宣告了一個叫做_start的function
; G) W* K& g( X" O+ t) R% {2 C程式碼似乎從line 23開始
line 23, 『add lr, pc, #-0x8』
* F& o: d' \$ e8 Radd就是將pc+(-0x8)的結果放到lr之中，pc和lr都是ARM裡頭暫存器
pc就是program counter，CPU用來指著目前要執行的指令，執行完CPU就會自動把PC+1
9 j; P8 a0 i1 X! J' ~7 X" F+ }這樣就會拿到下一道指令，lr通常是第14個register, r14，常被用來繼續function
1 z% [9 D8 [3 e# U9 q( x! preturn時候的返回位置。奇怪的是為什麼要-0x8??
7 F0 V; y: v! [6 n( w" v/ k8 B" Q原因應該是ARM本身有pipeline的設計，prefetch->decode->execution，當指令被執行
的時候，其實已經預先去偷偷抓下一道，所以PC值不是真的指在目前執行的地方，三級
pipeline剛好多了兩個cycle所以4 bytes x 2必須要-8才是正在執行指令的位址。
4 y" K5 d3 k3 D- u- F
line 24, 『adr r13, data』
adr會去讀取data所在的位址當作值，寫道r13裡頭。r13通常是用來放stack pointer，
% L: o2 K& z9 J+ A3 k* l! l常縮寫成sp，所以現在r13就指到data所在的位置上去。
7 ^! C2 P+ E" J
line 25, 『ldmia   r13!, {r4-r6}』
ldmia, load multiple increment after,顧名思義就是可以做很多次load的動作，每此
* n! i' Q" T  }  }7 Wload完就把位址+1，執行完之後
. ]1 Y8 b! r0 d% P7 [5 pr4 = initrd_start
' s" P: k+ L' }3 G8 sr5 = initrd_phys
r6 = initrd_size
2 a5 S0 s; u2 Q6 M9 g. b
  |0 Z6 D0 o7 a8 R6 Bline 26, 『add r4, r4, lr』
r4 = r4+lr, lr是剛剛我們算過的，指到一開始執行指令的地方，看程式碼的解釋，被當
# ^' e: D0 M- q  p  m成載入的位址，所以執行完 r4 = initrd_start+程式被載入的位置，用途不明，看看之
後有沒有被用到。

4 V7 d0 ]' H5 ^  c! `line 27, 『bl  move』
bl, b是branch，相當於C語言goto的動作，l就是goto之前，先把目前位置存放到lr裡面，
' p: X1 f% B4 p  c5 J: r所以bl除了goto之外，也改寫了lr，應該是有利於等一下返回的時候，可以用lr的值。

9 c% s& P0 E% k  @/ m以上，好像還沒開始什麼重點，有空再繼續，有想錯的地方或是需要補充的地方，多多指教~

gogojesse

上面的 code 裡面出現了一些還沒定義的symbol
例如 initrd_start, initrd_size等等
" z4 `  c4 Z8 c4 m: X  a其實是被定義在另外一個檔 ./arch/arm/boot/bootp/initrd.S
& Q- Z4 T" N3 p
      1     .type   initrd_start,#object
1 i2 s  ~8 G/ ]4 R( f; N# L" I      2     .globl  initrd_start
/ K. m2 L. K. k7 W/ A+ c. G      3 initrd_start:
      4     .incbin INITRD
      5     .globl  initrd_end
7 N, c- j9 e6 P, O+ g2 Y      6 initrd_end:
  a4 ~/ k/ f& W: E
line 2, 3, 5, 6定義了兩個symbol initrd_start和initrd_end
5 d" h6 v0 g* Y+ J中間還用.incbin INITRD 將 ramdisk 的 image include進來
$ U) b, \6 D. W+ ^這邊有點複雜
6 D/ ~- O$ M4 j" r& }假如compiler kernel的時候
" F/ S2 X( E5 C+ I有選擇使用ramdisk當成boot device的話
/ o$ P; N' d9 \$ G# i3 h$ ?會對從環境變數去設置 INITRD
; `  U7 y7 r+ i$ }8 W這個檔名會被帶入到MAKEFILE
並且在做assembler動作的丟進來
假如沒有使用initrd
那就.incbin應該就包不到東西
4 q$ ?0 ]. l. C& Z( Y: ainitrd_start 和 initrd_end 就會相等

另外有個 script ./arch/arm/boot/bootp/bootp.lds
它規範了所有link起來的object code裡面的section要怎麼編排
9 f4 q# f/ H: S! @( [% N這樣撰寫kernel的時候
可以到特定的section取得想要的資料或是計算某個section的大小

     10 OUTPUT_ARCH(arm)
     11 ENTRY(_start)
     12 SECTIONS
, t& @0 F; R- `* E     13 {
     14   . = 0;
4 a; S  g+ ~  }. Q9 i     15   .text : {
     16    _stext = .;
     17    *(.start)
     18    *(.text)
     19    initrd_size = initrd_end - initrd_start;
     20    _etext = .;
     21   }
     22
     23   .stab 0 : { *(.stab) }
. {  Z4 L2 ^4 W" X' k' @     24   .stabstr 0 : { *(.stabstr) }
0 ^( v: I( ]8 J     25   .stab.excl 0 : { *(.stab.excl) }
     26   .stab.exclstr 0 : { *(.stab.exclstr) }
     27   .stab.index 0 : { *(.stab.index) }
     28   .stab.indexstr 0 : { *(.stab.indexstr) }
     29   .comment 0 : { *(.comment) }
     30 }
) \: l& n9 F8 Y+ H# ~
對於object file的格式不熟悉的話
可以參考ELF format的相關文件

gogojesse

接著繼續看 init.S
之前的code已經goto到move這邊來
所以貼一些move的程式碼
3 A1 d1 J9 w3 o5 }; E- ]
1 u, a- r  ~8 G5 b! \     66 move:       ldmia   r4!, {r7 - r10}     @ move 32-bytes at a time
     67         stmia   r5!, {r7 - r10}
" |) ]% o% ~! U  u9 |     68         ldmia   r4!, {r7 - r10}
     69         stmia   r5!, {r7 - r10}
( Q# ?! U* m9 Q& c     70         subs    r6, r6, #8 * 4
! N9 w( \* f( [" `" ?     71         bcs move
     72         mov pc, lr

line 66, 將r4所指到的位置，分別將值讀出來放到r7, r8, r9, r10, 可以發現剛剛計算過的r4這邊被
. {% M: u2 s1 M' H用到了，但是為什麼r4不是用initrd_start，卻還要加上load addr??
原因應該是bootp.lds的14行『. = 0;』表示最後被link好的address會從0x0開始
所以 initrd_start 所記錄的位置可以當成是offset
% B6 a$ i: k% K3 G& W7 Q加上load到DRAM或是擺在flash上的位址後
) }9 }! Q( S' ]) F1 k9 P就剛好是initrd所在的地方

5 f9 P( h% c. Z7 qline 67, 『stmia   r5!, {r7 - r10}』
stmia, store multiple increment after, 和ldmia動作相同，只是用來寫資料。
8 c0 @3 p) ~5 c+ Lr5是存放著initrd要擺放的位置
: z( d/ l) X+ x猜測應該是為了一開始image放在flash上，但是可以將initrd拷貝到DRAM上
r7寫到r5指到的位置
r8->r5+1
' @4 L& z4 p6 T& B: Y& C; e5 Gr9->r5+2
* E& P9 }& N3 s8 n. b' Q. ~+ mr10->r5+3
3 ]. d( g# |( Q, k所以我們發現，66,67行就是將r4所指的東西搬到r5。
* M, @" a  ^% G- n5 J& z4 B
line 68, 69也是一樣copy了4x4bytes，一共是32bytes。
  P* F" @8 V5 c0 \/ a8 d/ f6 ]2 {line 70,『subs    r6, r6, #8 * 4』，將length - 32bytes
line 71,『bcs move』，b是branch的意思，cs是表示condition的條件，要是條件符合的話，
* W) \. I: \) m6 w1 p" _就做branch的動作，這邊的用意是判斷前一個length是不是已經到0，如果不為零就繼續copy。
line 72,『mov pc, lr』
$ A% {& ^: I  W2 Y0 J接著就把剛剛bl指令預先存放好的lr 填入pc，這樣CPU就會跳回去原本的return address。
6 I9 t. M& F+ v# w  b* }
以上的動作，慢慢看得出來有在做些什麼事
1. 找出initrd的所在位置
2 T- S# r& `7 ?$ q8 r" g% v9 x5 p( K" }2. 將它copy到一個指定的destination去

gogojesse

程式返回之後
我們接著看下一行

1.      33         ldmia   r13, {r5-r9}        @ get size and addr of initrd
   # e5 b5 t3 ]: x; m" o5 U  |3 p: B
2.      34                         @ r5 = ATAG_CORE
   
3.      35                         @ r6 = ATAG_INITRD2
   $ b6 n5 b# m5 }9 W0 _2 ~
4.      36                         @ r7 = initrd start
   5 D  z' d% a, c; Q+ f4 Z  b+ e
5.      37                         @ r8 = initrd end
   
6.      38                         @ r9 = param_struct address
   9 |  M7 T5 I" W: ^4 G8 ~
7.      39
   8 U2 `8 w- [" }! m+ Z
8.      40         ldr r10, [r9, #4]       @ get first tag
   7 g! Y# S# H4 c" ]$ w0 x
9.      41         teq r10, r5         @ is it ATAG_CORE?

複製代碼

line 33, 繼續從r13的地方取出資料到r5, r6, r7 ,r8, r9，註解的說明有提到各個資料
的意義，注意一下這邊的r7是initrd的destination address不是source address。

line 40, 讀入第一個tag，這邊的tag是指bootloader丟給kernel的一個boot arguments，
會被用一個叫做ATAG的structure包起來，並且放到系統的某個地方。然後kernel跑init.S，
" k2 W. r5 P+ V的時候就會去這個地方拿ATAG的資料，這些資訊包括記憶體要使用多大，螢幕的解析度多大等等。

line 41, t是test, eq是equal, 判斷拿到的第一個tag是不是等於atag core. 應該是看
/ V5 _# a: L& ]( j  N; Aatag list 是不是成立的。

0 |% q# E( O  q8 h  e6 A4 f繼續接著看

1.      45         movne   r10, #0         @ terminator
   
2.      46         movne   r4, #2          @ Size of this entry (2 words)
   1 h( V; x" i+ c9 |6 w# [' e
3.      47         stmneia r9, {r4, r5, r10}   @ Size, ATAG_CORE, terminator

複製代碼

發現45, 46, 47的指令都帶有condition "ne", not equal,表示是剛剛 line 41發現atag不成立
所做的事情，注釋是寫『If we didn't find a valid tag list, create a dummy ATAG_CORE entry.』
所以以上三行就是用來創造一個假的entry，假設一切順利這三行指令會bypass過去不會被執行到。

( M/ [8 q1 b$ U5 u; `$ T接著來看init.S最後一段程式碼 (終於~)

1.      54 taglist:    ldr r10, [r9, #0]       @ tag length
   ; [& S* t' r$ {1 m0 R9 ?1 r
2.      55         teq r10, #0         @ last tag (zero length)?
   
3.      56         addne   r9, r9, r10, lsl #2
   ! B3 o1 v" F/ J
4.      57         bne taglist
   8 t2 K+ N" T, ^' D- L
5.      58
   - H, y/ g4 C. B9 G' }
6.      59         mov r5, #4          @ Size of initrd tag (4 words)
   7 O( I8 U2 `$ c8 b2 _: w
7.      60         stmia   r9, {r5, r6, r7, r8, r10}
   4 @/ ~$ v4 H! j# M. Q* u
8.      61         b   kernel_start        @ call kernel

複製代碼

line 54, 將r9指到的位址的offset 0x0的值載入到r10。看註解是tag length，所以這邊得要去翻翻atag的規範
這邊有個文章有提到 http://www.simtec.co.uk/products ... ooting_article.html ，一開
/ }) o0 J' [& X始應該是去讀atag_header所看第一個欄位，確認一下是size，應該沒問題。

1. struct atag_header {
   1 I% ~9 |2 `9 o7 B
2.         u32 size; /* legth of tag in words including this header */
   * `- e4 |3 g! @: ~
3.         u32 tag;  /* tag value */
   : U% d3 z7 \6 }; m* w0 x* _% r
4. };

複製代碼

line 55,測試一下size是不是0。
* b, X" h7 E9 ]' N, |3 wline 56, 57也有condition ne,表示是不為0的時候做的。將拿到的length(r10)乘以4，這邊的lsl是將r10往
左shift的意思,因為一個欄位是4bytes，所以乘4之後就跳到下一個tag，一直跳到最後沒東西。
; v& K7 {: @/ @! [# f, r
* x( j- t. |4 Z+ ]% U! Dline 59, 將r5設成4
( X0 G. E6 d+ f/ j( Jline 60, 將r5, r6, r7, r8 ,r10存到r9所指到的位置，應該就是跟在atag list的後面。
line 61, jump 到 kernel_start ，注意這邊是用b而不是bl，因為跳過去kernel就不需要返回了。BL會用到
lr紀錄返回位置。
- k; h. C( Q  M
以上，走過一整個init.S,接著會跳到./arch/arm/boot/compressed/head.S。

kernel_start的定義方式跟initrd_start有點類似，中間有透過 kernel.S去用.incbin把kernel image包進來。

jacky002

好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

gogojesse

原帖由 jacky002 於 2008-8-9 07:44 AM 發表
好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

/ O" [7 N% [! A, H7 {
有些時候  東西是越陳越香啊~~
...........

gogojesse

剛剛發現一個大陸網站的blog貼了我的文章
但是沒表明出處 = =
還把標題改過，感覺像是他自己寫的
1 c5 M) }) g8 u5 R: U真是麻煩~

) ^4 Y; u) [6 C, l已經好幾次這樣的經驗
' L+ R$ ~% B# b% W) H以前幫忙有弄網站也是這樣
抄襲得很嚴重
內地那邊到底有沒有在管啊!!