ceph同步資料過程OSD程序異常退出記錄

做的操作: ceph叢集擴容了幾個節點。

異常現象: ceph叢集同步時，總是OSD程序異常的宕掉(同步一段時間資料後)。

ceph版本:  9.2.1

日志:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 0&gt; 2017-07-25 09:25:57.471502 7f46fe478700 -1 common</code><code>/HeartbeatMap</code><code>.cc: In </code><code>function</code> <code>'bool ceph::HeartbeatMap::_ch</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: common</code><code>/HeartbeatMap</code><code>.cc: 81: FAILED assert(0 == </code><code>"hit suicide timeout"</code><code>)</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: ceph version 9.2.1 (752b6a3020c3de74e07d2a8b4c5e48dab5a6b6fd)</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x85) [0x7f47038330b5]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x7dc5) [0x7f47018a6dc5]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (clone()+0x6d) [0x7f470014f76d]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: NOTE: a copy of the executable, or `objdump -rdS &lt;executable&gt;` is needed to interpret this.</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: terminate called after throwing an instance of </code><code>'ceph::FailedAssertion'</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: *** Caught signal (Aborted) **</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: </code><code>in</code> <code>thread 7f46fe478700</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 1: (()+0x7e6fe2) [0x7f470373dfe2]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 2: (()+0xf370) [0x7f47018ae370]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 3: (gsignal()+0x37) [0x7f470008d1d7]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 4: (abort()+0x148) [0x7f470008e8c8]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 5: (__gnu_cxx::__verbose_terminate_handler()+0x165) [0x7f47009919d5]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 6: (()+0x5e946) [0x7f470098f946]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 7: (()+0x5e973) [0x7f470098f973]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 8: (()+0x5eb9f) [0x7f470098fb9f]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 9: (ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x27a) [0x7f47038332aa]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 10: (ceph::HeartbeatMap::_check(ceph::heartbeat_handle_d const*, char const*, long)+0x2d9) [0x7f47037728e9]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 11: (ceph::HeartbeatMap::is_healthy()+0xd6) [0x7f4703773126]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 12: (ceph::HeartbeatMap::check_touch_file()+0x2c) [0x7f47037738ec]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 13: (CephContextServiceThread::entry()+0x15b) [0x7f470384f2bb]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 14: (()+0x7dc5) [0x7f47018a6dc5]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 15: (clone()+0x6d) [0x7f470014f76d]</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 2017-07-25 09:25:57.525027 7f46fe478700 -1 *** Caught signal (Aborted) **</code>

<code>7月 25 09:25:57 ceph6 ceph-osd[26051]: 0&gt; 2017-07-25 09:25:57.525027 7f46fe478700 -1 *** Caught signal (Aborted) **</code>

用關鍵詞"FAILED assert(0 == "hit suicide timeout")"搜尋時，很多都為“common/HeartbeatMap.cc: 79”類開頭的異常。

基本沒有“common/HeartbeatMap.cc: 81”開頭的。

期間找了各種嘗試，巴拉巴拉好多。最後發現問題出現在新節點與老節點核心版本不一緻的情況。更新後恢複正常。

本文轉自 陳延宗 51CTO部落格，原文連結：http://blog.51cto.com/407711169/1959914，如需轉載請自行聯系原作者