При падении приложения оно создаёт core-файл, который можно проанализировать. За создание core файлов отвечает утилита coreadm. С её помощью можно указать, где будут лежать core-файлы, для каких типов создавать core-файлы и т.д.
Важно понимать, что core dump файлы системы и процессов отличаются, и их нужно анализировать по разному.
coreadm
Данная команда введённая без параметров выведет текущие настройки:
$ coreadm
global core file pattern:
global core file content: default
init core file pattern: core
init core file content: default
global core dumps: disabled
per-process core dumps: enabled
global setid core dumps: disabled
per-process setid core dumps: disabled
global core dump logging: disabled
Для того, что бы начать использовать coreadm установим путь, где будут храниться наши core-файлы:
#coreadm -g /var/cores/core.%f.%p
Далее выберем то, что хотим что бы попадало в core-файл:
#coreadm -G content
Возможные значения для content (оставлю без перевода, что бы не терялся смысл):
– ctf: CTF type information sections for loaded object files
– data: Writable private file mappings – dism: DISM mappings
– heap: Process heap
– ism: ISM mappings
– rodata: Read-only private file mappings
– shanon: Anonymous shared mappings
– shfile: Shared mappings that are backed by files
– shm: System V shared memory
– stack: Process stack
– symtab: Symbol table sections for loaded object files
– text: Readable and executable private file mappings
Либо просто указать all что бы попадало всё.
Есть ещё опции -e/-d которые означают включить/выключить определённые параметры.
Напомню, что coreadm управляется через SMF сервис svc:/system/coreadm:default. Так же можно отметить, что все изменения сохраняются в файле /etc/coreadm.conf
Правда частенько системные администраторы отключают создание core-файлов для процессов
coreadm -d process
так как они могут генерить большие объёмы данных.
При отлавливании багов лучше всего включать создание всех
Отдельно хочется отметить команду
#coreadm -e log
которая позволит регистрировать в логах появление core-файлов
dumpadm
Данная команда управляет параметрами системного crash dump’a. Управляется она тоже через SMF – svc:/system/dumpadm:default и работает через устройство /dev/dump. Команда без параметров выведет текущие настройки:
# dumpadm
Dump content: kernel pages
Dump device: /dev/zvol/dsk/rpool/dump (dedicated)
Savecore directory: /var/crash
Savecore enabled: yes
Save compressed: on
savecore/gcore
Эта утилита служит для сохранения core dump файлов. Ею очень удобно сбрасывать в дамп текущее состояние системы:
# savecore -L
dumping to /dev/zvol/dsk/rpool/dump, offset 65536, content: kernel
0:03 100% done
100% done: 128815 pages dumped, dump succeeded
savecore: System dump time: Fri Apr 27 19:46:16 2012
savecore: Saving compressed system crash dump in /var/crash/vmdump.1
savecore: Decompress the crash dump with
'savecore -vf /var/crash/vmdump.1'
# gcore $$
gcore: core.2770 dumped
Для того, чтобы проанализировать дамп, можно восстановить его в привычном виде:
# savecore -vf /var/crash/vmdump.1
savecore: System dump time: Fri Apr 27 19:46:16 2012
savecore: saving system crash dump in /var/crash/{unix,vmcore}.1
Constructing namelist /var/crash/unix.1
Constructing corefile /var/crash/vmcore.1
0:12 100% done: 128815 of 128815 pages saved
3481 (2%) zero pages were not written
0:12 dump decompress is done
Анализ core dump-файлов.
Для анализа можно использовать отладчик mdb. Вот небольшой пример использования
# /usr/bin/mdb -k unix.0
Loading modules: [ unix krtld genunix ip nfs ipc ptm ]
> ::status
debugging crash dump /dev/mem (64-bit) from ozlo
operating system: 5.10 Generic sun4v
> ::system
set ufs_ninode=0x9c40 [0t40000]
set ncsize=0x4e20 [0t20000]
set pt_cnt=0x400 [0t1024]
Очень хорошо анализ core dump файлов описаны здесь
http://solaristhings.blogspot.com/2006/08/dont-be-afraid-of-mdb.html
http://kristof.willen.be/node/1100
http://www.c0t0d0s0.org/archives/4391-Less-known-Solaris-Features-About-crashes-and-cores.html
http://www.cuddletech.com/blog/pivot/entry.php?id=965
http://www.cuddletech.com/blog/pivot/entry.php?id=966
http://eteck.blogspot.com/2012/04/solaris-crash-dump-anylysis.html
Анализ core файлов.
Небольшой пример анализа core файла:
$ ./a.out
Segmentation Fault(coredump)
$ /usr/proc/bin/pstack ./core
core './core' of 19305: ./a.out
000108c4 main (1, ffbef5cc, ffbef5d4, 20800, 0, 0) + 1c
00010880 _start (0, 0, 0, 0, 0, 0) + b8
# pflags ./core.php-fpm.22445
core './core.php-fpm.22445' of 22445: /usr/php54/sbin/php-fpm -y /usr/php54/etc/php-fpm.conf
data model = _LP64 flags = ORPHAN|MSACCT|MSFORK
/1: flags = 0
sigmask = 0xffffbefc,0xffffffff,0x000000ff
cursig = SIGSEGV
Очень удобно анализировать через gdb, но он не входит в базовую систему и его придётся доставлять отдельно.
#gdb /usr/php54/sbin/php-fpm ./core.php-fpm.23922
...
Reading symbols from /lib/amd64/libelf.so.1...done.
Loaded symbols for /lib/64/libelf.so.1
Reading symbols from /usr/lib/security/amd64/pkcs11_kernel.so.1...done.
Loaded symbols for /usr/lib/security/64/pkcs11_kernel.so.1
Reading symbols from /lib/amd64/ld.so.1...done.
Loaded symbols for /lib/amd64/ld.so.1
Core was generated by `/usr/php54/sbin/php-fpm -y /usr/php54/etc/php-fpm.conf'.
Program terminated with signal 11, Segmentation fault.
[New process 89458 ]
#0 0x000000000093f2eb in zend_fetch_var_address_helper_SPEC_CONST_VAR ()
(gdb) bt
#0 0x000000000093f2eb in zend_fetch_var_address_helper_SPEC_CONST_VAR ()
#1 0x0000000000938c81 in execute ()
#2 0xfffffd7f923747b7 in xdebug_execute () from /usr/php54/lib/php/extensions/no-debug-non-zts-20100525/xdebug.so
#3 0x00000000009394c7 in zend_do_fcall_common_helper_SPEC ()
#4 0x0000000000938c81 in execute ()
#5 0xfffffd7f923747b7 in xdebug_execute () from /usr/php54/lib/php/extensions/no-debug-non-zts-20100525/xdebug.so
#6 0x00000000008fa118 in zend_call_function ()
#7 0x00000000009222b1 in zend_call_method ()
#8 0x00000000007d0672 in zif_spl_autoload_call ()
#9 0x00000000008fa080 in zend_call_function ()
#10 0x00000000008fa8d4 in zend_lookup_class_ex ()
#11 0x000000000091170f in zend_is_callable_check_class ()
#12 0x0000000000912811 in zend_is_callable_ex ()
#13 0x00000000008f9605 in zend_call_function ()
#14 0x00000000008f93f3 in call_user_function_ex ()
#15 0x00000000008f92e7 in call_user_function ()
#16 0x00000000007c16d4 in ps_call_handler ()
#17 0x00000000007c1c0a in ps_write_user ()
#18 0x00000000007b8edf in php_session_save_current_state ()
#19 0x00000000007be9e8 in zm_deactivate_session ()
#20 0x0000000000910c1a in zend_deactivate_modules ()
#21 0x0000000000898073 in php_request_shutdown ()
#22 0x00000000009859b1 in main ()
(gdb) where
#0 0x000000000093f2eb in zend_fetch_var_address_helper_SPEC_CONST_VAR ()
#1 0x0000000000938c81 in execute ()
#2 0xfffffd7f923747b7 in xdebug_execute () from /usr/php54/lib/php/extensions/no-debug-non-zts-20100525/xdebug.so
#3 0x00000000009394c7 in zend_do_fcall_common_helper_SPEC ()
#4 0x0000000000938c81 in execute ()
#5 0xfffffd7f923747b7 in xdebug_execute () from /usr/php54/lib/php/extensions/no-debug-non-zts-20100525/xdebug.so
#6 0x00000000008fa118 in zend_call_function ()
#7 0x00000000009222b1 in zend_call_method ()
#8 0x00000000007d0672 in zif_spl_autoload_call ()
#9 0x00000000008fa080 in zend_call_function ()
#10 0x00000000008fa8d4 in zend_lookup_class_ex ()
#11 0x000000000091170f in zend_is_callable_check_class ()
#12 0x0000000000912811 in zend_is_callable_ex ()
#13 0x00000000008f9605 in zend_call_function ()
#14 0x00000000008f93f3 in call_user_function_ex ()
#15 0x00000000008f92e7 in call_user_function ()
#16 0x00000000007c16d4 in ps_call_handler ()
#17 0x00000000007c1c0a in ps_write_user ()
#18 0x00000000007b8edf in php_session_save_current_state ()
#19 0x00000000007be9e8 in zm_deactivate_session ()
#20 0x0000000000910c1a in zend_deactivate_modules ()
#21 0x0000000000898073 in php_request_shutdown ()
#22 0x00000000009859b1 in main ()
Очень удобно так же запустить программу через gdb:
#gdb /path/to/program
(gdb) run
Starting program: /usr/php54/sbin/php-fpm
[New LWP 1 ]
warning: Lowest section in /lib/amd64/librt.so.1 is .dynamic at 00000000000000b0
warning: Lowest section in /lib/amd64/libpthread.so.1 is .dynamic at 00000000000000b0
warning: Lowest section in /lib/amd64/libdl.so.1 is .dynamic at 00000000000000b0
warning: Lowest section in /lib/amd64/libthread.so.1 is .dynamic at 00000000000000b0
[11-Oct-2012 11:00:33] WARNING: [pool www] pm.start_servers is not set. It's been set to 6.
Program exited normally.
А можно и через mdb:
# mdb /usr/php54/sbin/php-fpm ./core.php-fpm.23922
Loading modules: [ libc.so.1 libuutil.so.1 libnvpair.so.1 ld.so.1 ]
> $C
fffffd7fffdf8a80 zend_fetch_var_address_helper_SPEC_CONST_VAR+0x3b()
fffffd7fffdf8ae0 execute+0x2b1()
fffffd7fffdf8b80 xdebug.so`xdebug_execute+0x877()
fffffd7fffdf8bf0 zend_do_fcall_common_helper_SPEC+0x397()
fffffd7fffdf8c50 execute+0x2b1()
fffffd7fffdf8cf0 xdebug.so`xdebug_execute+0x877()
fffffd7fffdf8e40 zend_call_function+0xd18()
fffffd7fffdf8f40 zend_call_method+0x1f1()
fffffd7fffdf8fe0 zif_spl_autoload_call+0x122()
fffffd7fffdf9130 zend_call_function+0xc80()
fffffd7fffdf9270 zend_lookup_class_ex+0x314()
fffffd7fffdf92c0 zend_is_callable_check_class+0x23f()
fffffd7fffdf9370 zend_is_callable_ex+0x5e1()
fffffd7fffdf94c0 zend_call_function+0x205()
fffffd7fffdf9520 call_user_function_ex+0x53()
fffffd7fffdf9590 call_user_function+0x127()
fffffd7fffdf95d0 ps_call_handler+0x64()
fffffd7fffdf9630 ps_write_user+0x11a()
fffffd7fffdf9660 php_session_save_current_state+0x6f()
fffffd7fffdf9a90 zm_deactivate_session+0x38()
fffffd7fffdf9ec0 zend_deactivate_modules+0x6a()
fffffd7fffdfcaf0 php_request_shutdown+0x153()
fffffd7fffdffcb0 main+0xd81()
fffffd7fffdffcc0 0x54000b()
А ещё есть мощная утилита CAT .
