Software research and development

FreeBSD and Edge E120

2012-01-22T09:33:00.000-08:00

Этот топик связан с продвижением процесса настройки и установки FreeBSD на недавно купленный Lenove Thinkpad Edge E120 о нем подробней.

Трудности:

Хочется вместо VESA подключить Intel GMA 300 драйвер
Не удается настроить иксы(возможно из-за не родного драйвера) и сейчас все сжато по высоте.
Когда вставляю наушники, не появляется звук в наушниках и не исчезает в динамиках.

Попытки:

С моей Video-карточкой Intel GMA 3000 все сложно, ведутся работы в проекте и по этому поводу можно почитать тут.
Да, все дело в разрешении. Смена драйвера, как только его из Current в Head затащат, должна помочь.
Для решения попробовать Wiki Freebsd Sound. Также нужно почитать man snd_hda(4)

Developers artilcle ULRs

2012-01-22T05:09:00.000-08:00

Собственно надо бы куда-нибудь помещать ссылки на статьи по разработки, которые мне показались интересными и полезными. Этот топки и есть список таких ссылок.

Разработка ПО

Тестирование ПО:

FreeBSD article URLs

2012-01-18T02:45:00.000-08:00

Здесь буду перечислять список URL-ов на статьи по FreeBSD которые мне понравились.

Обзор девайсов:

ATA_STATIC_ID

Исключительно по UNIX:

UNIX TOOLBOX

FreeBSD это охрененное средство для обновления мозгов

Развитие деловых качеств

2011-12-25T03:44:00.000-08:00

Вобщем-то встречаю немало интересных мануалов в инэте по развитию личностных деловых качеств и хочется полезные из них куда-нить записывать. Эта тема есть список подобных мануалов.

Настройка FreeBSD 9.0 amd64

2011-12-25T02:49:00.000-08:00

Вообщем-то в этой теме хочу перечислить все что я делаю по настройке FreeBSD 9.0 amd64, пока RC3 для настройки, чтобы начать чувствовать себя как обычный привычный юзер работающий за виндой и не хавающий мозг вопросами "А как можно распечатать?" или "Как можно посмотреть DJVU? ". Вобщем целью сего топа является перечисление настроек по настройке десктоп окружения.

0. Первичные настройки

Отключения сигнала Beep в консоли:

# echo "hw.syscons.bell=0" >> /etc/sysctl.conf

Задание имени компа:

# echo 'hostname="ТУТА_ИМЯ_КОМПА"' >> /mnt/etc/rc.conf

Все дальнейшие настройки касаются файла ".cshrc", т.к. он настраивает csh. Итак, для разноцветности вывода тулзов нужно добавить:

Для grep:
alias grep grep --colour=auto

Для ls:
setenv CLICOLOR 1
setenv LSCOLORS ExGxFxdxCxDxDxBxBxExEx

Теперь изменим shell-prompt на более дружелюбный:
set prompt = "%n@%m [%B%c%b]%# "

1. Загрузка картинки во время старта вместо диагностических сообщений.

Основание: сообщения в логах можно увидеть и они нужны только при разборе полетов и очень редко нужно видеть что-то на экране из диагностики. Если уж понадобится, то врубить несложно.

Загрузить картинку BMP-формата и разрешением не больше "1024х768", лично у меня "640x480", затем ложим в папку "/boot/" и делаем так:

# echo 'vesa_load="YES"' >> /boot/loader.conf
# echo 'splash_bmp_load="YES"' >> /boot/loader.conf
# echo 'bitmap_load="YES"' >> /boot/loader.conf
# echo 'bitmap_name="/boot/ИМЯ_ВАШЕГО_ФАЙЛА"' >> /boot/loader.conf

Я специально пометил большими буквами куда надо вколотить гвоздями имя файла содержащего сплэш-картинку.

2. Настройка WiFi

Пока настроено так. Да это то что я запостил совсем недавно. Пока не решил проблему настройки под много сетей будет так. Вопрос который решаю в этом направлении звучит так:

Как настроить несколько точек доступа, к примеру "домашняя", "рабочая", "макдональдс", "дом второй мамы" и чтобы фриха автоматом шарилась по этим точкам в попытках подключиться.

3. Двоичная совместимость с Linux

Для общения по Skype и просмотра флэш-роликов на ютубе нужно поставить эту совместимость.

# echo 'linux_enable="YES"' >> /etc/rc.conf
# echo 'linproc /compat/linux/proc linprocfs rw 0 0' >> /etc/fstab
# mkdir -p /compat/linux/proc
# mount /compat/linux/proc
# /etc/rc.d/abi start

3. Графический пользовательский интерфейс

Понимание магии в этом вопрос помог хэндбук.

# pkg_add -r xorg
# pkg_add -r xfce4

# echo 'hald_enable="YES"' >> /etc/rc.conf
# echo 'dbus_enable="YES"' >> /etc/rc.conf

Затем создал возможность запуска по startx, заюзал из хэндбука:

% echo "/usr/local/bin/startxfce4" > ~/.xinitrc

Однако сделал это под root.

Несмотря на то что иксы по startx запускаются сделал такое:

# Xorg -configure

Затем поставил:

# pkg_add -r xfce4-xkb-plugin

Этот пакет дает возможность вывести индикатор раскладки и задать привычную мне горячую клавишу по смене раскладки "ctrl_shift". Правда у меня какой-то глюк, при нажатии на Shift и '?', у меня не появляется ',' а появляется '?'. Я к такому не привык и ищу как бы это решить :)

4. Установка Google Chrome и флэш к нему

Сам хром поставил так:

# pkg_add -r chromium

Флэш поставил на основе этой статьи, из нее скомуниздил:

# cd /usr/ports/www/linux-f10-flashplugin11
# make install clean
# cd ../nspluginwrapper
# make install clean
# mkdir /usr/local/lib/browser_plugins
# nspluginwrapper -a -i
# mkdir -p <ТУТА_ДОМАШНИЙ_КАТАЛОГ_ЮЗЕРА>/.mozilla/plugins
# ln -s /usr/local/lib/browser_plugins/npwrapper.libflashplayer.so <ТУТА_ДОМАШНИЙ_КАТАЛОГ_ЮЗЕРА>/.mozilla/plugins

Дальше в адресной строке Chrome пишем "chrome://plugins" и наблюдаем флэш-плагин.

5. Midnight Commander

# pkg_add -r mc

Настройка WiFi на Thinkpad e120

2011-12-21T13:06:00.000-08:00

Опишу тут, чтобы не забыть, как мне на моем Lenovo Thinkpad e120 интернет через WiFi настроить.

# echo 'if_iwn_load="YES"' >> /boot/loader.conf
# echo 'wlan_wep_load="YES"' >> /boot/loader.conf
# echo 'wlan_ccmp_load="YES"' >> /boot/loader.conf
# echo 'wlan_tkip_load="YES"' >> /boot/loader.conf
# echo 'wlans_iwn0="wlan0"' >> /etc/rc.conf
# echo 'ifconfig_wlan0="WPA DHCP"' >> /etc/rc.conf

# wpa_passprase <тут задаем SSID> <тут задаем пароль> >> /etc/wpa_supplicant.conf

Открываем этот созданный файл и задаем:

network={
ssid="тут мой SSID"
key_mgmt=WPA-PSK
#psk=тута мой пароль
psk=тут дохрена цифр связанных с моим паролем
}

Задать надо именно "key_mgmt" поле!

Установка FreeBSD на MBR+ZFS

2011-12-20T01:39:00.000-08:00

В виду того что купил новый девайс Lenovo ThinkPad Edge E120 мне очень захотелось поставить туда FreeBSD. На данный момент модно ставить GPT , а сверху ZFS. Однако у меня появились не малые траблы с этим. По видимому EFI там весьма кривой. Вот собственно тема про трудности и что собственно я предпринял.

В этой заметке описываю как ставить на базе MBR + GPT + 9.0 amd64 RC3

Задача:
Установить FreeBSD 9.0 amd64 RC3 с корнем и основной ФС на базе ZFS.

В наличии:
Процессор : 64-битный
Жесткий диск : 298 ГБ
Оперативка : 2ГБ

Терминология:
пул - под этим словом понимается пул устройств создаваемый командой "zfs create"
amd64zfs - используется в качестве имени ZFS пула
ada0 - это имя устройства жесткого HITACHI SATA-диска, куда я ставлю систему
ada0s1 - это имя устройства слайса в MBR на который размечаем BSD-разметку
Fixit - Командная строка LiveCD. Нужно загрузиться с memstick или DVD образа. Выбрать на старте опцию "LiveCD"

Опираемся на статьи:

http://wiki.freebsd.org/RootOnZFS/ZFSBootPartition
http://www.aisecure.net/2011/11/28/root-zfs-freebsd9/

1. Размечаем диск в MBR и создаем слайс:

Fixit# gpart create -s MBR ada0
Fixit# gpart add -t freebsd ada0

2. Размечаем слайс в BSD и создаем партиции:

Fixit# gpart create -s BSD ada0s1
Fixit# gpart add -s 294G -t freebsd-zfs ada0s1
Fixit# gpart add -t freebsd-swap ada0s1

Note: swap должен быть после zfs-партиции

3. Задаем активный слайс:

Fixit# gpart set -a active -i 1 ada0

4. Увеличиваем /tmp до 512МБ:

Fixit# umount /dev/md1
Fixit# mdmfs -s 512M md1 /tmp

5. Создаем zfs пул:

Fixit# zpool create amd64zfs /dev/ada0s1a
Fixit# zpool set bootfs=amd64zfs amd64zfs
Fixit# zfs set checksum=fletcher4 amd64zfs

6. Пишем загрузчик:

Fixit# gpart bootcode -b /boot/mbr ada0

7. Временно монтируем пул:

Fixit# zfs set mountpoint=/mnt amd64zfs

8. Устанавливаем ZFS-загрузчик

* Экспортируем пул перед установкой буткода

Fixit: zpool export amd64zfs

* Сетапим будкод стадии №1

Fixit# dd if=/boot/zfsboot of=/dev/ad0s1 count=1

Note: Если появится сообщение "operation not permitted", то попробуй:

Fixit# sysctl kern.geom.debugflags=0x10

* Сетапим буткод Стадия №2

Fixit# dd if=/boot/zfsboot of=/dev/ad0s1a skip=1 seek=1024

Note: Важно понимать что этот будкод устанавливается в подходящую дыру на диске в ФС согласно формату ZFS это как раз после ZFS мета-данных, т.е. seek=1024

* Импортируем пул для продолжения установки

Fixit: zpool import -o cachefile=/tmp/zpool.cache amd64zfs

9. Создаем файловые схемы:

Fixit# zfs create amd64zfs/data
Fixit# zfs create amd64zfs/usr
Fixit# zfs create amd64zfs/usr/home
Fixit# zfs create -o quota=4G amd64zfs/tmp
Fixit# zfs create -o quota=4G amd64zfs/var
Fixit# zfs create -o quota=4G amd64zfs/var/tmp
Fixit# zfs create -o setuid=off amd64zfs/var/db
Fixit# zfs create -o setuid=off amd64zfs/usr/obj
Fixit# zfs create -o exec=off -o setuid=off amd64zfs/var/empty
Fixit# zfs create -o compression=lzjb -o exec=on -o setuid=off amd64zfs/usr/src
Fixit# zfs create -o compression=off -o exec=on -o setuid=off amd64zfs/usr/ports
Fixit# zfs create -o compression=lzjb -o exec=off -o setuid=off amd64zfs/var/crash
Fixit# zfs create -o compression=off -o exec=off -o setuid=off amd64zfs/usr/ports/distfiles
Fixit# zfs create -o compression=off -o exec=off -o setuid=off amd64zfs/usr/ports/packages

10. Задаем привычные права:

Fixit# chmod 1777 /mnt/tmp
Fixit# chmod 1777 /mnt/var/tmp
Fixit# cd /mnt ; ln -s usr/home home

11. Создадим под-шел:

Fixit# sh

Note: По умолчанию используется tsch.

12. Установка системы:

Fixit# cd /usr/freebsd-dist
Fixit# export DESTDIR=/mnt
Fixit# for file in base.txz lib32.txz kernel.txz doc.txz ports.txz src.txz;
Fixit# do (cat $file | tar --unlink -xpJf - -C ${DESTDIR:-/}); done

13. Задание настроек загрузчика:

Fixit# echo 'zfs_enable="YES"' >> /mnt/etc/rc.conf
Fixit# echo 'zfs_load="YES"' >> /mnt/boot/loader.conf
Fixit# echo 'vfs.root.mountfrom="zfs:amd64zfs"' >> /mnt/boot/loader.conf
Fixit# cat << EOF > /mnt/etc/fstab

Пишем следующее:

# Device Mountpoint FStype Options Dump Pass#
/dev/ada0s1b none swap sw 0 0
EOF
Note: Посмотри и убедись в назначении ada0s1b это точно своп?

14. Копирование кэша пула:

Fixit# cp/tmp/zpool.cache /mnt/boot/zfs/zpool.cache

15. Размонтировать все системы:

Fixit# zfs set readonly=on amd64zfs/var/empty
Fixit# umount -f /mnt
Fixit# zfs umount -a

16. Изменяем точки монтирования для пула?

Fixit# zfs set mountpoint=legacy amd64zfs
Fixit# zfs set mountpoint=/tmp amd64zfs/tmp
Fixit# zfs set mountpoint=/usr amd64zfs/usr
Fixit# zfs set mountpoint=/var amd64zfs/var

UNIX-like systems and tools

2011-12-14T01:40:00.001-08:00

Здесь буду приводить ссылки на статьи об UNIX-подобных системах и тулзах в составе этих тулзов.

Расширенные возможности использования команды find в UNIX

Windows7 God mode

2011-11-26T03:01:00.001-08:00

Где нашел не помню, но мне понравилось. Вобщем-то можно собрать все настройки для Windows 7 в одном месте. Шобы это чудо зафигачить надо создать на рабочем столе создать папку с названием "GodMode.{ED7BA470-8E54-465E-825C-99712043E01C}"

Необходимые программы на FreeBSD?

2011-11-21T07:25:00.001-08:00

Надумал я переходить на использование FreeBSD. Поэтому перед тем как перейти мне надо куда-нибудь записать свои "хочучки". Вобщем-то именно для этого и служит эта тема.

0.Информационная безопасность:

Шифрование раздела, аналогично TrueCrypt
WinPCap-аналог для изучения трафика
Клиент VPN

I.Пользовательское:

Смотреть видео
Слушать аудио
Internet browser
Клиенты ICQ, Jabber
Почтовый клиент
Файловый менеджер подобный Far и Norton
Читать\Писать электронные документы от Microsoft и OpenOffice
Аналог Microsoft Visio
Читать электронные книги в форматах djvu, pdf, chm
Клиент Torrent-сетей
Писать DVD-диски
Редактировать ISO-диски

II.Программирование:

Писать на Python 3.2 и 2.7
Клиент SVN;
Клиент Git
C\C++
Среда разработки
CMake

В общем-то я сначала куплю нетбук, поставлю че-можно на него. После того как освоюсь, тогда и можно будет думать о переводе основного инструмента, ноутбука, на фриху.

В связи с чем:

Какой нетбук покупать?
Че можно из выше перечисленного туда на сетапить?

Пока выбрал такую вот модель:

Lenovo ThinkPad Edge E120 и тут тоже про него

Как заюзать unittest на Pyhon

2011-11-04T11:56:00.000-07:00

Вобщем, только что освоил это чудо и чтобы не забыть как его юзать напишу минисорец, который покажет мне все что мне надо знать и не забыть.

#!/usr/bin/env python
#
# Script result:
# setUpClass
# setUp
# test_proba1
# tearDown
# setUp
# test_proba2
# tearDown
# tearDownClass

import unittest

class TestProba(unittest.TestCase):

@classmethod
def setUpClass(self):
with open( 'proba.log', 'a+t' ) as f:
f.write( 'setUpClass\n' )

@classmethod
def tearDownClass(self):
with open( 'proba.log', 'a+t' ) as f:
f.write( 'tearDownClass\n' )

def setUp(self):
with open( 'proba.log', 'a+t' ) as f:
f.write( 'setUp\n' )

def tearDown(self):
with open( 'proba.log', 'a+t' ) as f:
f.write( 'tearDown\n' )

def test_proba1(self):
with open( 'proba.log', 'a+t' ) as f:
f.write( 'test_proba1\n' )

def test_proba2(self):
with open( 'proba.log', 'a+t' ) as f:
f.write( 'test_proba2\n' )

if __name__ == '__main__':
unittest.main()

Запрещайте явно операцию присвоения и конструктор копирования

2011-10-15T02:27:00.000-07:00

Сегодня решил написать функцию в своем мини-фреймворке. Смысл этой функции вернуть объект std::fstream по заданному имени. Какого же было мое удивление, что нельзя вызвать операцию присвоения, но об этом я узнал в результате экспериментов. До них ругалось и ругалось так, что не совсем понятно что делать?

Вот код банальной функции:
#include

void Class1::Method1()
{
std::fstream file1;
std::fstream file2 = file1;
}

Ругается так:

1>c:\program files (x86)\microsoft visual studio 9.0\vc\include\fstream(934) : error C2248: 'std::basic_ios<_Elem,_Traits>::basic_ios' : cannot access private member declared in class 'std::basic_ios<_Elem,_Traits>'
1> with
1> [
1> _Elem=char,
1> _Traits=std::char_traits
1> ]
1> c:\program files (x86)\microsoft visual studio 9.0\vc\include\ios(151) : see declaration of 'std::basic_ios<_Elem,_Traits>::basic_ios'
1> with
1> [
1> _Elem=char,
1> _Traits=std::char_traits
1> ]
1> This diagnostic occurred in the compiler generated function 'std::basic_fstream<_Elem,_Traits>::basic_fstream(const std::basic_fstream<_Elem,_Traits> &)'
1> with
1> [
1> _Elem=char,
1> _Traits=std::char_traits
1> ]
1>Generating Code...

Что на мой взгляд не совсем описательно. Было бы куда лучше, если бы авторы класса std::fstream реализовали класс:

class NonCopyable
{
protected:
NonCopyable() {};
~NonCopyable() {};
private:
NonCopyable( const NonCopyable& );
NonCopyable& operator=( const NonCopyable& );
};

и уж от него унаследовавшись мы получаем более вразумительные описания ошибок.

Что есть "тулза-фильтр" ?

2011-10-04T14:24:00.000-07:00

Решил сознаться в собственном 2х недельном тупизме. Кто будет читать наверно будет в диком восторге, как будто баш прочитал.

Предистория :
Решил таки написать себе криптор, ато без подобной тулзы как-то не живется! ;) Думаю "криптор" вполне понятно для чего и зачем надо...

Разработка:
Подумал что было бы неплохо принимать на входе некоторого сетевого интерфейса файлы и потом какой-нить тулзой формировать принятое куда-нить, чтобы криптор мог бы обработать и подать на выход, а дальше чтобы другая тулза полученную крипту послала по сети куда-нить. Решил, почему-то, что уж очень это похоже на тулзу-фильтр в привычной многим UNIX-философии, а раз так то буду ка я принимать вход на STDIN и выдавать крипту на STDOUT. Ну а дальше кому-чего надо пусть пишет все по средством shell пайпов и т.д. и т.п. Вроде счастье есть.

Затык:
В виду того что мой криптор работает с исполнимыми файлами, формат которых далеко не тривиален и поэтому в них надо позиционироваться от начала к концу и довольно часто, то надо бы иметь на входе Random Access. Как на STDIN получить это?

Вывод:

Собственно вывод прост, там где надо на входе иметь Random Access, то это уже не тулза-фильтр!

Почему:

Это не тулза-фильтр потому что подход UNIX-way гласит "постарайтесь гадить текстом", т.е. работая с бинарными данными это означает идет резработка весьма прикольного фильтра.
На входе, т.е. STDIN, можно получить Random Access скопировав куда-нить входное внутренний временной файл. Но это же костыль!

Как понял ? Как и советует вся "Программер индустрия":

Если что-то идет с треском, значит ты где-то что-то не допонял или пишешь не верно.
Страйся, по мере возможностей, показать свои мысли кому-нить, возможно кто-то покажет в чем именно ты дебил?!

Вычисление MD5 по файлу

2011-10-02T10:53:00.000-07:00

В очередной раз порывшись в сорцах на предмет корректно написанной процедуры вычисления MD5 и потратив где-то 5 минут с возгласами "где же оно?", решил запостить сюда, чтобы проще было искать:

def md5checksum( filename ) :
md5 = hashlib.md5()
with open( filename , 'rb' ) as f :
for chunk in iter( lambda: f.read( md5.block_size * 128 ), '' ) :
if not chunk :
break
md5.update( chunk )
return md5.hexdigest().upper()

Управление памятью в C++

2011-09-25T02:47:00.000-07:00

Поделюсь с довольно занятной ссылкой, где описан сабж. Вот сама ссылка на Memory Management in C++. Надеюсь кому еще поможет, а не только мне.

Характеристики моего цифрового фотоаппарата

2011-09-22T00:15:00.001-07:00

У меня Nikon D40 Kit. Почитать можно тут. Устал считать эффективное фокусное расстояние и решил раз и навсегда записать в этом посте и заодно, если кто спросит "че у тебя за штука?", то дам ссылку на этот пост.

Объектив: NIKON AF-S 18-55 mm f/3.5-5.6 G DX

Матрица: CCD, Nikon DX, 23,6 x 15,8 мм; 6,3 млн. пикселей

Считаем:
Для обычной и привычной пленки 35мм кадр будет 36х24. У меня же матрица 23.6х15.8. Теперь поделим 36 на 23.6 и получим приблизительно 1.5. Это ничто иное как кроп-фактор. Объектив у меня 18-55 и того 18*1.5 = 27 и 55*1.5= 82.5.

ЭФР есть 27-82.5.

Невозможно выйти из вечного цикла

2011-08-12T23:55:00.000-07:00

Вот код написанный для версии 3.2:

while True :
reply = input( 'Enter text: ' )
if reply == 'stop' : break

try :
num = int( reply )
except :
print( 'Bad!' * 8 )
else :
print( int( reply ) ** 2 )
print( 'Bye' )

Я ввожу 'stop' , но почему-то не вижу завершения цикла! Почему?

Ответ(base64.ru):

0JzQtdGI0LDQtdGCINC60L7QvdC10YfQvdGL0Lkg0YHQuNC80LLQvtC7ICdcbicg0Lgg0LXQs9C+INC90YPQttC90L4g0L7QsdGA0LXQt9Cw0YLRjCwg0Log0L/RgNC40LzQtdGA0YMg0YLQsNC6OiByZXBseSA9IGlucHV0KCAnRW50ZXIgdGV4dDogJyApLnN0cmlwKCk=

OllyDbg 2.x теперь с плагинами

2011-08-08T01:16:00.000-07:00

Наверное все привыкли, что олька в чем-то не удобно, а в чем-то это самый удобный инструмент. Меня как-то не вставляла ветка 1.x и я ждал когда же будут плагины к 2-ке! Вот! Вот оно свершилось, теперь оно с плагинами ! ;)))

Исключите строчку в списке процессов из результатов после grep.

2011-06-05T05:30:00.000-07:00

Когда хочется найти определенный процесс запущенного под конкретным пользователем, то как правило пишут, что-нибудь такое:

% ps -fS user1 | grep process_name

Однако в результат попадет также и упоминание о запущенном grep, а это не совсем красиво.
Вот пример:

grep 1001 user1 process_name

Как сформулировать мысль так, чтобы было исключена подобная строка?

Ответ(base64.ru)
cHMgLWZTIHVzZXIxIHwgZ3JlcCBbcF1yb2Nlc3NfbmFtZQ==

Первый опыт оптимизации ядра FreeBSD 8.2 RELEASE

2011-04-17T13:15:00.000-07:00

Взял сегодня список добрых дел, читай todo-лист, в котором описано чего хочу сделать за год и увидел "Перейти на FreeBSD" и подзадачу "Научиться оптимизить, компилить, тестить и ставить новое ядро". Именно этим сегодня и занялся.

Итак, исходные данные:

VMWare workstation, созданная гостевуха на базе i386 архитектуры, с отключенным floppy, sound, COM1-портом;
Установленная FreeBSD 8.2 i386 RELEASE, без иксов;

Читая Майкла Лукаса про "Absolute FreeBSD" 2nd edition понял, что мне куда ближе следующий путь компиляции ядра:

Создание нового конфига ядра(# vi /sys/i386/conf/SYSDEVKERN );
Включение GENERIC( include GENERIC);
Дальнейшее отключение ненужных мне девайсов, процессоров и опций(nocpu, nodevice, nooptions);

Кто-то может возразить "Нафига так мудрить? Куда проще скопировать GENERIC в MYKERN и убрать оттуда не нужное". Но! У этого метода есть изъян:

В будущем GENERIC может включать в себя все более новые фичи. Вы будете вынуждены скопировать очередной раз и удалить не нужное повторно!

В моем же случае, это не обязательно будет делать. То чего нет, не отключится! А то что нужно так и останется быть включеным! Даже то чего я еще не знаю. )))

В результате родился такой вот конфиг:
include GENERIC

ident SYSDEVKERN

# VMware has Intel Core duo(I686_CPU class)
nocpu I486_CPU
nocpu I586_CPU

nooptions INET6

nodevice eisa
nodevice fdc

nodevice ataraid
nodevice atapifd

nodevice ahb
nodevice ahc
nodevice AHC_REG_PRETTY_PRINT
nodevice ahd
nodevice AHD_REG_PRETTY_PRINT
nodevice amd
nodevice hptiop
nodevice isp
nodevice ispfw
nodevice ncr
nodevice sym
nodevice trm
nodevice adv
nodevice adw
nodevice aha
nodevice aic
nodevice bt
nodevice ncv
nodevice nsp
nodevice stg

nodevice amr
nodevice arcmsr
nodevice asr
nodevice ciss
nodevice dpt
nodevice hptmv
nodevice hpttrr
nodevice iir
nodevice ips
nodevice mly
nodevice twy

nodevice aac
nodevice aacp
nodevice ida
nodevice mfi
nodevice mlx
nodevice pst
nodevice twe

nodevice de
nodevice igb
nodevice ixgb
nodevice le
nodevice ti
nodevice txp
nodevice vx

nodevice miibus
nodevice ae
nodevice age
nodevice alc
nodevice ale
nodevice bce
nodevice bfe
nodevice bge
nodevice dc
nodevice et
nodevice fxp
nodevice jme
nodevice lge
nodevice msk
nodevice nfe
nodevice nge
nodevice nve
nodevice pcn
nodevice re
nodevice rl
nodevice sf
nodevice sge
nodevice sis
nodevice sk
nodevice ste
nodevice stge
nodevice tl
nodevice tx
nodevice vge
nodevice vr
nodevice wb
nodevice xl

nodevice cs
nodevice ed
nodevice ex
nodevice ep
nodevice fe
nodevice ie
nodevice sn
nodevice xe

nodevice wlan
nooptions IEEE80211_DEBUG
nooptions IEEE80211_AMPDU_AGE
nooptions IEEE80211_SUPPORT_MESH
nodevice wlan_wep
nodevice wlan_ccmp
nodevice wlan_tkip
nodevice wlan_amrr
nodevice an
nodevice ath
nodevice ath_hal
nodevice AH_SUPPORT_AR5416
nodevice ath_rate_sample
nodevice ral
nodevice wi
nodevice wl

nodevice vlan

nodevice ukbd
nodevice ulpt
nodevice ums
nodevice urio
nodevice u3g
nodevice uark
nodevice ubsa
nodevice uftdi
nodevice uipaq
nodevice uplcom
nodevice uslcom
nodevice uvisor
nodevice uvscom

nodevice aue
nodevice axe
nodevice cdce
nodevice cue
nodevice kue
nodevice rue
nodevice udav

nodevice rum
nodevice uath
nodevice ural
nodevice zyd

options INCLUDE_CONFIG_FILE # Include this file in kernel

Как видно я отрубил IPv6 и множество Wireless-устройств, RAID-контроллеров и USB-устройств, ну и исторические процы 486 и 586.

Ну а дальше я скомпилировал и одноразово загрузился с этого ядра:

# make KERNCONF=SYSDEVKERN INSTKERNNAME=kernel.sysdev
# nextboot -k /boot/kernel.sysdev

Последняя команда патчит настроечные файлы так, чтобы загрузиться с этого ядра только один раз! Думаю это весьма полезно при удаленной отладке ядра. Ну а когда загрузился с ядра, то убедившись в работоспособности удалил старое и переименовал это в новое:

# rm -rf /boot/kernel
# mv /boot/kernel.sysdev /boot/kernel

Опирался в основном на результаты:

dmesg | grep -i <тут че-нить>
pciconf -lv
atacontrol -list
kldstat -v

Но как ни странно /sys/i386/conf/LINT мне ни в чем не помогло. Мне там нифига не понятно ))

Вывод: Новое ядро след. раз буду компилировать только если захочу новую фичу и она не появится без добавления этой опции в конфиг ядро с последующей перекомпиляцией. Ну а так, чего-то пока смысла не увидел!

ЗЫ:
VMwar-ный файл жесткого диска, жутко разбух где-то около 3.12 ГБ и архивация по LZMA2 дает вместо прежних 333МБ уже 477MБ. Так что виртуалка в коллекции вм-образов будет больше места занимать, что совсем не радует!

Русский перевод. Майкла Лукаса "FreeBSD. Полное руководство"

2011-04-12T12:52:00.000-07:00

Сегодня вечером продолжая читать книгу по FreeBSD от Майкла Лукаса обнаружил ошибку перевода. Так она меня млин забесила, что решил написать об этом в блоге.

Я всегда стараюсь учиться на практике, прочитал чуть-чуть и тут же попробовал на практике. Сегодня тыкая команду:

% du -i

для того чтобы узнать количество свободных inode-ов увидел, что команда выдает результат:

du: illegal options --i

Вот текст:

Увидеть количество свободных индексных дескрипторов, доступных в файловой системе, можно с помощью команды du –i.

Да! Это в русской версии книги! ;( Но заменив du на df увидел то что хотел. Решил посмотреть, что пишет сам Лукас?

Use df -i to see how many inodes remain free on your filesystem.

Мораль: Всегда держите при себе копию того что вы читаете на языке оригинала! Даже если вы плохо знаете этот язык.

ЗЫ: Книгу взял по этой ссылке.

Интерфейс консольных утилит UNIX-like системз

2011-04-11T06:36:00.000-07:00

Буквально на днях в моем бредовом сознании возникла мысль: "Ты наконец-то знаешь как надо разрабатывать консольные тулзы". Возможно немного высокопарно, возможно потом, спустя годы, скажу: "На самом деле я нифига ничего так и не понял по существу". Однако сейчас у меня есть хоть какая-то альфа-версия понимания того, как все же надо разрабатывать тулзы консольного типа. Понял это только благодаря ковырянию в FreeBSD, т.е. непосредственно в результате метода "научного фтыка".

Итак, выведу некоторые правила и критерии, которых буду придерживаться в своих дальнейших разработках:

Обязательные:

Любая консольная тулза выполняет строго одно действие и делает это хорошо, понятно и непротиворечиво;
Сообщения об ошибках пишутся исключительно в STDERR;
Тулза должна понимать аргументы: "-h, --help, -?, -v, --version";

Благодаря чтению книги "Программное обеспечение UNIX" Брайна Кернигана мне стало понятно, что в большинстве случаев разрабатываю программы-фильтры. Эти программы предназначены для обработки некоторых входных данных и подачи на выход. Очень часто подобного рода программ можно встретить в соединениях с чем-либо через "пайп", банальный пример:

# dmesg | grep CPU

Тут тулза grep как раз выступает в роли фильтра, т.к. берет на входе данные от dmesg -> обрабатывает -> выдает на выход, точнее STDOUT, который по дефолту связан с терминалом.

К тулзам-фильтрам можно выставить обязательные для выполнения требования, по мимо тех что указаны в верху:

Если не заданы входные данные через аргументы командной строки, то их надо брать из STDIN;
В случае если ну указаны сведения куда выводить результат, то его нужно выводить в STDOUT;

Реализуя работу с STDIN, STDOUT, STDERR в своей тулзе вы тем самым дадите возможность пользователю включить свою тулзу в код скрипта. Ведь до вашей тулзы может сколь угодно большое количество других программ, которые в свою очередь могут брать данные из баз данных, сетевых ресурсов, файлов, устройств и т.д. и т.п. Также после вашей тулзы возможно неменее большое чем на входе количество программ, которые также как и на входе могут отдавать данные в сеть, базы данных, файлы, устройства и т.д. и т.п.

Взглянем некоторых поток команд связанных посредством механизма "пайп", который поддерживают, чуть ли не все UNIX командные интерпретаторы:

% trojan_gen --compiller_type=MSVC --compiller_version=v90 | malware_cryptor --complexity_level=2 | tee sample.bin | send2client --list=clients_emails.lst

Пример конечно надуманный и в реальности врядли встретится по причине громоздкости и неуклюжести, но тем не менее пример показывает что "malware_cryptor" выступает в роли тулзы-фильтра и что его можно удобно использовать реализовав работу с STDIN\STDOUT соглассно критериям для тулзов-фильтров указанных выше.

Вы только вдумайтесь, какой сложный процесс обработки можно создать и при этом не особо парясь! А ведь всего достаточно знать принцип UNIX-утилит:

Тулза должна делать ровно одно дело и ничего более, при этом делать его хорошо!

P.S.:
Советую почитать на хабре статью под названием " Команда dd и все, что с ней связано " . Она дает понимание "UNIX way".

Список ПО, которое использую

2011-03-31T11:59:00.000-07:00

Буду тут обновлять список ПО, которое использую с ссылками на офиц. сайты и обзоры ПО(если такие найдутся).

Видосы для реверсеров

2011-03-14T01:26:00.000-07:00

Нашел интересный ресурс, где есть видосы связанные с информационной безопасностью и реверсингом. Вот securitytube

Использование файлов во FreeBSD

2011-03-02T01:36:00.000-08:00

Все что тут напишу, это своего рода пересказ того что прочитал в книге Б. Кернигана, но на понятном мне языке. Для будущего напоминания об азах ;)

Файловая система UNIX различает для файла:

Содержимое;
Служебную информацию(inode).

Служебная информация это расположение файла на диски, время изменения содержимого, время использования содержимого и время изменения самой служебной информации и др. Служебная информация хранится в спец. файле i-node(сейчас дефис принято опускать).

Нужно заметить, что каждый inode имеет свое значение, циферку, которая уникальна в пределах одного устройства хранения, да я не оговорился, не слайса или партиции, а именно девайса!

Теперь приведу несколько полезных опций команды "ls":

-c - сортировать по времени модификации inode;
-u - сортировать по времени последнего использования;
-t - сортировать по времени, начиная с самого нового;
-i - выводить значения inode;
-l - подробный вывод о файлах;
-q - принудительный вывод не графических символов.

Теперь "неочевидность" выполнив команду:

#date > filename

Казалось бы изменилось содержимое, т.е. файл использовался, но тем не менее эта время на время использования не влияет! Поэтому вывод ls -u может немного обескуражить :) Под использованием следует понимать "просмотр", "чтение", "запуск на выполнение", а вот "запись" почему-то не является операцией использования.

Для того чтобы посмотреть, когда же менялся файл мы должны выполнить:

#ls -lt

Чтобы узнать когда файлу поменяли маску доступа или модифицировали, то можно запустить так:

# ls -lc

Думаю на этом все! ;)

Удалите файл

2011-02-24T23:16:00.000-08:00

Создайте файл с именем "-t" зайдя на UNIX-подобную машину. К примеру так:
# ed
a
test file
.
w -t
q
# ls -l
убедитесь в его существовании! А теперь попробуйте удалить.

Ответ(http://www.base64.ru/):
cm0gLi8tdA==

Горячие кнопки в c-shell

2011-02-24T01:52:00.000-08:00

Читая "Программное окружение UNIX" от Брайна Кернигана и Роба Пайка решил потестить, а че ваще работает для FreeBSD?
Обнаружено:

Ctrl+u - удаление набранной строки(удобно, т.к. задолбался жать Backspace);
Ctrl+d - завершить ввод;
Ctrl+m -"Return", т.е. таже реакция если мы нажмем на привычный нам "Enter";
Ctrl+g - воспроизвести звуковой сигнал(иногда в скриптах хочется привлечь юзера);
Ctrl+c - завершить работу программы(к примеру остановить зацикленную прогу);
Ctrl+h - аналог привычного нам "Backspace";
Ctrl+s - Остановить вывод программы в терминал;
Ctrl+q - Востановить, после остановки, вывод программы в терминал;

Мне лично упростили п.1 и п.2 ;)

Нюанс:
Для завершения сеанса работы с UNIX-системой логичней для системы нажатие на Ctrl+d, так сказать завершить ввод, вместо "exit" команды.

Программное обеспечение во FreeBSD

2011-02-23T07:51:00.000-08:00

Активно интерисуюсь установкой ПО во FreeBSD. Ее аудитом. Безопасностью и нюансами. Несмотря нато что есть официальный от проекта Handbook дающий ответы на множество возможных ответов. Приведу все-таки две ссылки, которые мне больше понравились :)

из них весьма понравилась:

$ make fetch-recursive-list

дающая список URL-ов на собственно сами сорцы! ;) Которые можно читать, втыкать и ваще ;)

Установка портов по дефолту в мире FreeBSD

2011-02-22T15:05:00.000-08:00

Вобщем пока ознакамливаюсь с этой системой. Стоит 8.2 release для архитектуры i386.
Имеется два метода установки ПО:

Порты;
Пакажи.

В текущий момент времени интерисует только п.1. Однако после манипуляций с #portsnap fetch -> #portsnap update или #portsnap fetch update, т.е. после обоновления древа портов до свежего. Переходя собственно к установке, юзая #make install clean можно через N секунд наблюдать появление надоедливых вопросов вида: "Вы какие опции хотите включить в компиляцию Питона?" или "Вам надо ставить Перл64?" и т.д. и т.п.

У меня возник вопрос: "А как избавиться от вопросов и научить ставить по дефолту?". Забил в гугл вопрос "make install clean без вопросов" увидел, что подобное решается через проставновку в /etc/make.conf заклинания "BATCH=yes", означающего "BATCH=yes обеспечивает пакетную сборку порта."(взято тут).

Казалось бы все круто. Но! Это же аналогично тому что привычый юзер виндовоза жмет постоянно Next->Next->Next->... т.е. банально не интерисуется а че ему там ставится-то? Однако если отключить сборку портов без вопросов появляются вопросы ответа на которых не всегда знаешь, а лезть в гугл означает "Установка порта возможно займет доп...ы времени"

Вопрос сего поста: Как найти золотую середину?

Конструкция с повторящимся действием "то и дело".

2011-02-16T11:32:00.000-08:00

Многим наверное хотелось написать что-нить вроде "Пока я рассказывал ему вчерашний день, он то и дело меня перебивал" или "Пока сервис получал данные от клиенских программ, менеджер памяти то и дело сбоил" и т.д и т.п.

Для подобного действия есть конструкция вида "kept (on) V-ing" , где V это распрастраненное обозначение глагола.

Вот примеры:

He kept on interrupting me while I was telling the story. - Он то и дело меня перебивал, пока я рассказывал историю.
She kept on smiling while reading the book - Она то и дело улыбалась, пока читала книгу;

Думаю смысл понятен )

Применение "мог" и "смог" в английском

2011-02-16T00:02:00.000-08:00

Речь пойдет о том как сказать: "Я могу сделать эту работу" и с подчеркиванием "Я смог сделать эту работу".

I.
Modal verb: can
Past: could
Present: can
Future: none

II.
Modal verb: to be able to
Past: was/were able to
Present: am/is/are able to
Future: will be able to

Первое, вспомогательный глагол "can", применяется когда нужно сказать "мог" / "не мог". А когда нужно передать оттенок, что наконец-то смог, то это второе!

Еще. Как видим, из выше приведенного, мы не можем сказать "Я могу это сделать завтра", только и только "Я смогу сделать это завтра", применив "will be able to"!

Примеры:
Я смог поставить MS Windows, когда мне было 10. - I was be able to MS Windows, when I was 10.
Он сможет написать программу завтра. - He will be able to write the program tomorow.

Нюанс:
Слова "was/were able to" можно заменить на "managed to".

Пример:
I managed to run the SSH daemon yesterday eveninig. - Я смог запустить демон SSH вчера вечером.

Как получить цветную консоль во FreeBSD?

2011-02-02T01:13:00.000-08:00

Задался сегодня вопросом: "А че это у меня промпт не информативный?" и решил научить его навыкам ответов на вопросы: "Где я?", "Кто я?" и "Когда обед, т.е. скоко времени?". Однако как это сделать не сразу нашел, однако есть отличный пост в блоге у некоего товарища, но копи-пастить влом и поэтому привожу токо ссылку .

Первым делом определю, что за оболочка у меня, а это запустив:

echo $SHELL

увижу:

/bin/csh

что означает у меня "C Shell" и что настроечный файл к нему это ".cshrc"

Далее, чтобы получить цветной вывод команды "ls" можно задать альяс в файле .cshrc, который лежит в корневой папке юзера. Открыв его и задав опцию G можно получить раксрашенный вывод. Что чуть информативней. У меня задано так:

alias ls ls -GAFawh

A и a - Лучше глянуть "man ls", это в двух словах не пояснить;
F - Директориям добавлять "/";
h - Когда юзается опция "l" добавлять суфиксы Byte, Kilobyte, etc;
w - Принудительно раскрашивать непечатываемые символы;

Весьма нравится. Остается решить вопрос: "как задать свои цвета?"

Вывод grep тоже можно подсветить, для этого надо можно задать альяс:

alias grep grep --colour=auto

Остается настроить приглашение в командной строке, для этого загуглив "FreeBSD prompt sh color" набредаю на ссылку, которая учит как задавать цвета! Еще раз: она дает мне понимание как задать цветовые настройки под мой C-Shell. Приступим:

Сначала хочу видеть, чтото вроде этого:

root@freebsd82rc [bin]#

Это описывается, так:

set prompt = "%n@%m [%c]%# "

Где "n", "m" и "c" это юзер, машина и короткий путь к рабочей папке. Выделю жирным путь к папке, для этого использую %B(сюда вставляю %c)%b. Все это теперь выглядит так:

set prompt = "%n@%m [%B%c%b]%# "

Начнем задавать цветовые настройки, для этого откроем страничку, которая учит цветам(см.выше) и читаем. Для включения настроек надо предварить "\n" и использовать конструкции вида %{\033[Xm%}.

Конструкция "run out of"

2011-01-31T01:56:00.000-08:00

Сегодня на занятиях по английскому познакомился с интересной конструкцией: "run out of" означаеющей "закончиться". Примеры:

Hard disk drive run out of space - На жестком диске закончилось место;
I run out of money - У меня закончились деньги;

Весьма прикольно это выглядит при таких вот фразах:

What do you do when you run out of knowledge?

Не правда ли "взрывает мозг" ? :)

Цель этой конструкции: юзать тогда, когда хочется выразить мысль о том, что у кого-то\чего-то чтото кончилось в наличии(спички, деньги, деньги и т.д. и т.п.)

Чем отличаются опции с одним дефисом от опций с двумя в консольных приложениях?

2010-12-28T10:43:00.000-08:00

Сегодня как будто заново родился в прямом смысле слова.

Можно значительно улучшить разработку скриптов с применением утиллит консольного типа поддерживающих задание опций в стиле UNIX подхода и поддерживать его в своих тулзах. Вероятно вы видели в консоли строку помощи, подобную этой:

c:\tools\grep_>grep --help
Usage: grep [OPTION]... PATTERN [FILE] ...
Search for PATTERN in each FILE or standard input.
Example: grep -i 'hello world' menu.h main.c

Regexp selection and interpretation:
-E, --extended-regexp PATTERN is an extended regular expression
-F, --fixed-strings PATTERN is a set of newline-separated strings

Возможно у Вас также как и у меня возникали вопросы:

А чем отличаются опции с одним дифисом, от опций с двумя дефисами?
Если обе опции ведут к одному и тому же, то зачем вводить две?

Введем терминологию(не моя, услышал от коллеги):

Короткие опции, помечаемые одним дефисом;
Длинные опции, помечаемые двумя дефисами.

Для того чтобы понять эту разницу, нужно осознавать, что существуют два случая применения программ консольного типа:

В визуальной среде позволяющей интерактивно работать с програмами консольного типа(К примеру: для MS Windows это "cmd.exe", либо FAR с горячей клавишей "ctrl+O");
В командных сценариях(*.bat, *.cmd, *.sh, etc).

Для первого же случая использование утиллит предполагает, что они применяются для быстрого получение результата, к примеру необходимого при отладке командного сценария и пользователь, как правило помнит назначение применяемых им опций. Поэтому при использовании опций такого типа допускается для скорости набора "буковок" команды применять один дефис.

Для второго случая следует, когда утилиты консольного типа используются в скриптах. Их применение предполагает, что в будущем возможно придется изменить скрипт, а это надо означает, что надо помнить значение каждой опции и при этом скрипт может быть сколь угодно большим. Для таких опций используются два дефиса.

Осталось пояснить еще один нюанс, который весьма важен и который нужно знать!
Значения в коротких опциях, следуют через пробел, а в длинных через символ "=" , который в языке программирования в "С" означает "присвоить".

Screencast making

2010-11-18T12:41:00.000-08:00

Уже давным давно столкнулся с разнообразными обучающами видео-роликами. Ищи как правило на youtube.com. Все что поднимает бунт в моей душе, к примеру драйвер-девелопмент, разработка и проектирование приложений, написание грамотного кода, да много чего. Однако только недавно решился на создание своих скринкастов, так сказать до рос ))) Встал вопрос, на чем остановиться?

Ответ гугла вывел меня на обзор программ приведенный на хабре, благодаря которумы узнал об этой фриварной проге. Умеет как раз то что надо:

Пишет полноэкранный видос с микрофоном;
Позволяет также на видосе уставливать разнообразные стрелочки, заметки и др. Причем разными цветами!!

Может, как нить начну толкать свои мысли через скринкасты, пока все это будет направлено на корпоративный документатион, по причине того, что информация нужна, а писать много букав влом!;)

Бъярн Страуструп

2010-10-03T03:12:00.000-07:00

Очень многие из нас хотят знать, а что собственно думает о С++ сам автор? Об этом можно получить представление, но только англо-понимающих. К сожалению у меня не такой уровень владения языком,чтобы легко понимать его,однако замечу что говорит Бъярн члено-раздельно!!!
Предлагаю практикующимся в С++ и английском, слушать чаще подобных людей. Приведу ссылки на ютуб, где можно послушать Бъярна:

Успеха вам в понимании! ;)

Получить десятичное число, перевести и вывести в двоичной системе счисления

2010-09-29T04:37:00.000-07:00

Задачка уровня 1-курсника ВУЗа:

Введенное десятичное число в диапазоне от 0 до INT_MAX(константа из climit-инклуда) преобразовать в двоичную систему счисления и вывести на экран. Для вывода и ввода юзать std::cout, std::cin.

Запрещено:

Использовать любые массивы;
Вызывать printf;
Создавать функции, кроме одной main();
Использовать манипуляторы пространства std::
Логические сдвиги чисел, т.е. операции '<<', '>>'
Рекурсия запрещена.
Логическое умножение;

Ответ(http://www.base64.ru/):
ICAgIGludCBudW1iZXIgPSBpOwogICAgaW50IHBvd2VyICA9IDE7CiAgICB3aGlsZShwb3dlcioyPD1udW1iZXIgJiYgcG93ZXIqMiA+IHBvd2VyKQogICAgICBwb3dlcio9MjsKICAgIAogICAgd2hpbGUocG93ZXIgPiAwKSB7CiAgICAgIGNvdXQgICA8PCBudW1iZXIgLyBwb3dlcjsKICAgICAgbnVtYmVyICU9IHBvd2VyOwogICAgICBwb3dlciAgLz0gMjsKICAgIH0=

Забавное нововведение в использовании реестра MS Windows

2010-09-13T04:51:00.000-07:00

Вобщем, теперь можно менять способ поиска DLL-ок, но об этом лучше почитать тут. Фактически означает еще одну "возможность" ;)

Меня догнал Python

2010-09-08T12:35:00.000-07:00

Итак, как дикая смесь ленивого + системаного программиста + реверсера мне всегда было любопытны технологиии автоматизирующие реверс и поиск чего-либо для решения моих задач в кратчейшее время или чтобы само искалось ))) Но в этот раз технологии, а точнее язык, сам меня догнал и четко сказал мне "Я Python! Меня надо учить!" и сколько бы не убегал от его эгоцентричности, что мол он сказал и ... не убежал. Он твердо сегодня мне заявил: "А теперь я еще и в WinDbg"

О чем это я ? О том что скриптовый язык Python теперь почти в любом в более-менее значимом реверс-инструменте:

Python extension for WinDbg
PyHiew (open source project) is a Hiew external module (HEM)
Pythonic way (Слова Ильфака Гуильфанова)
Он также есть в виде плагина для OllyDbg 1.0

Создание нового SVN-проекта на кряклаб

2010-09-04T06:36:00.000-07:00

Ввиду того что команда cracklab.ru подняли SVN сервак, то я тут же воспользовался этой возможностью ) Поэтому теперь, все мои публичные исходники будут только тут .

Цель проекта:
Сбор существующего или разработка нового кода облегчающего написание приложений или исполнимых модулей, т.е. драйверов или динамических библиотек.

Пока еще все конечно сырое, но в последствии будет куда лучше ;)

Детект машинной инструкции PUSH/POP reg

2010-09-02T02:11:00.000-07:00

Приведу одну из задачек, которые встречаются в практике написания кодо-анализитаторов. Есть код приведенный ниже, нужно оптимизировать и получить более эффективный по выполнению код:


 switch(Opc)
 {
 case 0x50: case 0x51: case 0x52: case 0x53:
 case 0x54: case 0x55: case 0x56: case 0x57:
 {
  std::cout << "This is PUSH reg instruction" << std::endl;
  break;
 }
 case 0x58: case 0x59: case 0x5A: case 0x5B:
 case 0x5C: case 0x5D: case 0x5E: case 0x5F:
 {
  std::cout << "This is POP reg instruction"  << std::endl;
  break;
 }
 default:
  std::cout << "This isn't PUSH/POP reg instruction" << std::endl;
 }
Ответ (http://www.base64.ru/):

CS8vINCe0LTQvdC+INC40Lcg0LLQvtC30LzQvtC20L3Ri9GFINGA0LXRiNC10L3QuNC5CglpZigoT3BjICYgMHhGOCk9PTB4NTApCgkJc3RkOjpjb3V0IDw8ICJUaGlzIGlzIFBVU0ggcmVnIGluc3RydWN0aW9uIiA8PCBzdGQ6OmVuZGw7CgllbHNlIGlmKChPcGMgJiAweEY4KT09MHg1OCkKCQlzdGQ6OmNvdXQgPDwgIlRoaXMgaXMgUE9QIHJlZyBpbnN0cnVjdGlvbiIgIDw8IHN0ZDo6ZW5kbDsKCWVsc2UKCQlzdGQ6OmNvdXQgPDwgIlRoaXMgaXNuJ3QgUFVTSC9QT1AgcmVnIGluc3RydWN0aW9uIiA8PCBzdGQ6OmVuZGw7

Упаковщики, крипторы, протекторы

2010-09-01T23:40:00.000-07:00

Громадное количество реверсеров рано или поздно могут осознать, что им почему-то вдруг стал нужен упаковщик\криптор\протектор. Наступает такое прозрение по разным причинам, вероятно малвару по прятать, может быть это их новая развивающая задача, либо защита софта, но хотел бы отметить последних лиц. Да, речь пойдет о тех людях, которые в силу каких-либо причин решили писать свой протектор и им почему-то не подошли экземпляры существующих на рынке и в свободном доступе протекторы.

Прежде чем разрабатывать новый защитный софт нужно учитывать очень много нюансов, вот два из них:

Защищенный софт вашим поделием могут детектировать антивирусы;
Обработанные файлы должны иметь возможность работать не привязываясь исключительно к одной версии системы;

Хотел бы остановиться прежде всего на детктировании антивирусами. Почему в одних случаях антивирус вдруг начинает ругаться, а в совершенно такой же ситуации без какой-то там "мелочи", вдруг говорит что это зловред?

Дело в том что, закриптованное\упакованное\запротекченное приложение для специалистов антивирусных компаний попадает в одну и туже категорию, которую условно называеют "packed objects" и логично, ведь антивирусный продукт не знает, что этот файл упакован, а не запротекчен, другими словами продукт не может знать цели обработки файла! Это может озвучить только человек, поиследовав файл. Именно по этой причине все обработанный файлы и не похожие на стандартные попадают в одну "свалку" называемую "packed objects".

Выявить что файл обработан, почти, не составляет труда для современных средств. Используются довольно много методик, вот ряд из них: подсчет энтропии, попытка узнать по стабу версию компилятора, по заголовкам и другим сущностям исполнимого формата выявить аномалии, которых не содержат, как правило, стандартные файлы получаемые компиллерами.

После выявления факта "обработанности" и соотнесения его в группу пакованных объектов, можно выявить "нелегальные" действия, которые "честный" протектор либо не позволит себе, либо применит в случае крайней нужды. Какие действия можно считать "не легальными" ?

На точке входа "анти-дебаг" или "анти-дизасм" или какой-либо трюк, т.к. это потенциальный кандидат в "анти-эмуляционные" трюки;
На упакованные файлы несложно создать сигнатуру, в плоть до статической! Ведь автор настолько умен, что создал неломаемый для реверса прот и ему не зачем от кого-то прятаться! Да и в следующем билде прота, многое поменяется, смысл прятаться?
В стабе нет кода работающего со спецификой системы, к примеру с полями PEB, значения регистров на старте. Потому что это недокументированности, как вывод есть вероятность, что не будет работать на другой версии системы. А автор между прочим стремится к стабильной работе на множестве систем!

Советы при построении стаба:

Не применять сложный код мешающий наложить сигнатуру, аверам будет влом и они задетектят, а вы в очередной раз будет рвать волосы с криками "ааа, они там все ламеры, опять...". Лучше потратьте силы на разработку виртуализации кода, чем на "недетектируемость".
Откажитесь от использования каких-либо "громоздких" циклов на точке входа и применения всяческих недокументированностей!
Используйте GetProcAddress вместо того чтобы искать самому, сложность реверса заключается в отнюдь не в получении ответа "Да как же это он апи-шки то находит?", отнюдь! Эмуляция "GetProcAddress" это вчерашний день! Сегодня может служить, только "довеском", лучше улучшайте виртуализацию кода, детект виртуальных машин, ну и сохранение результатов того же GetProcAddress черт знает куда и др. вещи;

Забыл пароль от Win 7 x64, чего делать?

2010-09-01T12:19:00.000-07:00

Задумался тут, что если у человека не стоит пароля на BIOS и как тогда мне стать админом на его компе,. если там семерка? ;) Порыскав по инэту наткнулся на:
Change your password with sticky keys

Приведу цитату:

To reset a forgotten administrator password, follow these steps:

Boot from Windows PE or Windows RE and access the command prompt.
Find the drive letter of the partition where Windows is installed. In Vista and Windows XP, it is usually C:, in Windows 7, it is D: in most cases because the first partition contains Startup Repair. To find the drive letter, type C: (or D:, respectively) and search for the Windows folder. Note that Windows PE (RE) usually resides on X:.
Type the following command (replace “c:” with the correct drive letter if Windows is not located on C:):
copy c:\windows\system32\sethc.exe c:\
This creates a copy of sethc.exe to restore later.
Type this command to replace sethc.exe with cmd.exe:
copy /y c:\windows\system32\cmd.exe c:\windows\system32\sethc.exe
Reboot your computer and start the Windows installation where you forgot the administrator password.
After you see the logon screen, press the SHIFT key five times.
You should see a command prompt where you can enter the following command to reset the Windows password (see screenshot above):
net user you_user_name new_password
If you don’t know your user name, just type net user to list the available user names.
You can now log on with the new password.

Плагины к Hiew

2010-08-26T02:38:00.000-07:00

Итак, новости которые меня весьма поразили ;)

Hiewplus, ссылка на hiewplus
PyHiew, ссылка на pyhiew

Первый представляет собой приложение win32 и позволяет попытаться открыть процессы в стандартном Hiew-шном интерфейсе.
Второй же служит для добавления возможности написания скриптов на Python и использовать их к открытому в Hiew файле.

Реализация идиомы Pointer to Implementation с применением std::auto_ptr

2010-08-18T14:02:00.000-07:00

Сегодня в очередной раз столкнулся с очень интересной ошибкой, которую уже видел этим летом и пока вспомнил в чем дело, и как ее победить в очередной раз сломал себе мозг. В следствии чего решил написать небольшую задачку, думаю изучающим C++ будет интересно знать некоторые нюансы языка.

Цель: Понять почему возникает ошибка компиляции и осознать метод ее решения.

Условия: имеется небольшой файл-хидер header1.hpp:


#include 

class CMain1 {
  class     CAddon;
  typedef   std::auto_ptr< CAddon >  AddonPtr_t;
public:
  CMain1();
private:
  AddonPtr_t m_Addon;
};

а также есть файл-реализации impl1.cpp:


#include "header1.h"

class CMain1::CAddon {
};

CMain1::CMain1()
: m_Addon(new CAddon) 
{}

Ответ ( http://www.base64.ru/ ):
----
0JTQtdGB0YLRgNGD0LrRgtC+0YAg0LrQu9Cw0YHRgdCwIENNYWluMSDQstGL0LfRi9Cy0LDQtdGCINC00LXRgdGC0YDRg9C60YLQvtGAIHN0ZDo6YXV0b19wdHIsINC90L4g0L/RgNC4INGN0YLQvtC8IH5DTWFpbigpINC/0L7QvdGP0YLQuNGPINC90LUg0LjQvNC10LXRgiDQviDRgtC+0Lwg0LrQsNC6INGD0YHRgtGA0L7QtdC9IENBZGRvbi4g0KfRgtC+INCx0Ysg0LjQt9Cx0LDQstC40YLRjNGB0Y8g0L7RgiDQvtGI0LjQsdC60Lgg0L3Rg9C20L3QviAg0L3QsNC/0LjRgdCw0YLRjCDRgNC10LDQu9C40LfQsNGG0LjRjiB+Q01haW4oKSDQsiDRgtC+0Lwg0LbQtSDRhNCw0LnQu9C1INCz0LTQtSDQuCDQtNC10LrQu9Cw0YDQsNGG0LjRjyBDQWRkb24=
----

Небезопасные типы в закрытых базовых классах

2010-08-13T22:10:00.000-07:00

Наверняка многие сталкивались с готовым кодом, который менять нельзя, хоть ты тресни. А в нем используются небозопасные типы, к примеру метод класса принимает указатель на void, а по нему не зная типа или размера нельзя корректно освободить память!
Читая Джеффа Элджера увидел интересный прием:


class UnsafeNode {
public:
  UnsafeNode(UnsafeNode * next_, void * data_);
  virtual ~UnsafeNode();
  UnsafeNode * Next();
  void * Data();
private:
  UnsafeNode * m_Next;
  void       * m_Data;
};

template < typename T>
class SafeNode : private UnsafeNode {
public:
  SafeNode(SafeNode * next_, T * data_) : UnsafeNode(next_, data_) {}
  virtual ~SafeNode() { delete( (T*)Data() ); }
  SafeNode * Next()   { return( (SafeNode*)UnsafeNode::Next() ); }
  T *  Data()         { return( (T *)UnsafeNode::Data()); } 
};

1) Потомки не видят безобразия в базовом классе, т.к. применяется закрытое наследование
2) Можно применить любой тип, т.к. шаблон
3) Коректно удалится в деструкторе, т.к. задана привязка к типу

Некомпилируется код применением указателя:

2010-08-13T09:33:00.000-07:00

Имеется код, приведенный ниже. Почему в случае №1 компилятор не может скомпилировать код, а в случае №2 пусть и громоздко, но все отлично компилируется?


class CUnk {
public:
  void SuperMethod() { std::cout << "CUnk::SuperMethod()" << std::endl; }
};

class CUnkPointer {
public:
  CUnkPointer() : m_UnkPtr(0) {}
  CUnkPointer(CUnk * UnkPtr) : m_UnkPtr(UnkPtr) {}
  ~CUnkPointer()     { if(m_UnkPtr) delete(m_UnkPtr); m_UnkPtr=0;  }
  operator CUnk *()  { return(m_UnkPtr); }
private:
  CUnk * m_UnkPtr;
};

  CUnkPointer UnkPtr( new CUnk);
  UnkPtr->SuperMethod();            // (Случай №1)
  ((CUnk*)UnkPtr)->SuperMethod();   // (Случай №2)

Ответ( http://www.base64.ru/ ):

----
0J/QvtGC0L7QvNGDINGH0YLQviDQsiDRgdC70YPRh9Cw0LUg4oSWMiDRgdGD0YnQtdGB0YLQstGD0LXRgiDQvtC/0LXRgNCw0YLQvtGAINC/0YDQtdC+0LHRgNCw0LfQvtCy0LDQvdC40Y8sINCwINCyINGB0LvRg9GH0LDQtSDihJYxINC90LXRgiDQv9C10YDQtdCz0YDRg9C30LrQuCDQvtC/0LXRgNCw0YLQvtGA0LAgIi0+Ig==
----

Перевод "%UPX_SOURCE%\upx-3.05-src\doc\filter.txt"

2010-08-12T04:56:00.000-07:00

Этот документ поясняет концепцию "фильтрация" в UPX. В основном фильтрация это метод препроцессинга данных, который может улучшить коэффициент сжатия файлов UPX-ом.

В настоящее время фильтры UPX используют основаный на одном очень специфичном алгоритме, который хорошо работает для ix86 исполнимых файлов. Это то, что UPX называет "native" реализацией. Есть также метод "clever" , который работает только для 32-битных форматов исполнимых файлов и был реализован первым реализован в UPX.

Давайте-ка начнем с примера(это место я ассоциировал как 32-битный файл). Рассмотрим фрагмент кода:


00025970: E877410600                     calln     FatalError
00025975: 8B414C                         mov       eax,[ecx+4C]
00025978: 85C0                           test      eax,eax
0002597A: 7419                           je        file:00025995
0002597C: 85F6                           test      esi,esi
0002597E: 7504                           jne       file:00025984
00025980: 89C6                           mov       esi,eax
00025982: EB11                           jmps      file:00025995
00025984: 39C6                           cmp       esi,eax
00025986: 740D                           je        file:00025995
00025988: 83C4F4                         add (d)   esp,F4
0002598B: 68A0A91608                     push      0816A9A0
00025990: E857410600                     calln     FatalError
00025995: FF45F4                         inc       [ebp-0C]

Здесь ты можешь видеть две инструкции CALL вызывающих "FatalError". Как ты возможно знаешь коэффициент сжатия будет лучше если "движок" компрессора найдет больше последовательностей повторяющихся строк. В этом случае движок видит следующие два байта последовательностей:


E877 410600 8B   and
E857 410600 FF.

Поэтому он может найти 3-байтовые совпадения.

Сейчас будет прием. На ix86 ближние вызовы("near calls") закодированы как 0xE8 затем 32-битное относительное смещение на результирующий адерс. Давайте посмотрим что случится, если позицию вызова добавить к смещению:

0x64177 + 0x25970 = 0x89AE7
0x64157 + 0x25990 = 0x89AE7

E8 E79A0800 8B
E8 E79A0800 FF

Как ты можешь видеть сейчас "движок" компрессора нашел 5-байтные совпадения. Это значит, что мы просто сохраняем 2 байта сжимаемых данных. Неплохо.

Так что это основная идея("native" реализация). Все что мы должны сделать, так это использовать метод "filter" перед сжатием и "unfilter" после декомпрессии. Просто перейдите к памяти, найдя байты 0xE8 и обработайте следующие 4 байта как задано выше.

Конечно, есть несколько возможностей где эта схема может быть улучшена. Во-первых, не только CALL-ы могут быть обработаны, но и near jmp-ы(0xE9 + 32-битное смещение) работает аналогично.

Второе улучшение может быть, если мы ограничим это фильтрование только для области занимаемой реальным кодом - нет смысла обрабатывать основные данные.

Другим улучшением будет, если порядок байт 32-битного смещения реверснуть. Почему? Вот другой CALL который следует в фрагменте выше:

000261FA: E8C9390600                     calln     ErrorF

0x639C9 + 0x261FA = 0x89BC3

E8 C39B 0800     сравним с

E8 E79A 0800

Как ты можешь видеть эти эти две функции достаточно близки друг к другу, но компрессор не в состоянии использовать эту информацию (2-байтные совпадения, как правило не используются), если подрядок байт смещений повернуть. В этом случае:

E8 0008 9AE7

E8 0008 9BC3

Таким образом, "движок" компрессора находит 3-батйные совпадения здесь. Это хорошее улучшение, теперь "движок" используются похожесть близлежайших смещений тоже.

Это хорошо, но что случится когда мы найдем фэйковый CALL, т.е. 0xE8 который является частью другой инструкции? Подобной этой:

0002A3B1: C745 E8 00000000               mov       [ebp-18],00000000

В этом случае те замечательные 0x00 байты перезаписываются неcколько менее сжимаемыми данными. Это невыгодная "naive" реализация.

Так что давайте будем умнее и попытаемся обнаруживать и обрабатывать только "реальные" CALL-ы. В UPX используется простой метод для поиска этих CALL-ов. Мы просто проверяем адресацию(destination) этих CALL-ов внутри некоторой области как и сами CALL-ы(поэтому указанный код выше ложное срабатыване, но это в целом помогает). Лучшим методом будет это дизассемблирование кода, будем рады помощи :)

Но это только часть работы. Мы не можем просто обрабатать один CALL, затем поскипать другой, процесс дефильтрации нуждается в некоторой информации, чтобы иметь возможность откатить фильтрацию.

UPX использует следующую идею, которая работает хорошо. Сначала мы предполагаем, что размер области, который будет фильтроваться менее чем 16 МБ. Затем UPX сканирует эту область и сохраняет байты, которые следуют за 0xE8 байтами. Если нам везет, то найдутся байты, которые не следуют за следующим 0xE8. Эти байты наши кандидаты для использования в качестве маркеров.

Ты все еще помнишь что мы предполагали размер области сканирования менее чем 16 МБ ? Хорошо, это означает что мы обрабатываем реальный CALL, в результате будет смещение тоже меньше чем 0x00FFFFFF. Поэтому MSB всегда 0xFF. Какое прекрассное место для хранения нашего маркера. Конечно мы реверснем порядок байт в получаемом смещении, так что этот маркер будет появляться только после 0xE8 байта и не в 4-х байтах после него.

Вот и все! Просто работайте с областью памяти, идентифицируя "реальные" CALL-ы и используйте этот метод для их помечания. После этого работа дефильтрации очень проста, он просто ищет за 0xE8 + последовательность маркера и дефильтрует, если нашел его. Это умно, не так ли? :)

Говоря по правде это не так просто в UPX. Может использоваться дополнительный параметр("add_value"), что делает вещи немного более сложными(к примеру, может быть найден маркер непригодный к использованию, потому что некоторого переполнения во время сложения).

И алгоритм в целом оптимизирован для простоты дефильтрации(коротко и быстро ассемблируемо насколько это возможно, смотри stub/macros.ash), который делает процесс фильтрации менее сложной(fcto_ml.ch, fcto_ml2.ch, filteri.cpp).

Как это может быть видно в filteri.cpp, есть множество вариантов этих фильтрующих реализаций: - native/clever, calls/jumps/calls&jumps, поворачивая/неповорачивая смещения - в сумме где-то 18 различных фильтров(и 9 других вариантов для 16-битных программ).

Ты можешь выбрать один из них используя параметр командной строки "--filter=" или испытать большинство из них "--all-filters". Или просто дать UPX использовать один заданных нами по умолчанию для исполнимых форматов.

Безопасность TLS\SSL

2010-08-11T04:45:00.000-07:00

Для тех кто как и я интерисуется безопасностью переписки через gmail.com и подобные им основанные на применении TLS\SSL.

[TLS] MITM attack on delayed TLS-client auth through renegotiation
MITM attacks on SSL/TLS related to renegotiation . Документ в гугле "MITMattacksSSL.pdf"
Understanding the TLS Renegotiation Attack
Microsoft Fixes SSL Spoofing Renegotiation Bug <<< --- !!!!
SSL Man in the Middle Proxy
Authentication Gap in TLS Renegotiation

Моя первая статья

2010-08-09T23:13:00.000-07:00

На прошлой неделе вышла моя статья с названием "Некоторые приёмы статического анализа кода из арсенала вирусного аналитика" в журнале "No bunkum". Статья посвящена некоторым полезным приемам использования реверс-тулзы Hiew, которые помогают повысить эффективность и качество работы при анализе исполнимых файлов.
Прошу не судить строго и учесть, что это мой первый опыт написания чего-либо на паблику. Хотя нет, вру, второй ))) Но между первым и вторым был слишком большой промежуток и можно считать эту статью условно первым моим опытом )

Статью можно найти тут .

P.S.:
Для справки, первой была статья "Алгоритм шифрования ГОСТ 28147-89. Метод простой замены." на wasm.ru , по этой ссылке можно перейти к статье

Операторы преобразования

2010-08-09T02:28:00.000-07:00

Сегодня после прочтения подраздела "Операторы преобразования" на стр. 48 книги Джеффа Элджера "Библиотека программиста. C++" пришел к тому, что тот велосипед, что я сконструировал для работы с параметрами можно упростить, вот его текущий код:


  class CParameter {
  public:
    CParameter() : m_Exist(false) { }
    CParameter(std::string & val, bool exist)
      : m_Exist(exist), m_Value(val) {};

    bool        Exist()   { return( m_Exist );                            }
    int         AsInt()   { return( atoi(str::Trim(m_Value).c_str()) );   }
    double      AsFloat() { return( atof(str::Trim(m_Value).c_str()) );   }
    std::string AsString(){ return( m_Value.c_str() );                    }

    bool        AsBool()  {
      std::string s(str::Trim(m_Value));
      if(s.empty())
        return(false);

      std::transform(s.begin(),s.end(),s.begin(),tolower);
      return(1 == strcmp( s.c_str(), "true"));
    }
  private:
    std::string m_Value;
    bool        m_Exist;
  };

его текущее использование выглядит таким:

std::string driver = m_Ini["driver"]["filepath"].AsString();

что является не совсем наглядным. После прочтения этого подраздела, пришел к выводу, что куда удобней будет перегрузить:

operator std::string()
opertator int()
operator double()
operator bool()

Тогда работа с параметрами будет уже более наглядной:

std::string driver ( m_Ini["driver"]["filepath"] );

т.е. компилятор зная тип, куда присваивается сам определяет нужную версию функции возврата и тем самым избавляет меня от необходимости писать эти громоздкие AsString() , AsInt() , etc

Забывая о методах класса создаваемых по умолчанию

2010-08-08T05:39:00.000-07:00

Весьма забавный феномен, если не знать тонкости ;)


class CStr {
public:
  CStr(char * str) {
    if(!str) {
      m_Ch  = new char[1];
      *m_Ch = 0x0;
    }
    else {
      m_Ch = new char[strlen(str)+1];
      strcpy(m_Ch,str);
    }
  }
  ~CStr() { delete(m_Ch); }
  void dump(std::ostream & strm) {
    strm << "\"" << m_Ch << "\"\n";
  }
private:
  char * m_Ch;
};

CStr * s1 = new CStr("First String !!!");
CStr * s2 = new CStr("Second String !!!");

s1->dump(std::cout);
s2->dump(std::cout);

s2 = s1;

s1->dump(std::cout);
s2->dump(std::cout);

delete(s1);

s2->dump(std::cout);
delete(s2);

Думаю этот пример убедил, что нужно быть внимательней при разработке класса ;)

Знакомство с итараторами

2010-07-27T22:56:00.000-07:00

Одна из важных тем при изучении C++ это тема итераторов. Чем лучше вы владеете ими, лучше и изящней будут вяглядеть ваш код. Нашел страничке, на которой автор пусть кратко,но не теряя в полноте пояснил всю логику использования итераторов.

Ссылка: http://www.hostmake.ru/articles/c/324/
Название: Итераторы библиотеки STL
Автор: Дмитрий Рамодин

Рекомендую к прочтению любому, кто осваивает язык

Подмена dll зная CLSID КоСервера

2010-07-26T23:38:00.000-07:00

Исследуя недавно Windows Messenger, задался вопросом: "а как внедрить в его адресное пространство процесса свою dll ?". Именно об этом эта заметка:

1)
Благодаря WinAPIOverride32 получаем лог вызовов функций из ole32.dll, мы
видим создание КоОбъектов на основании GUID-ов, вот они:

CoCreateInstance(rclsid: 0x7770D17C: 00000323-0000-0000-C000-000000000046
CoCreateInstance(rclsid: 0x0006FAA8: 0C7EFBDE-0303-4C6F-A4F7-31FA2BE5E397
CoCreateInstance(rclsid: 0x6C3513C8: 0E890F83-5F79-11D1-9043-00C04FD9189D
CoCreateInstance(rclsid: 0x6C3512A0: 385A91BC-1E8A-4E4A-A7A6-F4FC1E6CA1BD
CoCreateInstance(rclsid: 0x6C3AA978: 4CB26C03-FF93-11D0-817E-0000F87557DB

2)
Используя GUID-ы и запустив regedit.exe, начал искать нужную dll-ку, с наименьшим количеством функций в таблице экспорта, но чтобы содержала "DllRegisterServer". Меньшее количество экспортируемых функций, нужно для того что бы не создавать много фэйковых функций:

0C7EFBDE-0303-4C6F-A4F7-31FA2BE5E397: C:\WINDOWS\system32\dxtmsft.dll

Теперь заглянем в Hiew и посмотрим на экспортируемые функции:

1 .6C39552E DllCanUnloadNow
2 .6C3955B1 DllEnumClassObjects
3 .6C39553F DllGetClassObject
4 .6C395561 DllRegisterServer
5 .6C395576 DllUnregisterServer

Найдем еще одну, вдруг еще меньше экспортов будет:

0E890F83-5F79-11D1-9043-00C04FD9189D,
4CB26C03-FF93-11D0-817E-0000F87557DB,
385A91BC-1E8A-4E4A-A7A6-F4FC1E6CA1BD: C:\WINDOWS\system32\dxtrans.dll

1 .6C359312 ?DXConstOverArray@@YGXPAVDXPMSAMPLE@@ABV1@K@Z
2 .6C3593D1 ?DXConstUnderArray@@YGXPAVDXPMSAMPLE@@ABV1@K@Z
3 .6C35946E ?DXDitherArray@@YGXPBUDXDITHERDESC@@@Z
4 .6C35923F ?DXLinearInterpolateArray@@YGXPBVDXBASESAMPLE@>
5 .6C358FF0 ?DXOverArray@@YGXPAVDXPMSAMPLE@@PBV1@K@Z
6 .6C359097 ?DXOverArrayMMX@@YGXPAVDXPMSAMPLE@@PBV1@K@Z
7 .6C3529D0 DllCanUnloadNow
8 .6C352A03 DllEnumClassObjects
9 .6C3529E1 DllGetClassObject
10 .6C353869 DllRegisterServer
11 .6C353889 DllUnregisterServer

Делаем заключение, что длл-ка с именем "dxtmsft.dll" нам больше подходит. Теперь нужно создать с точно с таким же экспортом нашу длл-ку и прописать в значении InprocServer32 свой путь. После того, как будет работать DllMain нужно определить что мы находимся именно в пространстве Windows Messenger'a и подгрузить оригинальную "dxtmsft.dll". Все, с этого момента можно начинать нашу основную работу, менять логику приложения.

Значение параметра в ini-файле

2010-07-26T22:54:00.000-07:00

В виду того,что иногда программистам хочется размять свой мозг и сделать какие-либо упражнения, то они начинают их искать :). Приведу пример подобной задачки и я.

Цель задачи: Написать реализацию функции, которая возвращает значение параметра в виде std::string.

Вот прототип итоговой функции и используемого ею типа итератора:

typedef std::string::iterator StrItr_t;
std::string ExtractValue(StrItr_t & p, std::string & s)

Значением считать:

1) Одну и более строк, с возможным выделением значения в ковычки;
2) Символом переноса на новую строку считать '\', находящийся в конце строки, до привычного нам '\n', т.е. байта 0x0A и предваренный пробелом или табуляцией;
3) Строка начатая ковычкой, при перенесении на новую строку не выделяется повторно в ковычки на новой перенесенной строке;
4) Символами коментария считать ';', '#' и только если значение не выделено в ковычки;
5) Если значение взято в ковычки и встретилось s.end() значит все что успели прочитать считать результатом;

В результат не попадают:

1) Ковычки, которые выделяют значение;
2) Символы коментариев;
3) Привычный нам символ новой строк '\n', т.е. байт равный значению 0x0A, который физически делит строки;
4) Символ переноса '\' на следующую строку;
5) Символ вертикальной табуляции '\t'.

Понимание устройства INI-файлов

2010-07-16T02:25:00.000-07:00

Разрабатывая приложения,довольно часто сталкиваюсь с вопросом хранения настроек и конфигурирования работы приложения. Этот вопрос и стал причиной разработки класса по парсингу Ini-файла, пока мне хватает и на чтение.

При изучении строения ини-файла столкнулся с тем что каждая тулза работает по своему и четкого стандарта нет! Одни программисты привыкли к одним решениям, другие к другим.

Строение:
1) Могут иметься глобальные параметры, это параметры не принадлежащие какой-либо секции, т.е. описаны до первой секции
2) Секции определяются названием заключенным в квадратные скобки и их значением, состоящим из параметров и их значений
3) Параметры задаются именем и значением. Значение и имя разделяется символом '='
4) Значения могут быть очень большими и тогда очень удобно внедрить поддержку символа '\' означающего перенос на новую строку
5) Также для удобства сопровождения файлов существуют коментарии, как правило, это символы ';', '#'
6) Может возникнуть ситуация, когда символы относящиеся к специальным ';', '#', '\' нужно включить поддержку ковычек. Другими словами, если значение начинается с ковычек, то считать значением все пока не найдена закрывающая, т.е. самая последняя, после которой только пробелы, табуляци или конец строки, ну или пока не закончилась строка

Какие могут быть нюансы?

1) В файле могут быть две секции с одинаковыми названиями?
2) Стоит ли обрамлять в ковычки каждую новую перенесенную строку в ковычки?

Рекомендуемые ссылки:
1) ".ini"
2) "Cloanto Implementation of INI File Format"

Создание заготовки распакованного файла

2010-07-12T21:04:00.000-07:00

Заметка для тех кто по каким-либо причинам заинтересовался разработкой статических распаковщиков.

После-того когда отработал код по детектированию пакера и далее следует стадия распаковки, то первым же вопросом, как правило, является : "А каким должен быть размер результирующего файла?", ведь если это криптор, то можно один в один и работать на уровне RvaToRaw\RawToRva , а если применялся алгоритм сжатия?

На этот вопрос можно ответить довольно просто: а как же оно выполняется тогда? Тогда ответ: "Потому что в памяти занимает конечный размер указанный в PE->OptionalHeader.SizeOfImage" будет подсказкой.

Действительно, какие бы мы не применяли алгоритмы сжатия в пакере, в памяти все равно не больше SizeOfImage. Как вывод, если мы виделим размер файла в SizeOfImage байт, то этого достаточно. Замечу, что необходимо выравнять значение SizeOfImage в большую сторону на значение PE->OptionalHeader.SectionAllignment.

Как правило, результирующий файл принято создавать так:
1) Запомнить смещение до оверлея в оригинальном файле - OverlayOffs
2) Выполнить размапливание - UnmapPEFile()

Сначала поясню п.2. Результат этого процесса можно сравнить с "дампингом", когда мы открываем виртуальное адресное пространство процесса, находим нужный нам образ и "дампим". Здесь же немного по-другому, но очень похоже, вот последовательность действий:
1) Создать файл размером в SizeOfImage;
2) Скопировать заголовок;
3) Каждую секцию записать в файл иммитируя действия системного загрузчика, но базовым адресом считать смещение 0x0, вместо привычных нам 0x400000, 0x7E000000, etc;
4) Переписывание секции сопровождается обновлением описателя этой секции;

После выполнения этих действий получим условно названный "дамп". Отличие этого дампа от привычного нам получаемого в результате запуска процесса в том, что здесь не выполняется код, т.е. стаб пакера не отработал и данные секций еще "не попорчены".

Этот процесс выполняют по двум причинам:
1) Знаем точный окончательный размер
2) Есть вероятность и довольно большая что упакованы не все данные, а только не значительная часть.

После процесса распаковки(возможно работы декомпрессора, фильтрации, востановления релоков, импортов и т.д.) когда размер может измениться, т.е. в файл чтото добавлено, мы зная смещение оверлея просто его дописываем.

Организация работы приложения соглассно настройкам

2010-06-20T05:12:00.000-07:00

Сегодня вывел для себя правило, которое можно сформулировать так:

Если приложение работает соглассно настройкам пользователя, то наиболее удобная работа с настройками может быть достигнута при разработке класса конфигуратора приложения.

Довольно часто мне приходится разрабатывать приложение работающее соглассно заданными пользователями параметрами в различных конфигурационных файлах, реестре, через командную строку, окна GUI-интерфейса. Сегодня пришел, что для того, чтобы упростить работу с настройками мне куда удобней разрабатывать для приложений класс конфигуратор cConfigurator. Этот класс будет знать как прочитать из командной строки, конфигурационных файлов, реестра или еще как сохранить в них настройки выбранные пользователем в GUI интерфейсе.

Таким образом достигаю следующих целей:
1) Буду знать где читается\сохраняется настройка из реестра;
2) Аналогично для командной строки;
3) Аналогично для конфигурационных файлов;
4) Буду знать как прочитать\сохранить выбор сделанный пользователем через GUI-интерфейс;

Думаю, даже в случае многопрофильной работы, когда нужно будет задавать каждому профилю свои настройке, куда удобней написать классы умеющие работать с профилями и подчинить их классу конфигуратору, т.е. сделать доступными через интерфейс класса основного приложения.

ЗЫ:
Меня опять-таки выручает мой любимый вопрос "Чего ты Дима хочешь достигнуть используя это приложение?"

Куда приспособить, как опцию командной строки или все же в ini-файл?

2010-06-17T14:51:00.000-07:00

Перед теми кто разрабатывает довольно серьезный проект приложения консольного типа, рано или поздно встает вопросы "А куда эту настройку приспобить? Может как аргумент командной строки? А может как параметр конфигурационного файла?"

Для того чтобы пояснить правило получения ответов на подобные вопросы, поясню вам, что все-таки является консольным приложением на практике?

Существует две категории пользователей:
1) Одни пользуются графическим интерфейсом и им удобней пользоваться мышью. Перемещать указатель, выбирать пункт меню на самом верху графического окна в приложении.
2) А есть другая категория людей, которые понимают, что они могут повысить скорость своей работы, если будут набирать команды, а не "возить" туда-сюда мышь по коврику и им куда-быстрее набрать команду плюс пару опций, чем задействовать GUI.

Именно в п.2. и следует искать ответ на вопрос: "а куда мне это?".

Есть множество настроечных параметров для работы приложения и делятся они на две категории:
1) Которые быстро и часто меняются
2) И такие которые наверное один раз задал и можно больше не касаться, по крайней мере до следующего билда.

К первым можно отнести "введите число для перевода его в двоичную", вот число как раз попадает под первую категорию, потому что уже через секунду может понадобиться новый результат. Ко втором можно отнести указание файлового пути к драйверу, с которым работает приложение. Думаю в случае, если разработчики и поменяют чтото в драйвере, то довольно часто оставляют тоже самое место в структуре папок своего продукта и вы можете положить туда же последний билд драйвера.

Также к первым можно отнести указание URL-а по которому нужно что-то скачать, указание файла который нужно как-то обработать, указать название резултирующего файла куда ложить результат и многие другие.

Пример из жизни, системная утиллита по исследованию внутренних объектов режима ядра у операционной системы. Для нее нужно написать драйвер, т.к. работая в пользовательском режиме вы врядли чего продуктивного получите, так вот драйвер редко меняет свое место расположение и поэтому его можно задать в ini-файле. Зато запрос на показание объекта, а какого, вот это уже быстро и часто меняющийся параметр к программе! Следовательно это лучше задать как опцию командной строки!

Правило:
Быстро и часто меняется ? "Да", значит в это кандидат в аргументы командной строки, если нет,то занести в качестве параметра конфигурационного файла.

Замечу, что, довольно часто приложения консольного типа применяют в командных сценариях, где гибко формируются новые параметры и задаются приложениям в качестве опций. Многие системные администраторы не видят свою жизнь без приложений консольного типа, т.к. их легко прописать в командном сценарии, а последний указать в задании для планировщика операционной системы, которое периодически выполняется.

Windows 7 UAC whitelist

2010-06-10T10:08:00.000-07:00

Вчера столкнулся с трудностью установки драйвера под эту систему, выполнив строчку:

hSCMngr = ::OpenSCManager(NULL,NULL,SC_MANAGER_CREATE_SERVICE);

получил "Access is denied". Хотя ранее этот код под XP работал на УРА, оно и не удивительно, там ведь не было UAC. Ввиду того, что пишу драйвер для утиллиты своих собственных нужд, которая будет работать исключительно на моем компе, то мне очень хочется чтобы все работало без спрашивания паролей или UAC-диалога. Начав изучать эту тему столкнулся с интересной информацией. Оказывается есть белый список ;) Насколько сейчас обстоят дела, но это весьма весьма занятная тема для размышления.

Интерисующимся читать белый лист .

Также рекомендовал поглядеть и High elevation can be bad for your application: How to start a non-elevated process at the end of the installation

Кстати, у кого какие мысли есть касательно запуска дров, прошу оставить коменты ниже ;)

Полиморфные объекты от Microsoft

2010-06-07T06:06:00.000-07:00

Решил сегодня поглядеть внутрь Win32k.sys через Hiew. Этот файл у меня располагается по пути:
c:\Windows\winsxs\amd64_microsoft-windows-win32k_31bf3856ad364e35_6.1.7600.16385_none_14e86b61b437d067\win32k.sys

Система win7 x64 и увидел:

.FF0C3761: 666666666666660F1F840000000000 nop [rax][rax][0]
.FF0C3770: 66666690 nop
.FF0C3774: 666690 nop

Удивлению нет предела )))

Причем здесь "полиморфизм"? А при том, что если вы детектили полиморфные объекты, то вы должны знать о способе детекта по мусору. Напомню, что суть детекта заключается в подсчете подозрительных(уникальных) инструкций и выдаче статуса "обнаружен", если их количество превысило допустимое значени. Думаю, теперь на лицо "подозрительная" инструкция nop :)

Lazy IRQL

2010-06-04T11:34:00.000-07:00

У меня есть эл.версия книги:
М. Руссиновича, Д. Соломона, "Внутреннее устройство Microsoft Windows: Windows Server 2003, Windows XP и Windows 2000", 4 изд.

Читаю сейчас про очень интересный механизм оптимизации называемый "Lazy IRQL" и описываемый на стр. 100 в самом последнем абзаце.

Приведу абзац здесь:
"Поскольку доступ к PIC - операция довольно медленная, в HAL, использующих PIC, реализован механизм оптимизации "Отложоенный IRQL"(LazyIRQL), который избегает обращений к PIC. Когда IRQL повышается, HAL - вместо того чтобы изменять маску прерывания - просто отмечает новый IRQL. Если вслед за этим возникает прерываание с более низким приоритетом, HAL устанавливает маску прерывания в соответствии с первым и откладывает обработку прерывания с более низким приоритетом до понижения IRQL. Таким образом, если при повышенном IRQL не повзникает прерываний с более низким проритетом, HAL не потребуется обращаться к PIC."

Мне даже с n-ой итерации вдумчивого чтения не совсем стало понятны слова авторов. Уж больно туманно как-то все написано. Поэтому обратившись к Four-F получил более понятное пояснение:

"Если только в общих чертах. Т.к. запись в PIC относительно медленная операция, то ядро пытается избежать её таким образом. Когда IRQL повышается, то все все прерывания с этим и более низким уровнем д.б. замаскированы и обработка их должна быть отложена до понижения IRQL. Для этого раньше тупо прописывали маску в PIC. Но если во время обработки первого прерывания больше не произойдет прерываний того же или более низкого уровня, получается что мы зря писали в PIC. Поэтому современное ядро поступает так. Оно запоминают на IRQL первого прерывания, но в PIC не пишут. Если во время обработки этого прерывания действительно происходит прерывание того же или более низкого уровня, то тогда уже ядро записывает в PIC маску, соответствующую текущему обрабатываемому прерыванию. Т.е. в этом случае работает старая схема. Ну а если другого прерывания не случается, то и вообще в PIC ничего писать не нужно. Примерно так эта хрень работает. Более детально я не знаю, ибо нафиг не нужно :)"

Казалось бы вроде, слово в слово, но мне почему-то со слов Four-F более понятно стало, что же происходит?! ;)

Использование макросов при разработке на С\С++

2010-06-03T06:53:00.000-07:00

Наверное каждый программист разрабатыващий ПО на С\С++ писал макросы сталкивался с некоторой хитростью, которая приводит к интересному и малопонятному багу, при попытке использовать их как функции. Приведу пример, допустим есть макрос возврата минимального числа из двух:

#define M_MIN(A,B) ( ((A) < (B)) ? (A) : (B) )

При попытке исползования в следующем коде:

int a = 2, b = 4;
int c = M_MIN(a++, b);

мы почему-то получаем не то что ожидаем! Это связано с тем что подставится в проверку (2++) < 4 , и потом еще раз при подстановке наименьшего ? (3++) , то есть 4 !

Из этого вытекает только одно правило: не использовать макросы, а если без них никак, то не использовать их как функции!!!!

Дружба VirtualKD и WinXP SP3 внутри VMware

2010-05-27T01:40:00.000-07:00

Сегодня удалось подружить VirtualKD и WinXP SP3 поставленную в качестве гостевой системы внутри VMware.

Сначала коротко о том, что же такое VirtualKD ?
Если вы перейдете по следующей ссылке, то вы можете прочесть все сами, но приведу слова тут:

In English:
Welcome to the VirtualKD homepage. This project allows speeding up (up to 45x) Windows kernel module debugging using VMWare and VirtualBox virtual machines. If you have ever noticed that the standard debugging over virtual COM port is irritatingly slow, this software is for you!

In Russian(от меня)
Добро пожаловать на домашнюю страничку VirtualKD. Это проект позволяет провысить скорость(до 45x) отладки модулей ядра Windows используя виртуальные машины VMware и VirtualBox . Если Вы когда-либо замечали что стандартная отладка через виртуальный COM порт раздражающе медленная, то это программное обеспечение для Вас!

Думаю теперь вам цель этого проекта понятно и можно приступить к описанию установки, настройки.

1) Установить собственно Windows внутрь VMware
2) Каким-либо способом передать архив дистрибутива внутрь гостевой системы
3) Запустить "target\vminstall.exe" внутри этой гостевой системы
4) Запустить на хостовой, т.е. там где стоит VMware файл "virtualkd\vmmon.exe"
5) Через кнопку "Debugger path" указать путь к отладчику в проге vmmon.exe
6) Перезагрузить гостевую с выбором варианта отладочной загрузки системы
7) После выбора варианта загрузки, система остановится и не будет грузиться. Это нормально!!!
Для этого в загруженном отладчике нужно сказать "ГОУ", для WinDBG это команда "g" в его командной строке и возможно придется два раза, пока не появится "debugging running"
8) Система загрузилась

Теперь, предпочитаю "сохраниться" ;))) Для этого надо перейти в WinDBG и выбрать в верхнем меню Debug->break. После этого гостевая "замрет" и можно нажать кнопку "save snapshot". В комантариях к снэпшоту укажите что хотите не забыть в будущем, чтобы потом не тупить )

Выгрузка драйвера, условия работы DriverUnload

2010-05-26T06:09:00.000-07:00

Выгрузка драйвера, не менее важный процесс как и его корректная инициализация.

Инициализация драйвера подобна процессу создания объекта класса в С++. Когда вы создаете объект класса, то в случае, если тело конструктора корректно не отработало и некорректно завершен, тогда не следует ждать работы деструктора объекта. Он отработает только, когда корректно создан объект, читай корректно отработал конструктор. Другими словами, если вам, к примеру, нужно сделать 5 действий, а из них корректно выполнены только 4, то вы должны внутри конструктора "откатить" изменения сделанные этими 4 действиями и только тогда вы можете завершать работу конструктора бросанием исключения. Не стоит надеяться на то что в деструкторе все почистится и завершится!

В модели драйверов WDM точно также, есле не отработана функция DriverEntry, т.е. не завершена кодом возврата STATUS_SUCCESS, то зарегистрированная функция DriverUnload не отработает!

Еще раз подчеркну важность освобождения ресурсов на случай, если что-то пошло не так в конструкторе объекта, если это С++ или в функции инициализации драйвера!

Кстати вот слова взятые тут:
"Note that a driver's Unload routine is not called if a driver's DriverEntry routine returns a failure status."

Развивая Hiew

2010-05-16T21:59:00.001-07:00

Сбылась, мечта идиота! :))) Это я о том, что и у меня есть проект, в который можно вкладывать душу! ;) Ну а теперь все по порядку.

Давным-давно, у меня была мечта учавствовать в проекте развития программного средства или системы, которое используют очень множество людей. Очень долго зрела идея помогать множеству людей, быть действительно полезным и нужным, чтобы мой труд приносил пользу как можно большему количеству народу. Шло время, а возможности реализации этой идеи все не представлялось. Буквально недавно до меня дошло как же осуществить мою затею :)

До устройства на постоянную работу в ЗАО "Лабораторию Касперского"(далее ЛК) вирусным аналитиком, мне приходилось сталкиваться с анализом исполнимых файлов формата PE исключительно в личных целях, мне было интересно как устроены защиты ПО, как работают вирусы. В то время анализировал файлы только в основном с помощью небольшого множества инструментов, туда входили Hiew, OllyDebugger, PE-Tools, WinHex. Думаю, вы заметили что я не упомянул IDA Pro, потому что в то время ее не использовал, в силу сложности ее освоения, также не использовал и WinDbg. С течением времени, будучу сотрудником ЛК освоил множество других инструментов, поменялось почти полностью точка зрения на техники исследования. Страшно представить, какое количество файлов пересмотрел, проанализировал, сколько всего узнал работая вирусным аналитиком. Среди большого количества нового, интересного и полезного выделяется одна маленькая утиллита, весом не больше 200 КБ и называется она "Hiew". Именно о ней говорит множество системных программистов и реверсеров, потому что она имеет довольно простой интерфейс и множество весьма полезных возможностей.

Идея заключается в том, что не только я выделяю Hiew, но и множество других вирусных аналитиков. Принимать участие в разработке плагинов, а также написание документирущих возможности инструмента.
Именно этим и буду заниматься в ближайшее время, писать статьи и разрабатывать плагины.

Приведу, пиар-инфу ;)

Ссылка на домашнюю страницу на русском
Ссылка на интернет-магазин

На данный, момент разработал плагин "mbytes2csrc", цель которого выделенные байты в режимах Hex, Code скопировать в буфер обмена оформленых в виде исходников на Си.

Выдираем из Hiew-листинга байты инструкций

2010-05-08T01:42:00.000-07:00

Получил тут листинг, который ребята получили в результате копирования в режиме Code из Hiew. Чтобы удобней было анализить, т.е. юзать IDA pro и ставить коменты в ходе анализа, то написал небольшой скрипт на Perl:

extract_code.pl:


#!/usr/bin/perl
use strict;
use warnings;

sub ParseFile
{
    open (SRCFILE,  $_[0])      or die "Can't open source file";
    open (DESTFILE, ">$_[1]")   or die "Can't create destination file";

    while()
    {
        chomp;
        if(/(\.[A-F0-9]{8}: )([A-F0-9]+)(.*)/)
        {
            my $bin = pack('H*', $2);
            syswrite DESTFILE, $bin;
        }
    }

    close(DESTFILE);
    close(SRCFILE);
}

ParseFile($ARGV[0],$ARGV[1]);

extract_code.pl usage:
extract_code.pl

Хавает листинг вида:
.0043F3A5: 74F4 jz 00043F39B -- 1
.0043F3A7: 8D441812 lea eax,[eax][ebx][012]
.0043F3AB: EB12 jmps 00043F3BF -- 2
.0043F3AD: 8D742600 lea esi,[esi][0]

Проверочный ли выпуск у вашей системы ?

2010-05-04T00:53:00.000-07:00

В виду того нет тулзы, которая бы ответила бы вам на вопрос в сабже, то предлагаю применить vbs-скрипт для этой цели:

1) сохраните следующее в osversion.vbs:
<начало вырезания>
strComputer = "."

' WMI Connection to the object in the CIM namespace
Set objWMIService = GetObject("winmgmts:\\" & strComputer & "\root\cimv2")

' WMI Query to the Win32_OperatingSystem
Set colItems = objWMIService.ExecQuery("Select * from Win32_OperatingSystem")

' For Each... In Loop (Next at the very end)
For Each objItem in colItems
Wscript.Echo "Caption: " & objItem.Caption
Wscript.Echo "Debug: " & objItem.Debug
Wscript.Echo "Version: " & objItem.Version
Next
WSCript.Quit
<конец вырезания>

2) выполните в командной строке:
cscript osversion.vbs

3) Результат будет примерено таким:
Caption: Microsoft Windows 7 Ultimate
Debug: False
Version: 6.1.7600

4) Где "False" говорит о том, что выпуск не проверочный.

Изначально о таком способе прочитал в книге Марка Руссиновича, но почему-то его скрипт не сработал на моей системе. ;( Пришлось немного видоизменить ;)

WDK(7600.16385.1) в одной упряжке с MS Visual Studio 2008 Team Suite

2010-05-02T12:50:00.000-07:00

Ринг нуль!

Это два слова манили меня к себе как магнит притягивает к себе метал. Как влюбленный юноша по мимо воли тянется к возлюбленной. Не смог сопротивляться власти этого мира больших возможностей и я, а возможностей у кода работающего на самом низком кольце хоть убавляй. По сути твой код может кланяться только немаскируемому прерыванию, но оно так быстро отрабатывает, что это никак не мешает твоей работе.

Какой же вопрос встал передо мной в первую очередь? Правильно: "Как разрабатывать и в чем?". Почитав в этой области и увидел множество разнообразных слов в виде "ddkbuild.cmd" или более старый "ddkbuild.bat" , позже натолкнулся на "ddkwizard", но только "VisualDDK" преподнесло мне те возможности какие я искал:

Создание проекта на основе шаблонов;
В проекте уже вставлены и добавлены нужные инклуды и либы;
При создании проекта создаются привычные debug , release папки;

Поэтому я рекомендую всем начинающим посетить VisualDDK . Думаю, после установки этого продукта вам не захочется ставить что-либо другое! ;)

При установке меня всего-лишь спросили папку, где установлен WDK("c:\WinDDK\7600.16385.1\") и ВСЕ! Ну да и во время создания проекта указал, что нужен драйвер под Win XP ;)

Надежность текстового сообщения, где каждой букве соответствует свой уникальный символ

2010-04-28T04:06:00.000-07:00

I. Введение.

Когда-то давным давно в детстве в моей школе, а если быть точным моем классе пошла мода писать шифрограммы ;) Причем каждой буковке русского алфавита ставили свой уникальный символ и далее, используя этим символы писали сообщение тем кому доверяли.

Нет, школа была не с каким-нить "перенаклоном", а обычного типа, с обычными детьми. Сказал бы, что была "гоп"-типа, где сущестовали "ты с какого района пацанчик?", но это уже тема другого общения.

Использовали подобное написание писем, когда передавали записки друг другу. Но по причине того, что иногда мы сидели на разных рядах, приходилось передавать через посредников , скажем второй ряд, когда сам сидишь на первом, а адресат на третьем ряду.

Мы тогда думали, что верх надежности... Но так ли это ? ;)

Эта запись, покажет насколько это надежно и где это можно применять.

П. Анализ.

Приведу еще раз метод шифрования. Если зашифровать текстовое сообщение, скажем на русском языке, где каждой букве из алфавита сопоставить уникальный символ и создать таким образом "словарь замены", а после уже все сообщении поменять на уникальные символы из алфавита, то эта шифрование будет надежным, как правило!

Слова применяемые в языке имеют избыточность и особенность.
Каждая буква может встречаться больше\меньше чем какая-либо другая
Как правило при написании предложения используются пробелы.

Поясню п.1. возьмем слова "масса", "касса", как видим есть особеность "сс". Так что видя шифровки вида 1112131312 мы можем предполагать о том что "13" это возможно "с" или "н", а ведь есть слова где встречаются и "нн" ;) Замечу, что это не одна особенность русского языка, есть и другие.

Поясню п.2 можно взять самую большую книгу на русском языке, к примеру "Война и Мир" и подсчитать частоты встречаемости каждой буквы, в век ЭВМ и Интернет эту задачу не очень долго осуществить. Далее взяв шифро-текст, подсчитать частоты встречаемости каждого символа и можно строить предположения о каких-либо сопоставлениях символов с буквами, а учитывая при этом п.1 это еще и помогает ;)

Поясню п.3 при проделаных п.2 и п.1 моно выявить предлоги, можно также выделить, где начинаются слова и где они заканчиваются.

Дальше дело техники.

III. Че ваще никогда не юзать что-ли ?

Этот вид шифрования надежен только тогда, когда встречается мало нюансов и текст шифруемого сообщения не имеет большой длины.

Получение адреса загрузки Kernel32 через PEB

2010-04-17T08:32:00.000-07:00

Всем до боли знакомый способ получения адреса загрузки динамической kernel32.dll посредством доступа к PEB:

.code:0040100A 64 A1 30 00 00+ mov eax, large fs:30h
.code:00401010 8B 40 0C mov eax, [eax+0Ch]
.code:00401013 8B 40 1C mov eax, [eax+1Ch]
.code:00401016 8B 00 mov eax, [eax]
.code:00401018 8B 40 08 mov eax, [eax+8]

После свой работы на Windows 7 x64, поверг меня немного в изумление ;) по найденому адресу распологается совсем другая динамическая библеотека, это kernelbase।dll. Нет, я конечно слышал об отличиях, но столкнулся на практике только сегодня )))

Об этом можно почитать тут и здесь . Весьма ясно и не противоречиво написанно чего и где находится и как искать нужное ! ;)

Obfuscated objects. Names for and URLs to Articles only

2009-10-07T02:44:00.000-07:00

Тут будут публиковать ссылки на источники для тех, кто интересуется устройством вредоносных объектов содержащих полиморфный и метоморфный код, а также методами борьбы с подобными исчадиями ада.

[!!!]Будьте осторожны, по ссылкам может оказаться вредоносная программа, поэтому лучше скачайте wget'ом и посмотрите что залилось в Hiew и только потом уже юзайте.

На английском:

Stephen Pearce. "Viral Polymorphism" . vx.netlux.org/lib/asp00.html
Quazah. "Do polymorphism". http://vx.netlux.org/lib/static/vdat/tumisc76.htm
Quazah. "Polymorphism and grammars" . vx.netlux.org/lib/static/vdat/tupolgra.htm
Lord Julus. "Polymorphism - analysys on the decryptor generator" . vx.netlux.org/lib/static/vdat/tupolydg.htm
Arun Lakhotia, Moinuddin Mohammed . "Improsing Order on Program Statements to Assist Anti-Virus scanners" . vx.netlux.org/lib/aal01.html
"Understanding and Managing Polymorphic Viruses" . www.symantec.com/avcenter/reference/striker.pdf
Rou Ando. "Paralell analysis of polymorphic viral code using automated deduction system" . www2.nict.go.jp/y/y212/ruo/pdfs/SNPD07_RuoAndo.pdf
Peter Szor, Peter Ferrie . "Hunting for metamorphic" . http://www.symantec.com/avcenter/reference/hunting.for.metamorphic.pdf
Evgenios Konstaninou . "Metamorphic virus: Analysis and detection" . http://www.ma.rhul.ac.uk/static/techrep/2008/RHUL-MA-2008-02.pdf

На русском:

Billy Bolcebu. "Путеводитель по написанию вирусов: 7. Полиморфизм" . www.wasm.ru/print.php?article=1006009
Billy Bolcebu. "Путеводитель по написанию вирусов под Win32: 9. Win32-Полиморфизм" . www.wasm.ru/print.php?article=vgw09
Trigger/SLAM. "Путеводитель идиота по написанию полиморфных движков" . www.wasm.ru/print.php?article=1006100
slon . "Полиморфизм. Новые техники" . www.wasm.ru/print.php?article=polimorf
slon . "Построение простого EPO-мотора" . www.wasm.ru/print.php?article=epoengine
Billy Bolcebu . "Метаморфизм (часть1)" . www.wasm.ru/print.php?article=mmei
Billy Bolcebu ."Метаморфизм (часть2)" . www.wasm.ru/print.php?article=mmeii
Mentall Driller. "Создание продвинутых полиморфных движков" . www.wasm.ru/print.php?article=advpoly
zOmbie . "Метаморфизм. Часть 1" . z0mbie.daemonlab.org/meta1.html

Перехват Win32 API функций в привязанных PE-файлах

2009-08-12T11:23:00.000-07:00

Цель:
Показать два вида хука в привзязанных по импорту PE32-файлах.
Задачи:

Пояснить что такое привязанный файл;
Показать способ создания привязанного файла;
Описать установку хука функций в привязанных файлах;
Перечислить условия срабатывания Хук-функции;
Указать на важность обнаружения таких хуков в файлах;

Работа системного загрузчика:

Прежде чем приступить к описанию сути, приведу упрощенную схему загрузки исполнимого модуля в адресное пространство процесса:

Выделяет память размером в PE->OptionalHeader.SizeOfImage байт. Загручик пытается выделить память по предполагаемому адресу указанному в PE->OptionalHeader.ImageBase (далее по тексту IB);
В выделенную память проецируются данные секций из файлового образа;
Затем происходит проверка значений IB и адреса выделенной памяти(далее hInstance);
Настройка адресов импортируемых функций из других модулей;
При наличии разницы меж адресами в п.3 происходит фиксание кода используя таблицу перемещаемых элементов, при ее отсуствии приложение не загружается;

Следует заметить, что первым в пространство процесса сначала процеруется не сам исполнимый модуль, который запущен на выполнение, а все его импортируемые модули. А перед этими импортируемыми молудулями, загрузчик просаматривает зависимости на наличие у них своих импортируемых модулей. В случае нахождения грузятся первыми их импортируемые модули и т.д. до первого модуля, который ничего не импортирует!

Привязки:

В целях оптимизации при запуске файла был разработан механизм "привязывания"(англ. binding). Этот механизм позволяет исключить настройку адресов импортируемых функций из других модулей при соблюдении некоторых условий загрузки.

Эти условия таковы:

hInstance и IB импортируемого модуля одинаковы;
TimedateStamp в описателе IMAGE_BOUND_DESCRIPTOR-е совпадает с TimedateStamp импортируемого модуля;

Когда эти условия выполнены процесса настройки адресов импортирумых функций не происходит.

Да и зачем настраивать, если все лежит по тем местам, где и предполагалось?

Ошибочно полагать, что если эти условия не соблюдены, то файл не загрузится. Нет. Это не так, файл будет загружен, потому что произойдет процесс настройки адресов.

Виды привязок:

Старый(англ. old binding);
Новый(англ. new binding, bound);

Получение привязанных файлов:

Оба типа привязок можно получить с помощью утиллиты bind.exe входящей в MS Platform SDK, MSDN. Применяя эту тулзу к файлу без указания каких-либо ключей вообще мы можем получить второй вид привязки - новый. Применив ключ "-o" к файлу, мы получим первый вид привязки - старый.

Определение привязки:

Для новой привязки это наличие директории Bound, расположенной по адресу PE->OptionalHeader.DataDirectory[11].VirtualAdress и наличию значения 0xFFFFFFFF в IMAGE_IMPORT_DESCRIPTOR.TimedateStamp;
Для старой значение IMAGE_IMPORT_DESCRIPTOR.TimedateStamp отличного от 0x0 и 0xFFFFFFFF;

Установка хука:

Привязать файл с помощью bind.exe
Найти адрес импортируемой фукнции в IAT (IMAGE_IMPORT_DESCRIPTOR->FirstThunk), на которую требуется установить хук;
Поставить в найденном элементе IAT свой адрес;
В коде по своему адресу, по окончании работы выполнить переход по оригинальному адресу;

Поиск хука:

Определить наличие привязки;
Каждый адрес в IAT проверять на попадание в диапазон адресов от IB до IB+PE->OptionalHeader.SizeOfImage;
В случае обнаружения такого адреса мы получаем адрес перехваченной функции;

Важность:

Прежде всего следует отметить что зловреды современности не толко стараются применять разнообразные полиморфные генераторы, для усложнения анализа и обнаружения продуктами ИБ, но и спрятать факт перехода на код инжектируемых данных. Тот факт, что настройка адресов импортируемых функций может произойти, а может и нет говорит о том, что воспроизвести ситуацию, какая была у пользователя весьма не тривиальна. Выход один, добавить функционал обнаружения перехваченных АПИ-шек в свои тулзы, как флажок ;)
Не могу утверждать, что все продукты современных антивирусов знают о старом и новом способах привязки и следовательно перехвате.

Виртуальная машина в keygenme от Ms-Rem

2009-07-26T21:03:00.000-07:00

Введение:

Те кто в теме, кто знает и слышал никнэйм Ms-Rem думаю слышали и о его детище-головоломке игрушке кейгенми цель, которого предоставить реверсеру офигенный навык по работе с виртуальными машинами. Итак все по порядку:

Цель кейгенми:
Разработать приложение которое на заданное имя пользователя сгенерирует последовательность цифр,называемую серийным номером. Введя эти данные в Edit'ы кейгенми получить "Congratiolations"

Уровни защиты:
1. Уровень защиты это небольшая и не сложная полиморфная паковка, снимаемая на глаз.
2. Алгоритм работы скрыт в командах придуманого разработаного интерпретатора этих команд, т.е.виртуальной машины.Именно в логике этих команд и скрыт механизм генерации фраз поздравления или посыла крякера, а также проверке введенных данных.

Краткое описание виртуальной машины:

Машина очень напоминает математический абстрактный аппарат Машина Тьюринга, а также язык так называемый "брайнфак". В логике ВМ всего 8 команд и своя виртуальная память.

Обозначения:

eax - выступает в роли указателя на команду
lpVMMem - указатель на виртуальную память
lpInput - указатель на введенные пользователем данные
lpOutput - указатель на то куда будет ложиться результирующая строка, о результате сверки, затем толи вас пошлют, либо поздравят )

Описание:

Размер виртуальной программы - 0x3DA2 байт!

0 - увеличение на 1 численного значения указателя на виртуальную память
1 - уменьшение на 1 численного значения указателя на виртуальную память
2 - увеличение на 1 численного значения байта по указателю на виртуальную память
3 - уменьшение на 1 численного значения байта по указателю на виртуальную память
4 - копирование одного байти из входной последовательности в позицию виртуальной памяти куда указывает указатель на вирт. память. После увеличиваем на 1 указатель входных данных
5 - копирование одного байта из вирт.памяти в память по указателю выходных данных. Затем увеличение на 1 указателя выходных данных
6 - В случае если по указателю вирт. памяти хроанится 0, то вычисляется новое смещение и осуществляется переход
7- В случае если по указателю вирт. памяти байт не равен 0, то вычисляется новое смещение и осуществляется переход

Выводы:

При просмотре кода вирт программы можно сделать выводы:

Существует одна инструкция "5" значит и выполняется несколько роза, т.е. ЦИКЛ. Тоже самое с "4" !
Из-за обилия инструкций "2" и двух "0" можно сделать вывод что это генерация юникод-строк с фразами результата в вирт. памяти.
Нет проверки аналогично cmp в привычной нам хакерам свято верящих в x86-64 архитектуру и следовательно защита может только проверить какие-то байты введенных байт, командами "6" или "7"
В силу. п3 защита может вычислеть такое значение значение указателя на вирт. память, где хранится строка с результатом!

Все! ;) Остается пожелать удачи тем, кто хочет попробовать силы и найти ответ на вопрос : "Как именно защита вычесляет значение указателя на строку с правильным результатом ?

Virtual Machine of RLPack v1.20.1full

2009-07-25T12:00:00.000-07:00

Цель:
Показать устройство виртуального процессора , который используется в опции "Виртуализация кода" RLPack v1.20.1f

Описание:

Одна виртуальная машинная инструкция описывается структурой из трех DWORD-ов,где 1-й это код операции, а два втоорых дополнительных, которые могут иметь коды регистров, значения смещений, константы. В программном представлении можно воспользоваться следующей структурой:

typedef struct _RLPK_VM_INSTR {
DWORD Type;
DWORD Field_4;
DWORD Field_8;
} RLPK_VM_INSTR, *PRLPK_VM_INSTR;

Условием завершения потока виртуальных иструкций является значение 0 в очередном экземпляре RLPK_VM_INSTR.

Всего имеется 27 различных видов инструкций и 24 кода для регистров.

Кодировка регистров и их соответствие в нашей "родной" x86-архитектуре:

ESI - 0x06, 0x15
EDI - 0x05, 0x16
EBP - 0x07, 0x17
ESP - 0x08, 0x18
EAX - 0x01, 0x09, 0x0A, 0x0B
EBX - 0x02, 0x0C, 0x0D, 0x0E
ECX - 0x03, 0x0F, 0x10, 0x11
EDX - 0x04, 0x12, 0x13, 0x14

Кодировка инструкций и их соотвествие в нашей привычной и родной нам x86-архитектуре:

0x1 - MOV EBP,ESP
0x2 - PUSH NUM // NUM - Field_4
0x3 - PUSH REG // REG - Field_4
0x4, 0x5 - ADD REG, NUMBER // REG - Field_4, NUM - Field_8
0x6 - MOV REG,NUM // REG - Feld_4, NUM - Field_8
0x8 - MOV REG,FS:[0] // REG - Field_4
0x9 - MOV FS:[0],REG // REG - Field_4
0xA - MOV REG2,[REG] // REG - Field_4, REG2 - Field_8
0xB - MOV [ADDR],REG // REG - Field_8, ADDR - Field_4
0xC - CALL ADDR // ADDR - Field_4
0xD - MOV REG,[ADDR] // REG - Field_4, ADDR - Field_8
0x10 - MOV REG2, REG1 // REG1 - Field_4, REG2 - Field_8
0x11 - CALL [ADDR] // Address - Field_4
0x12 - PUSH DWORD[FS:0] // no comments :)
0x14 - POP REG // REG - Field_4
0x17 - MOV [REG2],REG // REG - Field_4, REG2 - Field_8
0x18 - VM_RET // Детализация будет позже ;)
0x19, 0x1A - MOV [ADDR],NUM // ADDR - Field_4 ,NUM - Field_8
0x1B - MOV REG,[REG2+NUM] // REG - Field_4, REG2 = Field_8 >> 2, NUM = Field_8 & 0xFFFF

--- Есть еще команды, опишу в следующий раз, ждите продолжения )))

Виртуализация:

Работа пакера делится:

виртуализация вызова функций напрямую
виртуализация подряд идущего, т.е. аналогично INLINE применяемого компиляторами.

Если встречается функция в которой пакер не может какую-нить инструкцияю обработать, то он вызывает эту функцию полностью. К примеру такой фунцией может быть Win32 API.
Если встречается инструкция которую не может обработать и это не в функции, то на этом месте виртуализация завершается и пакер просто в конечном итоге ставит сюда прыжок после работы виртуализатора в стабе