lynoxod

Хлопок одной рукой

2009-04-23T10:24:11Z

int *i = new int[0];

То, что стандарт разрешает, это понятно. Но я первый раз ээ.. ну лет восемь профессионального программирования вижу что бы такое использовалось (я про плюсы, в джаве это понятно). Более того, оно действительно по делу. И это реально красивое решение. Хоть и не однозначное, на мой взгляд.
Век живи:)

lynoxod @ 2009-04-22T10:30:00

2009-04-22T03:40:56Z

Похоже, проект я закончил. Так что можно и побухтеть.

Сегодня речь пойдёт о компилируемых языках и отчётах компилятора.

Если вы хотите сделать ваше приложение быстрее, не спешите натравливать на него профилировщик. И даже не думайте лезть в ассемблер. Для начала ваш главный друг и помощник - компилятор. Это именно тот инструмент, который может менять производительность вашей программы в разы. Сегодня у нас будет курс ускоренного бойца по поводу как готовить компилятор Intel С++.
(Если вдруг кто заинтересуется, можно будет и про gcc и ms' рассказать, но при условии, что заинтересовавшийся сумеет объяснить, зачем ему это:)

Итак, в какой-то момент вы осознали что "всё тормозит".

Тут, по-хорошему, должен быть абзац о том, как в этом убедиться, как выделить проблему и сформулировать цели. Это шаг номер ноль. Но не в этот раз.

Первым шагом будет откомпилироваться Intel'овским компилятором. (Где взять - это каждый решает сам%, как заинтегрировать в VS или Eclipse написано в гугле и на интеловском сайте). Маркетологи утверждают, что по их опросникам получается, что для половины пользователей, сделавших этот шаг на пути увеличения производительности их программ, он становится последним. Скорость работы становится достаточной. Не силён комментировать. Для AMD, как ни странно, тоже имеет смысл. (Про это можно говорить отдельно).

Шаг второй. Если всё ещё медленно, пробуем подстроить компилятор под задачу.
Компилятор сложная, большая и умная программа. Её писало много часов много людей, которые много знают о том, как работают процессоры, какие оптимизации умеет современный compute science. При этом пользователю предоставляется множество ручек настройки.
Они как-то разведены в графических интерфейсах, но в любой IDE есть поле, куда можно просто дописать ключи компиляции. Всего ключей много, большинство описано в ДОКУМЕНТАЦИИ. Мне её пересказывать неинтересно.

Для тех, кому сильно лениво:)
Полезно хотя бы знать что есть агригрированные ключи, упровляющие оптимизацией "в общем"
(это в линуксовой нотации, для винды <-> заменять на </>)
Есть Уровень оптимизации.
     -О0 -- оптимизации отключены, включается при отладке
     -О1 -- оптимизация по размеру, бывает полезно, например, для БД
     -О2 -- уровень оптимизации по умолчанию
     -О3 -- добавляет еще немного оптимизаций циклов и математики к О2
     -xO - оптимизация под неинтелловскую архитектуру
    Каждая из этих опций (кроме О0) включает множество оптимизаций, таких как
    векторизация, инлайнинг, раскрутка циклов, вынос инвариантов и многие другие.
    Еще есть собирательная опция
    -fast -- её значение может меняться с версией компилятора, но когда я
    последний раз смотрел, "-fast" означало "-O3 -ipo -xP"

Понятно, что это лишь поверхность. Ручек тонкой настройки много и они неспроста. Но они влияют на код не столь драматично как О3 против О0. Сейчас посмотрел старые папки, самая длинная строка компиляции содержала 12 ключей компилятору и две линкеру. Это давало +11% к чистому О3 на приложении. (Пример может быть не очень показательным, но порядок примерно такой. Другое дело, что есть области где и 1% стоит больших денег).

Есть еще директивы компилятору и интринсики. Но не в этот раз.

В этот немного про отчёты компиляции.

Волшебные ключики -opt-report (/Qopt-report для Windows). Опция включает печать отчётов на stderr. Можно указать уровень детализации от 1 до 3. Можно stderr перенаправлять, можно использовать -opt-report-file (/Qopt-report-file).

С помощью -opt-report-phase можно указать для какой фазы надо отчёт. Фаз много. Для начала полезными могут быть
            hlo        -- High Level Optimizer - всякие оптимизации циклов и памяти,
            hpo     -- тут расскажут про векторизацию и параллелизацию,
            ipo_inl -- про инлайнинг
(имя фазы пишется без пробела, слитно с ключом)

Подробности можно узнать по ключу -opt-report-help (/Qopt-report-help) - расскажет о всех публичных фазах.

Удобно использовать -opt-report-routine name для того, что бы отчёт генерировался только для функций с подстрокой name в имени.

Для векторизации есть отдельный ключ -vec-report [n].
n устанавливает болтливость: 0 - молчать, 1 - говорить что смог векторизовать, 2 - (1)+что не смог, 3 - (2)+почему не смог векторизовать.

memcopy

2009-04-14T16:39:16Z

А буду я, по тихой грусти, писать о наболевшем - про performance analysis и его же optimization.

Причём начну сразу с интересного. С Managed runtime. В нативе (в компилируемых языках вроде С++) подобная задача в большинстве случаев решается проще. Хотя там тоже мноого всего интересного:) Но вкратце, для начала можно проверить, как влияет -noinline, если всё ожидаемо (то есть результат не меняется кардинально), то собираем профайл -- это нам показывает в каких функциях проблемы.
Можно еще собрать и с инлайнингом, а так же граф вызова функций, но в большинстве случаев это нетрэбе.

В большинстве случаев просто глядя в собранные профайлы можно понять в чём дело.
Если нет, то перекомпилируем просевшие функции с ключом -opt_report, смотрим что хотел делать компилятор и чего у него не получилось. Это если нет какой-нибудь OpenMP или MPI параллелизации.

В Managed Runtime всё сложнее. Особенно когда нет исходников этого Managed Runtime:) Кстати, когда нет исходников нативного приложения из предыдущего абзаца, всё тоже интереснее (но решаемо).

Но ближе к Java. Проблема первая. inlining методов можно запретить. Но действовать это будет лишь на одну компиляцию. Потом некотрые JVMы этот параметр забывают.

(Перекомпиляция по ходу выполнения программы -- это одно из достоинств программ, выполняющихся под виртуальной машиной. То есть если во всяких С, программа компилируется один раз и на все случаи жизни, то Java по ходу выполнения может понимать, что вот этот вот метод работает неоптимально и на лету перекомпилировать его. С учётом статистики о том, какие условные переходы куда ведут, какие данные приходят на вход и так далее. Этакая адаптивная Profile Guided Optimization. Отсюда, кстати еще одна жёпа для того, кому интересно чтобы программа не только ходила, но и бегала, летала, думала и причём быстро.

Жёпа в том, что нет бинарника. Java-машина подгружает код, интерпретирует его или компилирует, складывает куда-то в память и передаёт управление туда. Потом опять перекомпилирует (а некоторые и декомпилируют обратно в интерпретируемый код).

Первая часть проблемы в том, что исполняемого файла не существует, это то, что нельзя вот так просто взять и посмотреть, какие инструкции исполнялись.
Вторая и гораздо более серьезная проблема в следующем. У процессоров есть встроенный механизм по поводу понимания, как работает ваше приложение с точки зрения процессора. Насколько эффективно оно использует ресурсы процессора (вычислительные устройства, регистры, буфера и всевозможные таблицы, ...), как часто промахивается мимо кэша, насколько часто неправильно предсказываются ветвления, ну и много много всего всякого. В современных процессорах таких performance event'ов далеко за сотню. Вот с помощью этого волшебного механизма можно узнать, что 90% процессорного времени ваша программа тратит в этом маленьком цикле из-за того, что неправильно предсказывается вот этот условный переход, а вот обработка этих массивов медленнее на два порядков, так как мы постоянно зарабатываем cache miss).

Причем особая польза в том, что не просто можно увидеть что мы могли бы работать в два раза быстрее если бы у нас не было промахов по кэшу, а еще и видно где именно проблема в нашей программе. То есть, какой класс, какая функция, какой цикл, какая строчка кода вызывает то или иное событие.

В Java всё не так просто. У процессора случилось событие, которое нас интересует, он защелкнул IP (instruction pointer -- указатель на инструкцию, которая вызвала это событие), (это упрощённая модель), но как узнать какой код лежал по тому адресу?! Это знает только Java-машина, и то, пока работает:). Она компилирует код -- от запуска к запуску результат может отличаться, она его складывает куда-то -- от запуска к запуску адреса не совпадают. Но это решаемая проблема. Пока хватит.

lynoxod @ 2009-04-14T16:56:00

2009-04-14T10:00:38Z

У меня тупняк. Такой полноценный и качественный. С осоловелыми глазами, с подходящим вырожением лица (и мозга:)
Настолько тупняк, что я (а) отказался от "не читать интернет на работе не по работе". Но там тоже тупняк. И я (б) поднял жж.

Здравствуй, мир!

В предверье кризиса

2008-12-18T04:18:10Z

Я хренею.
От того, что выбирают в новости на академорге: http://academ.info/index.php?pid=news&id=10032
От того, что шестьдесят четыре тысячи.

Нет, с такими людьми мы коммунизм не построим.

lynoxod @ 2008-12-16T16:39:00

2008-12-16T10:44:18Z

Сокращение Внутренних войск МВД России будет приостановлено, сообщил главнокомандующий Внутренними войсками МВД России генерал армии Николай Рогожкин.
«Руководство страны приняло решение поддержать численность Внутренних войск на прежнем уровне. Это связано с необходимостью выполнения всех поставленных задач», – сообщил генерал. По его словам, ранее планами предусматривалось сокращение численности войск. «Это не связано с кризисом, – отметил Рогожкин, – потому что планы разрабатывались в течение двух лет..."

То есть объем задач у ВВ скоро увеличиться..

----------------------------------------------------------------------

В гешь съездили отлично. Не поддваваться искушению катать второй день на доске. Лыжи -- это кайф.

Геш

2008-12-10T03:34:19Z

Из 21! человека, хотевшего ехать -- сейчас едут шестеро. Простуда и всякая фигня побеждают:) Я бы и не переживал, если бы как обычно -- в квартиру, а так домик пропадает.

Fun

2008-12-09T03:39:02Z

: )

Шире Геш

2008-12-08T08:48:06Z

Программа следующая:
В пятницу стартуем в шесть из академа. (опыт подсказывает, что аккурат к восьми соберёмся, но не хотелось бы: )
Субботу катаемся, вечером коктейль-пати. (Шашлык не будем – прохладно).
В воскресенье – как пойдет.

Желающих уже много. Кроме домика я на всякий случай забронировал 3-ку. Кто передумает/надумает – дайте знать.

Погоду там переобещали на -15/-10.

lynoxod @ 2008-12-05T14:56:00

2008-12-05T08:59:05Z

Разбираю сейчас всякие бумаги из поездки. Одну ночь мы всё же провели в Бобруйске! :)

(Картинка к делу не относится. Просто прекрасна:)

lynoxod @ 2008-12-04T23:38:00

2008-12-04T17:56:45Z

1. Я настроил AirPort --- яблоки снюхались. В первый раз нехватило ~~мозгов~~ мартини(?).
2. Как показывает этот пост --- я помню расположение русских букв на клаве.
3. По пути домой совершил подвиг. Жене рассказать не успел --- нашлось занятие важнее: )
4. Я пьян.
5. Я спать.
6. Пункт для любознательных --- пункты 4 и 5 --- про меня, разные, а ведь не противоречат..

Кто Укурорк?

lynoxod @ 2008-12-03T18:01:00

2008-12-03T12:09:05Z

Я вернулся. Привет;)

В Новосибирске на 1 3,14 декабря обещают -40. В таштаголе - сейчас посмотрел -18/-8. И непрерывный снег с 6го по 14ое. Надо ехать!

(Машина сегодня не завелась)

lynoxod @ 2007-09-24T13:09:00

2007-09-24T06:21:19Z

Джентельмены, я вернулся.

(пора бы зафрендить Леру и все узнавать автоматически:)

Маша, здорово что пересеклись. Был рад повидаться и послушать. А собираетесь вы вообще волшебно;)
Счислива всем вам, привет от всех нас.

lynoxod @ 2007-03-09T15:16:00

2007-03-09T09:16:54Z

Танай или Нетанай. Вопрос.

lynoxod @ 2007-03-07T11:39:00

2007-03-07T05:42:30Z

Открываю новости. Первой строкой "Чудовище чуть не съело дантиста!"
Удивляюсь.
Читаю дальше мелким текстом: Не пропустите! В эфире сериал «На Орбите!» Смотрите трейлер.

Доброе утро:)

lynoxod @ 2007-03-06T13:34:00

2007-03-06T07:33:48Z

Придется и мне написать про шире Геш.
Покатались очень хорошо. Повезло и со склонами и с погодой и с толпами.

Во-первых, туда пришла весна. (Есть такая примета – если ротрачат лоб, значит пришла весна). Ротрачили и лоб и объездную и выкат и вообще каждую ночь. Людей было мало и это радовало.
Шория пустила новое кресло - аккурат по нижнему Еленовскому бугелю – очень удобное для начинающих доскеров. Верхний бугель теперь очень медленный – стал раза в полтора-два медленнее – пока доедешь - надоест.
На борде я все еще чайничек, но уже чуть лучше.
Афигенно здоровское очучение, надо сказать – когда каждый раз получается чуть лучше, чуть больше. Самый кайф.
На лыжах кайф другой – ууух. Но на малых скоростях или капец активное катание, или не прогибаю.
У Леры уже получается не мести хвостом а резать. Мне до этого даалеко.
Димка катается как Бог, второй Димка четвертый раз стоял на лыжах, но уже жег.

Про дорогу. Гоша, спасибо. Я все равно заплутал один раз туда (3 км) и обратно (~20 км).

Мы не неслись и рекордов не ставили – просто повезло. Дорога была не нагруженной, метели не было. Все в штатном режиме – без рисковых обгонов, заносов и прочих развлекаловок. Время посчитали вообще когда подъезжали.

lynoxod @ 2007-03-05T18:02:00

2007-03-05T12:04:14Z

В Шерегеше кончились деньги – ну как всегда:)
Но я слышал сплетни, что кто-то видел (безлунной ночью и по сильной укурке) банкомат в поселке. Найти его оказалось просто.

Есть такой анекдот:
Мужик в лесу заблудился и кричит: "Ау! Эээй! Эгегей.. Есть тут кто?!"..
На крик приходит медведь: "Что шумишь?"
- Я.. ээ.. заблудился! Вот кричу – может услышит кто.
- Ну я услышал. Легче стало?

Банкомат нашел легко. Дай денег, говорю, а? А он говорит – не-а – в операции отказано, внутренний код ошибки 00F000E2. Извините. (Извините большими буквами написал). Ну, думаю, может пин забыл или денег в нем нет. Сходили с Димой – Диме он денег дал.

Сегодня зашел в банку. В банке говорят – а вы в какие страны ездили за последний год? В разные говорю. Ну и зря, говорят надо было дома сидеть, засветил ты, говорят, свою карту в Англии. Позавчера платежная система подозрела мошенничество, и автоматом ее заблокировала.
Карточка под перевыпуск, через пятнадцать дней приходите, берите выписку со счета и удивляйтесь.
Еще полтора часа убеждал дать мне деньги по паспорту.

Англия – страна-мечта.
Храните деньги в сберегательной кассе.

lynoxod @ 2007-02-28T13:02:00

2007-02-28T07:04:18Z

Лера пошла стричься - присылает смс'ку: ну ты же меня все равно любишь.
Сижу - баюс.

lynoxod @ 2007-02-28T12:03:00

2007-02-28T06:10:16Z

Новости одной строкой:

int getRandomNum() {
return 4; // Chosen by fair dice roll - guaranteed to be random.
}

У меня в телефоне поселился голос. Трындит про не забудте пополнить. Надоел. Зануда.

Был сегодня в Деловом центре что на Ленина. Все таких важные и ухоженные - ходил пришибленным.

lynoxod @ 2007-02-26T17:46:00

2007-02-26T11:47:16Z

Давно я тут не был.
Что было?
Три дня рождения и одни проводы. А еще шашлыки. И полуфинал Рок-Он’а. (Я в музыке, кстати, нифига не понимаю и верю, что даже если звуковой волной вышибает зубы прямо внутрь то все равно отстой. (Да, да - надо говорить кака-фония).
Если вкратце:
Де-Лайт выше наголову всех остальных участников.
То что нас не пустили на четверть-финал – благо:)
Ирка – звезда.

У друзей появилась отвратительная привычка – по пятницам они улетают. Сто семьдесят четвертым в семь сорок. И не возвращаются.

Я тут себе каникулы устроил – заболел. Ща нарабатываю упущенное.
Да, кстати – Лерочка – Солнушка. :-Р

lynoxod @ 2007-01-31T15:17:00

2007-01-31T09:20:35Z

Площадь зубов Мурзика ничтожна мала по сравнению с площадью самого Мурзика, но вероятность найти именно зубы наощупь потянувшись его погладить, близка к единице.
Вот такая вот теория вероятности для кошек:)

lynoxod @ 2007-01-29T14:25:00

2007-01-29T08:26:03Z

Заработал порцию адреналина:
Пропорол колесо. Уже третий пробой колеса - и как всегда переднее. Пора чистить карму.
Первый раз - позапрошлым летом по дороге на Алтай. Гвоздь поймал – аккуратная круглая дырочка, воздух выходил медленно, просто начало руль колбасить. Скорость 160 где-то была. Пассажиры вообще не заметили. Второй раз - по весне – под путепроводом на ине была здоровенная ямина – под лужами не видно – влетел со всей дури – ударило так, что думал колесо прям там и оставлю. Вместе со стойкой и еще чем-нибудь важным. Тогда просто плавно повело вбок, руля слушалась, тормозила как надо. В результате поставило грыжу и вырвало кусок боковины – как потом сказали на шиномонтаже, у NF3 боковины достаточно часто рвет при ударе.
Это все на предыдущей машине было. Сегодня вот на этой пропорол.
Штырь что ли поймал - колесо в лохмотья. (Очень жалко новый ультрагрип:)
Если кто видел крутящийся аккорд рядом с пятерочкой на старом шоссе – вы знаете о ком я:)
На самом деле очень понравилось как ведет себя машина в такой ситуации. Очень. Хорошая машина. Очень. Слава Богу.

lynoxod @ 2007-01-24T14:11:00

2007-01-24T08:12:52Z

Мы тут на «Коридор» сходили.
Поначалу как-то не цепляло. Стоял и думал - да, было время… стал я стар… или может коридор без пива не идёт.. С такими мыслями развлекались как могли. А потом они запели старое – доброе и все стало на свои места.

lynoxod @ 2007-01-19T16:05:00

2007-01-19T10:05:38Z

Разговор в чайной.
- Бамбук – это для буддистов хорошо – сидишь и смотришь как растет.
- Нее, бамбук это для тех, кто торопится. Настоящие буддисты садятся перед бао-бабом.
:)

lynoxod @ 2007-01-15T11:56:00

2007-01-15T05:57:12Z

Маленькая ель родилась в лесу.
В лесу и росла, укутанная снежком.
Приехал самурай, рубит ее мечом.
Никак.
Двое их в лесу тупых – он и меч.

П о н е д е л ь н и к:)