А ты сам-то кто будешь? А то, может, ты окромя этой книженции, быть может, весьма достойной, но не зря называющейся "краткое введение в нейронные сети", ничего и не читал?

>>5882
Какой-то ты недобрый. Может тебе до кафедры психологии или психопатологии прогуляться?

> "краткое введение в нейронные сети"

Именно поэтому я её тут и дал.

>>5873
Вот тебе другая, годная, переведённая книжечка.

>>5885
Вообще книжечки это скучно и уныло, они так, почитать если очень понадобится. Я позже примеров на актуальных темах накидаю, как время будет. Алсо, ваши примеры применения NN также крайне приветствуются.

>>5873
Как бы, генетические алгоритмы - это метод дискретной оптимизации, к AI слабое отношение имеет, разве что как метод обучения нейросетей.

>>5887
Не только обучения, но и выбора.
Иногда приходится иметь несколько сетей.

>>5886
Не скажи, книги бывают разными. Мне, например, в своё время попалась в руки книга Саймона Хайкина "Нейронные сети: полный курс" (Simon Haykin "Neural Networks: a comprehensive foundation", второе издание). Её я прочитал за три дня - очень уж она прозрачно и понятно написана. С тех пор я никак не могу её найти, ни в электронном, ни в бумажном виде.

>>5892
У меня есть, на русском, 10 мегов. Надо?

>>5896
Конечно же надо! На самом деле очень годная книга, ITT она будет крайне полезной.

>>5873
Для начала реквестирую в тред основные признаки искусственного интеллекта. Алсо, совсем уж хорошо было бы на контрасте с аналогичными признаками естественного интеллекта

Учёные-куны, а правда ли, что современные боты для игр и распознавалки для капч используют нейросети? Если да, то какие именно?

>>5907
Я как раз на распознавалках капч и буду примеры показывать. В воскресенье выложу простенький персептрон.

>>5902
http://ifolder.ru/15414289
Я же убеждён, что нейронные сети подчистую проигрывают более продвинутым методам классификации.

>>5917

> более продвинутым методам классификации

Это каким же?

>>5918
SVM, решающие деревья, бустинг на пороговых классификаторах

>>5919
Ну давай сравним на примере распознавания капчи. На выходных выложу решения на НН, а от тебя решения на "продвинутых" методах.

>>5920
Ок. Данные только дай, если не сложно.

>>5917
Спасибо. Репостну сюда, чтобы не потерялось на япапке.

>>5921
Вот генератор же.

>>5923

> Prolog

FFFFFUUUUU

>>5923
Там надо вакабу эту поднимать, СУБД. Ты же для себя будешь генерировать, выложи тогда уж здесь.
>>5924
Где там Пролог?

>>5925
Зогчем поднимать, оно с небольшими изменениями превращается просто в генератор картинок капч и соответствующего текста. Можно даже просто генератор отдельных букв сделать.

> Где там Пролог?

Там перл, просто почему-то борда обозвала его прологом,

> Файл: captcha.pl
> Prolog, 9.67 KB, 489 строк

>>5926
Сделал генератор (могу даже выложить), но он не рисует полоски шумовые. Так и должно быть или там настройки какие-то есть для этого?

>>5933
выложи.

>>5934
Вот. Пишет 1000 файлов с названием = тексту в картинке в текущую папку. Может написать меньше, если один текст выпадает дважды.

>>5917
Спасибо тебе большое, анон - это действительно она!

>>5935
Покопался в инете, судя по тому, что я вижу в http://images.google.ru/images?hl=en&client=firefox-a&rls=org.mozilla:en-US:official&hs=BtQ&tbo=1&um=1&q=wakaba+captcha&sa=N&start=63&ndsp=21 полосочки - это фирменное расширение двача. Жаль, с ними гораздо сложнее распознавать.

>>5935
А разве они должны быть?

>>5942
Кто они? Полоски? Как я выяснил (>>5940) - нет.

>>5940
Полосочки и не планировались пока. Там проблема сегментации, а не классификации, потому она к теме не очень имеет отношение.

Собственно, наваял распознавалку этого на Vanilla SVN. Сегментирует просто по наличию вертикальной белой полосы, отсюда большинство ошибок. Цитирую свою программу:

> Всего примеров: 2758, ошибок: 101 (3.662%), из них ошибок распознавания: 13 (0.471%)

Ошибки распознавания определяются как ошибки, при которых сегментатор выдал правильное количество букв.
Уверен, что никакая НС этой ошибки не побьёт.

В архиве: генератор + распознавалка + тестировщик. Запускать runme.bat, он нагенерирует около 2700 картинок, распознает их и выдаст ошибку.
Требования: винда, .NET 3.5 SP1 ( http://www.microsoft.com/downloads/details.aspx?FamilyID=AB99342F-5D1A-413D-8319-81DA479AB0D7&displaylang=en )

>>5947
Спасибо, завтра сравним.

>>5947
А можно чуточку поподробнее для непосвящённых? SVN - в смысле SVM? Сам писал или использовал готовую библиотеку? Чем метод объективно лучше НС?

>>5950
Удваиваю запрос.

>>5951
Утраиваю. Алсо, неплохо было бы, если б кто-нибудь приоткрыл завесу тайны над тем, что такое

> решающие деревья, бустинг на пороговых классификаторах

Желательно со ссылками, и не на википедию. Хотя тут я уже наглею.

Капча всячески поощряет развитие этой кафедры.

Да, SVN это был SVM. Сделано на Weka ( http://www.cs.waikato.ac.nz/ml/weka/ ). Про это есть у Хайкина в книге выше по треду. Объективно он лучше НС тем, что более обоснован теоретически и подгон параметров там делается не градиентным спуском по ошибке, а существенно более направленный, поскольку метод в основе своей линейный. К тому же параметров модели получается меньше, чем в НС (в данном конкретном примере это, вероятно, не совсем так, моя итоговая модель занимает 40 Мб в файле, но это уже связано с деталями реализации).

Про продвинутые методы классификации - держите хорошую книгу.

>>5970
Спасибо.

>>5873
Вопрос к SVM-куну: что делать с параметрами, которые SVM сам не оптимизирует? У него у самого один параметр (C или ню) плюс в ядре еще один. Значит, надо всевозможные пары параметров перебирать и SVM тренировать на каждой из них в отдельности? А не слишком ли это долго?

>>6031
Лично я эти параметры никогда не подгоняю, оставляю по умолчанию С = 1. Ядро у меня линейное обычно, или RBF с gamma = 0.01.
Увеличивая С, ты можешь строить более сложные модели. Если есть подозрение, что построенная модель не учитывает некоторые особенности данных - можно попробовать увеличивать, но на шумных данных и без достаточно большого количества примеров ты сделаешь только хуже.
С ядром можно поэкспериментировать, по моему опыту в некоторых случаях хорошо работает линейное, в других - RBF, так что надо проверить оба.

Проблемы с подборкой параметров в SVM как раз фактически нет. Этот пример с капчей сработал на настройках по умолчанию, забитых в Weka (С = 1, ядро линейное). С НС совсем другое дело будет.

> Требования: винда, .NET 3.5 SP1

Перл забыл же. Алсо откуда можно его скачать для винды?

>>6040
Точно. У меня Strawberry: http://strawberryperl.com/

>>6041
Хотя нет, таки ActivePerl: http://www.activestate.com/activeperl/

Прошу прощения, с примерами на НС немного задержусь, не укладываюсь в дедлайн по работе
ОП

>>6048
Когда можно ждать?
с:опоздали зная

Ну и где же обещанные НС? Если не смог сделать лучше SVM, будь мужиком, так и скажи.
Поэтому я и поставил под вопрос компетенцию ОПа первым ответом. Многие, едва узнав, что такое НС, мнят себя экспертами, а на деле, естественно, ничего не стоят.

>>6153
Во-первых
>>6048
Во-вторых

> Если не смог сделать лучше SVM

Ты норкоман штоле? В каком месте я обещал что-то "лучше" SVM?
Это не /s/, тут не меряются виртуальными членами, тут учатся. Если ты считаешь, что использование готовой библиотеки добавляет тебе знаний - дело твое.
А я предпочитаю изучать путем написания всего кода самостоятельно.

>>6154
Я и не говорил, что ты обещал, но предположил, что ты не хочешь выкладывать свои результаты, поскольку не смог и близко подойти к уже представленным, хотя и обещал сравнить. См. >>5920

> Если ты считаешь, что использование готовой библиотеки добавляет тебе знаний - дело твое.

Естественно, добавляет. Конкретно - то, что я знаю, где и как её применить. Урок же здесь состоит в том, что НС - это метод, имеющий очень ограниченное практическое значение, сейчас уже почти не применяющийся. Поэтому неверно на кафедре про ИИ делать на них основной упор, как делаешь ты. Поэтому твоя компетенция была поставлена под вопрос, который, к слову, всё больше превращается в нелестное утверждение.

>>6155
Предположил, а потом из своих же предположений делаешь выводы. Как прелестно.

> Поэтому неверно на кафедре про ИИ делать на них основной упор, как делаешь ты

Странно только, что все университеты мира с тобой не согласны. Ну прямо таки непризнанный гений.
Еще раз спрошу. Зачем ты сюда пришел из /s/ (и явно не доброчанского)? Для писькомерства и срача есть множество всяких замечательных ресурсов. А тут люди учатся и помогают учиться другим.

>>6156
Предположения и нужны для выводов.

> Странно только, что все университеты мира с тобой не согласны.

Можешь чем-нибудь подтвердить свои слова?

> Ну прямо таки непризнанный гений.

С чего ж ты взял, что я непризнанный? :D
В /s/ не хожу, не мой уровень.
И ещё раз - я тоже учу, только моё учение в том, что твоё учение устарело. Я предлагаю новое.

>>6157
Ну так учи. Но без срачей и наездов. Вон тебя там выше просили объяснить подробней, что за SVM и как ими пользоваться.

>>6158
Про это я выложил 2 книги, там объяснено гораздо лучше, чем это сделаю я. У Хайкина можно найти сравнение с теми же НС. Я выложил пример, показывающий, что это действительно работает!

Основной пункт сегодня был "где же пример на НС". Ты ведь первый предложил этот пример. Ну раз ты не отказываешься от своих слов, подождём.

>>6158>>6160

Няшки, не ссорьтесь же.

Начнём с того, что приведённая задача распознавания букв капчи, которые сдвинуты и повёрнуты на +-30 градусов- это простая задача. И для SVM, и для НС. Думаю то же самое можно сделать тупо фильтрами, если правильно преобразовать Фурье или вейвлетами входные данные. А вот для капчи с полосочками или иным шумом, когда есть смысл применять продвинутые методы, и ошибка и объём кода НС и SVM как минимум сравняются.

НС-куну: я бы использовал 2-х слойную сеть и готовую библиотеку для работы с НС, например FANN http://leenissen.dk/fann/

>>6165
Я же выше обеснил, задача научиться и понять, а не слепить сеть. Для учебы готовые библиотеки это зло.

>>6165

> для капчи с полосочками

Нейронку и SVM вообще применить не получится. Там задача на сегментацию, а не классификацию.

>>6167
Ну вот, а эту задачу как решать? Вот уже менее тривиальный вопрос, достойный обсуждения.

А тем временем в гугле применили квантовый сопроцессор от D-wave для классификации изображений, и вроде бы алгоритм получился со всего лишь логарифмической сложностью.

http://googleresearch.blogspot.com/2009/12/machine-learning-with-quantum.html

http://videolectures.net/opt08_neven_tabcwt/

Возможно квантовый сопроцессор совсем не квантовый, а такой квантованный аналоговый сопроцессор, но тем не менее это большой шаг вперёд к быстрым нейронным сетям

>>8581
Выглядит не очень... внушительно как-то. D-Wave в своё время наделали шуму своим "квантовым компьютером" и, насколько я помню, в целом сложилось мнение, что они скорее лохотронщики от науки.
Вообще КИ - это разгулявшаяся неоторсионщина. Она набрала такие обороты, что никто не решается/не может это остановить, хотя в общем-то фейл этого всего уже очевиден.

>>8584
А теперь скажи это гуглу.

Кроме того, как я понял из обсуждения по первой ссылке, сейчас не доказано, что в д-вейвовском чипе наличествует интерференция не доказано, что этот чип-"настоящий" квантовый компьютер, НО для того типа вычислений, которое использует гугл, интерференция и не нужна- достаточно некоторого количества квантованных состояний, стремящихся занять наиболее энергетически выгодное состояние и таким образом минимизировать заданную квадратичную форму то есть это такая специализированная аналоговая машина на квантованных состояниях Профит в виде увеличения скорости вычислений как утверждает гугл присутствует, а значит и есть смысл развивать это всё.

>>8592
А что, слово гугла теперь имеет вес в науке? Интересно, что я пропустил. просто лохотрон нашёл своего клиента, возможно, под него и работали
Гнильцу этой конторы выдавала в т.ч. их маркетинговая программа. В принципе, такое мнение и высказывалось, что у них просто аналоговая машина (которыми ещё в СССР занимались, если я не ошибаюсь, для решения каких-то дифуров), которую они выдают за колоссальный прорыв и квантовость. Я почти уверен, что это так и есть.
Решительно не вижу, как это может изменить порядок сложности алгоритма.

>>8602
Ну сравниваются конечно разные алгоритмы, и естественно у них разная сложность. Обычная аналоговая машина имеет основное ограничение по точности вычислений, а не по сложности (нельзя сделать достаточно хорошие шестеренки, грубо говоря). Квантовый компьютер имеет более слабые ограничения по сложности (точности значений и числу параметров), чем обычный компьютер. Если д-вейвовский чип ("необычный" компьютер) преодолел порог по точности (т.е. является "хорошей" аналоговой машиной), это уже некоторый прогресс. Впрочем, поживём-увидим. Обмануть гугл тоже надо уметь )

господа, наверное это не сюда, но думаю здешний контингент должен знать - о кубитах (кубических битах)?
А то слышал - мол будущее за ними.
Мимокрокодил

>>8607
За ними - недавнее прошлое, лол.

Кубит - одно из базовых понятий квантовой информатики. Это наука о том, как строить и программировать квантовые компьютеры. Насколько мне известно, до сих пор (а исследования ведутся уже много лет) не было построено ни одного нетривиального квантового компьютера.

Лично мне возможность их существования видится крайне сомнительной. А исследователям КИ тем удобнее - ведь проверить их результаты на практике невозможно.
>>8584-кун

>>8607
кубит (q-bit), квантовый бит: http://ru.wikipedia.org/wiki/%D0%9A%D1%83%D0%B1%D0%B8%D1%82

Если кратко- это информация, закодированная с помощью "запутанной" волновой функции нескольких частиц. Хороша тем, что с ней можно работать "одним куском"; если загнать всю базу данных в волновую функцию, можно найти запись в ней одной операцией
http://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%93%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%B0 Недостатки: невозможность полностью декодировать информацию обратно, сложность реализации, конечное время жизни в практических усолвиях из-за декогерентности.

По поводу квантовых компьютеров: настоящего, универсального КК сейчас не существует, но есть много различных систем квантовой криптографии:
http://ru.wikipedia.org/wiki/%D0%9A%D0%B2%D0%B0%D0%BD%D1%82%D0%BE%D0%B2%D0%B0%D1%8F_%D0%BA%D1%80%D0%B8%D0%BF%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%8F#.D0.A0.D0.B5.D0.B0.D0.BB.D0.B8.D0.B7.D0.B0.D1.86.D0.B8.D0.B8_.D0.B0.D0.BB.D0.B3.D0.BE.D1.80.D0.B8.D1.82.D0.BC.D0.B0 Квантовая механика в свою очередь также исследована и проверена экспериментом, так что считается, что созданию КК мешает только технические трудности. Так это или нет-посмотрим.

>>5873
ОП, вопрос такой.
1) При обучении на примерах с помощью backpropagation у нас есть правильные ответы на каждый набор данных, сгенерированных сетью.
2) В реальных ситуациях нам надо, чтобы НС сделала несколько ходов основываясь на данных в последовательные моменты времени, так и на своих прошлых выходах. Итоговый ответ на тест бинарный. Как обучать сети в таких ситуациях?
Пример: есть сеть которая должна играть в змейку. В каждый момент времени на входы поступает инфа 1/0 о свободных клетках на всей площадке, на выходах - три нейрона: свернуть влево, вправо, двигаться прямо. Когда змея врезается в стену - провал теста. Надо максимизировать время до провала.

капча 'атмосферы проблем'

>>8614
>>8610
благодарю вас за исчерпывающий ответ

>>8648
ПРОСТО подавай на вход также и выходы с предыдущего шага.
Обращаю твоё внимание на то, что твоя задача в постановке 2) выходит за рамки классической задачи машинного обучения, поэтому вся теория перестаёт работать. Вероятно, не будет работать и практика.

Для змейки проще процедуру руками написать.

>>8648
Задачу управления в реальном времени решают сети с обратной связью:
http://www.willamette.edu/~gorr/classes/cs449/rnn1.html
А если входящий и выходящий сигналы дискретные, наверное лучше использовать
http://en.wikipedia.org/wiki/Hopfield_net

>>8652
вопрос в том, как в конкретной задачке о змейке обучать сеть. Прошел по ссылкам: хопфилд - ассоциативная память - тренируется принципиально как и перцептрон - ничего интересного.

Реккурентные сети - уже интереснее. Насколько я понял, там мы знаем ошибку в конечный момент времени, пишем для нее уравнение и ищем решение на промежутке по времени с граничным условием равным как раз ошибке в конце промежутка по времени. Интересный подход, надо попоробовать как-нибудь.

>>8656
Хотя-бы задайте нейронке расстояние до ближайшей стены а лучше-полное расположение закрашенных/незакрашенных клеток, иначе она выучится одному способу прохождения и будет вечно его повторять

Паrни, паrни, немного в сторону от собственно NN, но посоветуйте годных статей или книг по генетическим алгоритмам вещественного кодирования? В чём особенности, преимущества и недостатки RGA перед BGA? В общем, любую понятную и доступную литературу, если не сложно.

>>8925
А я не знаю. В быстродействии?

>>8986
Наверное, только в быстродействии, так как сокращается число операций кодирования-декодирования. Алсо, читал интересную статейку, там сказано, что с увеличением размерности непрерывные ГА проигрывают бинарным, "сильнее" застревают в локальных оптимумах и так далее. Это так?

>>9061
Для ГА вообще нет теорем о сходимости, как пишут. А если у кого-то что-то застревает, так это ничего не говорит. Так что пиши @ сравнивай.

>>9066
Насчёт теорем о сходимости не знал, интересное замечание. Спасибо за помощь, постараюсь побыдлокодить.

а есть какая-нибудь либа для анализа аудио? типа как openCV. или книжка годная?

>>9236
Либ для анализа аудио чуть менее чем более 9000, в том числе на языках для программирования аудио. Тебя что конкретно интересует?

>>9238
нужно обучить и детектить паттерны.

>>9241
Хм. Какого рода?
Первое, что приходит на ум - beat detection.
к:ученый открыть 0_о

>>9242
посложнее, на определённый набор звуков должно бинарно реагировать.