Справка - Поиск - Участники - Войти - Регистрация
Полная версия: Вычислительная мощность человеческого мозга
Частный клуб Алекса Экслера > Наука и техника
Страницы: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43
Rendom
28 мая 2015, 18:45

Dead Knight написал: Будет ли у человека секс с роботами?

Это правда интересный вопрос? Тогда ответ - будет. В сексшопе куклы же продаются.
Martin
29 мая 2015, 16:03

Dead Knight написал: Вот вы говорите "ИИ то, ИИ се", а тем временем на гиктаймсе поднят более важный вопрос: Будет ли у человека секс с роботами?

Есть специальный фильм о взаимоотношении парня и девушки-робота - "Из машины".
Martin
29 мая 2015, 16:05
На одном форуме прочитал:

В каком-то смысле ИИ уже частично захватил власть над человечеством.
Это я о торговых роботах на всяческих биржах. Самые успешные роботы приносят барыши своим хозяевам, стимулируя тех клонировать алгоритмы, а их конкурентов — изменять свои, тем самым в значительной степени моделируя естественный отбор и эволюцию. Стоит ли упоминать, что биржевые котировки в значительной степени влияют на жизни многих людей, разоряя одних и обогащая других?
Правда, мутации и размножение пока в руках программистов. Но и тут можно сказать, что роботы используют программистов так же, как ДНК используют рибосомы для синтеза белка.

Я ответил:

Видимо, это и есть путь внедрения ИИ в человеческое общество. Постепенно интеллектуальные роботы начнут управлять компаниями, корпорациями, внедрятся в качестве адвокатов в суды, в качестве врачей в медицину и т.д.

Martin
30 мая 2015, 19:22

Alex Lonewolf написал:
Более того, в настоящее время и в обозримом будущем ни один источник эл. энергии, а также устройства преобразования и линии передачи не могут обойтись без регулярного тех. обслуживания со стороны человека. Я уж молчу о производстве электронных компонент.
Тогда как сферы жизнеобеспечения людей в настоящее время и в обозримом будущем могут прекрасно обходится без ИИ.

Предположим, что вместо людей-фермеров на полях трудятся робо-тракторы и робо-комбайны. Их отключение может привести к голодомору похлеще того, что был на Украине в 30-е годы.

Alex Lonewolf написал:
Вообще чем сложнее и длиннее та или иная технологическая цепочка, тем проще её разрушить "обезьяне с ломом".

Допустим, что робот возглавляет многомиллиардную корпорацию. Его отключение приведет к многомиллиардным убыткам. Решишься ли ты на такое, особенно, если тебя потом посадят за это на 150 лет?
Alex Lonewolf
30 мая 2015, 20:58

Martin написал:
Предположим, что вместо людей-фермеров на полях трудятся робо-тракторы и робо-комбайны. Их отключение может привести к голодомору похлеще того, что был на Украине в 30-е годы.

Спору нет. Только вот, пока робо-тракторы и робо-комбайны трудятся они ничем не отличаются от тракторов и комбайнов управляемых фермерами. Соответственно, нет ни малейшей причины их останавливать.
А если эти робо-тракторы и робо-комбайны в свободное время вдруг пересмотрели ужастиков и решили прокатиться в ближайший городок и устроить там кровавую жатву, то остановить их будет куда проще чем фермеров, которых бы внезапно посетила та же идея.


Допустим, что робот возглавляет многомиллиардную корпорацию. Его отключение приведет к многомиллиардным убыткам. Решишься ли ты на такое, особенно, если тебя потом посадят за это на 150 лет?

Опять же, ИИ возглавляющий корпорацию обязан руководствоваться элементарным здравым смыслом. Т.е. если его не устраивает скажем некий закон, то он будет аккуратно лоббировать его изменения, или перенесет рискованную активность в зону где другой закон или в крайнем случае будет нарушать его так чтобы это никогда не всплыло. Т.е. он будет вести себя так же, как любой иной адекватный глава.
Если же у этого ИИ поедет крыша и он начнет совершать неадекватные поступки его моментально отключат свои же директора-акционеры. Потому, что если не отключат, то убытки окажутся куда больше. В крайнем случае это сделают люди с ордером. И сделать это будет будет проще чем сместить с той же позиции рехнувшегося человека.


Кстати о корпорациях! Вот вам пример интеллекта абсолютно лишенного морали. Несмотря на то, что крупные монополистические объединения активно действуют как минимум столетие Земля пока что не налетела на небесную ось.
Martin
1 июня 2015, 23:16
ОПК и «Т-Платформы» вместе с 30 вузами России занялись созданием искусственного интеллекта.

На конференции «ИТ на службе оборонно-промышленного комплекса», которая проходит в эти дни в городе Иннополисе, Объединенная приборостроительная корпорация объявила о старте масштабного исследовательского проекта в области искусственного интеллекта и семантического анализа данных с участием более 30 российских компаний, образовательных и научных организаций.

Участники проекта получили бесплатный доступ к уникальной разработке – недавно анонсированному лингвистическому процессору Ontosminer. С его помощью исследователи будут развивать технологии интеллектуального анализа текстов в самых различных сферах – от мониторинга СМИ до обработки научных данных и бизнес-аналитики.

Наряду с корпорацией организатором проекта выступает российская компания-разработчик интеллектуального программного обеспечения «Авикомп Сервисез». Проект реализуется при поддержке компании «Т-Платформы», которая предоставила для размещения лингвистического процессора высокопроизводительный сервер, позволяющий работать с большими объемами информации.

По словам директора департамента инновационного развития Объединенной приборостроительной корпорации Александра Калинина, создание искусственного интеллекта является одним из основных трендов развития ИТ-технологий во всем мире. «Неоднократно высказывалось мнение, что технологии искусственного интеллекта гораздо опаснее, чем существующие виды вооружений. Главные конкуренты России в этой области на государственном уровне – США и Китай, на корпоративном – Google, Facebook, Apple и Baidu, осуществляющие масштабное инвестирование подобных проектов. В США это направление финансируется из бюджетов DARPA, IARPA, In-Q-Tel и еще около двадцати специализированных венчурных фондов. В нашей стране эти технологии только начинают развиваться, но процесс их развития набирает обороты», – пояснил Александр Калинин.

Российская система семантического анализа данных базируется на последних достижениях в области машинного обучения и технологий Big Data. Обрабатывая массивы данных, компьютер учится понимать морфологию, синтаксис языка, семантику слов и целых текстов. На основе этих «знаний» вычислительная машина осуществляет поиск необходимых пользователю новостей, статей, документов в интернет-источниках и различных информационных хранилищах. В отличие от традиционных поисковых систем, Ontosminer находит нужные сведения не по отдельным ключевым словам, а по смыслу целого документа, заданного в качестве запроса. Изучив весь объем данных и сформировав необходимую подборку, лингвистический процессор способен автоматически составить краткий аналитический отчет с описанием сути вопроса или события.

«Это умная система, способная без участия человека решать самые серьезные аналитические и прикладные задачи в разных сферах деятельности – в бизнесе, госуправлении, силовых ведомствах, здравоохранении, образовании, науке и т.д.», – комментирует Александр Калинин.

Среди участников проекта – Высшая школа экономики, Вычислительный центр РАН, Научно-исследовательский и испытательный центр биометрической техники МГТУ им. Баумана, Научно-техническое общество нефтяников и газовиков имени И.М. Губкина, Тихоокеанский госуниверситет, Ярославский государственный университет, Волгоградский государственный технический университет, Центральный НИИ экономики, информатики и систем управления, редакции нескольких федеральных СМИ, ряд других организаций, государственных и частных компаний, работающих в сфере информационных услуг, разработки ПО, энергетики, юриспруденции.

«Сейчас через лингвистический процессор пропущены десятки миллионов документов – в основном, публикаций СМИ. Цифра выглядит внушительно, но пока это достаточно скромная база «знаний». Этот показатель должен постоянно и кратно расти за счет ввода в систему новых данных из различных областей, что позволит дальше наращивать и совершенствовать ее аналитические способности. Именно эту задачу призван решить наш проект при участии многочисленных партнеров, которым открыт доступ к нашей системе», – комментирует Александр Калинин.

Источник: Ростех

Кто там говорил, что ИИ может поцеловать ФТТ в фалду? biggrin.gif
Чокки
1 июня 2015, 23:38

Martin написал:
Кто там говорил, что ИИ может поцеловать ФТТ в фалду?

Да, ты прав, в России сейчас и с ИИ, и с ФТТ жопа жопой. Мы вернемся к этому обсуждению через энное число лет, когда им будет пора докладывать о результатах.
Martin
1 июня 2015, 23:44

Чокки написал: Да, ты прав, в России сейчас и с ИИ, и с ФТТ жопа жопой.

У нас в Уфе есть Институт Физики Перспективных Материалов (ИФПМ), руководит им Валиев Руслан Зуфарович, у него Хирш = 77.
Martin
1 июня 2015, 23:59

Чокки написал: Мы вернемся к этому обсуждению через энное число лет, когда им будет пора докладывать о результатах.

Кстати, в 80-х годах в СССР была разработана на основе экспертных систем система "Периметр".
alexia_f
2 июня 2015, 00:04


Как я понимаю, этот Ontosminer открыт\доступен для тестирования: ссылка. Все желающие конструктивно покритиковать эту разработку могут зарегистрироваться и скачать себе текущую версию.
Solmir
2 июня 2015, 00:34

Martin написал:
Кстати, в 80-х годах в СССР была разработана на основе экспертных систем система "Периметр".

Вот что уж точно не имеет отношения к ИИ так это система "Периметр". Если она вообще работает, то проверяет 4 IF. Никаких решений она не принимает.
Чокки
2 июня 2015, 02:33

Martin написал:
У нас в Уфе есть Институт Физики Перспективных Материалов (ИФПМ), руководит им Валиев Руслан Зуфарович, у него Хирш = 77.

Валиев это который действительно известный металлург R.Z. Valiev? smile.gif Ну да, металлургия это самая что ни на есть ФТТ. Новый Эльбрус будет работать на частоте в 10ГГц и будет сделан целиком из металла. Эксклюзив для юрлиц.
Martin
2 июня 2015, 08:12

Чокки написал:
Валиев это который действительно известный металлург R.Z. Valiev? smile.gif Ну да, металлургия это самая что ни на есть ФТТ. Новый Эльбрус будет работать на частоте в 10ГГц и будет сделан целиком из металла. Эксклюзив для юрлиц.

Валиев Руслан Зуфарович. Ты-то сам занимаешься микропроцессорами?
Чокки
2 июня 2015, 09:34

Martin написал:
Ты-то сам занимаешься микропроцессорами?

Нет, я занимаюсь макропроцессорами. "Наши процессоры в два раза медленнее американских, но зато в 10 раз больше."
Martin
3 июня 2015, 22:47

Чокки написал: Мы вернемся к этому обсуждению через энное число лет, когда им будет пора докладывать о результатах.

Уже сейчас есть веб-морды Гугла и Яндекса, позволяющие онлайн сносно переводить куски текста. Что будет дальше при дальнейшем развитии компьютерной лингвистики и инженерии знаний?
Чокки
3 июня 2015, 23:08

Martin написал:
Уже сейчас есть веб-морды Гугла и Яндекса, позволяющие онлайн сносно переводить куски текста. Что будет дальше при дальнейшем развитии компьютерной лингвистики и инженерии знаний?

Я понимаю, что тебе очень нравится повторять эти термины и неустанно говорить о них. Об этом всём можно было бы продолжать говорить, если бы всё так или иначе не сводилось к тому, какой ты опупенный в этом специалист...
Martin
4 июня 2015, 23:45

Чокки написал:
Я понимаю, что тебе очень нравится повторять эти термины и неустанно говорить о них. Об этом всём можно было бы продолжать говорить, если бы всё так или иначе не сводилось к тому, какой ты опупенный в этом специалист...

Я не специалист и ты прав: я боюсь работать в этой области из-за сомнений в перспективах (личных и вообще). Но есть те, которые не боятся, например, ребята из ABBYY. Они уже выпустили такие продукты, как ABBYY Intelligent Search SDK, ABBYY Smart Classifier SDK, ABBYY InfoExtractor SDK. Правда, не знаю, насколько востребованы на рынке эти продукты.
Martin
16 июня 2015, 15:59
Искусственный интеллект искусственным интеллектом, но в будущем технологии могут развиться так, что мы сможем изготовить не только ИИ, равный человеческому, но самого Господа Бога. А что, техзадание на разработку уже есть: это Ветхий и Новый Заветы.
v-groove
16 июня 2015, 23:21
Вычитал тут недавно пару занятных новостей. Но вначале маленькое отступление.

Помнится когда-то давным-давно, у Лема, в "Сумме Технологии", видел одну мысль. Мысль была такая - в будущем привычная научная деятельность, в смысле работы человека-ученого или коллектива ученых, ставящих опыты и затем осмысливающих и описывающих результат в виде научной теории, будет постепенно уменьшаться, пока, возможно, полностью не исчезнет. Его заменит технологический процесс, где новое научное знание будет возникать в результате "выращивания" его в специальных искусственных "системах-инкубаторах". Подобные системы даже не обязаны быть сколь-нибудь разумными, в том смысле, в каком это понимается относительно человека. Новые научные теории будут самозарождаться в результате развития неких информационных объектов в искусственной среде в ходе специального эволюционного процесса. При этом разделение на науку и технологию исчезнет, и научная деятельность станет просто еще одной технологией, заняв место наравне с прочими технологиями, типа выращивания кукурузы.

Так вот новость (разные ссылки на одну новость).

AI Does Science: First Model Of Regeneration Discovered By Non-Human Intelligence
Planarian Regeneration Model Discovered by Artificial Intelligence
Искусственный интеллект совершил реверс-инжиниринг механизма регенерации плоских червей

Система ИИ совершила открытие, решив проблему, над которой биологи ломали голову более 100 лет. Открытие, на первый взгляд, звучит довольно неприметно - получено описание процесса регенерации планарии. Вроде ничего особенного. Но только на первый взгляд. На самом деле, насколько я понял, впервые в истории науки была получена полная картина того, как генотип сложного многоклеточного существа превращается в его фенотип. Ни много, ни мало. И здесь интересно то, что ИИ, который это проделал, является набором эволюционных алгоритмов, развивающихся в виртуальном окружении, который в процессе своей работы, основываясь на входных данных, воссоздал регуляторную генетическую сеть регенерации планарии. Система эволюционировала порядка 42 часов и, в итоге, успешно решила задачу.

В данном случае физические опыты ставились людьми, а системе ИИ скармливались данные. Но ничего не запрещает автоматизировать так же и физический процесс выполнения опытов. Вот другая новость. Роботизированная лаборатория нашла новое лекарство от малярии. Здесь интересно то, что "робот-ученый" не просто тупо выполнял запрограммированный фиксированный набор тестов. Лаборатория наделена элементами ИИ, так что в процессе работы способна анализировать результаты, самообучаться, активно выбирать дальнейший ход тестов, и, по сути, заниматься "творческим" исследовательским поиском. Из плюсов, не спит, не устает, денег не просит, от работы не отлынивает.

Есть в этом нечто похожее на начальные этапы развития тех систем, что описывались у Лема.

При этом ничего особо сверхсложного в подобных системах быть не должно. На определенном этапе развития, думаю, построить подобные смогут многие. От частных компаний до религиозных фанатиков. Или даже тупо купить готовые решения. Следующий ход, заставить искать не лекарство от малярии, а какой-нибудь ядреный супергрипп судного дня. Здравствуй чудный новый мир. smile.gif
v-groove
16 июня 2015, 23:28
Ну и вдогонку, специально для хардкорных любителей теорий заговоров.

Есть такая штука - Бильдербергский клуб. Точная наука конспирология авторитетно заявляет, что это секретное теневое правительство Земли. На днях как раз проходит очередная встреча. Так вот, пишут, что одна из основных заявленных тем в этом году - искуственный интелект. Обсуждают, небось, какие потенциальные угрозы и выгоды несет ИИ. Как ограничить доступ к ИИ странам третьего мира. Как использовать ИИ для войны против террористов и неугодных стран. Как использовать ИИ для установки тотального контроля над человечеством. Как ликвидировать большую часть населения Земли и заменить его функции посредством ИИ и роботов, дабы создать для избранных рай на Земле. И т.д. и т.п. smile.gif

Rendom
17 июня 2015, 10:52
Если человечество поработит ИИ, станет ли ему от этого лучше?
Лунный Волк
17 июня 2015, 11:16

Rendom написал: Если человечество поработит ИИ, станет ли ему от этого лучше?

Кому? biggrin.gif
Rendom
17 июня 2015, 11:54

Лунный Волк написал: Кому?

И это тоже тема для размышления wink.gif
alibek
17 июня 2015, 13:55

v-groove написал: В данном случае физические опыты ставились людьми, а системе ИИ скармливались данные. Но ничего не запрещает автоматизировать так же и физический процесс выполнения опытов.

Э...
Интерпретация результатов — это как раз то, что могут сделать люди-ученые, но не могут машины.
alexia_f
17 июня 2015, 21:27

v-groove написал:
Лаборатория наделена элементами ИИ, так что в процессе работы способна анализировать результаты, самообучаться, активно выбирать дальнейший ход тестов, и, по сути, заниматься  "творческим" исследовательским поиском. Из плюсов, не спит, не устает, денег не просит, от работы не отлынивает.

Думаю, эти "элементы ИИ" — стандартные алгоритмы планирования экспериментов, а "творческий исследовательский поиск" — оптимизация поверхности отклика, которая давно (лет 30 как, не меньше) активно применяется в самых разных отраслях, в т.ч. для составления оптимальных химических смесей, красок, лекарств и т.п. В этой статье это называется "поисковыми методами".
alexia_f
17 июня 2015, 21:30

alibek написал:
Э...
Интерпретация результатов — это как раз то, что могут сделать люди-ученые, но не могут машины.

Если результат можно описать количественно, то машины вполне могут его проинтерпретировать и без помощи людей.
v-groove
17 июня 2015, 22:04

alexia_f написала:
Думаю, эти "элементы ИИ" — стандартные алгоритмы планирования экспериментов, а "творческий исследовательский поиск" — оптимизация поверхности отклика, которая давно (лет 30 как, не меньше) активно применяется в самых разных отраслях, в т.ч. для составления оптимальных химических смесей, красок, лекарств и т.п. В этой статье это называется "поисковыми методами".

Безусловно, нечто подобное там и есть. Базовые алгоритмы, используемых сейчас для ИИ, вообще, на сколько я знаю, ни разу не секрет. И многие из этих алгоритмов весьма старые и известны десятки (если не больше) лет. И, походу, если их правильно сготовить, они могут прекрасно работать.
Гата
28 июня 2015, 17:32

Чокки написал: Да, ты прав, в России сейчас и с ИИ, и с ФТТ жопа жопой. Мы вернемся к этому обсуждению через энное число лет, когда им будет пора докладывать о результатах.

Зато экономика покрывает ФТТ и ИИ, как бык овцу и в России и в мире.
Solmir
30 июня 2015, 17:59
Советую почитать (на английском). System fixes bugs by importing functionality from other programs—without access to source code.
Чокки
1 июля 2015, 03:39

Гата написал:
Зато экономика покрывает ФТТ и ИИ, как бык овцу и в России и в мире.

Можно развернуть этот тезис?
Чокки
1 июля 2015, 03:43
Пока вы тут обсуждали мощность человеческого мозга, я освоил использование графических ускорителей для молекулярной динамики. Все симуляции идут ровно в 8 раз быстрее. Радость обошлась американскому налогоплательщику в $200 (GTX 960).
Лунный Волк
1 июля 2015, 16:20

Чокки написал: Пока вы тут обсуждали мощность человеческого мозга, я освоил использование графических ускорителей для молекулярной динамики. Все симуляции идут ровно в 8 раз быстрее. Радость обошлась американскому налогоплательщику в $200 (GTX 960).

Извини, а можно идиотски-дилетантский и совершенно неактуальный уже вопрос?
А графические ускорители можно использовать скажем для ускорения/распараллеливания вычислений в задачах распознавания?
alexia_f
1 июля 2015, 18:58

Лунный Волк написал:
А графические ускорители можно использовать скажем для ускорения/распараллеливания вычислений в задачах распознавания?

Не можно, а нужно. Причём GTX960 — это уже вчерашний день.

Презентация (на англ. языке) про использование современных графических процессоров для обучения DNN (deep learning):
GPU Technology Conference 2015 - Leaps in Visual Computing

Лунный Волк
1 июля 2015, 21:24

alexia_f написала: deep learning

Я даже термина то такого не слышал, совсем серый, отстал. facepalm.gif
Спасибо! Гляну обязательно для общего развития.
Чокки
1 июля 2015, 21:57

alexia_f написала:
Причём GTX960 — это уже вчерашний день.

То есть, если бы я купил Теслу или Ферми, то получил бы ещё больший прирост в производительности?
Гата
1 июля 2015, 22:49

Чокки написал:
Можно развернуть этот тезис?

Достаточно сравнить зарплаты экономистов и прочих простых смертных.
Чокки
1 июля 2015, 22:58

Гата написал:
Достаточно сравнить зарплаты экономистов и прочих простых смертных.

Ты измеряешь перспективность и значимость в зарплатах сотрудников?
alexia_f
1 июля 2015, 23:31

Чокки написал:
То есть, если бы я купил Теслу или Ферми, то получил бы ещё больший прирост в производительности?

Про твою задачу ничего сказать не могу.

Для задачи deep learning сравнение различных процессоров можно найти, например,
здесь (на англ. яз.).
Чокки
1 июля 2015, 23:46

alexia_f написала:
Про твою задачу ничего сказать не могу.

Скажи честно, когда Лунный Волк задал вопрос, ты погуглила и "ответила"? Потому что моя задача была описана открытым текстом и, если хоть что-то знать об ускорении на графических картах, фраза про "вчерашний день" была в общем-то глупостью...
alexia_f
2 июля 2015, 00:00

Чокки написал:
Скажи честно, когда Лунный Волк задал вопрос, ты погуглила и "ответила"? Потому что моя задача была описана открытым текстом и, если хоть что-то знать об ускорении на графических картах, фраза про "вчерашний день" была в общем-то глупостью...

Честно говоря, твоя задача в этом треде меня не особо волнует, сорри. В этом треде она вообще мне кажется оффтопом. Зато DNN находятся в сфере моих профессиональных интересов, так что более или менее актуальные ссылки на эту тему у меня всегда под рукой.
Чокки
2 июля 2015, 00:05

alexia_f написала:
Честно говоря, твоя задача в этом треде меня не особо волнует, сорри.

Это "ойвсё", да?
barmalei
2 июля 2015, 13:20

Чокки написал:
Это "ойвсё", да?

Встретились два узких специалиста smile.gif
Чокки
2 июля 2015, 21:56

barmalei написал:
Встретились два узких специалиста

Гг. Нуэ. Я думаю, что вопрос CPU-GPU синхронизации стоит для приложений другого узкого специалиста точно так ж как и для моей хрени.
homo sapiens
5 июля 2015, 19:55

Чокки написал:
Гг. Нуэ. Я думаю, что вопрос CPU-GPU синхронизации стоит для приложений другого узкого специалиста точно так ж как и для моей хрени.

Можно узнать, а зачем синхронизировать CPU и GPU? Я однажды на CUDA решал одну задачу, так я CPU вообще особо не пользовался. Подготовка данных, пересылка данных в видюху, расчет на видюхе, пересылка результатов расчета из видюхи на жесткий диск. Так как GPGPU я больше особо не использовал, то хотел понять синхронизация для чего? Часть задачи рассчитывает CPU, а часть GPU?
Rendom
10 июля 2015, 19:21
Такие вот новости:

Silicon Valley giants such as Google and Facebook have been trying to harness artificial intelligence by training brain-inspired neural networks to better represent the real world. Digital Reasoning, a cognitive computing company based in Franklin, Tenn., recently announced that it has trained a neural network consisting of 160 billion parameters—more than 10 times larger than previous neural networks.

The Digital Reasoning neural network easily surpassed previous records held by Google’s 11.2-billion parameter system and Lawrence Livermore National Laboratory’s 15-billion parameter system. But it also showed improved accuracy over previous neural networks in tackling an “industry-standard dataset” consisting of 20,000 word analogies. Digital Reasoning’s model achieved an accuracy of almost 86 percent; significantly higher than Google’s previous record of just over 76 percent and Stanford University’s 75 percent.

Кратко, компания Digital Reasoning сделала нейронную сеть со 160-ю миллирдами каких-то параметров, что в 10 раз больше чем у предыдущих рекордсменов. Это позволило нейронной сети повысить точность в каком-то специальном тесте с 76% до 86%.
Чокки
11 июля 2015, 08:45
Интереснейшее выступление чудесного Оливера Сакса.
Martin
23 июля 2015, 23:55
С Хабра: Text Analytics as Commodity: обзор приложений текстовой аналитики.

Если бы мне дали миллиард долларов на научные исследования, я бы создал большую программу в масштабе NASA по обработке естественного языка (NLP).[из Reddit AMA Майкла Джордана, 2015]. Из данной публикации вы узнаете, есть ли рынок для приложений текстовой аналитики. И не слишком ли оптимистичен заслуженный профессор М. Джордан по поводу потенциала NLP, а лучше потратить миллиард долларов на что-то другое.

Введение

Вначале определимся с терминами. Интеллектуальный анализ текста (англ., text mining) — это технологии получения структурированной информации из коллекций текстовых документов. Обычно в это понятие включают такие крупные задачи, как

    категоризация текста
    извлечение информации
    информационный поиск.


Часто, когда говорят о применении интеллектуального анализа текста в бизнесе — текстовой аналитики (англ., text analytics) — имеют в виду не просто структурированную информацию, а т.н. углубленное понимание предмета анализа (insights), которое помогает в принятии бизнес-решений. Известный эксперт Сэт Граймс определяет текстовую аналитику как технологические и бизнес процессы применения алгоритмических подходов к обработке и извлечению информации из текста и получению глубокого понимания.

Принято считать, что формируется новый рынок когнитивно-вычислительных (cognitive computing) продуктов. По оценкам MarketsandMarkets глобальный рынок продуктов на основе обработки естественного языка должен составить $13.4 млрд. к 2020 году при росте в 18.4% по CAGR. Таким образом, сейчас этот рынок оценивается примерно в $5.8 млрд. В последние годы этот растущий рынок ознаменовался целым рядом громких сделок, вроде покупки Alchemy API компанией IBM. По другим оценкам, аналогичный рынок в Европе уже сейчас превосходит пол-миллиарда долларов и удвоится к 2019 году. Рынок Северной Америки составляет почти 40% глобального рынка текстовой аналитики и имеет оптимистичные оценки роста.

Безусловно, читатель наверняка ознакомлен с успехами платформы IBM Watson. Цель данной публикации — рассказать о других интересных и, возможно, малоизвестных приложений текстовой аналитики в таких областях, как:

    управление документооборотом компании
    e-commerce
    бренд-менеджмент
    маркетинг
    конкурентная разведка
    управление опытом клиента
    информационная безопасность
    виртуальные ассистенты и др.

По ссылке выше далее идет освещение этих приложений.
v-groove
5 сентября 2015, 09:28
О, я тут недавно на такие забавные мысли наткнулся в инете. Вначале цитаты, а потом, тоже под спойлером, откуда они. Те кто не знал, можете, ради интереса, предварительно погадать, какой может быть источник цитат.

Об эволюции машин и возникновении у машин сознания
   Спойлер!
Невозможно противостоять, – пишет далее автор, – тому процессу, который в конечном итоге приведёт к возникновению сознания у высокоорганизованных машин. Более того, в некоторых современных машинах уже заметны зачатки сознания. Вы только подумайте о тех огромных успехах в развитии, которых машины достигли всего за несколько сотен лет, и заметьте, как несопоставимо медленно развивается, по сравнению с ними, растительный и животный мир. Предположим, что обладающие сознанием существа достигли нынешнего этапа в развитии за 20 миллионов лет. Можно ли себе даже представить, каких результатов добьются машины в следующие 20 миллионов лет?! Так не лучше ли подавить это развитие в зародыше и остановить прогресс в их дальнейшей эволюции?

Где оно, сознание, начинается? И где кончается? И кто сможет провести линию, чётко разграничивающую сознательное и бессознательное? Разве всё сущее на земле не переплетено между собой самым тесным образом? Разве эволюция машин не напоминает собою эволюцию в животном мире? Так где же граница между сознательным и бессознательным?" … Если это так, то нет ничего невероятного в том, что и бессознательные машины могут со временем приобрести элементы сознания.

Маловероятно, что придёт день, когда младенец сможет с такой же лёгкостью освоить дифференциальное исчисление, с какой он осваивает естественный язык, на котором говорят его мать и няня. Но машины развиваются гораздо быстрее, чем человек, и можно с уверенностью сказать, что настанет день, когда обычный человек не в силах будет угнаться за развитием техники. Оптимисты говорят, что нравственное влияние человека сможет удержать машины под контролем. Но сможем ли мы положиться на нравственные качества самих машин?

Представим себе, что могли чувствовать в очень отдалённом от нас геологическом периоде высокоорганизованные растения, наблюдая за эволюцией ранних животных. Могли ли они подумать, что придёт день, когда животные не только достигнут того же уровня развития, но и станут более высокоорганизованными организмами, чем растения?.. Аналогичным образом и мы, наблюдая за развитием машинного мира, считаем человека венцом эволюции и не допускаем появления в будущем более совершенных машин, которые превзойдут человека во всех отношениях и создадут машинную цивилизацию, совершенно отличную от нашей…


О проблеме свободы воли
   Спойлер!
Но надо учитывать, что машина, обладая физической силой, не обладает свободой воли" - скажет критик. "Лиха беда начало!" – ответим мы ему. При внимательном рассмотрении этого вопроса, вполне возможно считать современные машины зачатками новой, не известной нам прежде формы жизни. Да и кто в этом мире в действительности обладает полной свободой воли, за исключением Того, кто неведом и непознаваем? Человек – это результат наивысшего развития всех данных ему сил, заложенных в него до его рождения и развиваемых после. Его физическое развитие зависит от его природных способностей, а духовное – от общества, в котором он живёт. Переплетаясь и взаимодействуя друг с другом, эти факторы определяют его индивидуальность. И в принципе, он мало отличается от машины, которая создаётся с определённой целью и развивается в зависимости от её функций. Нам трудно с этим согласиться только потому, что мы не знаем всех природных и общественных сил, под воздействием которых формируется человеческая личность. Мы делаем наши обобщения, основываясь на том, что нам известно, а это – всего лишь малая часть необходимого знания. Ну а то, что мы не можем объяснить, мы приписываем случайности, удаче и судьбе, скрывая за этими словами то, что нам не известно, и отрицая, по сути дела, тот факт, что развитие человека подчинено определённым законам, в то время как самый дерзкий полёт фантазии человека и самые проникновенные усилия его ума зависят от таких же объективных законов, как и полёт высохшего листа, сорванного с дерева налетевшим ветром…


О человеческом содействии эволюции машин
   Спойлер!
Конечно, рассуждая с материалистической точки зрения, мы придём к выводу о том, что именно те люди процветают, которые умеют с выгодой для себя пользоваться машинами. На первый взгляд, именно так оно всё и происходит. До поры до времени машина остаётся слугой человека. Она не будет возражать, даже если человек её уничтожит. Но только при условии, что ей на смену придёт созданная им другая машина, которая будет гораздо лучше, чем предыдущая. Машины, таким образом, вознаграждают человека за его усилия по их усовершенствованию, но только затем, чтобы в конечном итоге стать его господами.

Низшие животные эволюционируют в жестокой борьбе друг с другом: слабейший – погибает, сильнейший – выживает и передаёт свою силу потомству. Машины не борются одна с другой. Они развиваются, заставляя людей бороться друг с другом. До тех пор, пока люди делают всё, что машины от них требуют, всё идёт нормально (по крайней мере, людям так кажется). Но как только человек прекращает свои усилия по совершенствованию машин, так он неизбежно проигрывает в конкурентной борьбе с теми, кто постоянно заменяет устаревшие машины более совершенными, и поражение в этой борьбе означает не только значительные материальные потери, но нередко и смерть.


Об опасности расслоения и деградации людей благодаря прогрессу
   Спойлер!
В то же мы видим опасность механического прогресса в том, что, благодаря машинам, людей с отклонениями в физическом развитии будет труднее обнаружить, они смогут на равных конкурировать со здоровыми людьми и даже смогут передавать свои физические недостатки потомству. Ослабление естественной конкуренции, будет способствовать выживанию неполноценных особей и биологической деградации человеческого рода. А в конечном итоге машины и механизмы могут и вовсе сделать человеческое тело ненужным, превратив человека в одушевлённую машину. Разумеется, все эти искусственные органы будут стоить дорого. И в этом кроется ещё одна опасность: в дополнение к своим прочим преимуществам богатые люди смогут позволить себе более совершенные органы зрения и слуха и намного опередят бедных людей в развитии своего интеллекта, закрепив таким образом подчинённое положение бедноты и резко ограничив возможности бедняка подняться вверх по социальной лестнице и приобрести ту духовную свободу, которой пользуются состоятельные люди…


О перспективах человека в машинной цивилизации (привет некоторым размышлениям, которые тут были в треде выше)
   Спойлер!
Придёт день, когда будут созданы машины, по своим возможностям во многом превосходящие человека, подобно тому, как человек во многом превосходит животных. Человек станет таким машинам не нужен. Вот в этом-то и заключается опасность. Многим людям трудно согласиться с такой унизительной для них перспективой. И потому они надеются, что в будущем человек станет для машины тем же, чем в настоящем является для человека лошадь или собака, и что под мудрым руководством машин люди будут жить даже лучше, чем сегодня. Ведь мы обращаемся с нашими домашними животными ласково и обеспечиваем их всем необходимым. А потому – многие надеются, что и наши будущие хозяева будут обходиться с нами подобным образом.

Мы перейдём в рабское состояние гладко, почти незаметно, без всякой открытой борьбы между людьми и машинами.


О воспроизводстве машин
   Спойлер!
Некоторые из моих собеседников, с которыми я обсуждал все эти вопросы применительно к будущей машинной цивилизации, говорили, что эволюция в мире машин никогда не достигнет результатов, аналогичных тем, которые получаются при эволюции животных организмов, потому что машины лишены репродуктивных функций. Если это понимать в том смысле, что машины никогда не будут вступать в брак, производить потомство и с нежной улыбкой наблюдать за детскими играми своих малышей, то с этим, пожалуй, можно согласиться. Однако можно возразить, что существуют разные репродуктивные системы, и размножение животных, например, значительно отличается от размножения растений. Если машины производятся с помощью машин, то разве это нельзя назвать репродуктивной системой? Присутствие в этой системе человека можно сравнить с присутствием насекомых в репродуктивной системе растений. Никто ведь не будет утверждать, что клевер не имеет репродуктивной системы, только на том основании, что оплодотворение в ней невозможно без помощи шмеля. Не все живые существа в природе участвуют в репродукции. Большинство пчёл или муравьёв, например, выполняют свою функцию – запасают продукты питания для потомков, никак не участвуя в производстве этих потомков. Аналогичным образом, и в будущем машинном мире какие-то машины будут способными к репродукции, а остальные – будут выполнять другие функции.

В настоящее время машины не обладают репродуктивными функциями. Но кто сказал, что так будет всегда? Кто сказал, что не настанет тот день, когда машины будут производиться машинами, без всякого участия человека? Сами машины при этом уменьшатся в размерах, что будет косвенно свидетельствовать о прогрессе в их развитии, подобно тому как в ходе эволюции уменьшились в размерах многие некогда крупные позвоночные животные… Пока что нам нечего опасаться, но, если принять во внимание, насколько быстро развивается техника, то очевидным становится значительное отставание биологической эволюции от технической. Не следует ли нам, поэтому, удерживать техническое развитие под контролем? Не следует ли нам уничтожить самые сложные из существующих машин, хотя сегодня они и не представляют для нас непосредственной опасности?


Однако самое прикольное во всех этих цитатах другое. smile.gif Далее спойлер.
   Спойлер!
Так вот. Эти размышления о машинной цивилизации впервые появились в статье Сэмюэля Батлера с примечательным названием «Дарвин среди Машин» в новозеландской газете «The Press» в 1863 !!! году. В тысяча восемьсот шестьдесят третьем году, Карл!!!!! Почти 150 лет назад. Я даже затрудняюсь подобрать аналогию о том, какая тема сейчас звучит так же, как тема об эволюции машинной цивилизации тогда. Естественно, практически все посчитали эти размышления просто этакими высказываниями против теории Дарвина путем доведения до абсурда и, следовательно, абсолютной нереалистичными (ну, наверно, кроме самого автора). Потом, в доработанном виде, эта статья была перенесена в роман «Erewhon» (напечатанный в 1872), в главу с названием «Книга Машин».


Я вот сижу и думаю, что вдруг сейчас где-нибудь тоже существуют подобные почти никому не известные статьи, где размышляют о вещах и проблемах, о которых сейчас почти никто даже думать не думает, но при этом эти статьи столь же удачно заглядывают в будущее, как пример выше. Знать бы, где их найти. smile.gif
homo sapiens
5 сентября 2015, 11:37

v-groove написал: О, я тут недавно на такие забавные мысли наткнулся в инете. Вначале цитаты, а потом, тоже под спойлером, откуда они. Те кто не знал, можете, ради интереса, предварительно погадать, какой может быть источник цитат.

Об эволюции машин и возникновении у машин сознания
   Спойлер!
Невозможно противостоять, – пишет далее автор, – тому процессу, который в конечном итоге приведёт к возникновению сознания у высокоорганизованных машин. Более того, в некоторых современных машинах уже заметны зачатки сознания. Вы только подумайте о тех огромных успехах в развитии, которых машины достигли всего за несколько сотен лет, и заметьте, как несопоставимо медленно развивается, по сравнению с ними, растительный и животный мир. Предположим, что обладающие сознанием существа достигли нынешнего этапа в развитии за 20 миллионов лет. Можно ли себе даже представить, каких результатов добьются машины в следующие 20 миллионов лет?! Так не лучше ли подавить это развитие в зародыше и остановить прогресс в их дальнейшей эволюции?

Где оно, сознание, начинается? И где кончается? И кто сможет провести линию, чётко разграничивающую сознательное и бессознательное? Разве всё сущее на земле не переплетено между собой самым тесным образом? Разве эволюция машин не напоминает собою эволюцию в животном мире? Так где же граница между сознательным и бессознательным?" … Если это так, то нет ничего невероятного в том, что и бессознательные машины могут со временем приобрести элементы сознания.

Маловероятно, что придёт день, когда младенец сможет с такой же лёгкостью освоить дифференциальное исчисление, с какой он осваивает естественный язык, на котором говорят его мать и няня. Но машины развиваются гораздо быстрее, чем человек, и можно с уверенностью сказать, что настанет день, когда обычный человек не в силах будет угнаться за развитием техники.  Оптимисты говорят, что нравственное влияние человека сможет удержать машины под контролем. Но сможем ли мы положиться на нравственные качества самих машин?

Представим себе, что могли чувствовать в очень отдалённом от нас геологическом периоде высокоорганизованные растения, наблюдая за эволюцией ранних животных. Могли ли они подумать, что придёт день, когда животные не только достигнут того же уровня развития, но и станут более высокоорганизованными организмами, чем растения?.. Аналогичным образом и мы, наблюдая за развитием машинного мира, считаем человека венцом эволюции и не допускаем появления в будущем более совершенных машин, которые превзойдут человека во всех отношениях и создадут машинную цивилизацию, совершенно отличную от нашей…


О проблеме свободы воли
   Спойлер!
Но надо учитывать, что машина, обладая физической силой, не обладает свободой воли" - скажет критик. "Лиха беда начало!" – ответим мы ему. При внимательном рассмотрении этого вопроса, вполне возможно считать современные машины зачатками новой, не известной нам прежде формы жизни. Да и кто в этом мире в действительности обладает полной свободой воли, за исключением Того, кто неведом и непознаваем? Человек – это результат наивысшего развития всех данных ему сил, заложенных в него до его рождения и развиваемых после. Его физическое развитие зависит от его природных способностей, а духовное – от общества, в котором он живёт. Переплетаясь и взаимодействуя друг с другом, эти факторы определяют его индивидуальность. И в принципе, он мало отличается от машины, которая создаётся с определённой целью и развивается в зависимости от её функций. Нам трудно с этим согласиться только потому, что мы не знаем всех природных и общественных сил, под воздействием которых формируется человеческая личность. Мы делаем наши обобщения, основываясь на том, что нам известно, а это – всего лишь малая часть необходимого знания. Ну а то, что мы не можем объяснить, мы приписываем случайности, удаче и судьбе, скрывая за этими словами то, что нам не известно, и отрицая, по сути дела, тот факт, что развитие человека подчинено определённым законам, в то время как самый дерзкий полёт фантазии человека и самые проникновенные усилия его ума зависят от таких же объективных законов, как и полёт высохшего листа, сорванного с дерева налетевшим ветром…


О человеческом содействии эволюции машин
   Спойлер!
Конечно, рассуждая с материалистической точки зрения, мы придём к выводу о том, что именно те люди процветают, которые умеют с выгодой для себя пользоваться машинами. На первый взгляд, именно так оно всё и происходит. До поры до времени машина остаётся слугой человека. Она не будет возражать, даже если человек её уничтожит. Но только при условии, что ей на смену придёт созданная им другая машина, которая будет гораздо лучше, чем предыдущая. Машины, таким образом, вознаграждают человека за его усилия по их усовершенствованию, но только затем, чтобы в конечном итоге стать его господами.

Низшие животные эволюционируют в жестокой борьбе друг с другом: слабейший – погибает, сильнейший – выживает и передаёт свою силу потомству. Машины не борются одна с другой. Они развиваются, заставляя людей бороться друг с другом. До тех пор, пока люди делают всё, что машины от них требуют, всё идёт нормально (по крайней мере, людям так кажется). Но как только человек прекращает свои усилия по совершенствованию машин, так он неизбежно проигрывает в конкурентной борьбе с теми, кто постоянно заменяет устаревшие машины более совершенными, и поражение в этой борьбе означает не только значительные материальные потери, но нередко и смерть.


Об опасности расслоения и деградации людей благодаря прогрессу
   Спойлер!
В то же мы видим опасность механического прогресса в том, что, благодаря машинам, людей с отклонениями в физическом развитии будет труднее обнаружить, они смогут на равных конкурировать со здоровыми людьми и даже смогут передавать свои физические недостатки потомству. Ослабление естественной конкуренции, будет способствовать выживанию неполноценных особей и биологической деградации человеческого рода. А в конечном итоге машины и механизмы могут и вовсе сделать человеческое тело ненужным, превратив человека в одушевлённую машину. Разумеется, все эти искусственные органы будут стоить дорого. И в этом кроется ещё одна опасность: в дополнение к своим прочим преимуществам богатые люди смогут позволить себе более совершенные органы зрения и слуха и намного опередят бедных людей в развитии своего интеллекта, закрепив таким образом подчинённое положение бедноты и резко ограничив возможности бедняка подняться вверх по социальной лестнице и приобрести ту духовную свободу, которой пользуются состоятельные люди…


О перспективах человека в машинной цивилизации (привет некоторым размышлениям, которые тут были в треде выше)
   Спойлер!
Придёт день, когда будут созданы машины, по своим возможностям во многом превосходящие человека, подобно тому, как человек во многом превосходит животных. Человек станет таким машинам не нужен. Вот в этом-то и заключается опасность. Многим людям трудно согласиться с такой унизительной для них перспективой. И потому они надеются, что в будущем человек станет для машины тем же, чем в настоящем является для человека лошадь или собака, и что под мудрым руководством машин люди будут жить даже лучше, чем сегодня. Ведь мы обращаемся с нашими домашними животными ласково и обеспечиваем их всем необходимым. А потому – многие надеются, что и наши будущие хозяева будут обходиться с нами подобным образом.

Мы перейдём в рабское состояние гладко, почти незаметно, без всякой открытой борьбы между людьми и машинами.


О воспроизводстве машин
   Спойлер!
Некоторые из моих собеседников, с которыми я обсуждал все эти вопросы применительно к будущей машинной цивилизации, говорили, что эволюция в мире машин никогда не достигнет результатов, аналогичных тем, которые получаются при эволюции животных организмов, потому что машины лишены репродуктивных функций. Если это понимать в том смысле, что машины никогда не будут вступать в брак, производить потомство и с нежной улыбкой наблюдать за детскими играми своих малышей, то с этим, пожалуй, можно согласиться. Однако можно возразить, что существуют разные репродуктивные системы, и размножение животных, например, значительно отличается от размножения растений. Если машины производятся с помощью машин, то разве это нельзя назвать репродуктивной системой? Присутствие в этой системе человека можно сравнить с присутствием насекомых в репродуктивной системе растений. Никто ведь не будет утверждать, что клевер не имеет репродуктивной системы, только на том основании, что оплодотворение в ней невозможно без помощи шмеля. Не все живые существа в природе участвуют в репродукции. Большинство пчёл или муравьёв, например, выполняют свою функцию – запасают продукты питания для потомков, никак не участвуя в производстве этих потомков. Аналогичным образом, и в будущем машинном мире какие-то машины будут способными к репродукции, а остальные – будут выполнять другие функции.

В настоящее время машины не обладают репродуктивными функциями. Но кто сказал, что так будет всегда? Кто сказал, что не настанет тот день, когда машины будут производиться машинами, без всякого участия человека? Сами машины при этом уменьшатся в размерах, что будет косвенно свидетельствовать о прогрессе в их развитии, подобно тому как в ходе эволюции уменьшились в размерах многие некогда крупные позвоночные животные… Пока что нам нечего опасаться, но, если принять во внимание, насколько быстро развивается техника, то очевидным становится значительное отставание биологической эволюции от технической. Не следует ли нам, поэтому, удерживать техническое развитие под контролем? Не следует ли нам уничтожить самые сложные из существующих машин, хотя сегодня они и не представляют для нас непосредственной опасности?


Однако самое прикольное во всех этих цитатах другое. smile.gif Далее спойлер.
   Спойлер!
Так вот. Эти размышления о машинной цивилизации впервые появились в статье Сэмюэля Батлера с примечательным названием «Дарвин среди Машин» в новозеландской газете «The Press» в 1863 !!! году. В тысяча восемьсот шестьдесят третьем году, Карл!!!!! Почти 150 лет назад. Я даже затрудняюсь подобрать аналогию о том, какая тема сейчас звучит так же, как тема об эволюции машинной цивилизации тогда. Естественно, практически все посчитали эти размышления просто этакими высказываниями против теории Дарвина путем доведения до абсурда и, следовательно, абсолютной нереалистичными (ну, наверно, кроме самого автора). Потом, в доработанном виде, эта статья была перенесена в роман «Erewhon» (напечатанный в 1872), в главу с названием «Книга Машин».


Я вот сижу и думаю, что вдруг сейчас где-нибудь тоже существуют подобные почти никому не известные статьи, где размышляют о вещах и проблемах, о которых сейчас почти никто даже думать не думает, но при этом эти статьи столь же удачно заглядывают в будущее, как пример выше. Знать бы, где их найти. smile.gif

Молодец он конечно, но за это время многое изменилось. По пунктам:
1. О свободе воли - по современным научным представлениям свободы воли вообще не существует, даже у человека ее нет.
2. О расслоении людей - оно и так существует и было всегда, пугать людей тем, что в будущем будет также как сегодня довольно глупо. Попробуйте напугать современного человека высказыванием, что в каменном веке жилось лучше, так как расслоение общества было меньше. В каменном веке каждый мог сделать себе каменный топор, а сейчас не каждый может купить себе "майбах". Так себе и представляю толпы людей бегущих жить в леса и пещеры. biggrin.gif
3. На счет рабства - оно произойдет не потому, что машины захватят власть и превратят всех людей в рабов (привет терминатору wink.gif ). Просто люди, в большинстве своем, ленивые существа и не будут тратить энергию на изучение вещей, которые им не нужны в жизни (думаю мало людей из присутствующих на форуме смогли бы надеть упряжь на лошадь). Поэтому если появятся машины, которые возьмут на себя все функции в обществе (как физические, так и интеллектуальные), то большинство людей просто перестанут учиться (а зачем, если машины и так за тебя все делают?). Такая психология хорошо описана в книге "Пиноккио" где существует страна развлечений. Машины не выйдут из подчинения, с моей точки зрения, просто человечество деградирует.
Martin
23 сентября 2015, 01:55
Лингвистические технологии в Интернете.

Специалист в области информационных технологий Анатолий Гершман о принципах работы поисковиков, системе индексирования сайтов и способах определения тональности текста.

   Спойлер!
Что это такое лингвистические технологии? Люди говорят на естественных языках, таких, как английский, французский, немецкий, русский. Всего в мире более 6 тысяч живых языков. Языков, на которых говорят более миллиона человек, триста. Но есть языки, на которых говорят сотни миллионов, а есть языки, на которых говорят несколько сотен человек. Мы часто говорим об океане информации, в котором мы все утопаем. Но если посмотреть на эту информацию, то более 80% этой информации — это текст, речь, видео. Лингвистические технологии помогают нам найти эту информацию, обработать и сделать что-то полезное с этой информацией. Должен сразу оговориться, что мы говорим не о науке лингвистике, мы говорим о лингвистических технологиях, то есть о практических технологиях, которые позволяют нам сделать что-то полезное с информацией, заключенной в тексте или в речи.

Какие это технологии? Их примерно 5 областей. Во-первых, это технологии поиска информации. Мы все знакомы с поисковиками типа Google или Яндекс, уже трудно себе представить жизнь без таких технологий, без поисковиков. Во-вторых, это технологии извлечения информации. Скажем, если я напечатаю в Google или в Яндекс «на какие карты ставил Герман в повести “Пиковая дама”, поисковик найдет пиковую даму, но я-то уже знаю, что это пиковая дама, а вот тройка, семерка, туз — это уже извлекатель должен найти. Третья область технологий — это машинный перевод. Четвертая область — это генерация текста и речи. Например, из огромного количества данных как коротко объяснить, скажем, медсестре или врачу состояние больного ребенка или больного человека, или сделать прогноз погоды из тысяч данных, которые собирают метеорологические станции. Наконец, пятая область — это распознавание речи и общение с машинами.

[Управление большими массивами данных]
Управление большими массивами данных
Специалист в компьютерных науках Кьянг Ку о датамайнинге, системах «Твиттера» и «интернете вещей»
Давайте вкратце ознакомимся с каждой из этих областей технологии. Во-первых, поисковики. Как работают поисковики? Вы печатаете, например, в Google или в Яндекс, скажем, “ресторан лук Москва”. Поисковик, будем надеяться, находит вам кафе “Лук” на Большой Никитской, а не как разводить зеленый лук. Каким образом он это делает? Во-первых, поисковик смотрит на ваш запрос как мешочек слов, ему не важно, в каком порядке вы сказали “лук Москва ресторан”. Он берет эти слова и ищет документы, тоже рассматриваемые, как мешки слов, какой из них наиболее похож на ваш запрос. Как можно сказать, похож ли документ на запрос? Во-первых, в этом документе должны быть использованы слова из запроса, а во-вторых, как можно меньше других слов. Значит, самый идеальный документ, который наиболее близко соответствует запросу, — это документ, в котором есть только слова из запроса по этому методу. Теперь если смотреть на документы в Интернете как огромный склад мешков слов, то как мы найдем, например, документ, который похож? Сейчас у нас есть метод, как сравнивать наш мешочек-запрос с мешком документов, не перебирать же все триллионы документов в Интернете. Для этого, естественно, нам нужен индекс. К счастью, весь Интернет проиндексирован.

Что такое индекс? Индекс — это список слов, на каждое есть указатели на документы, в которых это слово употребляется. Google, Яндекс и другие поисковики постоянно индексируют интернет. Сейчас где-то в интернете около 60 триллионов страниц, это количество постоянно растет и они все время индексируются. Для индексации требуется колоссальное количество серверов, компьютеров. У больших поисковиков где-то около миллиона серверов у каждого компьютера, которые постоянно прочесывают интернет, и они потребляют огромное количество энергии. Например, скажем, вычислительный центр Google потребляет примерно такое же количество энергии, как большой алюминиевый завод. Это стало новой тяжелой промышленностью.

Тот метод сравнения запроса с документом, который я описал, — довольно примитивный метод, по этому методы работали ранние поисковики. Современные поисковики гораздо умнее, они, например, смотрят на слова в заголовке статьи, слова в заголовке статьи более важны, чем слова где-нибудь в конце статьи. Кроме того, они смотрят на количество ссылок на статью, то есть статья, на которую многие ссылаются, более интересная, важная, чем статья, на которую никто не ссылается и так далее. То есть современные поисковики гораздо более совершенны, чем ранние.

Теперь, когда вы печатаете ваш запрос в поисковик, Google или Яндекс, на самом деле начинает работать сразу два поисковика. Один поисковик ищет документы, наиболее соответствующие вашему запросу, а другой поисковик ищет, какую вам показать рекламу. Мы не думаем о втором, как о поисковике, но на самом деле это очень важный поисковик, потому что на этом основаны все доходы компаний-поисковиков, и он не менее сложен, чем первый. Для того, чтобы показать вам рекламу, на которую вы отреагируете позитивно, которая имеет шанс быть полезной для вас, надо понимать намерения покупателя. Например, если вы печатает запрос “ресторан лук Москва”, то ваше намерение скорее всего — это пойти в ресторан пообедать, поужинать. В этот момент показать вам, как проехать в ресторан, какое там меню, какие еще рестораны могут быть такого типа, указать на какие-то услуги, которые позволят вам заказать столик в ресторане — все это совершенно естественно и уместно. Так вот, определение намерений пользователя поисковика — это одно из главных направлений развития поисковиков.

[Начала компьютерной лингвистики]
Начала компьютерной лингвистики
Лингвист Леонид Иомдин о первом эксперименте по машинному переводу, синтаксической теории Хомского и моделировании языка
В то время как поисковики ищут документ, извлекатель информации извлекает конкретные факты, например, какой был доход у компании IBM в последнем квартале, или, например, подсчитывает количество положительных или отрицательных отзывов на какой-нибудь кинофильм. Есть два подхода к определению тональности. Один подход основан на словах, которые указывают на тональность. Например, слова “превосходный” и “отличный” указывают на положительную тональность текста, а слова “скучный”, “плохой” указывают на отрицательную тональность текста. Второй подход совсем другой. Для него нужно большое количество примеров, положительных отзывов о фильме, например, и большое количество отрицательных отзывов. На этих примерах обучается статистический классификатор, который сам выбирает, какие слова будут положительные, а какие слова будут отрицательные, без участия людей. В индустриальном мире скорее пользуются первым подходом, в академическом мире предпочитается второй подход. Но на самом деле лучшие извлекатели применяют комбинированный подход, какие-то признаки делаются вручную, а какие-то выявляются статистически.

Определение тональности всей статьи и всего текста — это одна задача. Но на самом деле один и тот же текст, например, отзыв о фильме, может содержать несколько разных тональностей, положительных и отрицательных по разным аспектам фильма. Скажем, читателю понравился один актер, а не понравился другой актер. Установление тональности по отношению к определенным аспектам продукта, фильм — это продукт, или автомобиля, например, пользователю понравился интерьер автомобиля, но не понравился двигатель, установление тональности по отношению к объектам — это одно из главных направлений развития этой технологии извлечения информации.

Поиск и извлечение информации на самом деле начинают немножко сходиться в нынешнем состоянии технологии. Такие поисковики, как Google или Яндекс, если вы напечатаете «какова высота Эйфелевой башни», вам ответят, или вы спросите курс рубля по отношению к доллару — вам ответят: не просто найдут документ, а ответят. То есть поисковики начинают в себя включать элементы извлечения информации. Происходит такая конвергенция поисковиков и извлекателей информации. Это очень перспективно и, конечно, сильно облегчит любой поиск и извлечение информации в интернете.

Дальше >>
Эта версия форума - с пониженной функциональностью. Для просмотра полной версии со всеми функциями, форматированием, картинками и т. п. нажмите сюда.
Invision Power Board © 2001-2016 Invision Power Services, Inc.
модификация - Яро & Серёга
Хостинг от «Зенон»Сервера компании «ETegro»