3. Программы-переводчики. Возможности систем распознавания текста
Программы переводчики
В современную эпоху НТР и информатизации общества возросла интенсивность общения между народами и странами. Однако этот процесс в значительной мере тормозится языковыми барьерами. Обучение иностранным языкам и переводческая деятельность в какой-то мере смяг-чают остроту проблемы, но полностью ее не решают. Более радикальным решением является создание систем автоматического перевода текстов с одних естественных языков на другие. Та-кие системы создаются во многих развитых странах мира, однако качество автоматического пе-ревода оставляет желать лучшего.
С точки зрения пользователя систем машинного перевода они могут подразделяться на три основных типа:
Информативные, предназначенные для помощи тем, кому нужен доступ к информации на иностранном языке и кто готов пользоваться «грубым», но достаточно понятным переводом. Такие системы, как правило, имеют словари большого объема, но не опираются на новейшие достижения в лингвистике и программировании.
Профессиональные, которые дают лишь черновые наброски перевода для профессио-нальных переводчиков и тем освобождают их от черновой работы. Такие системы теперь ис-пользуются реже, – как правило, при большом объеме текущей переводческой работы, выпол-няемой одновременно многими специалистами в одной предметной области. Чаще в этих ситуа-циях переводчиков снабжают автоматическими словарями и тезаурусами с интерактивным дос-тупом.
Персональные – для авторов, желающих перевести свои статьи на иностранный язык, ко-торым они не вполне владеют. Такие системы обычно работают в диалоге с пользователем и мо-гут давать удовлетворительный перевод (качество которого все же зависит от того, насколько ав-тор владеет выходным языком).
По применяемым лингвистическим методам системы машинного перевода можно разде-лить также на три типа:
Системы прямого перевода – наиболее многочисленные, поскольку начали создаваться еще в 1950-60-е годы для фиксированных пар языков. В этих системах словарь и синтаксис вход-ного языка анализируются лишь в той мере, в какой это необходимо для идентификации пра-вильных выражений выходного языка и порядка слов. В начале своего развития эти системы вы-давали пословные переводы и лишь позднее – переводы, основанные на анализе предложений входного языка.
Системы перевода с использованием языка-посредника, служащего для отображения «смысла» входного текста, который преобразуется в семантические и синтаксические представ-ления, общие для нескольких выходных языков. Этот метод применяется обычно при необходи-мости перевода исходного текста на несколько языков (например, в переводческих центрах Ев-ропейского сообщества).
Системы перевода с трансфером более сложны, поскольку языки-посредники применя-ются дважды – первый раз при переводе с входного языка, второй – при переводе на выходной язык. В этом случае становится необходимым дополнительный этап перевода – с языка-посредника входного языка на язык-посредник выходного языка. За этот счет достигается более глубокий лингвистический анализ и синтез.
В последние годы все большее применение в машинном переводе находят методы ис-кусственного интеллекта, которые при переводе учитывают семантику текста. Это означает, что они опираются не столько на грамматические, сколько на семантико-синтаксические катего-рии.
Системы машинного перевода текстов предназначены для моделирования работы чело-века-переводчика. Моделировать эту работу в полном объеме пока не представляется возмож-ным, поэтому нужно стремиться при машинном переводе оперировать теми единицами языка и речи, которые позволяют наиболее точно передавать содержание текста, написанного на одном языке, средствами другого языка. Такими единицами являются, прежде всего, фразеологические обороты и терминологические словосочетания и, во вторую очередь, отдельные слова. Поэтому перспективные системы машинного перевода должны опираться на фразеологическое богатство естественных языков. Они должны быть системами фразеологического перевода.
Концепция фразеологического машинного перевода была впервые четко сформулирована профессором Г.Г. Белоноговым в 1975 г. Далее она была развита в настоящее время и реализо-вана в ВИНИТИ в виде двух систем: системы русско-английского перевода (RETRANS) и системы англо-русского перевода (ERTRANS).
Если в других системах перевода в качестве основной минимальной единицы смысла, представляемой в машинных словарях, рассматривается слово, то в системах фразеологического перевода в качестве основной единицы смысла считаются фразеологические словосочетания, выражающие понятия, отношения между понятиями и ситуации. Это позволяет точнее переда-вать смысл переводимых текстов.
Скорость перевода текстов в автоматическом режиме – 10-30 слов/с. Предусмотрена воз-можность работы в интерактивном режиме (с целью повышения качества перевода).
Одной из важнейших проблем, стоящих перед переводом, является частое и не всегда сразу заметное изменение значений слов. Словари не всегда успевают отразить эти изменения в научно-технической терминологии.
Особенно много действующих коммерческих систем машинного перевода (свыше 40) имеется в Японии. Почти все крупные компьютерные или производящие электронное оборудо-вание японские фирмы разрабатывают собственные системы машинного перевода. Пользовате-лям этих систем предоставляется грубый или более точный, выборочный или полный перевод, составление аннотаций и другие информационные услуги, в которых в разной степени участвуют профессиональные переводчики.
Практическая работа
Выполните перевод текста с английского языка на русский
A computer is a programmable machine designed to automatically carry out a sequence of arithmetic or logical operations. The particular sequence of operations can be changed readily, allowing the computer to solve more than one kind of problem. An important class of computer operations on some computing platforms is the accepting of input from human operators and the output of results formatted for human consumption. The interface between the computer and the human operator is known as the user interface.
Conventionally a computer consists of some form of memory, at least one element that carries out arithmetic and logic operations, and a sequencing and control unit that can change the order of operations based on the information that is stored. Peripheral devices allow information to be entered from an external source, and allow the results of operations to be sent out. С помощью следующих онлайн сервисов Промт- http://www.translate.ru/ Яндекс-переводчик - http://translate.yandex.ru/ Мета-переводчик - http://translate.meta.ua/
Сохраните результаты переводов в текстовый редактор
Оцените онлайн-переводчики по пятибальной шкале в тетради при помощи таблицы:
Название онлайн-сервиса
| Быстрота перевода
| Грамотность перевода
(согласованность падежей, рода и.т.д.)
| Осмысленность перевода
|
|
|
|
|
|
|
|
|
Системы распознавания текстов
С помощью сканера достаточно просто получить изображение страницы текста в графическом файле. Однако работать с таким текстом невозможно: как любое сканированное изображение, страница с текстом представляет собой графический файл - обычную картинку. Текст можно будет читать и распечатывать, но нельзя будет его редактировать и форматировать. Для получения документа в формате текстового файла необходимо провести распознавание текста, то есть преобразовать элементы графического изображения в последовательности текстовых символов.
Преобразованием графического изображения в текст занимаются специальные программы распознавания текста (Optical Character Recognition - OCR).
Современная OCR должна уметь: распознавать тексты, набранные не только определенными шрифтами (именно так работали OCR первого поколения), но и самыми экзотическими, вплоть до рукописных. Уметь корректно работать с текстами, содержащими слова на нескольких языках, корректно распознавать таблицы. Не менее важно обеспечить возможность сохранения результата в файле популярного текстового (или табличного) формата — скажем, формата doc.
Как видим, для того, чтобы получить электронную, готовую к редактированию копию любого печатного текста, программе OCR необходимо выполнить «цепочку» из множества отдельных операций.
Сначала необходимо распознать структуру размещения текста на странице: выделить колонки, таблицы, изображения и так далее. Далее выделенные текстовые фрагменты графического изображения страницы необходимо преобразовать в текст.
Если исходный документ имеет типографское качество (достаточно крупный шрифт, отсутствие плохо напечатанных символов или исправлений), то задача распознавания решается методом сравнения с растровым шаблоном. Сначала растровое изображение страницы разделяется на изображения отдельных символов. Затем каждый из них последовательно накладывается на шаблоны символов, имеющихся в памяти системы, и выбирается шаблон с наименьшим количеством отличных от входного изображения точек.
При распознавании документов с низким качеством печати (машинописный текст, факс и так далее) используется метод распознавания символов по наличию в них определенных структурных элементов (отрезков, колец, дуг и др.).
Любой символ можно описать через набор значений параметров, определяющих взаимное расположение его элементов. Например, буква «Н» и буква «И» состоят из трех отрезков, два из которых расположены параллельно друг другу, а третий соединяет эти отрезки. Различие между данными буквами — в величине углов, которые образует третий отрезок с двумя другими.
При распознавании структурным методом в искаженном символьном изображении выделяются характерные детали и сравниваются со структурными шаблонами символов. В результате выбирается тот символ, для которого совокупность всех структурных элементов и их расположение больше всего соответствует распознаваемому символу.
Наиболее распространенные системы оптического распознавания символов, например, ABBYY FineReader и CuneiForm от Cognitive, используют как растровый, так и структурный методы распознавания. Кроме того, эти системы являются «самообучающимися» (для каждого конкретного документа они создают соответствующий набор шаблонов символов) и поэтому скорость и качество распознавания многостраничного документа постепенно возрастают.
При заполнении налоговых деклараций, при проведении переписей населения и так далее используются различного вида бланки с полями. Сложность состоит в том, что необходимо распознавать написанные от руки символы, довольно сильно различающиеся у разных людей. Кроме того, система должна определить, к какому полю относится распознаваемый текст.
Системы распознавания рукописного текста. С появлением первого карманного компьютера Newton фирмы Apple в 1990 году начали создаваться системы распознавания рукописного текста. Такие системы преобразуют текст, написанный на экране карманного компьютера специальной ручкой, в текстовый компьютерный документ.
Программы для распознавания текста вы можете приобрети отдельно или получить бесплатно вместе с купленным вами сканером.
Возможно, самая известная программа для распознавания текстов – это FineReader от компании ABBYY. Именно эту программу чаще всего вспоминают, когда речь заходит о системах распознавания.
FineReader - омнифонтовая система оптического распознавания текстов. Это означает, что она позволяет распознавать тексты, набранные практически любыми шрифтами, без предварительного обучения. Особенностью программы FineReader является высокая точность распознавания и малая чувствительность к дефектам печати, что достигается благодаря применению технологии "целостного целенаправленного адаптивного распознавания".
Fine Reader имеет массы дополнительных функций, которые простому пользователю, возможно, и без надобности, но зато производят впечатление на определенные группы покупателей. Так, одним из козырей Fine Reader является поддержка неимоверного количества языков распознавания — 176, в числе которых вы найдете экзотические и древние языки, и даже популярные языки программирования.
Но далеко не все возможности включены в самую простую модификацию программы, которую вы можете получить бесплатно вместе со сканером. Пакетное сканирование, грамотная обработка таблиц и изображений — для всего этого стоит приобрести профессиональную версию программы.
Все версии Fine Reader, от самой простой до самой мощной, объединяет удобный интерфейс. Для запуска процесса распознавания вам достаточно просто положить документ в сканер и нажать единственную кнопку (мастер Scan & Read) на панели инструментов программы. Все дальнейшие операции — сканирование, разбивку изображения на «блоки» и, наконец, собственно распознавание программа выполнит автоматически. Пользователю останется только установить нужные параметры сканирования.
Fine Reader работает со сканерами через TWAIN-интерфейс. Это единый международный стандарт, введенный в 1992 году для унификации взаимодействия устройств для ввода изображений в компьютер (например, сканера) с внешними приложениями.
Качество распознавания во многом зависит от того, насколько хорошее изображение получено при сканировании. Качество изображения регулируется установкой основных параметров сканирования: типа изображения, разрешения и яркости.
Сканирование в сером является оптимальным режимом для системы распознавания. В случае сканирования в сером режиме осуществляется автоматический подбор яркости. Если Вы хотите, чтобы содержащиеся в документе цветные элементы (картинки, цвет букв и фона) были переданы в электронный документ с сохранением цвета, необходимо выбрать цветной тип изображения. В других случаях используйте серый тип изображения.
Следует помнить,
что разрешение - один самых важных
параметров будущего изображения.
Заданное при сканировании
разрешение невозможно впоследствии
изменить без изменения
качественных характеристик
изображения. Например, графический
пакет обработки позволяет
увеличить разрешение готового
изображения в два раза, но
результирующее качество картинки
от этого только ухудшится.
Разрешение
определяет уровень детализации
объекта при сканировании и
определяется в точках на дюйм (dpi)-произносится как ди-пи-ай) — сокращение для англ. dots per inch, количество точек на линейный дюйм.ем выше этот показатель, тем более
детально будет передан объект, но
тем больше будет и размер выходного
файла.
Оптимальным разрешением для обычных текстов является - 300 dpi и 400-600 dpi для текстов, набранных мелким шрифтом (9 и менее пунктов).
После завершения распознавания страницы Fine Reader предложит пользователю выбор: сканировать и распознавать дальше (для многостраничного документа) или сохранить полученный текст в одном из множества популярных форматов.
Системы оптического распознавания текста в Linux
Cuneiform
Первоначально программа CuneiForm была разработана
компанией Cognitive Technologies
как коммерческий продукт. CuneiForm поставлялся с некоторыми моделями
сканеров. Однако после нескольких лет перерыва разработки, 12 декабря
2007 года анонсировано открытие исходных текстов программы, которое
состоялось 2 апреля 2008 года.
По умолчанию в Ubuntu 10.10 доступна достаточно старая версия 0.7. Однако после добавления соответствующего PPA можно стать обладателем версии 1.0.
Для Cuneiform написаны два графических интерфейса - YAGF и Cuneiform-Qt. GOCR
GOCR - это
свободная кроссплатформенная система оптического распознавания текстов,
работающая из командной строки. Программа пока находится в ранней стадии
разработки, поэтому имеет ряд серьезных недостатков (например,
распознает только одноколоночный текст). Кроме того, изучение
man-страницы показало, что опций, позволяющих задать язык распознавания,
программа не имеет, что подтвердилось экспериментом - русский текст
gocr пытается распознать как английский. Естественно, в таблицу я данную
программу включать не стал.
Ocrad
Ocrad - это система
оптического распознавания, разрабатываемая в рамках проекта GNU.
Программа использует метод выделения характерных признаков (feature
extraction). Она читает побитовое изображение в формате pgm/pbm и
генерирует текст в байтовом (8-битном) формате. Ocrad содержит
анализатор макета, способный отделять столбцы или блоки текста, часто
встречающиеся в печатных страницах. К сожалению, поддержка русского
языка также отсутствует напрочь. Поэтому из нашего сравнения программу
исключаем.
Tesseract
Tesseract -
свободная программа для распознавания текстов, разрабатывавшаяся
Hewlett-Packard с середины 1980-х по середину 1990-х. Затем ее
разработка была заморожена на 10 лет. В августе 2006 г Google купил её и
открыл исходные тексты под лицензией Apache 2.0 для продолжения
разработки. В настоящий момент программа уже работает с UTF-8, поддержка
языков (включая русский с версии 3.0) осуществляется с помощью
дополнительных модулей.
Задание: Ответьте письменно в тетради на вопросы:
1. Что такое распознавание текста?
2. Что такое OCR?
3. Какая самая распространенная программа для распознавания текста?
4. Что такое TWAIN-интерфейс?
5. Что такое разрешение при сканировании? В чем оно измеряется?
6. Перечислите программы распознавания текста для LINUX.
Практическая работа:
Зарегистрируйтесь на сайте http://finereader.abbyyonline.com/ru/Task/Queue - распознавание текста онлайн
Скачайте файл приложение и распознайте его с помощью данного сервиса. Сохраните полученный файл на компьютер.
Домашнее задание:
1. Решите задачи на повторение:
А)На остановке «Культовары» останавливаются автобусы под номерами 2,4,8 и 16. Сколько битов информации несет сообщение о том, что к остановке подошел автобус номер восемь?
Б) Для подготовки эссе студент использовал 16 источников научной литературы. Наиболее содержательной оказалась только одна книга. Сколько бит информации несет в себе сообщение о том, что цитаты были взяты из Энциклопедического словаря Поспелова?
В) Сообщение о том, что студенту на экзамене достался билет номер 7 несет в себе 5 бит информации. Сколько всего билетов было на экзамене?
2. Подготовьтесь к самостоятельной работе по теории:
Вопросы для подготовки:
1. Определение информационной системы.
2. Что такое замкнутая информационная система
3. Что такое разомкнутая информационная система
4. Классификация ИС по характеру использования
5. Определение информационно-поисковой, управляющей, интеллектуальной ИС
6. Классификация ИС по сфере применения
7. Обеспечивающие ИС
8. Что такое настольная издательская система?
9. Какие программные продукты используются в издательском деле?
10. Что означает сверстать страницу?
11. Что такое буквица?
12. Классификация систем машинного перевода с точки зрения пользователя и по применяемым методам.
13. Какие системы машинного перевода текста Вам известны?
14. Что такое распознавание текста?
15. Что такое OCR?
16. Что такое TWAIN-интерфейс?
17. Что такое разрешение при сканировании? В чем оно измеряется?
18. Перечислите программы распознавания текста
|
