stringtranslate.com

Обработка документов

Обработка документов — это область исследований и набор производственных процессов, направленных на то, чтобы сделать аналоговый документ цифровым. Обработка документов направлена ​​не только на фотографирование или сканирование документа для получения цифрового изображения , но и на то, чтобы сделать его цифрово понятным. Это включает в себя извлечение структуры документа или макета , а затем содержимого, которое может иметь форму текста или изображений. Процесс может включать традиционные алгоритмы компьютерного зрения , сверточные нейронные сети или ручной труд. Рассматриваемые проблемы связаны с семантической сегментацией , обнаружением объектов , оптическим распознаванием символов (OCR) , распознаванием рукописного текста (HTR) и, в более широком смысле, транскрипцией , как автоматической , так и нет. [1] Термин может также включать фазу оцифровки документа с помощью сканера и фазу интерпретации документа, например, с использованием технологий обработки естественного языка (NLP) или классификации изображений . Он применяется во многих промышленных и научных областях для оптимизации административных процессов, обработки почты и оцифровки аналоговых архивов и исторических документов.

Фон

Обработка документов изначально была, как и до сих пор в некоторой степени, своего рода работой производственной линии, связанной с обработкой документов , таких как письма и посылки, с целью сортировки, извлечения или массового извлечения данных. Эта работа может выполняться внутри компании или посредством аутсорсинга бизнес-процессов . [2] [3] Обработка документов действительно может включать в себя некоторый вид внешнего ручного труда, например, механический турок .

В качестве примера ручной обработки документов можно привести сравнительно недавний случай, произошедший в 2007 году [4] , когда обработка документов для «миллионов заявлений на получение виз и гражданства» осуществлялась «примерно 1000 контрактных работников», которые «управляли почтой и вводом данных ».

Хотя обработка документов включала ввод данных с клавиатуры задолго до использования компьютерной мыши или компьютерного сканера , в статье 1990 года в The New York Times относительно того, что называлось « безбумажным офисом », говорилось, что «обработка документов начинается со сканера». [5] В этом контексте бывший вице-президент Xerox Пол Страссман высказал критическое мнение, заявив, что компьютеры добавляют, а не уменьшают объем бумаги в офисе. [5] Было сказано, что инженерная и эксплуатационная документация для самолета весит «больше, чем сам самолет» [ необходима ссылка ] .

Автоматическая обработка документов

По мере развития технологий обработка документов перешла к обработке «компонентов документа... как сущностей базы данных». [6]

Технология, называемая автоматической обработкой документов или иногда интеллектуальной обработкой документов (IDP), возникла как особая форма интеллектуальной автоматизации процессов (IPA), объединяющая искусственный интеллект, такой как машинное обучение (ML), обработку естественного языка (NLP) или интеллектуальное распознавание символов (ICE), для извлечения данных из документов нескольких типов. [7] [8] Достижения в области автоматической обработки документов, также называемые интеллектуальной обработкой документов, улучшают способность обрабатывать неструктурированные данные с меньшим количеством исключений и большей скоростью. [9]

Приложения

Автоматическая обработка документов применяется к целому ряду документов, как структурированных, так и неструктурированных. Например, в мире бизнеса и финансов технологии могут использоваться для обработки бумажных счетов-фактур, форм, заказов на закупку, контрактов и валютных счетов. [10] Финансовые учреждения используют интеллектуальную обработку документов для обработки больших объемов форм, таких как нормативные формы или кредитные документы. ID использует ИИ для извлечения и классификации данных из документов, заменяя ручной ввод данных. [11]

В медицине методы обработки документов были разработаны для облегчения наблюдения за пациентами и упрощения административных процедур, в частности, путем оцифровки медицинских или лабораторных отчетов по анализу. Целью также является стандартизация медицинских баз данных. [12] Алгоритмы также напрямую используются для оказания помощи врачам в медицинской диагностике, например, путем анализа магнитно-резонансных изображений , [13] [14] или микроскопических изображений. [15]

Обработка документов также широко используется в гуманитарных и цифровых гуманитарных науках для извлечения исторических больших данных из архивов или коллекций наследия. Были разработаны специальные подходы для различных источников, включая текстовые документы, такие как газетные архивы, [16] , а также изображения, [17] или карты. [18] [19]

Технологии

Если с 1980-х годов традиционные алгоритмы компьютерного зрения широко применялись для решения задач обработки документов, [20] [21] то в 2010-х годах их постепенно заменили технологии нейронных сетей. [22] Однако в некоторых секторах традиционные технологии компьютерного зрения все еще используются, иногда в сочетании с нейронными сетями.

Многие технологии поддерживают развитие обработки документов, в частности оптическое распознавание символов (OCR) и распознавание рукописного текста (HTR), которые позволяют автоматически транскрибировать текст. Текстовые сегменты как таковые идентифицируются с помощью алгоритмов обнаружения экземпляров или объектов , которые иногда могут также использоваться для определения структуры документа. Разрешение последней проблемы иногда также использует алгоритмы семантической сегментации .

Эти технологии часто формируют ядро ​​обработки документов. Однако другие алгоритмы могут вмешиваться до или после этих процессов. Действительно, технологии оцифровки документов также задействованы, будь то в форме классического или трехмерного сканирования. [23] Оцифровка 3D-документов может, в частности, прибегать к производным фотограмметрии . Иногда также должны быть разработаны специальные 2D-сканеры для адаптации к размеру документов или по причинам эргономики сканирования. [17] Обработка документов также зависит от цифрового кодирования документов в подходящем формате файла . Кроме того, обработка гетерогенных баз данных может полагаться на технологии классификации изображений .

На другом конце цепи находятся различные алгоритмы завершения изображения, экстраполяции или очистки данных. Для текстовых документов интерпретация может использовать технологии обработки естественного языка (NLP).

Смотрите также

Ссылки

  1. ^ Лен Эспри; Майкл Миддлтон (2003). Интегративное управление документами и контентом: стратегии использования корпоративных знаний. Idea Group Inc (IGI). ISBN 9781591400554.
  2. ^ Винод В. Сопл (2009-05-25). Аутсорсинг бизнес-процессов: цепочка поставок экспертных знаний. PHI Learning Pvt. Ltd. ISBN 978-8120338159.
  3. ^ Марк Кобаяши-Хиллари (2005-12-05). Аутсорсинг в Индию: офшорное преимущество. Springer Science & Business Media. ISBN 9783540247944.
  4. ↑ Джулия Престон (2 декабря 2007 г.). «Иммиграционный подрядчик сокращает зарплаты». The New York Times .
  5. ^ ab Lawrence M. Fisher (7 июля 1990 г.). «Бумага, однажды списанная, сохраняет место в офисе». The New York Times .
  6. ↑ Эл Янг; Дейл Вулстейн; Джей Джонсон (февраль 1996 г.). «Неизвестное название». Журнал Object . стр. 51.
  7. ^ "Интеллектуальная обработка документов" (PDF) . Кафедра компьютерных наук – Университет Бари . 2005-04-07 . Получено 2018-09-08 .
  8. ^ Флориана Эспозито , Стефано Ферилли, Тереза ​​М.А. Базиле, Никола Ди Мауро (01.04.2005). «Интеллектуальная обработка документов» в трудах. Восьмая международная конференция по анализу и распознаванию документов, Сеул, Южная Корея, 2005 г., стр. 1100–1104. doi: 10.1109/ICDAR.2005.144. doi :10.1109/ICDAR.2005.144. S2CID  17302169.{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
  9. ^ "Интеллектуальная обработка документов (IDP)". keymarkinc.com . Получено 2024-07-12 .
  10. ^ Активный US7873576B2, Джон Э. Джонс; Уильям Дж. Джонс и Фрэнк М. Ксалтис, "Система обработки финансовых документов", опубликовано 2011-01-18, выпущено 2011-01-18 
  11. ^ Бриджуотер, Адриан. «Appian добавляет Google Cloud Intelligence в Low-Code Automation Mix». Forbes . Получено 21 апреля 2021 г.
  12. ^ Адамо, Франческо; Аттивиссимо, Филиппо; Ди Нисио, Аттилио; Спадавеккья, Маурицио (февраль 2015 г.). «Автоматическая система обработки документов для извлечения медицинских данных». Измерение . 61 : 88–99. Бибкод : 2015Измерение...61...88А. doi :10.1016/j.measurement.2014.10.032 . Проверено 31 января 2021 г.
  13. ^ Changwan, Kim; Seong-Il, Lee; Won Joon, Cho (сентябрь 2020 г.). «Объемная оценка экструзии при разрывах заднего корня медиального мениска с помощью полуавтоматической сегментации на 3-тесла магнитно-резонансных изображениях». Orthopaedics & Traumatology: Surgery & Research . 101 (5): 963–968. doi :10.1016/j.rcot.2020.06.003. S2CID  225215597 . Получено 31 января 2021 г. .
  14. ^ Деспотович, Ивана; Барт, Гуссенс; Вильфрид, Филипс (1 марта 2015 г.). «Сегментация МРТ человеческого мозга: проблемы, методы и приложения». Методы вычислительного интеллекта в медицине . 2015 : 963–968. doi : 10.1155/2015/450341 . PMC 4402572. PMID  25945121 . 
  15. ^ Путцуа, Лоренцо; Каоччи, Джованни; Ди Рубертоа, Сесилия (ноябрь 2014 г.). «Классификация лейкоцитов для выявления лейкемии с использованием методов обработки изображений». Искусственный интеллект в медицине . 63 (3): 179–191. doi :10.1016/j.artmed.2014.09.002. hdl : 11584/94592 . ПМИД  25241903.
  16. ^ Эрманн, Мод; Романелло, Маттео; Клематид, Саймон; Штребель, Филипп; Барман, Рафаэль (2020). «Языковые ресурсы для исторических газет: коллекция Impresso». Труды 12-й конференции по языковым ресурсам и оценке . Марсель, Франция. С. 958–968.
  17. ^ ab Seguin, Benoit; Costiner, Lisandra; di Lenardo, Isabella; Kaplan, Frédéric (1 апреля 2018 г.). «Новые методы оцифровки архивов исторической фотографии искусства — случай Фонда Чини в Венеции». Архивирование 2018 г. Итоговая программа и материалы . Общество науки и технологий обработки изображений. стр. 1–5. doi :10.2352/issn.2168-3204.2018.1.0.2.
  18. ^ Арес Оливейра, София; ди Ленардо, Изабелла; Туренк, Бастьен; Каплан, Фредерик (11 июля 2019 г.). Подход глубокого обучения к кадастровым вычислениям. Конференция по цифровым гуманитарным наукам. Утрехт, Нидерланды.
  19. ^ Петипьер, Реми (июль 2020 г.). Нейронные сети для семантической сегментации исторических городских карт: кросс-культурная эффективность и влияние образного разнообразия (магистр наук). arXiv : 2101.12478 . doi : 10.13140/RG.2.2.10973.64484.
  20. ^ Фудзисава, Х.; Накано, И.; Курино, К. (июль 1992 г.). «Методы сегментации для распознавания символов: от сегментации до анализа структуры документа». Труды IEEE . 80 (7): 1079–1092. doi :10.1109/5.156471 . Получено 3 февраля 2021 г.
  21. ^ Tang, Yuan Y.; Lee, Seong-Whan; Suen, Ching Y. (1996). «Автоматическая обработка документов: обзор». Pattern Recognition . 29 (12): 1931–1952. Bibcode : 1996PatRe..29.1931T. doi : 10.1016/S0031-3203(96)00044-1 . Получено 3 февраля 2021 г.
  22. ^ Арес Оливейра, София; Сегуин, Бенуа; Каплан, Фредерик (5–8 августа 2018 г.). dhSegment: универсальный подход к глубокому обучению для сегментации документов. 16-я международная конференция по передовым рубежам в распознавании рукописного ввода (ICFHR) 2018 г. Ниагарский водопад, штат Нью-Йорк, США: IEEE. arXiv : 1804.10371 . doi : 10.1109/ICFHR-2018.2018.00011.
  23. ^ "Революционная технология сканирования для искусства". Artmyn . Получено 3 февраля 2021 г. .