Share via

«Применение контурного анализа для распознавания образов на С#»

  • 01/16/2012

Грэг Дункан

Сегодняшний проект относится сразу к двум типам: «Ух ты, так вот как это работает» и «Ой! Математика повреждает мой мозг». В глубинах статьи можно встретить потрясающие вещи и если вы удержитесь там, то получите намного больше понимания … и, конечно, код. clip_image002

Контурный анализ для распознавания образов на С#

Теория контурного анализа и ее практическое применение для распознавания образов и OCR.

Статья описывает теоретические основы контурного контуров и различные аспекты его практического применения для распознавания образов. Также в статью включена библиотека для выполнения операций контурного анализа и демонстрационные примеры.

Первая часть статьи содержит основные определения и теоремы контурного анализа. Я старался выбирать главные моменты, позволяющие быстро понять суть анализа, и начать применять его на практике. Также я добавил кое-что от себя. В основном это касается некоторых аспектов теории и проблем оптимизации алгоритмов контурного анализа. Этому посвящена вторая часть статьи. В том же месте приводятся результаты работы алгоритмов, обсуждаются проблемы и недостатки данного метода.

Третья часть описывает библиотеку ContourAnalysis на C#.

...

clip_image004

Часть 1. Основы контурного анализа

Что необходимо для контурного анализа (КА)

КА позволяет описывать, хранить сравнивать и находить объекты, находящиеся в форме внешних абрисов – контуров.

Предполагается, что контур содержит необходимую информацию о форме объекта. Внутренние точки объекта во внимание не принимаются. Это ограничивает область применимости алгоритмов КА, но рассмотрение лишь контуров позволяет перейти от двухмерного пространства образа к пространству контуров и, следовательно, уменьшить вычислительную и алгоритмическую сложность.

КА позволяет эффективно решать главные задачи распознавания шаблонов – перенос, поворот и масштабирование изображения объекта. Методы КА инвариантны относительно таких преобразований.

Основные концепции

Сначала мы определяем контур объекта. Контур – это граница объекта, множество точек (пикселей), отделяющих объект от фона.

В системах компьютерного зрения используются несколько форматов кодирования контуров – наиболее известны код Фримана, двухмерный код, полигональный код. Но все это форматы кодирования на используются в КА.

Вместо этого в КА контур кодируется последовательностью комплексных чисел. На контуре фиксируется точка, называемая стартовой. Затем контур обходится (например, по часовой стрелке), и каждый вектор смещения обозначается комплексным числом a+ib. Где a – смещение по оси x, а b – смещение по оси y. Смещение определяется относительно предыдущей точки.

...

Часть 2: Практическое применение контурного анализа

Главный алгоритм распознавания

Итак, приступим к решению задачи распознавания шаблона на изображении.

Последовательность операций распознавания выглядит следующим образом:

  1. Предварительная обработка изображения – сглаживание, фильтрация шума, повышение контраста
  2. Перевод изображения в двоичную форму и выбор контуров объектов
  3. Первоначальная фильтрация контуров по периметру, квадратам, фактору пересечений, фрактальности и т. п.
  4. Приведение контуров к одинаковой длине, сглаживание
  5. Поиск всех выявленных контуров, поиск шаблонов, максимально похожих на заданный контур

Мы не будем рассматривать пункты 1 и 3, они характерны для прикладной области и имеют небольшое отношение к КА.

Далее мы рассмотрим тело алгоритма – поиск и сравнение контуров с шаблонами. А затем мы немного остановимся на переводе в двоичную форму, приведению к одной длине и сглаживании.

...

Часть 3: Библиотека ContourAnalysis

Библиотека включает два проекта. Первый – ContourAnalysis – реализует основные функции контурного анализа – создание контуров, скалярные произведения контуров, коррекция, оценка ICF и ACF, сравнение и поиск шаблонов.

Класс Contour – создает и хранит контуры. Он содержит основные операции для контуров – скалярное произведение, масштабирование, коррекция, нормализация оценка спектра, оценка ICF и ACF.

Класс Template используется для создания базы шаблонов. Он хранит контур, его ACF, дескрипторы ACF, линейные параметры начального контура (области), нормы контура. Также шаблон содержит переменную name , в которой содержится узнаваемое значение.

Класс TemplateFinder реализует быстрый поиск шаблона для заданного контура. Результатом операции этого класса является переменная FoundTemplateDesc, которая содержит начальный контур, и соответствующий ему шаблон. Кроме того, в ней содержатся параметр соответствия, угол поворота и масштаб контура по отношению к шаблону.

Второй проект – ContourAnalysisProcessing – содержит методы предварительной обработки изображений, выбора контура его фильтрации и распознавания. Также он содержит инструменты для автоматической генерации шаблонов для распознавания печатных символов.

Проект ContourAnalysisProcessing использует библиотеку OpenCV (.NET- обертку EmguCV) для операций с изображениями.

Класс ImageProcessor используется для управления изображениями. Он также хранит базу шаблонов.

Метод ImageProcessor.ProcessImage() получает на входе изображение. На выходе он предоставляет список обнаруженных контуров (ImageProcessor.samples) и список распознанных контуров (ImageProcessor.foundTemplates).

Класс ImageProcessor также содержит настройки для поиска контуров.

...

Вот снимок работающего изображения. Да он выполняет обработку изображений в реальном времени, используя веб-камеру. Насколько это здорово?

clip_image006

Что мне кажется удивительным, так это как мало для этого нужно. Вы думали будут тонны файлов и т. п.?

clip_image008

 private void ProcessFrame()
{
     try
     {
         if (captureFromCam)
             frame = _capture.QueryFrame();
         frameCount++;
         //
         processor.ProcessImage(frame);
         //
         if(cbShowBinarized.Checked)
             ibMain.Image = processor.binarizedFrame;
         else
             ibMain.Image = frame;
     }
     catch (Exception ex)
     {
         Console.WriteLine(ex.Message);
     }
}

public void ProcessImage(Image<Gray, byte> grayFrame)
{
     if (equalizeHist)
         grayFrame._EqualizeHist();//autocontrast
     //smoothed
     Image<Gray, byte> smoothedGrayFrame = grayFrame.PyrDown();
     smoothedGrayFrame = smoothedGrayFrame.PyrUp();
     //canny
     Image<Gray, byte> cannyFrame = null;
     if (noiseFilter)
         cannyFrame = smoothedGrayFrame.Canny(new Gray(cannyThreshold), new Gray(cannyThreshold));
     //smoothing
     if (blur)
         grayFrame = smoothedGrayFrame;
     //binarize
     CvInvoke.cvAdaptiveThreshold(grayFrame, grayFrame, 255, Emgu.CV.CvEnum.ADAPTIVE_THRESHOLD_TYPE.CV_ADAPTIVE_THRESH_MEAN_C, Emgu.CV.CvEnum.THRESH.CV_THRESH_BINARY, adaptiveThresholdBlockSize + adaptiveThresholdBlockSize % 2 + 1, adaptiveThresholdParameter);
     //
     grayFrame._Not();
     //
     if (addCanny)
     if (cannyFrame != null)
         grayFrame._Or(cannyFrame);
     //
     this.binarizedFrame = grayFrame;

     //dilate canny contours for filtering
     if (cannyFrame != null)
         cannyFrame = cannyFrame.Dilate(3);

     //find contours
     var sourceContours = grayFrame.FindContours(Emgu.CV.CvEnum.CHAIN_APPROX_METHOD.CV_CHAIN_APPROX_NONE, Emgu.CV.CvEnum.RETR_TYPE.CV_RETR_LIST);
     //filter contours
     contours = FilterContours(sourceContours, cannyFrame, grayFrame.Width, grayFrame.Height);
     //find templates
     lock (foundTemplates)
         foundTemplates.Clear();
     samples.Clear();

     lock (templates)
     Parallel.ForEach<Contour<Point>>(contours, (contour) =>
     {
         var arr = contour.ToArray();
         Template sample = new Template(arr, contour.Area, samples.templateSize);
         lock (samples)
             samples.Add(sample);

         if (!onlyFindContours)
         {
             FoundTemplateDesc desc = finder.FindTemplate(templates, sample);

             if (desc != null)
                 lock (foundTemplates)
                     foundTemplates.Add(desc);
         }
     }
     );
     //
     FilterByIntersection(ref foundTemplates);
}

Что меня восхищает в этом проекте, так это как его можно использовать в других проектах… подумайте о роботе, вместе с Kinect, который действительно будет читать знаки мимо которых будет проезжать? Или использовать это с приложениях WP7? Или…или…или…

Comments

  • Anonymous
    December 25, 2013
    habrahabr.ru/.../118486 вот перевод на рус.

  • Anonymous
    January 02, 2014
    Кто-нибудь пробовал использовать это в WP7? (успешно)

  • Anonymous
    April 28, 2015
    Можно ли выложить проект с исходниками, для ознакомления с кодом?