Relief Reconstruction from SAR Stereo Pairs

Abstract

We present a method for improving relief reconstruction from SAR (Synthetic-aperture radar) stereo images, relying on preprocessing of input data with an optimal filter. This filter strongly reduces speckle noise and enhances relief structures, leading to better matching results. The method was tested using X-SAR data of a mountainous site whose DEM (Digital Elevation Model) was available for control.

Аннотация

Мы представляем метод для усовершенствования процесса воссоздания рельефа по стереоизображениям, полученным с SAR (Радар с синтезированной апертурой). Метод опирается на предварительную обработку входных данных оптимальным фильтром. Этот фильтр сильно уменьшает спекл-шум и улучшает полученную структуру рельефа, приводя к улучшенным результатам совмещения изображений. Этот метод был протестирован с использованием данных с X-SAR гористой местности, цифровая модель рельефа которой была в наличии.

I. Introduction

A classical method for relief reconstruction using remote sensing images is stereogrammetry. This technique can be applied to SAR stereo data, allowing the production of good quality digital elevation models (DEM) [13]. The core process here is stereo matching, that is, finding disparity—or correspondence points—between two images acquired from different sensor positions. This can be done manually (more or less computer-aided) [25] or automatically [15]. The main problem when performing stereo matching is the need for some image disparity in order to reconstruct relief, but not too much so that enough correspondence points can still be found. These contradictory requirements are encountered when dealing with optical data; however, the problem is more pronounced when one considers radar images that can be very different when the incidence angle changes (for strong relief regions). This difficulty exists for sameside viewing geometry, and is stronger for opposite-side geometry [26] where the geometric and radiometric image disparity can be so high that even the manual matching process can fail.

I. Введение

Классическим методом восстановления рельефа с применением дистанционных изображений является стереограмметрия. Этот прием может быть применен к стерео данным с SAR, позволяя создавать цифровые модели рельефа высокого качества. Основным процессом здесь является стереосовмещение, то есть расчет расхождения или схождения точек между двумя изображениями полученных с разных позиций сенсора. Это может быть сделано вручную (с применением компьютера) или автоматически.  Основная проблема, возникающая при стереосовмещении, это необходимость в наличии некоторого диспаритета между изображениями для восстановления рельефа, но достаточно небольшого, чтобы соответствующие точки все еще можно было найти. Такие противоречащие требования встречаются при работе с оптическими данными; однако, эта проблема становится еще более выраженной, если говорить об изображениях с радара, которые могут получаться очень разными при изменении угла  обзора (в случае регионов с крутым рельефом). Эта сложность присутствует для геометрии при односторонней съемке и усиливается при разносторонней, когда геометрический и радиометрический диспаритет изображений может быть настолько высоким, что даже вручную совместить изображения не выйдет.

Most automated matching methods rely on the correlation between images in order to produce a disparity map. Matching can be performed using initial gray-level images [22], edge images [21], or some other image features such as linked-edge elements or regions [9]. The correlation algorithm can be improved by the use of hierarchical image representation [4] and combining multiple image primitives [17]. New methods based on the learning process [16] or wavelet transform [8] for instance, were also proposed. The success of all of these methods, more or less complicated, depends on the information quality contained in input stereo images: even a complex method can fail with noisy and badly structured input data, whereas a simple correlation technique may give good results when dealing with suitable input data. This data dependency also limits the applicability of matching algorithms, which were originally designed for optical imagery to their radar counterpart. In particular, the combination of so-called feature-based (using image features such as edges or corners) and correlation-based methods has already been applied successfully in optical image matching [27]. Contrarily, the existing literature on radar image matching has been generally limited to the basic correlation of image gray values. The main problems encountered when matching SAR images, as opposed to optical data, are speckle noise and that the two stereo partners can be very different from one another, as the backscattered radar signal mainly depends on the local incidence angle. In particular, for opposite-side stereo pairs or same-side stereo pairs with a very large intersection angle, the so-called specular-point migration effect [6] can cause problems since dominant scatterers identified in both images are not always representative of the same ground feature. Other geometrical effects such as layover and shadows can also disturb the correlation process [11]. The study of such extreme cases is out of the scope of this paper: we deal here with same-side stereo pairs and low intersection angle, and the radar images processed do not present layover effects.

Наиболее автоматизированные совмещающие методы используют корреляцию между изображениями для создания карты диспаритетов. Совмещение может быть выполнено с применением изображений в оттенках серого, с выделенными контурами или какими-либо еще особенностями на изображениях, такими как элементы или области с соединенными контурами. Алгоритм корреляции может быть улучшен благодаря применению иерархического представления изображения и комбинированию его примитивов. Также существуют методы, базирующиеся на обучении или, например, на вэйвлет-преобразовании. Успех всех этих методов различной сложности зависит от качества информации, переносимой входными стереоизображениями: даже сложный метод может не сработать на зашумленных и плохо структурированных входных данных, в то время как более простая техника корреляции может предоставить более хороший результат при работе с соответствующими входными данными. Эта зависимость от качества данных также ограничивает применимость алгоритмов совмещения, которые изначально создавались для обработки оптических изображений, а не их радиолокационных аналогов. В частности, комбинация методов, базирующихся на выделении особенностей (таких, как края и углы), и методов, базирующихся на вычислении корреляции, уже успешно применяется в оптическом совмещении изображений. Напротив, существующая литература по совмещению изображений с радаров по большей части ограничилась базовой корреляцией интенсивностей серого на изображениях. Основные проблемы, возникающие при совмещении изображений с SAR, в отличии от оптических данных, это спекл-шум и то, что изображения из стереопары могут очень сильно различаться, так как отраженный сигнал радара по большей части зависит от угла обзора. В частности, для разносторонних стереопар или односторонних стереопар с очень большим углом падения, так называемый эффект миграции зеркальной точки может привести к проблемам, поскольку основные рассеиватели, распознанные на обоих изображениях, не всегда представляют ту же особенность местности. Другие геометрические эффекты, такие как наложение и слепая зона также могут нарушить процесс вычисления корреляции. Изучение таких крайних случаев не рассматривается в этой публикации: мы будем рассматривать односторонние стереопары с малым углом падения и без эффектов наложения.

We propose here to improve the image-matching process using a specific preprocessing of an input stereo pair. This preprocessing reduces the speckle noise from SAR data, and strongly enhances image structures that are then further used within the matching process. The input SAR stereo pair is processed using an optimal filter [19] that is very efficient for radar images. This filter produces gradient-amplitude-like images that are used as input for registration. Gradient-amplitude images are then automatically matched utilizing an available correlation-based algorithm [12]. This so-called “optimal gradient” matching (OGM) method is described in Section II. Experimental results are presented in Section III: we first used X-SAR same-side viewing stereo images together with a reference DEM in order to validate our method, and to show that better results are obtained compared to the use of initial SAR images. The technique was then applied to relief reconstruction of the Venus surface from Magellan mission data.

Мы выдвигаем способ усовершенствования процесса совмещения изображений посредством определенной предварительной обработки входной стереопары. Эта обработка уменьшает спекл-шум на данных с SAR и сильно улучшает структуру изображения, которая в дальнейшем используется в процессе совмещения. Входная SAR стереопара обрабатывается с использованием оптимального фильтра, который очень эффективен для изображений с радара. Этот фильтр дает на выходе градиентно-амплитудного вида изображения, которые используются в дальнейшем, как входные данные. Эти изображения затем автоматически совмещаются с применением некоторого корреляционного алгоритма. Этот, так называемый, метод совмещения «оптимального градиента» описывается в разделе 2. Экспериментальные результаты представлены в разделе 3: мы впервые использовали X-SAR односторонние стереоизображения вместе с предоставленной цифровой моделью рельефа для проверки нашего метода и для демонстрации лучшего результата по сравнению с тем, который был получен из исходных изображений с SAR. Затем эта техника была применена к восстановлению рельефа поверхности Венеры по данным с «Магеллана».

II. Gradient Stereogrammetry

The classical approach in radar stereogrammetry is based on image matching using correlation methods in order to generate a disparity map that is then converted into a height map or DEM. This technique suffers from an internal contradiction: the two stereo images must be different enough so that the relief effect occurs (relative displacement of image structures), but this difference (dissimilarity) between images must not be too big in order to be able to perform image matching. While good results are obtained with classical images (using SPOT stereo pairs, for instance), the use of SAR images presents some particular difficulties: dissimilarity between radar images can be important due to illumination effects, and SAR images present a high noise level that disturbs the matching process.

II. Градиентная стереограмметрия

Классический подход в радарной стереограмметрии базируется на совмещении изображений с применением корреляционных методов с целью генерации карты диспаритетов, которая затем преобразуется в карту высот или цифровую модель рельефа. Эта техника страдает от внутреннего противоречия: два стереоизображения должны быть достаточно различными, чтобы появился эффект рельефа (взаимные сдвиги объектов на изображении), но это различие между изображениями должно быть достаточно небольшим, чтобы совмещение изображений было возможным. В то время как с классическими изображениями получаются хорошие результаты, использование изображений с SAR порождает некоторые частные сложности: различие между изображениями с радара может быть важным в виду эффектов освещения, а также изображения с SAR имеют высокий уровень шума, который препятствует процессу совмещения.

These difficulties can be overcome to a certain extent if we consider some limitations: the use of same-side stereo data with a small intersection angle, relief reconstruction for smooth relief areas (provided that, in the absence of topographic features, enough texture is still present due to thematic variation), use of reference correspondence points, use of hierarchical matching methods, SAR image filtering for noise reduction, etc. A further possibility would be to employ a feature-based approach, which performs matching using image structures rather than gray-value images. In particular, we can consider that edges contained in images are good descriptors for image structures, and are more invariant than original pixel gray levels, thus allowing the use of more dissimilar stereo pairs. We assume here that edges in both images of the stereo pair are only due to relief structures, and represent the same ground feature.

Эти сложности можно в определенной степени преодолеть, если принять некоторые ограничения: использование односторонних стереоданных с малым углом падения, восстановление рельефа гладких поверхностей (при условии, что в отсутствии топографических особенностей,  все еще имеется достаточно текстур благодаря …), использование соответствующих точек, использование иерархических методов совмещения, шумоподавляющая фильтрация изображений с SAR и т.д. Дальнейшей возможностью было бы применение подхода, основанного на особенностях изображения, который выполняет совмещение изображений по структурам на них, а не по интенсивности серого. В частности, мы можем считать, что содержащиеся на изображениях контуры хорошо описывают структуры изображения и являются более инвариантными, нежели интенсивности серого пикселей, позволяя использовать более расхожие стереопары. Будем считать, что соответствующие контуры на обоих изображениях стереопары возникают только благодаря структуре рельефа и представляют собой одну и ту же особенность поверхности.

We use here, as input for the matching process, images obtained from a linear optimal gradient operator. This operator was designed to be optimal with respect to noise removal that is crucial when dealing with radar images, and it strongly enhances the image structures due to relief. Furthermore, edges, that is, local gradient-amplitude maxima contained in images, proved to be more similar than original gray values, allowing better results for the matching process. It has to be remarked that we are dealing here with gradient amplitude images, that is, all pixels of the images are used for matching, and not with edge images where only gradient-amplitude local maxima, that is, a few pixels, are taken into account.

В качестве входных данных для процесса совмещения используем изображения, полученные с линейного оператора оптимального градиента. Этот оператор был разработан для устранения шума, что критически важно при работе с изображениями с радара, и это сильно улучшает структуры на изображении, соответствующие рельефу. Более того, соответствующие контуры, то есть локальные градиентно-амплитудные максимумы, содержащиеся на изображении, оказываются более похожими друг на друга, чем оригинальные интенсивности серого, позволяя получить более точные результаты от процесса совмещения. Стоит отметить, что мы здесь работаем с градиентно-амплитудными изображениями, то есть все пиксели изображения задействованы в процессе совмещения, а не просто с контурными изображениями, содержащими только градиентно-амплитудные локальные максимумы, где задействована только часть пикселей.

Experimental results of the OGM method are presented below. They show that the use of gradient-amplitude images produced by our optimal filter improves the relief reconstruction process. As this improvement only relies on the preprocessing of input stereo images, it is not directly related to the matching process itself that, in principle, can be freely chosen.

Экспериментальные результаты OGM (occupancy grid mapping) представлены ниже. На них видно, что использование градиент-амплитудных изображений, порожденных нашим оптимальным фильтром улучшает процесс восстановления рельефа. Поскольку это улучшение полагается только на предварительную обработку входных стереоизображений, оно напрямую не относится к процессу совмещения как таковому, который, в принципе, может быть свободно выбран.

Several differentiation-based gradient operators were developed (see, for instance, [2], [7], [24]), associating edges in image to local maxima of the gradient amplitude. When dealing with SAR images that are very noisy, one should consider an operator with very low sensitivity to noise. We derived a gradient operator that allows us to obtain very high insensitivity to noise, and that can be recursively implemented. Results obtained using this filter show better performances than other classical differential operators [19].

Были разработаны несколько основанных на дифференцировании градиентных операторов, ассоциирующих контуры на изображении с локальными экстремумами градиентной амплитуды. При работе с очень зашумленными SAR изображениями, нужно выбирать оператор с очень низкой чувствительностью к шуму. Мы вывели градиентный оператор, который позволяет нам добиться очень высокого уровня невосприимчивости к шуму и который может быть реализован рекурсивно. Результаты, полученные с применением этого фильтра, показывают лучшие результаты, нежели другие классические дифференциальные операторы.

Let us consider a one-dimensional signal to be processed  (e.g., an image row). The one-dimensional filter  used is a hyperbolic sinus form expressed by [pic 1][pic 2]

,  with  reals         (1)[pic 3][pic 4][pic 5]

Taking  allows very good filter performances with respect to signal-to-noise ratio (see [19] for details). The gradient amplitude of  is obtained by convoluting the input signal  with the antisymmetrical function : Edges are located at maxima of the result of convolution  given by [pic 6][pic 7][pic 8][pic 9][pic 10]

[pic 11]

No localization error, that is edge displacement that could be interpreted as a stereoscopic effect, is produced by this filter when dealing with antisymmetrical edge profiles [18], which is normally the case for relief structures in radar images.

Пусть имеется одномерный обрабатываемый сигнал  (например, строка изображения). Тогда одномерный фильтр  можно представить в форме гиперболического синуса[pic 12][pic 13]

,  with  reals         (1)[pic 14][pic 15][pic 16]

Задание  позволяет получить очень хорошие результаты фильтрации в отношении сигнала к шуму. Градиентная амплитуда  получается посредством сверки входного сигнала  с антисимметричной функцией : контуры располагаются на экстремуме следующего результата сверки :[pic 17][pic 18][pic 19][pic 20][pic 21]

[pic 22]

Никакой ошибки локализации, то есть смещения контура, которое могло бы быть принято за стереоскопический эффект, не было создано этим фильтром при работе с профилями антисимметричных контуров, что является нормальным случаем для структур рельефа в изображениях с радара.

From this filter, we derived two two-dimensional directional masks  and  that are convoluted with each input SAR image . We then obtain, respectively, an  and an  image. The gradient-amplitude image  and the gradient-direction image  are given by the following relationships: [pic 23][pic 24][pic 25][pic 26][pic 27][pic 28][pic 29]

 [pic 30]

        (3)[pic 31]

This filter was applied to the noisy SAR images presented in Fig. 1(a), (b) and Fig. 5(a), (b). Obtained gradient-amplitude images are shown in Fig. 1(c), (d) and Fig. 5(c), (d). Gradient-amplitude images show bright zones where SAR image brightness changes occur. As expected, this preprocessing greatly reduced speckle noise and enhanced image structures that can be further used within the registration process. Furthermore, when considering stereo pairs, gradient-amplitude images are more similar than original SAR images, as will be shown in Section III.

Из этого фильтра мы получаем две двумерные направленные маски  и , которые сворачиваются с каждым входным SAR изображением . Затем мы получаем изображения  и  соответственно. Градиент-амплитудное изображение   и градиент-направленное изображение  получены из следующих отношений:[pic 32][pic 33][pic 34][pic 35][pic 36][pic 37][pic 38]

 [pic 39]

        (3)[pic 40]

Этот фильтр, примененный к зашумленному SAR изображению, представлен на рис. 1(а), (b) и рис. 5(a), (b). Полученные градиент-амплитудные изображения показаны на рис. 1(с), (d) и рис. 5(c), (d). На градиент-амплитудных изображениях яркие зоны соответствуют зонам, где меняется яркость на SAR изображении. Как ожидалось, эта предварительная обработка сильно снижает спекл-шум и совершенствует структуры изображения, которые в дальнейшем могут быть использованы в процессе регистрации. Более того, при использовании стереопар, градиент-амплитудные изображение более схожи, чем оригинальные SAR изображения, что будет показано в разделе 3.

In order to perform gradient-amplitude image matching, we employed a hierarchical approach based on a two-dimensional normalized cross correlation [12]. Registration is performed on four successively finer scales, using matching templates of 64 x 64, 32 x 32, 16 x 16, and 8 x 8 image pixels. A local polynomial warping function between the stereo image pair is used to predict offsets at the next level of the hierarchical process. At each resolution level, a cross correlation is carried out, and the shape of the correlation surface along with a local scene noise estimate is then used to compute a confidence value for the corresponding match point. This confidence measure is a two-dimensional covariance matrix which reflects the directional reliability of the matching result. It can be utilized to filter out bad matches and to forward error information to the DEM reconstruction process.

Для того, чтобы провести совмещение градиент-амплитудных изображений, мы применили иерархический подход, основанный на двумерной нормализованной крестовой корреляции. Регистрация проводится по четырем успешно уменьшенным масштабам, используя шаблоны совмещения формата 64 х 64, 32 х 32, 16 х 16 и 8 х 8 пикселей. Локальная полиномиальная оберточная функция между стереопарой используется для предсказания сдвигов на следующем уровне иерархического процесса. На каждом уровне разрешения проводится крестовая корреляция, и форма корреляционной поверхности вместе с локальной оценкой шума затем используется для вычисления значения доверенности для совпадающих точек. Эта мера доверенности представляет собой двумерную ковариантную матрицу, которая отражает направленную надежность результата совмещения. Она может быть использована для отбрасывания ненадежных совмещений и для переноса информации об ошибках в процесс восстановления цифровой модели рельефа.

In our tests, the correlation software was run with the suggested default values; the same set of parameters was employed for matching the original and preprocessed image pairs. In order to compensate for the missing match points and to fill in the pixels in between the 8 x 8 grid, we then had to use interpolation techniques to generate the final disparity map. We used a kriging interpolation method with a Gaussian variogram model. Some smoothing was performed through a nugget effect [5].

В наших тестах ПО для корреляции было запущено с предполагаемыми значениями по умолчанию; такой же набор параметров был использован для совмещения оригинального и предварительно обработанного изображения из пары. С целью компенсации недостатка совпадающих точек и заполнения пикселей между матрицей 8 х 8, мы использовали интерполяционную технику для генерации окончательной карты диспаритетов. Мы использовали кригинг-интерполяцию с вариограммной моделью Гаусса. Посредством эффекта самородка вариограммы изображение было в некоторой степени сглажено.

The reconstructed DEM is obtained from the interpolated disparity map using the relationship [13]

         (4)[pic 41]

where  is the height of the relief feature of parallax (disparity) ; and  and  are the incidence angles of the two stereo partners for the -th pixel in the range line. Although this formula is based on the assumptions of parallel and the same altitude flights over a flat terrain, we take into account the satellite height variations and planetary surface curvature by computing local incidence angles for each line pixel [1]. We can consider parallel flight lines for X-SAR images since the angle difference is about , and we work with small image segment parts.[pic 42][pic 43][pic 44][pic 45][pic 46][pic 47]

Восстановленная цифровая модель рельефа, полученная из интерполированной карты диспаритетов, задается отношением

         (4)[pic 48]

где  это высота особенности рельефа диспаритета ; и  и  это углы падения  двух стереопар для -го пикселя на линии. Хотя эта формула основывается на предположении параллельности и одинаковой высоты полета над ровной местностью, мы учитываем изменения высоты полета спутника и искривленность поверхности рассчитывая локальные углы падения для каждой линии пикселей. Мы можем считать, что линии полета параллельны для X-SAR изображений, поскольку разность углов около  и мы работаем с малыми сегментами изображения.[pic 49][pic 50][pic 51][pic 52][pic 53][pic 54]

Finally, the reconstructed DEM is projected into a given geographical system for comparison with a reference digital elevation map. The residual height mean error is removed from the reconstructed DEM using control points taken into the reference digital elevation map (when available). It allows us to remove systematic errors due to the uncertainty of the geometrical model, satellite orbit parameters, and reference DEM. We will then focus on the height error standard deviation.

Наконец, восстановленная цифровая модель рельефа передается в имеющуюся географическую систему для сравнения с эталонной картой высот. Средняя ошибка разности высоты исключена из восстановленной цифровой модели рельефа посредством использования контрольных точек из эталонной цифровой модели рельефа (там, где это было возможно). Это позволяет нам избавиться от систематических ошибок, возникающих из-за неопределенности геометрической модели, орбитальных параметров спутника и эталонной модели рельефа. Позже мы перейдем к стандартному отклонению ошибки высоты.

III. Experimental Results

Results presented here are within the scope of a comparative study of venusian and terrestrial rift zones using radar remote sensing [20]. This study aims at obtaining quantitative data about the Venus surface relief and geological nature from SAR images. A terrestrial test site located in the Austrian Alps was used to evaluate the proposed method performances. We then applied it to relief reconstruction of the Venus surface.

III. Результаты экспериментов

Результаты получены в рамках сравнительного исследования земной и венерианской ущелистых местностей с применением радиолокационного дистанционного зондирования. Это исследование ставит своей целью получение количественных данных о поверхности и геологической природе Венеры с изображений SAR. Образец земного участка, который расположен в Австрийских Альпах, использовался для расчета эффективности предложенного метода. Затем мы применили его для восстановления рельефа поверхности Венеры.

Our test site is the Oetztal, a rugged terrain in the Austrian Alps with elevations ranging from 1750 m to more than 3750 m [10]. It was imaged by the SIR-C/X-SAR mission in April 1994, and we processed an X-band stereo pair with, respectively,  and  incidence angles, and 25 m x 25 m pixel size [see Fig. 1(a) and (b)]. Each image contains 512 x 512 pixels. In order to evaluate our method performances, we compared our results to a reference digital elevation model of the Oetztal site (pixel size 25 m x 25 m) presented in Fig. 2(a) and (b). This reference DEM was obtained by digitizing contour lines of topographic maps on a scale of 1 : 25000, with a global accuracy of about 5 m rms error. Because the disparity map was obtained by interpolation of an 8 x 8 pixel match point grid, we reduced our reference DEM resolution [see Fig. 2(c) and (d)] so that it can be compared to the stereo process result.[pic 55][pic 56]

Наш тестовый участок – Эцталь, неровная поверхность в Австрийских Альпах с высотами от 1750м до более чем 3750м. Его изображения были получены во время SIR-C/X-SAR миссии в апреле 1994, и мы обработали X-диапазонную стереопару с  и  углами падения соответственно и с 25м х 25м размером пикселя. Каждое изображение имеет формат 512 х 512 пикселей. С целью расчета эффективности нашего метода, мы сравнили наши результаты с эталонной цифровой моделью рельефа Эцталя (размер пикселя тот же) представленной на рис. 2(а) и (b). Эта эталонная модель рельефа была получена оцифровкой контурных линий топографической карты в масштабе 1 : 25000, с общей точностью 5м среднеквадратичной ошибки. Поскольку карта диспаритетов была получена интерполяцией матрицы совмещения точек 8 x 8 пикселей, мы снизили разрешение эталонной модели рельефа так, чтобы ее можно было сравнить с результатом стереообработки.[pic 57][pic 58]

Fig. 3(a) and (b) shows the reconstructed DEM using initial SAR images, while Fig. 3(c) and (d) presents the reconstructed DEM using gradient-amplitude images. These results have to be compared to Fig. 2(c) and (d). The two DEM’s look very similar at first glance, but quantitative analysis of some selected areas shows that the use of gradient-amplitude images as input produced a better result.

На рис. 3(а) и (b) показана восстановленная по исходных SAR изображениям цифровая модель рельефа, а на рис 3(c) и (d) представлена восстановленная модель рельефа с применением градиентно-амплитудных изображений. Эти результаты необходимо сравнить с рис. 2(c) и (d). Две цифровые модели рельефа выглядят очень похоже на первый взгляд, но количественный анализ некоторых выбранных областей показывает, что использование градиентно-амплитудных изображений в качестве входных данных дает лучший результат.

Fig. 4 presents a comparison between the reconstructed DEM’s in Fig. 3(a) and (c), and the ground truth in Fig. 2(c). Four areas of size 128 x 128 pixels were selected to build difference images between each computed DEM and the reference DEM. These areas correspond to regions where the highest differences between computed and reference DEM’s can be seen. Height and slope statistics for the four selected zones were obtained from the 25 m resolution reference DEM, and are presented in Table I. We present in Fig. 4(a)–(d) error histograms for the four corresponding difference images. One can see that the reconstruction error related to the proposed OGM method is smaller than the error related to the use of original SAR images: we can see more points around 0 m error (histogram center) and fewer points for large error values (histogram wings), in particular for zone 2. This is confirmed by the computed error means and standard deviation presented in Table II. In particular, the error dispersion and the maximum error are, in all cases, much smaller for the OGM method.

На рис. 4 представлено сравнение восстановленной цифровой модели рельефа с рис. 3(a) и (c) и достоверными данными с рис. 2(c). Были выбраны четыре зоны размером 128 х 128 пикселей для построения разностных изображений между каждой вычисленной и эталонной моделями рельефа. Эти зоны соответствуют регионам, где заметна наибольшая разница между вычисленными и эталонными моделями рельефа. Статистика высоты и наклона для четырех выбранных зон получена с эталонной модели рельефа с разрешением 25м на пиксель и представлена в таблице 1. На рис. 4 (a)-(d) представлены гистограммы ошибки для четырех соответствующих изображений. Можно увидеть, что величина ошибки при восстановлении по отношению к предложенному OGM методу меньше, чем по отношению исходным SAR изображениям: видно больше точек с ошибкой около 0м (центр гистограммы) и меньше точек с большими величинами ошибок (края гистограммы), в частности для зоны 2. Это подтверждается рассчитанным средним и стандартным отклонением ошибки, представленными в таблице 2. В частности, дисперсия ошибки максимальная ошибка во всех случаях меньше, чем при методе OGM.

Comparing Tables I and II shows that the error dispersion increases as the mean slope and height standard deviation becomes larger: this effect could be due to higher shadow effects, leading to “nonrelief edges” in high-slope regions. We used a simulated shadow map to examine the effects of shadow boundaries on the features in the gradient-amplitude image, and found that in our imagery, the migrating far-range boundaries were mainly located at the rather smooth transition between shadows and (still dark) regions facing away from the sensor. They thus lead to only weak structures in the gradient-amplitude image, with less influence on the matching process. If a far-range shadow boundary borders directly on a (bright) foreshortened region, the higher contrast of the nonrelief edge will perturbate the subsequent correlation more. The lack of relief information inside a shadow region would be a further possible source of error. We did not analyze these effects in detail, which is beyond the scope of the paper. However, they could increase the reconstruction error: we observed that this error increases as the mean slope and height standard deviation of the considered zone increases (see Tables I and II), which seems to be correlated to the shadow percentage. On the other hand, the rather high percentage of shadows found in zone 4, compared to the corresponding mean slope and height standard deviation values, is not reflected in the error statistics. This might indicate a stronger influence of terrain roughness rather than shadows on height accuracy.

Сравнение таблиц 1 и 2 показывает, что дисперсия ошибки возрастает вместе со средним наклоном и высотой: этот эффект может возникать благодаря теневым эффектам, приводящим к появлению «нерельефных контуров» на крутой местности. Мы использовали симулированную карту теней чтобы оценить влияние теневых контуров на особенности градиентно-амплитудного изображения и обнаружили, что мигрирующие дальние границы были по большей части расположены на довольно гладких переходах между тенями и (такими же темными) участками, повернутыми в направлении от сенсора. Это приводит только к ухудшению отчетливости особенностей на градиентно-амплитудных изображениях в этих участках, но не оказывает сильного влияния на процесс совмещения. Если дальние границы теней граничат с (яркими) сжатыми в перспективе участками, то более высокий контраст там нерельефного контура будет вызывать отклонения в последующем процессе корреляции. Недостаток рельефной информации в затененных участках может быть в дальнейшем источником ошибок. Мы не анализировали в подробностях эти эффекты, которые выходят за рамки данной работы. Так или иначе, они могут увеличить ошибку при восстановлении: мы наблюдали что ошибка возрастает вместе со средним наклоном и стандартным отклонением высоты выбранной зоны (см. таблицы 1 и 2), что, по-видимому, связано с процентом затенения. С другой стороны, довольно высокий процент затенения в зоне 4, в сравнении с соответствующими средним наклоном и стандартным отклонением высоты, не отражается на статистике ошибок. Это может говорить о большем влиянии неровности местности, нежели теней, на точности определения высоты.

The U.S. mission Magellan [23] provided a huge amount of SAR images of the Venusian surface, together with altimetry, reflectivity, and emissivity data. The whole surface was imaged in  band with a mean resolution of 120 m. Here, the main problem in extracting quantitative information from images is the lack of ground truth data needed to calibrate theoretical models and image-processing techniques. A solution to overcome that difficulty is the use of known comparable terrestrial sites for model calibration [3].[pic 59]

Миссия «Магеллан» Соединенных Штатов предоставила большое количество SAR изображений поверхности Венеры вместе с данными об альтиметрии, отражательной и излучательной способности. Вся поверхность целиком изображена в S-диапазоне со средним разрешением в 120м на пиксель. Здесь главная проблема в извлечении количественной информации с изображений – это недостаток достоверных данных о поверхности, необходимых для калибровки теоретических моделей и применения техник обработки изображений. Решение этой проблемы заключается в использовании сопоставимых земных участков для калибровки модели.

One stereo pair from the Magellan stereo experiment [14] was processed: Fig. 5 shows a Venusian impact crater with its central peak located  that was obtained from imaging cycle 1 [ incidence angle; see Fig. 5(a)] and cycle 3 [ incidence angle; see Fig. 5(b)]. As expected for large intersection angles, some relief structures are very dissimilar in the two stereo images: see, for instance, the crater central peak in Fig. 5(a) and (b). As previously, we computed a DEM from initial SAR images [Fig. 6(a) and (b)] and from gradient-amplitude images [Fig. 6(c) and (d)]. Again, using our preprocessing filter produces the best result: no ground truth is available here for quantitative evaluation, but from a comparison with Fig. 5(a) and (b) one can observe that the crater central peak is reconstructed much better in Fig. 6(d) than in Fig. 6(b). We can also notice that the northern crater border break which can be seen in Fig. 5(a) and (b) only appears in Fig. 6(c) and (d). These two features—crater central peak and northern border break—appear very well when using classical stereo viewing techniques.[pic 60][pic 61][pic 62]

Была обработана одна стереопара со стерео эксперимента Магеллан: на рис. 5 изображен венерианский ударный кратер с его центральным пиком  который был получен с 1 [ угол падения; см. рис. 5(а)] и 3 [ угол падения; см. рис. 5(b)] цикла обработки изображений. Как и ожидалось для больших углов падений, некоторые структуры рельефа очень непохожи на двух стереоизображениях: например, центральный пик кратера на рис. 5(a) и (b). Как и раньше, мы вычислили цифровую модель рельефа по исходным SAR изображениям [рис. 6(a) и (b)] и по градиентно-амплитудным изображениям [рис. 6(c) и (d)]. Опять же, использование нашего фильтра для предварительной обработки приводит к наилучшему результату: нет никаких достоверных данных для количественной оценки, но из сравнения с рис. 5 (a) и (b) можно заметить что центральный пик кратера восстановлен намного лучше на рис. 6(d), чем на рис. 6(b). Можно также заметить что северный обрыв границы кратера, который видно на рис. 5(a) и (b) появляется только на рис. 6(c) и (d). Эти две особенности – центральный пик кратера и северный обрыв границы – получаются очень хорошо при применении классических техник стереозрения.[pic 63][pic 64][pic 65]

IV. Conclusion

We proposed a method that improves relief reconstruction from SAR stereo imaging, based on the use of gradient-amplitude images. Our method relies on preprocessing the initial SAR stereo pair using an optimal gradient filter with respect to insensitivity to noise. It reduces the speckle noise in SAR images, and enhances the image structures that are then used in the matching process. Experimental results obtained using JPL radar-matching software show that the proposed filtering produces better results than using original nonenhanced SAR images. As the improvement only depends on the preprocessing stage, the method can also be applied in combination with other matching techniques. Application of this gradient method to opposite-side stereo imaging is currently under study.

IV. Заключение

Мы предложили метод, улучшающий процесс восстановления рельефа посредством обработки изображений с SAR, основанный на градиент-амплитудных изображениях. Наш метод опирается на предварительную обработку исходных SAR стереопар, используя фильтр оптимального градиента с приоритетом невосприимчивости к шуму. Он снижает спекл-шум на SAR изображениях и улучшает полученную структуру на изображении, которая затем используется в процессе совмещения. Экспериментальные результаты, полученные с применением программного обеспечения JPL для радарного совмещения, показали, что использование предложенного фильтра приводит к лучшим результатам, чем использование исходных, неулучшенных SAR изображений. Поскольку улучшение затрагивает только стадию предварительной обработки, этот метод также может быть использован в сочетании с другими техниками совмещения. Применение данного градиентного метода для разносторонних стереоизображений на данный момент изучается.

Acknowledgement

The authors wish to thank S. Hensley from NASA/JPL for providing his matching software. Further thanks go to Dr. P. Masson from the University of Paris-Sud and Dr. H. Rott from the University of Innsbruck for making available the Magellan mission and X-SAR data, respectively. They are also grateful to the anonymous reviewers for their constructive remarks.

Благодарности

Авторы хотели бы поблагодарить С. Хэнсли из NASA/JPL за предоставление ПО для совмещения. Также благодарим др. П. Массона из Университета Париж-юг и др. Х. Родд из Университета Инсбрук за предоставление данных с Магеллана и данных с X-SAR, соответственно. Авторы также благодарны анонимным рецензентам за их конструктивные замечания.