Как я могу получить objectPoints и imagePoints после вычисления гомографии?
аюсь построить статическую сцену дополненной реальности на фотографии с 4 определенными соответствиями между копланарными точками на плоскости и изображением.
Вот шаг за шагом:
Пользователь добавляет изображение с помощью камеры устройства. Давайте предположим, что он содержит прямоугольник, захваченный с некоторой точки зрения.Пользователь определяет физический размер прямоугольника, который лежит в горизонтальной плоскости (YOZ в терминах SceneKit). Давайте предположим, что его центр - источник мира (0, 0, 0), поэтому мы можем легко найти (x, y, z) для каждого угла.Пользователь определяет ультрафиолетовые координаты в системе координат изображения для каждого угла прямоугольника.Сцена SceneKit создается с прямоугольником одинакового размера и видима с той же точки зрения.Другие узлы могут быть добавлены и перемещены в сцене.Я также измерил положение камеры iphone относительно центра бумаги формата А4. Таким образом, для этого снимка позиция была (0, 14, 42,5) измерена в сантиметрах. Также мой iPhone был слегка наклонен к столу (5-10 градусов)
Используя эти данные я настроилSCNCamera
чтобы получить желаемую перспективу синей плоскости на третьем изображении:
let camera = SCNCamera()
camera.xFov = 66
camera.zFar = 1000
camera.zNear = 0.01
cameraNode.camera = camera
cameraAngle = -7 * CGFloat.pi / 180
cameraNode.rotation = SCNVector4(x: 1, y: 0, z: 0, w: Float(cameraAngle))
cameraNode.position = SCNVector3(x: 0, y: 14, z: 42.5)
Это даст мне ссылку для сравнения моего результата.
Чтобы построить AR с помощью SceneKit, мне нужно:
Отрегулируйте поле зрения SCNCamera, чтобы оно совпадало с реальным значением камеры.Вычислить положение и поворот для узла камеры, используя 4 соотношения между точками мира (x, 0, z) и точками изображения (u, v)H - гомография;K - Собственная матрица;[R | т] - Внешняя матрица
Я попробовал два подхода для того, чтобы найти матрицу преобразования для камеры: используя solvePnP из OpenCV и ручной расчет по гомографии на основе 4 копланарных точек.
Ручной подход:1. Узнайте гомографию
Этот шаг сделан успешно, так как координаты UV мирового происхождения кажутся правильными.
2. Внутренняя матрица
Для того, чтобы получить внутреннюю матрицу iPhone 6, я использовалэтот приложение, которое дало мне следующий результат из 100 изображений с разрешением 640 * 480:
Предполагая, что входное изображение имеет соотношение сторон 4: 3, я могу масштабировать вышеуказанную матрицу в зависимости от разрешения
Я не уверен, но здесь чувствуется потенциальная проблема. Я использовал cv :: calibMMatrixValues, чтобы проверить fovx для вычисленной внутренней матрицы, и результат составил ~ 50 °, тогда как он должен быть близок к 60 °.
3. Матрица позы камеры
func findCameraPose(homography h: matrix_float3x3, size: CGSize) -> matrix_float4x3? {
guard let intrinsic = intrinsicMatrix(imageSize: size),
let intrinsicInverse = intrinsic.inverse else { return nil }
let l1 = 1.0 / (intrinsicInverse * h.columns.0).norm
let l2 = 1.0 / (intrinsicInverse * h.columns.1).norm
let l3 = (l1+l2)/2
let r1 = l1 * (intrinsicInverse * h.columns.0)
let r2 = l2 * (intrinsicInverse * h.columns.1)
let r3 = cross(r1, r2)
let t = l3 * (intrinsicInverse * h.columns.2)
return matrix_float4x3(columns: (r1, r2, r3, t))
}
Результат:
Так как я измерил приблизительное положение и ориентацию для этого конкретного изображения, я знаю матрицу преобразования, которая дала бы ожидаемый результат, и он совершенно другой:
Я также немного консервативен в отношении 2-3 элементов эталонной матрицы вращения, которая равна -9,1, в то время как она должна быть близка к нулю, поскольку вращение очень незначительное.
OpenCV подход:EстьsolvePnP Функция в OpenCV для такого рода проблем, поэтому я попытался использовать его вместо изобретения колеса.
OpenCV в Objective-C ++:
typedef struct CameraPose {
SCNVector4 rotationVector;
SCNVector3 translationVector;
} CameraPose;
+ (CameraPose)findCameraPose: (NSArray<NSValue *> *) objectPoints imagePoints: (NSArray<NSValue *> *) imagePoints size: (CGSize) size {
vector<Point3f> cvObjectPoints = [self convertObjectPoints:objectPoints];
vector<Point2f> cvImagePoints = [self convertImagePoints:imagePoints withSize: size];
cv::Mat distCoeffs(4,1,cv::DataType<double>::type, 0.0);
cv::Mat rvec(3,1,cv::DataType<double>::type);
cv::Mat tvec(3,1,cv::DataType<double>::type);
cv::Mat cameraMatrix = [self intrinsicMatrixWithImageSize: size];
cv::solvePnP(cvObjectPoints, cvImagePoints, cameraMatrix, distCoeffs, rvec, tvec);
SCNVector4 rotationVector = SCNVector4Make(rvec.at<double>(0), rvec.at<double>(1), rvec.at<double>(2), norm(rvec));
SCNVector3 translationVector = SCNVector3Make(tvec.at<double>(0), tvec.at<double>(1), tvec.at<double>(2));
CameraPose result = CameraPose{rotationVector, translationVector};
return result;
}
+ (vector<Point2f>) convertImagePoints: (NSArray<NSValue *> *) array withSize: (CGSize) size {
vector<Point2f> points;
for (NSValue * value in array) {
CGPoint point = [value CGPointValue];
points.push_back(Point2f(point.x - size.width/2, point.y - size.height/2));
}
return points;
}
+ (vector<Point3f>) convertObjectPoints: (NSArray<NSValue *> *) array {
vector<Point3f> points;
for (NSValue * value in array) {
CGPoint point = [value CGPointValue];
points.push_back(Point3f(point.x, 0.0, -point.y));
}
return points;
}
+ (cv::Mat) intrinsicMatrixWithImageSize: (CGSize) imageSize {
double f = 0.84 * max(imageSize.width, imageSize.height);
Mat result(3,3,cv::DataType<double>::type);
cv::setIdentity(result);
result.at<double>(0) = f;
result.at<double>(4) = f;
return result;
}
Использование в Swift:
func testSolvePnP() {
let source = modelPoints().map { NSValue(cgPoint: $0) }
let destination = perspectivePicker.currentPerspective.map { NSValue(cgPoint: $0)}
let cameraPose = CameraPoseDetector.findCameraPose(source, imagePoints: destination, size: backgroundImageView.size);
cameraNode.rotation = cameraPose.rotationVector
cameraNode.position = cameraPose.translationVector
}
Выход:
Результат лучше, но далеко от моих ожиданий.
Некоторые другие вещи, которые я также пробовал:
Этот вопрос очень похоже, хотя я не понимаю, как принятый ответ работает без внутренних факторов.decomposeHomographyMat также не дал мне результат, который я ожидалЯ действительно застрял в этой проблеме, поэтому любая помощь будет высоко ценится.