팀명: 8pm
팀원: 김현우, 김지윤, 신철호
개발 환경: Unity 2020.1 URP, Visual Studio, GitLab
제작 기간: 2020.12.28 ~ 2021.02.08
YouTube: 영화 ‘아저씨’의 “이거 방탄 유리야” 촬영

Index

1. 프로젝트 소개

목적
구조
역할 분담 및 수행 절차

2. 프로젝트 기능

FilmCamera
ControlDeskSystem
CameraPathCreator

프로젝트 소개

8pm STUDIOS는 배우, 작가, 연출, 촬영감독을 위한 가상 영화 촬영 플랫폼이다.

목적

경제적, 물리적 제약으로 인해 자신의 작품을 만들기 어려운 영화인과 영화인 지망생들이 VR 상에서 자유롭게 배경 및 소품을 사용하고 서로 네트워킹하여 작품을 촬영할 수 있다.

니즈

다양한 작품의 환경 안에서 연기하고 싶은 배우
오리지널 컨텐츠를 선보이고 싶은 감독 및 작가
프리 비주얼(Pre-Visualization)을 통한 동영상 콘티 제작
컨텐츠를 발굴해야 하는 제작자 등

기대 효과

영화 제작 진입 장벽을 낮춤
영화 및 애니메이션 제작을 위한 가상현실 콘티 등으로 활용을 도모
2차 창작을 통해 영화팬들에게 영화 속 주인공이 된 듯한 체험을 제공

구조

사용자들은 제작 영화의 주제 또는 키워드별로 방을 만들고 필요한 역할을 구할 수 있다. 팀이 구성되면 배우는 가상 환경 속에서 연기를 하고 연출감독은 환경 세팅을 하며 촬영감독은 촬영을 진행한다. 전체적인 플로우는 다음과 같다.

역할 분담 및 수행 절차

: 팀 구성원


김현우	김지윤	신철호
카메라 기능, 컨트롤 데스크	콘텐츠 기획, 인벤토리, 로비	네트워크, 플레이어 인터렉션

: 개발 일정

프로젝트 기능

1. FilmCamera

가상 영화 촬영 시 촬영감독이 사용할 카메라이다. 물리적인 컨트롤러를 사용하지 않고 VR 버튼과 조이스틱 인터렉션을 통해 카메라를 제어할 수 있다. 이를 통해 사용자의 몰입감과 사용자 경험의 퀄리티도 높일 수 있다. 또한 카메라의 기능을 사용자의 니즈에 맞게 설계할 수 있다. 너무 많은 버튼을 한 번에 제공 하는 것 보다 원하는 기능을 원하는 버튼에 추가할 수 있도록 설계하였다.

Camera Functions

Primary Button : Record; Start, Stop
Secondary Button : Record; Cancel
Menu Button : Control Detail Functions
Joystick : Zoom; In/Out, On/Off
Focus : On/Off
Stabilizer : Always On
Clapper Board : Auto Update Info
Preview Screen : Show Camera State

a. 구조

FilmCamera의 구조를 만들 때 ‘Dependency Cycle‘을 항상 염두에 두고 종속성을 끊어 주기 위해 노력했다. 따라서 FilmCameraController에서 카메라의 모든 기능을 참조하고 있는 것이 아니라 카메라의 기능들이 컨트롤러를 참조하고 각 기능이 알맞은 콜백함수에 구독하는 방식으로 설계하였다. 이렇게 설계함으로써 FilmCameraController가 카메라 기능들로부터 자유로워지고 원하는 기능을 코드의 수정 없이 추가하거나 뺄 수 있게 되었다.

: Delegate Functions

#region Delegates
public delegate void FilmCamButton();
public delegate void FilmCamJoystick(float val);

public FilmCamButton PrimaryButtonAction;
public FilmCamButton SecondaryButtonAction;
public FilmCamButton MenuButtonAction;
public FilmCamJoystick JoystickAction;
#endregion

: FilmCamera Sequence Diagram

b. CameraZoom

Smooth Zoom Control — Fig 2. SmoothZoom Control.

카메라 줌은 FixedLensZoom, SmoothZoom 두가지 모드를 제공한다.
조이스틱을 Z축 방향으로만 움직일 수 있고 당기면 줌인 밀면 줌아웃이 된다.

CameraZoom.cs

#region Subscribed Functions
/// <summary>
/// Perform smooth zoom.
/// </summary>
/// <param name="dir"></param>
private void Zoom(float dir)
{
    var fov = _cam.fieldOfView + dir * zoomAmount * Time.deltaTime;
    _cam.fieldOfView = Mathf.Clamp(fov,
        lensPresets.Lens[lensPresets.Lens.Length - 1].FoV,
            lensPresets.Lens[0].FoV);
}

/// <summary>
/// Perform fixed lens zoom.
/// </summary>
/// <param name="dir"></param>
private void FixedLens(float dir)
{
    var fov = _cam.fieldOfView + dir * zoomAmount * Time.deltaTime;
    var fovClamp = Mathf.Clamp(fov,
        lensPresets.Lens[lensPresets.Lens.Length - 1].FoV,
            lensPresets.Lens[0].FoV);
    var index = lensPresets.GetLensIndex(fovClamp);
    _cam.fieldOfView = lensPresets.Lens[index].FoV;
}
#endregion

두 함수 모두 VR 조이스틱으로부터 받은 방향값으로 새로운 fov 값을 계산하여 카메라 .fieldOfView에 넣어준다.

FixedLensZoom같은 경우 ‘Scriptable Object‘인 lensPreset에 미리 정의된 fov값과 비교하여 가장 값이 비슷한 렌즈의 fov를 반환하는 형태이다.

LensPresets.cs

#region Initialize
/// <summary>
/// This function should be called on Start.
/// </summary>
public void CreateDefaultLens()
{
    if (!_isInitialized)
    {
        List<LensPreset> defaults = new List<LensPreset>();
        defaults.Add(new LensPreset() { Name = "21mm", FoV = 60f });
        defaults.Add(new LensPreset() { Name = "35mm", FoV = 38f });
        defaults.Add(new LensPreset() { Name = "58mm", FoV = 23f });
        defaults.Add(new LensPreset() { Name = "80mm", FoV = 17f });
        defaults.Add(new LensPreset() { Name = "125mm", FoV = 10f });
        _lens = defaults.ToArray();
        _isInitialized = true;
    }
}
#endregion

계산된 값이 _threshold보다 낮다면 렌즈를 찾았다고 판단하여 해당 인덱스를 반환한다.

LensPresets.cs

/// <summary>
/// Get the index of the lens preset that matches the fov value.
/// </summary>
/// <param name="fov"></param>
/// <returns></returns>
public int GetLensIndex(float fov)
{
    for (int i = 0; i < _lens.Length; ++i)
    {
        if (Mathf.Abs(_lens[i].FoV) - Mathf.Abs(fov) <= _threshold)
            return i;
    }
    return -1;
}

c. CameraFocus

포커스 기능은 중앙점에서 바라보고 있는 물체에 자동으로 초점을 맞춘다. 포커스 모드에는 매뉴얼 포커스 모드와 오토 포커스 모드가 있다.

autoFocus 기능은 메뉴를 통해 켜거나 끌 수 있다.

CameraFocus.cs

#region Subscribed Functions
/// <summary>
/// 매뉴얼 포커스, 오토 포커스 모두 같은 함수로 실행된다. 
/// </summary>
private void Focus()
{
    StartCoroutine(Focusing());
}

private IEnumerator Focusing()
{
    if (_isCoroutineRunning) yield break;
    _isCoroutineRunning = true;

    var ray = new Ray(_cam.transform.position, _cam.transform.forward);

    if (Physics.SphereCast(ray, rayRadius, out var hit, rayLength))
    {
        var hitDst = Vector3.Distance(_cam.transform.position, hit.point);
        var elapsedTime = 0f;

        while (elapsedTime <= focusTime)
        {
            var lerpVal = Mathf.Lerp(_dof.focusDistance.value, hitDst,
                focusAc.Evaluate(elapsedTime / focusTime));
            _dof.focusDistance.value = lerpVal;
            elapsedTime += Time.fixedDeltaTime;
            yield return null;
        }
        _dof.focusDistance.value = hitDst;
    }
    _isCoroutineRunning = false;
}

포커스 기능은 .SphereCast를 쏴서 맞춘 대상까지의 거리를 _dof의 .focusDistance.value에 넣어준다. 부드럽게 전환을 주기 위해 Mathf.Lerp와 AnimationCurve를 사용하였다.

d. CameraStabilizer

VR 컨트롤러는 사용자의 움직임을 정확하게 따라가야 하므로 작은 움직임도 다 파악한다. 하지만 사용자 컨트롤러의 민감도는 카메라를 들고 촬영 시 치명적일 수 있다. CameraStabilizer는 이러한 손 떨림 문제를 해결해준다.

CameraStabilizer.cs

[Header("Camera"), SerializeField]
private Transform filmCam = null;
[SerializeField]
private Transform camAnchor = null;
[Header("Stabilizer"), SerializeField]
private float positionStabilizeValue = 0.6f;
[SerializeField]
private float rotationStabilizeValue = 0.6f;

void Update()
{
    var positionOffset = Vector3.Distance(camAnchor.position, filmCam.position) + 1;
    filmCam.position = Vector3.Lerp(filmCam.position, camAnchor.position,
        positionOffset * Time.deltaTime * positionStabilizeValue * 10);

    var rotationOffset = Quaternion.Angle(camAnchor.rotation, filmCam.rotation);
    filmCam.rotation = Quaternion.Lerp(filmCam.rotation, camAnchor.rotation,
        rotationOffset * Time.deltaTime * rotationStabilizeValue / 1.5f);
}

‘Unity Camera‘의 포지션값과 로테이션값은 설정한 camAnchor로 포지션은 거리에 따라, 로테이션은 각도에 따라 Lerp한 값이 적용된다.

e. ClapperBoard & Preview Screen

camera screen info — Fig 5. Camera screen info.

ClapperBoard는 영상 편집자에게 카메라의 PreviewScreen은 촬영 감독에게 아주 중요한 정보를 제공한다.

녹화가 시작되면 ClapperBoard가 영상 정보와 함께 알아서 화면에 표시되는 것을 확인할 수 있다. PreviewScreen에는 렌즈 정보, 촬영 날짜/시간, 테이크 정보, 그리고 녹화 상태를 표시한다.

ClapperBoardController.cs

#region Subscribed Functions
/// <summary>
/// 녹화 시작시 한번 호출되고 기록 내용을 업데이트한다.
/// </summary>
private void Clap()
{
    if (!_canClap) return;
    gameObject.SetActive(true);

    studioInfo.text = studioPreset.Studio;
    productionInfo.text = studioPreset.Production;
    directorInfo.text = studioPreset.Director;
    dateInfo.text = DateTime.UtcNow.ToLocalTime().ToString("yyyy.MM.dd");
    sceneInfo.text = studioPreset.Scene;
    takeInfo.text = studioPreset.TakeCount.ToString();

    Invoke("Action", delayTime);
}
private void Action() => _animator.SetTrigger("action");

ClapperBoard 정보 대부분은 studioPreset 이라는 Scriptable Object에 기록된 정보를 가져온다. 녹화가 시작되면 작은 딜레이 이후에 슬레이트를 치게 된다.

2. ControlDeskSystem

ControlDeskSystem는 촬영감독이 한곳에서 여러 대 카메라를 한 번에 제어하거나 찍은 영상을 확인하는 목적으로 사용된다. FilmCamera와 마찬가지로 너무 많은 버튼을 한꺼번에 제공하면 사용가 햇갈려 하고 사용자 경험이 더 떨어질 수 있기 때문에 같은 버튼을 모드 스위치를 통해 다른 기능을 수행하게끔 구현하였다.

ControlDeskSystem는 두가지 모드가 있고 모드에 따라 같은 버튼이 다른 기능을 하게 된다.

CameraControlMode

Mode Switch Button : VideoControlMode로 변경
Previous Button : 이전 카메라의 프리뷰 스크린을 화면에 띄운다
Next Button : 다음 인덱스의 카메라 프리뷰 스크린을 화면에 띄운다
Primary Button : 선택된 카메라 녹화/중지
Secondary Button : 현재 카메라 선택/해제

VideoControlMode

Mode Switch Button: CameraControlMode로 변경
Previous Button: 저장되어 있는 이전 영상을 재생
Next Button: 저장되어 있는 다음 인덱스의 영상을 재생
Primary Button: 영상 재생/일시정지, 영상 삭제 확인
Secondary Button: 영상 삭제, 영상 삭제 취소

a. 구조

ControlDeskSystem의 구조는 FilmCamera의 구조와 비슷하다. ControlDeskSystem의 기능은 모드가 변경될 때마다 콜백함수에 구독되는 기능이 바뀌게 된다.

: Delegate Funcitons

#region Delegates
public delegate void ModeControlDeskButton(ControlMode mode);
public delegate void ControlDeskButton();

public ModeControlDeskButton ModeSwitchAction = null;
public ControlDeskButton PreviousAction = null;
public ControlDeskButton NextAction = null;
public ControlDeskButton PrimaryAction = null;
public ControlDeskButton SecondaryAction = null;
#endregion

: ControlDeskSystem Sequence Diagram

b. FilmCameraManager

ControlDeskSystem에서 모드 변경 신호가 들어오면 구독된 OnModeChange() 함수가 호출되고 모드가 변경될 때마다 콜백함수에 구독하거나 취소하게 된다.

FilmCameraManager.cs

private void OnModeChange(ControlMode mode)
{
    _currentMode = mode;
    if (_currentMode.Equals(ControlMode.CameraViewer))
    {
        _deskController.PreviousAction += ShowPreviousCam;
        _deskController.NextAction += ShowNextCam;
        _deskController.PrimaryAction += RecordSelectedCam;
        _deskController.SecondaryAction += SelectCam;
    }
    else
    {
        _deskController.PreviousAction -= ShowPreviousCam;
        _deskController.NextAction -= ShowNextCam;
        _deskController.PrimaryAction -= RecordSelectedCam;
        _deskController.SecondaryAction -= SelectCam;
    }
}

FilmCameraManager는 여러 대의 카메라를 관리하는 역할을 가지고 있다.

FilmCameraManager.cs

private void ShowScreen(int index)
{
    if (_filmCameras.Count > index)
    {
        var sc = _filmCameras[index].GetComponentInChildren<ScreenController>();
        _viewScreen.GetComponent<Renderer>().material.mainTexture = sc.NotRecordingRt;
    }
}

NextButton이나 PreviousButton이 호출되면 다음 인덱스를 ShowScreen()에 넘겨준다. 넘겨받은 인덱스에 해당하는 카메라의 RenderTexture를 ScreenController로 부 터 받아온다. 받아온 RT를 화면 메테리얼에 넣어준다.

c. VideoPlayerManager

VideoPlayerManager는 찍은 영상을 바로 확인할 수 있게 해준다.

VideoPlayerManager.cs

/// <summary>
/// Update video name list.
/// 영상이 저장되면 호출된다.
/// </summary>
public void UpdateVideoList()
{
    var fileNames = Directory.GetFiles(CAPTURE_PATH, "*.mp4");
    Array.Sort(fileNames);

    if (_videoNames == null)
    {
        _videoNames = new List<string>();
    }
    else if (_videoNames.Count > 0)
    {
        _videoNames.Clear();
    }

    foreach (var name in fileNames)
    {
        _videoNames.Add(Path.GetFileNameWithoutExtension(name));
    }
}

영상 목록은 영상 이름으로 관리를 한다. 새로운 영상이 찍히면 UpdateVideoList()가 호출되고 항상 최신 리스트를 가지게 된다.

VideoPlayerManager.cs

private void PlayPause()
{
    if (_videoPlayer.isPlaying)
        _videoPlayer.Pause();
    else
        _videoPlayer.Play();
}

private void PlayNew(int index)
{
    if (_videoPlayer.isPlaying)
        _videoPlayer.Stop();
    if (_videoNames.Count > index)
        StartCoroutine(LoadVideo(_videoNames[index]));
}

private IEnumerator LoadVideo(string name)
{
    if (_isLoading) yield break;
    _isLoading = true;
    _videoPlayer.url = CAPTURE_PATH + name + ".mp4";
    _isLoading = false;
}

현재 재생 영상은 인덱스로 관리된다. 새로운 영상을 불러올 때는 인덱스에 해당하는 영상 이름으로 찾는다.

3. CameraPathCreator

CameraPathCreator로 웨이포인트를 만들어 손쉽게 촬영할 수 있다. Anchor Point와 Control Point를 VR 상에서 원하는 곳에 배치할 수 있고 Cart에 카메라를 장착하고 출발 버튼을 누르면 설정한 속도로 Cart가 움직이게 된다.

a. 구조

CameraPathCreator는 Object Pool에서 미리 만들어진 Point들을 배치하고 PathViewer가 Point들을 이어서 Path를 만든다.

: CameraPathCreator Sequence Diagram

b. BezierCurves

BezierCurves.cs

CameraPathCreator의 핵심인 BezierCurve이다. 위키의 공식을 참고해서 static 클래스를 만들어 사용하였다.

public static Vector3 LinearBezierCurves(Vector3 a, Vector3 b, float t)
{
    return a + t * (b - a);
}

public static Vector3 QuadraticBezierCurves(Vector3 a, Vector3 b, Vector3 c, float t)
{
    return Mathf.Pow(1 - t, 2) * a + 2 * (1 - t) * t * b + Mathf.Pow(t, 2) * c;
}

public static Vector3 CubicBezierCurves(Vector3 a, Vector3 b, Vector3 c, Vector3 d, float t)
{
    return Mathf.Pow(1 - t, 3) * a + 3 * Mathf.Pow(1 - t, 2) * t * b +
        3 * (1 - t) * Mathf.Pow(t, 2) * c + Mathf.Pow(t, 3) * d;
}

c. PathCreator

PathCreator는 CameraPathCreator의 중심축으로 Object Pool와 PathViewer 사이에서 컨트롤 하는 작업을 한다.

PathCreator.cs

/// <summary>
/// Gets called when an active Path Point is not detected
/// and when the VR button is pressed.
/// </summary>
public void AddPoint()
{
    if (!_detector.IsTriggerStay)
    {
        var point = _pool.ActivatePoint(spawnPoint.position, spawnPoint.rotation);
        if (point != null)
        {
            _points.Add(point);
        }
        if (_points.Count > 1)
        {
            _cart.transform.position = _points[0].position;
            _cart.SetActive(true);
        }
    }
}

/// <summary>
/// Gets called when an active Path Point is detected
/// and when the VR button is pressed.
/// </summary>
/// <param name="point"></param>
public void RemovePoint(Transform point)
{
    int index = _points.FindIndex(p => p == point);
    if (index != -1)
    {
        _pool.TerminatePoint(_points[index]);
        _points.RemoveAt(index);
    }

    if (_points.Count < 2)
    {
        _cart.SetActive(false);
    }
}

Point의 생성은 PointDetector에 Point가 트리거되는것이 없을때만 가능하다.

Point의 삭제는 PointDetector로 부터 건네 받은 Point의 Transform의 인덱스를 찾아 ObjectPool에서 .TerminatePoint() 과정을 거친다.

d. PathPool

PathPool은 Stack을 이용했다. has-a 방식으로 Object Pool을 생성하여 MonoBehaviour의 life cycle을 타지 않게 하였다.

PathPool.cs

public PathPool(MonoBehaviour mono, GameObject spawnObject, int pathCount)
{
    InitVariables(mono, spawnObject, pathCount);
    CreatePool();
}

private void CreatePool()
{
    _poolRoot = GameObject.Find("PathPool");
    if (_poolRoot == null)
    {
        _poolRoot = new GameObject("PathPool");
    }
    for (int i = 0; i < _pathCount; i++)
    {
        var point = MonoBehaviour.Instantiate(_spawnObject, _mono.transform.position,
            Quaternion.identity, _poolRoot.transform);
        point.SetActive(false);
        _pathPool.Push(point);
    }
}

e. PathViewer

PathViewer는 처음 생성자에서 넘겨받은 Point 리스트 레퍼런스를 가지고 LineRenderer를 통해 선을 그린다.

PathViewer.cs

/* Cubic Bezier Curve */
case var expression when points > 3:
    t = 0f;
    for (int i = 0; i < SegmentCount(); i++)
    {
        var cp1 = _points[i * 3 + 1].GetComponent<Renderer>();
        var cp2 = _points[i * 3 + 2].GetComponent<Renderer>();
        cp1.material = _controlPointMat;
        cp2.material = _controlPointMat;

        Vector3[] segment = GetPointsInSegment(i);
        for (int j = 0; j < _lr.positionCount; j++)
        {
            _lr.SetPosition(j, BezierCurves.CubicBezierCurves(
                segment[0], segment[1], segment[2], segment[3], t));
            t += (1 / (float)_lr.positionCount);
        }
    }
    break;

.GetPointsInSegment()는 Point를 3개씩 겹치도록 반환 한다.