저도 같은 질문을 하곤 했습니다. 사실, 자연현상에 대한 절대적인 법칙이란 원래 없습니다. 아시는 바대로 뉴튼 물리학은 지상에서는 잘 들어맞지만, 우주에서나 분자 단위에서는 잘 들어맞지 않습니다. 물리학 이론(theory)들은 모두 가설입니다. 뉴튼은 인간이 지상에서 경험하는 현상들을 설명하기 위해 물리 법칙에 대한 가설을 세운 것입니다. 아인슈타인도 마찮가지로 특정 현상들을 설명하기 위해 상대성 이론이라는 가설을 도입한 것이죠. 가설이지만 이런 이론들은 실제 현상을 설명하고 결과를 예측하는데 도움이 됩니다. 그러나 이런 이론들이 우주 어디에서나 적용된다고는 할 수 없습니다. 분야별로 잘 맞는 이론을 받아들이고 아니면 무시하는 거죠. 이것은 물리학이 아닌 다른 분야도 마찮가지입니다. 얼마나 많은 현상을 설명할 수 있는 가 그리고 얼마나 단순한 가 하는 것들이 좋은 이론을 경정하는 중요한 요소이죠.

  1) 왜 F = ma 인지? (F 가 m의 선형함수)

-> 질량을 바꿔가면서 실험하면 알 수 있지 않을까요?
만일 F가 m^2에 비례다면 m을 2배, 3배 하면 F 는 4배, 9배로 측정되어야 하는데
실험결과(경험 및 관찰 결과?)가 선형적인 관계를 보여주기 때문에 식의 형태가 F=ma로 결정된 것 같습니다

사실 '질량'이라는 개념도 직접적으로 측정 가능한 양이라기보다는 m= F/a(관성질량) 로 정의되는 양이라는 생각이 듭니다.
질량도 크게 두 가지로 중력질량(중력에 반응하는 양?)과 관성질량(가속도에 저항하는 관성의 크기?)이 있습니다. 두 가지 질량은 실험적으로 오차범위 내에서 완전히 동일하다고 알려져있습니다.

당시의 역사적인 사실은 잘 모르지만(검색을 해 봐야겠네요..) 아마도 뉴턴은 천체의 운동에 대한 티코브라헤의 관측과 그에대한 케플러의 법칙, 달의 운동과 조석 등 그때까지 알려진 천체현상들에 대한 그의 독창적인 해석인 '만유인력의 법칙'(+역제곱의 법칙)을 수학적으로 정리하면서 F = ma 라는 형태의 식(미분방정식)을 발견하지 않았을까 합니다.

  2) 힘(F)의 크기를 정하는 근거는?

뉴턴의 중력법칙 관점에서 보면 지표상에서 물체의 '무게'는 물체와 지구 사이의 '중력'(힘, F)이고
물체의 '질량(중력질량)'이 크면 클 수록 이에 비례해서 '무게'가 증가합니다.(재질과 부피가 같은 쇠공 여러개를 생각하시면 될 것 같습니다)

따라서 '무게' 를 잴 수 있다면 '중력' (힘의 크기)을 결정할 수 있고
이를 중력가속도로 나누어 '질량'을 결정할 수 있습니다

그런데 '힘'의 효과는 물체의 운동상태를 바꾸는(가속-운동량변화)것 만이 아니고 물체에 변형을 가하는 효과도 있습니다. (ex. F = kx)
예를 들어 용수철에 추(쇠공)를 2개, 3개 매달면 용수철이 늘어나는 길이도 대략 2배, 3배, 하는 식으로 늘어나므로 이로서 물체들의 '무게'를 비교할 수 있습니다. (기준이 되는 단위는 정하기 나름이겠지만..)

저도 잘 모르지만 질문이 좋아보여서 제 나름대로 생각을 정리해봤습니다. 교재의 논의를 받아들이고 따라가는 것도 좋지만 가끔 이런식으로 질문을 던지고 스스로 생각을 정리해 보는것도 공부에 크게 도움이 된다고 생각합니다.(요즘 열역학교재를 다시 보면서 크게 느끼고 있습니다)

  a = F/m 라고 생각하시는 편이 좋습니다.
질량 m인 물체에 일정한 힘 F를 가했더니 속도가 변하는데 그 속도가 변하는 비율이 a더라....

힘을 두배로 주면 속도 변화율이 두배더라.
같은 힘을 줘도 질량이 두배인 것은 속도 변화율이 절반이더라...

이걸 뜻한다고 생각하세요.

  이분의 질문을 잘 보면 이론에 대한 것이 아니라 이론에 이르는 과정에 대한 것이네요. 현대 이전의 과학을 굉장히 미개한 것으로 오해하고 있고요. 

그리고 인식론적 문제라던가, 과학의 원리를 간단한 수식으로 표현하는 방법, 기본적인 개념들이 정의되는 과정... 등에 대한 거창한 과학철학적 질문도 절대로 아니네요. 심각하게 답변 달지 않는게 좋겠습니다.

'물리공부를 시작했다' 라는 표현을 쓰셨는데 적합하지 않은 말인 듯 하네요. 두 변수 또는 여러 변수 사이의 상관관계를 구하는 방법(실험적 방법)과 수학적 표기법은 초등학교, 중학교때 배우는 것입니다.